Очевидно, что нужно поиграть параметрами Every rotate go (каждый поворот двигает каретку на ...мм). Однако, возможно первый параметр не имеет возможности изменить значение с большим количеством знаков после запятой:
на 1.25% по X (800-790)/800=0.0125; 30+30*0,0125=30,375мм
и 0.625% по Y (805-800)/800=0.00625; 26.6-26.6*0,00625=26.43375мм,
тогда надо поиграть значением Pulse number.
Меняйте значение этих параметров, рисуйте максимально возможные размеры по координатам, замеряйте реальное значение, пересчитывайте пропорцию, пока не выйдете на нулевую погрешность.
P.S. Так и не понял значение параметра fraction (дробление, доля). По идее, для шаговых двигателей (если имеется в виду микрошаг) физически дробление кратно 2 в степени (2, 4, 8, 16, 32, 64, 128, 256), а в данном случае со значениями 31 и 29 - какая-то непонятка
.
но чем меньше формат тем точнее его размеры так например при резке квадрата 50*50мм все размеры совпадают лазер китайский со столом 1200 на 900мм. Я знаю что в родной программе лазера (VectorSoft) есть настройка Configration где настраивается точный размер стола но я так толком и не могу разобраться какие точные параметры надо вести чтобы при резке все размеры совпадали. 
Снизу окно настройки рабочего поля стола там есть 3 координаты X,Y и Z в каждой из них свои настройки как их настроить я не знаю.