Дня доброго.
Понадобилось тут народу сделать переход с 7.7 в 8.3 БП. И проблема у них образовалась - падает по памяти выгрузка в XML.
И даже 4 Гб не хватает.
Выгрузка идет через MS.XML2.DOM, который не пишет сразу в файл, а формирует дерево в памяти, чтобы оперировать Узлами, а не НачатьЭлемент()/ЗакончитьЭлемент(), вот это все.
Стали думать и гадать, даже форум читали. Там либо все переписывать на потоковый вывод предлагалось, либо грузить частями. Боль, страх, унижение.

И решил я - а че бы это дерево данных не хранить в стороннем x64 процессе из светлого будущего.
Сказано - сделано -  встречайте x64Provider от HADGEHOGs:

Ссыль - https://yadi.sk/d/4L5gHvFMO0f_XQ
Скрин - http://prntscr.com/qrnoq0

В принципе, он позволяет работать с любыми COM-объектами в адресном пространстве x64.

7.7 - зло злобное.

Чуть позже размещу на Инфостарте, вдруг кому то пригодиться.

Забыл добавить "... от моего Гения - вам...." ))

(2) "Мой Гений скромно дарит вам..."
Да, просилось, просилось, но я не могу компрометировать Осипова.

частями выгружай. зачем все в 1 файл?

да и вообще частями переход правильнее. ибо выгрузил все 100500 гигов, а потом где-то вконце ошибка

(4) Где там частями в типовом переносе?

(6) у тебя типовой перенос прошел гладко?
ни разу такого не видел
частями - там же оычные правила с кучей галок

ненуачо.
вот так по костылику и 7ка на очередной десяток лет работы пойдет без замены).
Спасибо!

(7) 280000 тыс элементов без косяков, кроме 8 счет-фактур, в которых не заполнен договор.
Но эти 8 счет фактур можно забить руками.

280 тыс, пардон.

(9) повезло однако

(7) Я не разбираюсь в этих ваших семерках, именно необходимость ковыряния кода в 7.7 подвигла меня по быстрому накропать эту приблуду.

наверно у них учет был без ошибок

хотя я правда ни разу полностью типовые базы не переносил. может поэтому

(0) Спасибо, качнул на всякий.

(0) Не DOMь а SAXуй!

(16) предлагаешь переписать выгрузку из 77?

(17) Ну решение с вызовом 64 битных dll из 32 бит приложения тоже тот еще костыль

(0) Ну надо же я рядом такую ветку создал с вопросом как решать а тут вроде и решение имеется.
Спасибо!

(0) А не хочет ее регистрировать в вин сервер 2012. Я правда их простой папки его запускал.
Не взлетает. Наверное туплю

(7) ну у меня в 14 году ЗиК четырехлетний нормально в ЗУП-УПП перелился штатным переносом. Кое-что потом руками уже в УПП подправили, но по мелочи.

(0) полезная штука, спасибо!

(20) Как вариант -
regsrv32 asf.exe

под админом.
Тестировал под Win10 у себя

(23) ты же в описании написал что не нужно этих мерзких админов

(24) Я не тестировал под Winserver2012

(25) а что там другая ролевая модель?

(26) Ты с какой целью интересуещься?

(20) Клиентский сеанс под тем же пользователем, под которым устанавливал?

для общего T-shape развития

Проверил на WinServ 2016.
Все нормально взлетело.

tgu82, если есть возможность дать доступ к серверу - пиши на [email protected]

Кривизну разрабов исправлять через костыли вместо написания в саппорт? А потом удивляться а что то 1С такая глюкавая.

в саппорт по 77?

я бы просто делал выгрузку не одинэсом и всё.
Но тогда бы не было магической вундервафли - это да

Заодно плиз решение для x64 1С и печати pdf417 из регламентированной ну и заодно ккт штрих как к x64

(34) сам бы с 0 выгрузку писал?

(33) Именно саппорт по переходу с 77 на 8

(37) и что как ты думаешьони могут ответить?

(38) Думаю пришлют подправленную для выгрузки кусочками

(39) так такая уже есть - см начало ветки

(40) Я думаю ТС изучил приобрел новый молоток и терь ему нравится забивать им любые шурупы

(41)+ Ну 7.7 плохо знает или уже забыл

ну таки забилось

(41) Да нет, просто с нового года все бухгалтерии будут в 8-ке 99.99999%. Сверки норм проходит а с выгрузкой напряги

(44) С БП2 на БП3 переход тоже актуален

(45) там нет такой проблемы в принципе

(31) отправил Вам письмо

(46) Хохо. Там схожая проблема что типовой переход от разрабов в неких ситуациях с много веселых данных нихрена не взлетает.
Ну не получится просто обновиться, надо выгрузку и загрузку в чистую базу делать

(45) Расчетчик-кадровик год ведет ЗУП и ЗИК по 4 фирмам и матерится на ЗУП по многим причинам. И с большим трудом удается убеждать переходить на 8-ку тех кто с 2003 на 7-ке.

(48) Само собой загрузка в новую чистую базу - справочники выгрузились а на остатки вот памяти не хватает в парсере 3.0

в адресное пространство другого процесса?
падение скорости в разы.

нет,а что переписывать?
дом он строит добавлением в конец? тогда просто пишешь заглушку-транслятор одних вызовов в другие,и никто не узнает.
просто,зачем гадить в память,если есть диск,который также виртуально в памяти-и он побыстрее межпроцессорного вызова будет,так как при обмене между программами(процессами)реально идет передача данных между нитями исполнения,а они на разных ядрах.

H A D G E H O G просто гуру и супер. Пока все флудили он все сделал чтоб все заработало.
Мастер одним словом )

(51) > в адресное пространство другого процесса? падение скорости в разы.

DOM сам по себе не настолько шустер чтобы это сказалось.
Серьезные выгрузки данных с гигабайтными файлами запускают на ночь - авось наутро выгрузит. Задача разовая. Какая там скорость?

+ (51) Транслятор вызовов? Там порядком вызовов придется перенянчить. Плюс если там где-то все же паче чаяния окажется работа с уже загруженными в DOM-документ узлами - то вы попадете в некоторую просрацию...

(44) Чего это вдруг?

(55) Приказ руководства. Надо. Базы строительных фирм выделяем из общей управленческой ТИС. Да много всяких причин накопилось. 7-ка пока управленческая остается но думаю что не больше чем на полгода

Нужно ли что-то делать с обработкой кроме регистрации asf. Как это работает?

(57) Это к автору. в посте 31 есть его адрес.
Но вообще-то он полностью отработанную версию обещал опубликовать здесь

Возиожно действительно поставить последний парсер но я не пробовал - просто пока не надо, ASF+очень умелые руки и мозги (0) мне проблему решили

(0) так вот же: http://www.1cpp.ru/forum/YaBB.pl?num=1332077808

(59) Дык не ё, в смысле ты фишки не понял.

Они не хотят типовую выгрузку переписывать на нечто отличное от штатной кривой реализации, которой не хватает оперативки чтобы выгрузить XML под гиг.
По ссылке просто вариант работы с XML который так же потребует переписки, у ТС же решение которое com объект "MSXML2.DOMDocument" заставляет работать в x64 процессе, хотя 1С 7.7 вызывающая x32

(60)+ Короче вместо полдня потерять а потом за полчаса долететь, они предпочитают ничего не терять но ждать выгрузки нескоко часов через костыль

(58) посмотрел скрин стало понятно. Думал это консольная утилита, а это целое приложение.
(60) вообще то вместо xml2, в обработке у автора используется xml4

(61) полдня переписыать типовую обработку - да ты сказочник

(62) насчет 2 и 4 не понял
Ибо  "MSXML2.DOMDocument" бывает разных версий  "MSXML2.DOMDocument.4.0" так и "MSXML2.DOMDocument.2.6", "MSXML2.DOMDocument.3.0" и до 6.0

А внутри каких DLL оно уже пофиг https://support.microsoft.com/ru-ru/help/269238/list-of-microsoft-xml-parser-msxml-versions

(63) ОК для меня пара часов переписать с DOM на SAX модель XML эту хрень.

(65) перепиши и поделись со всему, все будут благодарны

мне тоже на следующей неделе надо будет писать выгрузку из 7.7 большого объёма данных в .xml. Было бы очень интересно узнать результат, ну и сравнить разные методы выгрузки в xml.

(65) Есть неудобства определенные, в связи с тем, что модуль обработки V77Exp генерируется в КД.

(65)если в Dom все делается последовательно,то да,но есть "умники" которым нравится встаалять,вот тут потоковая запись ни к лицу,хотя,ее можно писать как сценарий,а потом проигрывать для сбора файла как это делалось во времена DOS для редактирования файла большего по обьему предостааленной памяти в 640к

(0) >7.7 - зло злобное.

Вот тут ты не прав. Ты памятник должен поставить клюшкам, т.к. благодаря им 1С набрала популярность, а куча программистов нашла себе хоть какое-то применение. Более того, 7-ка дала шанс всяким недопрогам заработать на кусок хлеба, а то и с маслом.

(69) Все намного проще.

Пишутся функции - обертки эмулирующие методы com компонента Msxml2.DOMDocument но реально работающие с ТЗ или СЗ.
И везде в коде вызов Msxml2.DOMDocument заменяется на наши обертки.

Затем тупой линейный проход по СЗ и запись последовательно в XML.

Лишь бы оперативки для СЗ хватило, если не хватит тут уже придется извращаться как то еще.

(71)+ Каждый узел XML легко представим в виде СЗ, где первым элементом лежит вложенная СЗ с атрибутами, а последующие это подчиненные узлы так же СЗ.

(71) это уже не sax, опять все упрется в память и в недостатки ТЗ и СЗ

(73) Решение-то уже есть, хотя для 1С 7.7 много чего в реестр (0) добавил и заработало, файл в 862 мб родился и закачался в 8-ку БП3

(73) Как раз линейно из своего формата в XML это классический SAX.
А свой формат по сравнению с XML даже банальная СЗ будет сильно меньше места кушать.
Ну или да пишем на диск но тут тормоза будут если вставки юзаются или изобретать какие то извраты типа хранения узлов в отдельных файлах и каталогах.

(75) не только вставки. У стандартного DOM можно выбирать подмножества узлов, используя выражения XPath. Вот если это понадобится сэмулировать - будет печаль...

(76) И это можно но согласен писать полностью движок запросов к XML это слегка перебор, в этом случае вариант (0) сильно проще.

на нафейхоа такие извраты если штатный норм робит?

    Анализатор = СоздатьОбъект("AddIn.XMLParser");
    ПоследовательноЗаписываемыйДокумен = Анализатор.СоздатьПоследовательноЗаписываемыйДокумент();
    ПоследовательноЗаписываемыйДокумен.ИмяФайла = Файл;
    ПоследовательноЗаписываемыйДокумен.АтрибутыЭлемента.УстановитьАтрибут("datetime", Формат(ТекущаяДата(), "дДДММГГГГ") + " " + ТекущееВремя() + ".000");
    ПоследовательноЗаписываемыйДокумен.ОткрытьЭлемент("categories");
    ПоследовательноЗаписываемыйДокумен.АтрибутыЭлемента.УдалитьВсе();
    
    ТЗ.ВыбратьСтроки();
    Пока ТЗ.ПолучитьСтроку() = 1 Цикл
        
        ПоследовательноЗаписываемыйДокумен.ОткрытьЭлемент("row");
        ПоследовательноЗаписываемыйДокумен.АтрибутыЭлемента.УдалитьВсе();
        ПоследовательноЗаписываемыйДокумен.ВключитьЭлемент("uid",         ТЗ.УИД);
        ПоследовательноЗаписываемыйДокумен.ВключитьЭлемент("category",    ТЗ.Категория);
        ПоследовательноЗаписываемыйДокумен.ЗакрытьЭлемент();
        
        Если (ТЗ.НомерСтроки % 1000) = 0 Тогда
            ПоследовательноЗаписываемыйДокумен.Сбросить();
        КонецЕсли;
        
    КонецЦикла;    


(78) да работает, работает. Только когда у вас объем генерируемого XMLя выползет за 200-300М, может несколько приуныть и уронить 1С

хотя вы сбрасываете... хм... кстати, вариант!

(6) берешь бубен ...
По сути там написана оболочка для кд, т.е. вытаскиваешь правила и можешь частями выгружать, указывая какие типы данных нужно выгрузить

(79) формируется XML - 150 мб минут за 9
сбросить - рулит

(82) есть переписанная выгрузка из 7.7 ?

так можно и прямо в файле,если писать всегда в конец.
узел это позиция в файле,позиция родителя очевидна
при добавлении чего-то в узел просто по старому месту пишем переход на новое и в путь.
а файлы можно проецировать в память.
так что dom можно реализовать достаточно просто.

(84) перепиши если просто, я начинал 5 л назад и забросил

(83) нету