Доброго дня!
Может кто-то сталкивался с загрузками больших строк из файлов json, собственно файл 11 мегабайт.
Пробовал использовать класс JSON = КОП_JSON.ert - работает НО ОЧЕНЬ долго, на маленьких объемах отлично, на нужном объеме, не дождаться, пробовал грузить файл 1.2 мегабайта, около 40 минут, дальше пробовал использовать MSScriptControl.ScriptControl - на нем просто платформа закрывается.
Есть еще какие-то варианты ?

Используй последние версии 1sqlitе: https://cloud.mail.ru/public/9znr/ZJ6ULE9aR

Описание интерфейса: https://www.sqlite.org/json1.html

Скорость термоядерная, но вложенных структур не получишь, только плоские таблицы.

P.S. Напрямую из файла данные не кушает, но 11 метров для клюшек не проблема.
P.P.S. Если вдруг будет вылетать по памяти, создавай базу sqlite не в :memory:, а в файле (тогда объем базы почти неограничен).
P.P.P.S. Файл можно залить во временную табличку sqlite в этот временный файл, а в совсем новых версиях в бинарном/сокращенном формате, этот формат значительно ускоряет последующую обработку, и дергать его уже можно из базы, а не с сырых данных на диске по 10 раз.

(0) а у api нет функции загрузка по частям?

(2) нет, ответ с сайта приходит целиком.

Да, я тоже столкнулся с тем, что MSScriptControl.ScriptControl падает на сколько-то значимых по объему файлах...
ВК из (1) справляется отлично, но, конечно обработка плоских таблиц те еще танцы с бубном... В этом отношении MSScriptControl.ScriptControl намного проще и удобнее. Но, при желании все можно получить и из них - у меня получение остатков и оборотов из ЧЗ так сделано, работает.

(4) передал в MS - не строку, а ссылку на файл, что бы он сам его прочитал, не падает, жду результат...
PS отработал скрипт, не засекал, но примерно минут 20.

(0) у КОП_JSON есть свойство ИспользоватьScriptControl
Ставишь 1 и внутри будет работать MSScriptControl.ScriptControl
А чтобы передача больших строк не валило ОЛЕ нужно применять OleExSup.dll

(4) Это не совсем так, все возможно.
Плоская таблица из sqlite и метод итз Группировать решают проблему.
Теоретически, можно собрать внутренее представление таблицы, а потом при загрузке в ТЗ или ИТ преобразовать во вложенные таблицы.
Подумаю об этом в следующей жизни...

(0) Написать сервис на 1С 8.3

(8) тут нету ее, а покупать ради этой задачи, сомнительная затея.

(9) Комьюнити версия? На ну нафиг... сервис на голанг в 100500 раз будет быстре...

(9) Посмотреть в сторону onescript - преобразовывать в более легкий для 7.7 формат. Конечно, это как из пушки по воробьям, но тем не менее.

Господа, как победить, при разборе входящего JSON файла, кодировка UTF8, получаю вот такое :

сз_URL_Файлов.ПолучитьЗначение(m) = "Сертификат"

в файле вот это место : "title": "Сертификат"

Как-то можно перекодировать в 1251 ?

(12) Любым, для твоего случая, доступным, их очень много есть.
Выбирай сам, самый доступный и удобный.

(12) Функция ПреобразоватьСтрокуВУТФ8(Стр)
    Длина=СтрДлина(Стр);
    Итог="";
    Для Н=1 По Длина Цикл
        Знак=Сред(Стр,Н,1);
        Код=КодСимв(Знак);
        Если Код<128 Тогда
            Итог=Итог+Знак;
        Иначе
            Если (Код>=КодСимв("А"))И(Код<=КодСимв("п")) Тогда
                Итог=Итог+Симв(208)+Симв(144+Код-КодСимв("А"));
            ИначеЕсли (Код>=КодСимв("р"))И(Код<=КодСимв("я")) Тогда
                Итог=Итог+Симв(209)+Симв(128+Код-КодСимв("р"));
            ИначеЕсли (Знак="ё") Тогда
                Итог=Итог+Симв(209)+Симв(145);
            ИначеЕсли (Знак="Ё") Тогда
                Итог=Итог+Симв(208)+Симв(129);
            КонецЕсли;
        КонецЕсли;
    КонецЦикла;
    Возврат Итог;
КонецФункции
Функция ПреобразоватьСтрокуИзУТФ8(Стр)
    Длина=СтрДлина(Стр);
    Итог="";
    Для Н=1 По Длина Цикл
        Знак=Сред(Стр,Н,1);
        Код=КодСимв(Знак);
        Если Код<128 Тогда
            Итог=Итог+Знак;
        ИначеЕсли (Код>=128)И(Код<192) Тогда
        Иначе
            Н=Н+1;
            Знак2=Сред(Стр,Н,1);
            Код2=КодСимв(Знак2);
            Если Код=208 Тогда
                Если Код2=129 Тогда Итог=Итог+"Ё";
                Иначе Итог=Итог+Симв(КодСимв("А")+Код2-144);
                КонецЕсли;
            ИначеЕсли Код=209 Тогда
                Если Код2=145 Тогда Итог=Итог+"ё";
                Иначе Итог=Итог+Симв(КодСимв("р")+Код2-128);
                КонецЕсли;
            КонецЕсли;
        КонецЕсли;
    КонецЦикла;
    Возврат Итог;
КонецФункции
ПыСы не мое

это у семерешников уже давно должно быть в глобальнике

(12) попытаться запросить файл сразу в кодировке 1251

Форекс уже умеет кодировать и декодировать в УТФ8

Ветка
https://forum.dorex.pro/index.php?topic=10.0

А был бы XML, можно было бы ОЧЕНЬ быстро обработать ВСТРОЕННЫМИ средствами операционной системы. Джейсон - дрянь, кто бы что не говорил.

з.ы. Пардон, вырвалось ))

(14) 11 метров посимвольно, на языке 1С...
"Да я тебя!" (с)Операция "Ы"
Знаем, помним. Есть такой доисторический метод. Храним в своих сердцах, рядом с сердцами Клааса, Данко и Соколом:

Безумству храбрых поем мы славу!
Безумство храбрых – вот мудрость жизни!
О смелый Сокол! В бою с врагами истек ты кровью…

Песня о Соколе (c)Максим Горький

Некрофилы...

Пардон, вырвалось

(21) Уточняю - Это Некроманты...
Так будет полит-корректней, всякие "филы" не полит корректно, а вот "манты" вполне нейтрально...
Вчера их кушал - вкусно!

(22) Это у Вас вырвалось, а у меня другое вырвалось... Уж простите

(23) А где я написал что что-то "вырвалось"?
Передергиваете карты, однако...

(24) Понятно. Я Вас записал в чёрный блокнотик.

(4) вроде выкладывали относительно недавно тут версию через MSScriptControl.ScriptControl, которая не падает. по крайне мере у меня перестала падать, но я и 11 метров не гружу
там просто строка разбивалась и обрабатывалась кусками

(25) обложка в блокнотике - жёлтая?

(26) не падает, я просто не строку передаю, а сам файл открыть.
    |    function parseJSON(path) {
    |    var fso = new ActiveXObject('Scripting.FileSystemObject');
    |    var ts = fso.OpenTextFile(path, 1, true);
    |    var str = ts.readAll();
    |    ts.close();
    |    var json = eval('(' + str + ')');
    |    return(json);

(20) дык не весь файл, а тока получаемые значения на русском

Что-то Djelf скромно молчит... У него в карлике есть отлично и быстро работающие функции перекодировки чего и во что угодно :-)

(30) Я уже отписался в этой теме. Нет вопросов = нет ответов.

(17) "Формекс уже умеет кодировать и декодировать в УТФ8"
А вот джейсон парсить туда и обратно не умеет)

{
"fld1": 1,
"fld2": true,
"fld3": "true",
"fld4": null
}

Как вы считаете, во что должен быть преобразован такой json в семерке?

(33) В СписокЗначений, Структуру, ТаблицуЗначений, ИНдексированнуюТаблицу.
Нужно просто определить стандарт.

(34) я же значения конкретные привел не просто так

Например:

true = 46465464567878;
null = 164964364164691;
Сп = СоздатьОбъект("СписокЗначений");
Сп.Установить("fd1", 1);
Сп.Установить("fd2", true);
Сп.Установить("fd3", "true");
Сп.Установить("fd4", null);

(33) Не проблема разобрать такое в sqlite.
А дальше... как хотите, так и вертите.

SELECT *
FROM json_tree(
'{"fld1": 1,"fld2": true,"fld3": "true","fld4": null}')

(37) интересный тип - true

(38) Это не я придумал ;)

(0) через MS SQL как-то можно.

(32) ещё покер не играет и куртизанок не обеспечивает...