v7: Парсинг JSON с помошью SQLLite и значения булево

1C 7.7

10.02.24

✎

01:35

Добрый день.
Это в продолжение моей темы: Можно ли получить инфу о контрагенте по его GUID в ЦРПТ - ?
но, не по тому вопросу, из-за которого та тема создана. Просто вылезло на том-же отчете.
Писал и отлаживал на не большой базе, все работало.
Поставил реальному клиенту - 1С стала падать на нем... Стал разбираться почему... Оказалость, парсер JSON, которым я давно и успешно пользовался, не переваривает большие файлы, а они там действительно большие...
Ладно, хороший повод воспользоваться SQLLite. Переделал отчет на ее использование, и все заработало, ничего не падает.
И все бы хорошо, но в старом парсере булево было представлено как "-1" - true, и "0" - false. SQLLite возвращает как "1" и "0"... Как отличить "1" что это "Да", от того, что "1" это число? Состав таблицы отчета не постоянный, показатели и их значения "плавающие", зависят от многих факторов, так, что "по смыслу" не понять что это - число или булево... Ну, с нулем то еще можно мириться, там особо нет значений нулевых, а вот единица встречается часто... И не понять, где "Да", а где число 1... Раньше было "-1", которое не всречается в этом отчете, выводил тупо "Да" на "-1", и как-бы устраивало.

Что-бы такого придумать, что-бы "обойти" эту ситуацию-?
Пока видится только вариант создания списка реквизитов, которые могут иметь значение только булево, и проверять их по этому списку при выводе отчета, типо если есть имя этого поля(Ключ) в этом списке, то интерпретировать 1/0 как Да/Нет, а если нет в списке, то выводить без преобразования, числами... Но, как-то это криво... Наши закоготворцы не дремлют, и их прогеры тоже стараются во всю, в любой момент могут добавить какие-то дополнительные показатели, которых нет в списке, и опять добавляй...
Может есть какой-то более правильный "костыль" - ?
Или может каким-то параметром запроса SQLLite можно отключить это преобразование, что-бы просто строками выводил "true/false" - ?

2 Волшебник

10.02.24

✎

10:05

(0) Надо анализировать имя поля. Если там есть "Flag" или "is", то скорее всего это булево.
С помощью статистики и человека составить список таких реквизитов.

3 vbus

10.02.24

✎

10:10

Пусть парсер пишет Истина или Ложь в поле TEXT, этого реквизита.

4 Волшебник

10.02.24

✎

10:15

Ещё можно анализировать значение в других элементах. Если там встречается 2 или другие цифры, то это наверняка число, а если только 1 и 0, то есть повышенная вероятность булева типа.

5 MWWRuza

10.02.24

✎

11:29

(2) С помощью статистики и человека составить список таких реквизитов.

Ну, тут есть вариант проще - в любой более-менее крупной конторе(да хотя-бы в той, на которой предыдущий парсер падал - там порядка ~2500 карточек), сохранить этот JSON ответа в файл, открыть его тем-же Нотепад++ с плагином, отформатировать, что-бы он разбился на кучу строк, а потом написать обработку, которая пробежит по строкам этого файла как по обычному тексту, без парсинга, и просто соберет все имена ревизитов, из строк, в которых есть "true" или "false"... Ну, а потом, просто при выводе отчета анализировать есть текущий реквизит в этом списке или нет, и соответственно его обрабатывать.
Не вижу проблем, час работы... Но, это:

Я просто боюсь, что порачу я этот час, реализую задумку, а потом придет Djelf, "покрутит пальцем у виска", и скажет - "ребята, вы чего? Все это в топку.. Достаточно в SQLLite применить параметр <ХЗ>, и оно само будет булево передавать без перекодировки в число" :-)

6 Garykom

10.02.24

✎

11:41

(0) микросервис на Go

7 Крэкпэк

10.02.24

✎

12:31

(0) Разбейте строку

Процедура СкриптФормироватьСтроку(прСтрПарам, прПерем, scriptCtrl)
    Если (ПустоеЗначение(scriptCtrl) = 1) Тогда
        scriptCtrl =  СоздатьОбъект("MSScriptControl.ScriptControl");
        scriptCtrl.Language="javascript";
    КонецЕсли;
    scriptCtrl.Reset();
    scriptCtrl.Eval("var "+прПерем+"=''");

    лпСтрПарам = прСтрПарам;
    Пока (СтрДлина(лпСтрПарам)>0)  Цикл
        Если СтрДлина(лпСтрПарам) <= 200000 Тогда
            лпЛевСтрПарам = лпСтрПарам;
            лпСтрПарам = "";
        Иначе
            лпЛевСтрПарам = Лев(лпСтрПарам, 200000);
            лпСтрПарам = Сред(лпСтрПарам, 200001);
        КонецЕсли;

        лпЛевСтрПарам = СтрЗаменить(лпЛевСтрПарам,"\","\\");  //для JS

        scriptCtrl.Eval(прПерем+"="+прПерем+" + '"+лпЛевСтрПарам+"'");
    КонецЦикла;
КонецПроцедуры

Процедура СкриптКонтролИнит(scriptCtrl)
    код = "
    |
    | function parseJSON_(strJSON) {
    |  var objJSON = eval('(function(){return ' + strJSON + ';})()');
    |  return(objJSON);
    | }
    |
    | function parseJSON() {
    |  var objJSON = eval('(' + strJSON + ')');
    |  return(objJSON);
    | }
    |
    | // Получить элемент массива
    | function aGet(Array, index) {
    |  return(Array[index]);
    | }
    |
    | // Получить ключ пары по индексу
    | function oKey(Obj, index) {
    |  var size = 0, key;
    |  for (key in Obj) {
    |   if (size == index) break;
    |   if (Obj.hasOwnProperty(key)) size++;
    |  }
    |  return(key);
    | }
    |
    | // Получить значение пары по ключу
    | function oValueByKey(Obj, key) {
    |  if (Obj[key] === true||Obj[key] === false)  return Obj[key].toString();
    |  return(Obj[key]);
    | }
    |
    | //Получить количество пар в объекте
    | Object.size = function(obj) {
    |  var size = 0, key;
    |  for (key in obj) {
    |   if (obj.hasOwnProperty(key)) size++;
    |  }
    |  return(size);
    | }
    |
    | //Получить размер объекта (количество пар в нём)
    | function oSize(Obj) {
    |  return(Object.size(Obj));
    | }
    |
    | // Получить тип объекта (number, string, object, array)
    | function eType(Element) {
    |  if (Element instanceof Array) {
    |    return(""array"");
    |  } else if (Object.prototype.toString.call(Element) === '[object Array]') {
    |    return(""array"");
    |  } else {
    |   return(typeof(Element));
    |  }
    | }
    |";
    scriptCtrl.AddCode(код);
КонецПроцедуры

и далее вызов

Стр=СтрЗаменить(стр,СимволТабуляции,"");
Стр=СтрЗаменить(Стр,Симв(10),"");
Стр=СтрЗаменить(Стр,Симв(13),"");
Стр=СтрЗаменить(Стр,"\r","");
Стр=СтрЗаменить(Стр,"\n","");

scriptCtrl="";
        СкриптФормироватьСтроку(Стр,"strJSON",scriptCtrl);
СкриптКонтролИнит(scriptCtrl);

obj = scriptCtrl.run("parseJSON");

P.S. сори за неформатированный текст

8 MWWRuza

10.02.24

✎

17:01

Все оказалось проще :-)

(5) Я просто боюсь, что потрачу я этот час, реализую задумку, а потом придет Djelf, "покрутит пальцем у виска", и скажет - "ребята, вы чего? Все это в топку..

Так и есть, в более свежих сборках SQLLite, в ТЗ ответа запроса, есть колонка "type":

А дальше "уже дело техники" - на основании этих двух колонок уже в 1С можно формировать Да/Нет или число :-)
Супер! Все просто и удобно.
Ровно шесть коротких строчек кода, и все идеально:

И даже, в отличии от предыдущего парсера, если в значениях встретится "0" или "-1", то все равно сформируется в печатной форме правильно, где надо число, а где надо - булево.

9 Волшебник

10.02.24

✎