День добрый.
Есть у меня две таблицы, по 50т записей примерно.
Структура, у обеих таблиц такая:

Номенклатура, наименование номенклатуры, Слово из наименование

Задача найти в двух таблицах максимальное количество совпадений по словам.

Вот мой запрос. Когда записей в исходной таблице мало, то отрабатывает моментом. А когда 50к, то можно ждать часами..

ВЫБРАТЬ
    МассивНоменклатуры.Номенклатура КАК Номенклатура,
    МассивНоменклатуры.Характеристика КАК Характеристика,
    ВЫРАЗИТЬ(МассивНоменклатуры.Слово КАК СТРОКА(30)) КАК Слово,
    МассивНоменклатуры.Наименование КАК Наименование
ПОМЕСТИТЬ втМассивНоменклатуры
ИЗ
    &МассивНоменклатуры КАК МассивНоменклатуры

ИНДЕКСИРОВАТЬ ПО
    Слово
;

////////////////////////////////////////////////////////////////////////////////
ВЫБРАТЬ
    МассивНоменклатурыПоставщиков.НоменклатураПоставщика КАК НоменклатураПоставщика,
    МассивНоменклатурыПоставщиков.ХарактеристикаПоставщика КАК ХарактеристикаПоставщика,
    ВЫРАЗИТЬ(МассивНоменклатурыПоставщиков.Слово КАК СТРОКА(30)) КАК Слово,
    МассивНоменклатурыПоставщиков.НаименованиеПоставщика
ПОМЕСТИТЬ втМассивНоменклатурыПоставщиков
ИЗ
    &МассивНоменклатурыПоставщиков КАК МассивНоменклатурыПоставщиков

ИНДЕКСИРОВАТЬ ПО
    Слово
;

////////////////////////////////////////////////////////////////////////////////
ВЫБРАТЬ РАЗЛИЧНЫЕ
    втМассивНоменклатуры.Наименование КАК НоменклатураХарактеристика,
    втМассивНоменклатурыПоставщиков.НаименованиеПоставщика КАК НоменклатураХарактеристикаПоставщика,
    втМассивНоменклатурыПоставщиков.Слово,
    ВЫРАЗИТЬ(втМассивНоменклатурыПоставщиков.НоменклатураПоставщика КАК СТРОКА(100)) КАК НоменклатураПоставщика,
    ВЫРАЗИТЬ(втМассивНоменклатурыПоставщиков.ХарактеристикаПоставщика КАК СТРОКА(100)) КАК ХарактеристикаПоставщика,
    втМассивНоменклатуры.Номенклатура,
    втМассивНоменклатуры.Характеристика
ПОМЕСТИТЬ втСопоставленнаяНоменклатура
ИЗ
    втМассивНоменклатуры КАК втМассивНоменклатуры
        ЛЕВОЕ СОЕДИНЕНИЕ втМассивНоменклатурыПоставщиков КАК втМассивНоменклатурыПоставщиков
        ПО втМассивНоменклатуры.Слово = втМассивНоменклатурыПоставщиков.Слово
;

////////////////////////////////////////////////////////////////////////////////
ВЫБРАТЬ
    втСопоставленнаяНоменклатура.НоменклатураХарактеристика КАК НоменклатураХарактеристика,
    втСопоставленнаяНоменклатура.НоменклатураХарактеристикаПоставщика КАК НоменклатураХарактеристикаПоставщика,
    КОЛИЧЕСТВО(РАЗЛИЧНЫЕ втСопоставленнаяНоменклатура.Слово) КАК КоличествоСовпадений,
    ВЫРАЗИТЬ(втСопоставленнаяНоменклатура.НоменклатураПоставщика КАК СТРОКА(100)) КАК НоменклатураПоставщика,
    ВЫРАЗИТЬ(втСопоставленнаяНоменклатура.ХарактеристикаПоставщика КАК СТРОКА(100)) КАК ХарактеристикаПоставщика,
    втСопоставленнаяНоменклатура.Номенклатура,
    втСопоставленнаяНоменклатура.Характеристика
ПОМЕСТИТЬ втИтоговаяТаблица
ИЗ
    втСопоставленнаяНоменклатура КАК втСопоставленнаяНоменклатура

СГРУППИРОВАТЬ ПО
    втСопоставленнаяНоменклатура.НоменклатураХарактеристика,
    втСопоставленнаяНоменклатура.НоменклатураХарактеристикаПоставщика,
    втСопоставленнаяНоменклатура.Номенклатура,
    втСопоставленнаяНоменклатура.НоменклатураПоставщика,
    втСопоставленнаяНоменклатура.Характеристика,
    втСопоставленнаяНоменклатура.ХарактеристикаПоставщика
;

////////////////////////////////////////////////////////////////////////////////
ВЫБРАТЬ
    втИтоговаяТаблица.НоменклатураХарактеристика,
    втИтоговаяТаблица.НоменклатураХарактеристикаПоставщика,
    втИтоговаяТаблица.КоличествоСовпадений КАК КоличествоСовпадений,
    втИтоговаяТаблица.НоменклатураПоставщика,
    втИтоговаяТаблица.ХарактеристикаПоставщика,
    втИтоговаяТаблица.Номенклатура,
    втИтоговаяТаблица.Характеристика
ИЗ
    втИтоговаяТаблица КАК втИтоговаяТаблица

УПОРЯДОЧИТЬ ПО
    КоличествоСовпадений УБЫВ

Как можно оптимизировать?

последнюю таблицу можно выкинуть...

предпоследнюю тоже

(0) скорее всего самое долгое это процесс считывания данных в запросе типа "&МассивНоменклатурыПоставщиков"

если это так то оптимизировать запрос только после оптимизации хранения инфы

Непонятно, сколько времени данные в &МассивНоменклатуры помещаются

И почему левое соединение, а не внутреннее

(2) в предпоследней доп. условие было - это я его временно упростил.

(0)
много строковых ненужных полей.

(3) дело в том, что я передаю две таблицы - &МассивНоменклатуры и &МассивНоменклатурыПоставщиков
Так вот, если таблица &МассивНоменклатуры небольшая, а &МассивНоменклатурыПоставщиков по прежнему 50т записей, то отрабатывает за секунды.

(8) Потому что скл выбирает нестед лупс в том и другом случае, что на больших объемах данных чревато тормозами.

(5) кстати, да. можно внутреннее

(9) я не очень силен в скл - это можно как-то оптимизировать?

Сделай замер, на какой таблице именно тормозит.

Может завести МенеджерВТ, распилить текст запроса на куски и померить, что именно долго выполняется, помещение таблиц в ВТ или джоин по строке. Или еще что. И конкретную таблицу уже смотреть

(12) о, попробую

(0)
почти ОФФ.
может без запроса, в цикле...

(13) Но вообще, с учетом (5) + (8) - понятно, что дело в втСопоставленнаяНоменклатура

(14) таки я думал, что запросом быстрее...

(16)
это большой филосовский вопрос.

исходя из (7), я бы запросом получал только номера нужных мне строк ТЗ.

* философский

Проблема не технологическая, а алгоритмическая. Насколько я понял, в первом массиве сделан разворот по всем словам, которые есть в названии номенклатуры организации, а во втором - по всем словам, которые есть в номенклатуре поставщика. И делается соединение по словам. Если есть "низко-селективное" слово, которое встречается, например, почти в каждой номенклатуре, то результат будет фактически декартовым произведением двух таблиц. От этого и большие затраты времени. Нужно менять не запрос, а алгоритм сопоставления. Этот годится, только для случая, когда одно из таблиц мала.

в итоге запрос вываливается с "недостаточно памяти"
Пока решил делать порциями по 100 записей номенклатуры (с разбивкой по словам 500-1000 получается.
Отрабатывает приемлимо - менее минуты.