Привет мальчики!
Такая задача: нужно оптимизировать загрузку данных по ценам.
Смысл. Есть файл - в нем номер артикула и цена.
Нужно найти в справочнике номенклатура (там 200 000 позиций) все номенклатуры с указанным артикулом из файла и все их прописать в документе "Установка цен номенклатуры".

Кто что думает? какие мысли? файлы бывают для загрузки по 500 000 строк)))))

Звони Мане

Или призывай Маню в ветку, но его опять забанили, был под Вдовой клюко 13 года

Маняяяяяяяяяяяяяяяяяяяяяя!!!!!

Секунду, не понял, файл для загрузки 500к строк, справочник номенклатуры 200к, мы про 1с говорим?)

(4) да все правильно думаешь((((

Ну-с, начнемс. Конфа?

(0) А в чём проблема? Ну добавьте обработку табличной части для установки цен, она прочитает файлик и всё разложит по полочкам, всего то делов.

А почему файлик на 500к, а справочник на 200к? Не все данные грузятся или там дубли?

+не забыть что в табличной части документа может быть только 100 тыс строк

(9) и открывается в клиенте такая установка цен (99к строк) на моем железе около 5 минут
мысли о том, чтобы его из клиента заполнять, не то что посмотреть открыть - даже не возникает

(0) загружать из файла по 99999 значений в тз, тз в запрос, результат запроса в тч документа установка цен.

(10) да, в типовых оч прекрасная форма документа установки цен.

(0) если прям вот руки чешутся автоматизировать, чтобы человекам и не надо было исправлять цены вручную, то рекомендую думать в сторону создания другого документа, ВнешняяУстановкаЦенНоменклатуры, у которого будут только движения в РС.ЦеныНоменклатуры, но не будет отображения номенклатуры и цен в клиенте (максимум в виде простой статичной таблицы)

Причина тормозов стандартного документа в том, что он слишком универсальный.

(13) без отображения это хорошо, статичная таблица это плохо, заколебется программа представления показывать)
Тс, надо копать в эту сторону

http://catalog.mista.ru/public/98398/

(8) когда-то имел дело с автозапчастями (TecDoc) так там объемы прайс-листов измерялись несколькими DVD-дисками
поставщик шлет все цены, а не только на те запчасти, которые продаются в данном магазине

моя задача как раз была в том, чтобы помножить эти DVD на ассортимент магазина менее чем за неделю, которую они тратили вручную на это

(9) А пользователь на что? Ручками могут поделить на 5 файлов :)
Ну или сделать обработку, которая будет делать 5 установок цен.

(0) Я бы забивал построчно

(17) но там может быть до 499999 дублей!!1

(19) Ну, дубли отработать - это ваще не вопрос!

у нас более 200К номенклатуры.
могу сказать, что в подобных задачах критичны в контексте затрат времени по приоритетам
1. поиск номенклатуры
   способ оптимизации: перед операцией загрузки запросом выбираем(УИД потом получаем) из номенклатуры два поля
   ссылка и "ключ поиска". Ключом поиска может быть УИД, Артикул, ...
   Далее формируем соответствие где клчю - наш ключ, а занчение ссылка.
   можно сохранить это ств в файл потом получить их файла не суть, можно сразу в память.

   тогда поиск номенклатуры идет очень быстро
   тСсылка = Ств.Получить(тУИД);  
   тСсылка = Ств.Получить(тАртикул);

2. при загрузке данные бъем на порции и обрабатываем в несколько фоновых потоков
   Тут мне лень детализировать...

Думаю хватит и п.1. чтобы мир стал светлее.

(3) готовь 75к )))

(0) а что делал или что думаешь делать?

(23) делала....
из экселя грузила все 500 тыс строк в ТЗ
потом голову долго ломала как сделать быстрее
- тупо поискПо реквизиту не спасает (он первый находит)
-другой вариант думаю временные таблицы сделать
клеит ТЗ1 и ТЗ2 по артикулу, где ТЗ1 - это артикул и цена из файла, а ТЗ2- артикул из справочника

(3)  за что 75к?

(25) Там - за всё!"

(24) Закинь ТЗ в запрос и подыщи номенклатуру для артикулов.

(1) Маня уже не с нами (((

(27) процесс может быть циклический.

допустим, мы получит извне файл с 500К записей или 5КК - не суть, очень много.
сразу после получения в один проход получаем артикулы из нее
далее по данным из базы приемника в один проход сохраняем на диск соответствие.

далее, как писал, при циклических загрузках, обрывах и т.д. грузим данные по этим эти 5КК в приемник
с мгновенным поиском товара в приемнике
СтвПоИсточнику.Получить(тАртикулИзИсточника) и не насилуем приемник раз за разом запросами, вт и прочим

это реально быстрее.

(29) Так не делайте его циклическим, левое соединение по артикулу отработает быстрее чем отдельные запросы по каждой строке, а фильтр по неопределено (нет такого артикула в базе) упростит код.

(0) Я думаю что надо нанять программиста.
Можно и Маню если лишние $ есть.

А так простейшая задачка, 500к файлик закидываем в sqlite внешнюю базу, подрубаем ее к 1С и тупо делаем запрос в цикле по номенклатуре из 1С.
В смысле берем каждую нашу номенклатуру в 1С и ищем ее запросом в sqlite, если нашли то пишем в документу.

На практике надо подобрать (оно зависит от много чего вплоть до погоды на улице) некий параметр N, по сколько записей номенклатуры брать разово для поиска запросом в sqlite и записи в документу установки цен.

(32)+ Можно кроме файлика 500к выкинуть и всю номенклатуру в 200к в sqlite и сделать кроссзапрос между этими табличками.
Тут проблема что (в отличие от выше) если частая установка цен, то каждый раз всю номенклатуру обновлять в sqlite а это долго.

Как обычно Гариком пишет хрень.

(34) Это не хрень а нормальное по скорости работы решение.
Все прочее если поиск/сопоставление делать внутри 1С сильно тормозней.

(35)+ Да при наличии серверной 1С можно запустить параллельно фоновыми с его помощью, но нагрузка будет охеренная.
Подходит только для крупный контор, но в подобных конторах вопросами типа как ТС и не заморачиваются.

(0) Варианта два
- пихать в ВТ и соединять (возможно файл брать порциями)
- номенклатуру в соответствие и цикл по файлу