Доброго времени суток.
Есть большая база с учетными данными серийных номеров (за 400000 записей).
Серийный номер вносится документом и дальше проходит процедуру обработки.
Что нужно сделать:
1. Есть список серийных номеров (можем грузануть из экселя не вопрос)
2. Нужно по параметру (есть гарантия или нет) из этого списка сделать отбор и все что не попадает под гарантию (серийники)просто удалить из документов прошлых периодов. Все что с оставшимися делать я уже знаю.

Прошу в общем то совета и мыслей как это реализовать на очень большом объеме данных.
База SQl с оперативкой и процом проблем нет. Важно время исполнения, так как процедура не совсем разовая.
Заранее спасибо!!!

хм... с другого конца зайти не пробовал? не добавлять ненужные данные

Требуется зачистить базу от доков, чтоб поменьше была, а то раздулась.

(2) И в чем трудность возникла? Что уже сделал, что не получилось?

Сейчас есть механизм удаления данных, но скорость обработки 100 серийников за 5 часов, ну совсем что то не так я написал.
Вот и прошу посоветовать гуру как лучше это все реализовать.

(4) >100 серийников за 5 часов
мужик! я так не смогу

Вот так вот удаляю.
К = 0;
   Для каждого Строки Из Номера Цикл
   К = К +1;
           Выборка = Документы.РеализацияТоваров.Выбрать();
           Пока Выборка.Следующий() Цикл // Цикл получения ссылок на документ
               Документ = Выборка.Ссылка;
                   // Ссылка получена нужно обработать табличную часть
                   Для каждого Стр Из Документ.Товар Цикл  // Цикл обработки табличной части
                       Если СокрЛП(Строки.Номер) = СокрЛП(Стр.SNKEY)Тогда
                           
                           ДокОбъект = Документ.ПолучитьОбъект();
                           // Ищем строку для удаления
                           ПараметрыОтбора = Новый Структура;
                           ПараметрыОтбора.Вставить("SNKEY", Стр.SNKEY);
                           НайденныеСтроки = ДокОбъект.Товар.НайтиСтроки(ПараметрыОтбора);
                           
                           ДокОбъект.Товар.Удалить(НайденныеСтроки[0]);
                           // Если удалили то запишем документ
                           ДокОбъект.Записать(РежимЗаписиДокумента.Запись,РежимПроведенияДокумента.Неоперативный);
                           
                       КонецЕсли;
                   КонецЦикла; // Цикл обработки табличной части
           КонецЦикла; // Цикл получения ссылок на документ
   Состояние("Обработано номеров в реализации: " + К + " Обрабатываем документ: "+Документ);
   КонецЦикла;
   ЭлементыФормы.УдаленыИзРеализации.Значение = Истина;

Верю, что код просто ... без слов.

(6) так я и думал - записываешь после каждого удаления

Суть то удаления верна? что нужно оптимизировать чтоб ускорить?

(9) запись после цикла делать?

на вот для примера. какашками не кидаться, написано на коленке для почти одного раза

Процедура КнопкаВыполнитьНажатие(Кнопка)
   док=ДокументУстановкиЦен.ПолучитьОбъект();
   й=док.Товары.Количество()-1;
   Пока й>=0 Цикл
       Состояние(""+й+"/"+док.Товары.Количество());
       стр=док.Товары.Получить(й);
       Если стр.ЦенаВРознице=0 Тогда
           док.Товары.Удалить(й);
       КонецЕсли;
       й=й-1;
   КонецЦикла;
   Попытка
       док.Записать();
       Сообщить("документ записан");
   Исключение
       Сообщить("ошибка записи");
   КонецПопытки;
КонецПроцедуры

Найти(), НайтиСтроки() покури

(4) Чувак, если у тебя документы проводятся по регистрам, то нужно делать запрос к регистру. Это раз.
Во вторых удалять только часть документа это... эээ... как бы не совсем методологически правильно.
Ну и в третьих. Само по себе количество учётных данных ни на что по гамбургскому счёту не влияет. Если ты думаешь, что обрезка базы решит какие то твои проблемы, то скорее всего ошибаешься.

1) не нужно записывать документ после удаления каждой его строки
2) документы записывать в транзакции пачками по сотне (скажем). Вообще, оптимальное количество операций в транзакции подбирается экспериментально под производительность сервака.

Спасибо Вам за советы.
Буду оптимизировать, "Wobland" - спасибо за пример.

И цикл обхода мне сильно не нравится. Сейчас у тебя один док может обрабатываться неоднократно, а проведение - самая длительная операция.
Я бы загнал все номера во временную таблицу и одним запросом получил все доки и строки, которые надо удалить. А потом быстренько пробежался с учетом уже вышесказанного.

А может разделить мух и котлеты? Сначала запросом (пусть даже по табл. частям) сделать выборку документов где встречаются "не нужные" номера, а потом уже обрабатывать их табл. части? p.s. номера не нужных строк этот же запрос тоже может вернуть и поиск не нужен.

Я сейчас попробовал сделать:
1. Установил конкретный интервал обработки документов (дата начала и дата конца)
2. Сделал выборку доков и все что мне нужно чисто запросом. Как показал эксперемент эта процедура бежит за 2 минут 100 серийников.
3. Получается нужно теперь только удалить ненужные строки в известных и отобранных документах (обработать их табличную часть.)

Покажи запрос...все равно как-то долго получается

Я уже нашел баг почему так долго выборка идет, поправил и все секунды пролетает.
Сейчас мозгую удаление строк из табличных частей отобранных документов.

Я помозгую, если не получится или будет долго то я выложу код на обсуждение.

(20) читал (12)?

а почему нельзя найти сразу в таблице Документы.РеализацияТоваров.Товар только нужные ссылки и строки?

(22) Зачем? Еще в запросе получить номера нужных строк и удалять их по номерам с конца.

пц! получить запросом номера всех строк, сгруппированных по документу, удалить в документах по индексу с конца...

ну чота я слоупок