Продолжение темы БП. Как ускорить закрытие периода?

Имеется 75000 контрагентов-физлиц, не ИП. Надо заменить их на одного контрагента. Один из этапов - удалить 500000 документов.
На это дается всего 2 часа (не спрашивайте, откуда такая цифра).
Клиент-серверный вариант. MS SQL. Сервера 16х1.4Ггц, RAM 32ГБ.

Есть мнение, что за 2 часа это сделать нереально. А каково по вашему мнению реальное время?

(0) а зачем удалять? ты их ещё сворачиваешь(объединяешь)?

(1) Да. Вместо нескольких тысяч реализаций и оплат за месяц, надо сделать по одной реализации и одной оплате.

штатно не выйдет...

только удаление помеченных объектив на 0.5 ляма будет идти больше 2х часов

(2) Во-первых, тут многое будет зависеть от дисков, имхо, а про них ничего не сказано, во-вторых, мне кажется, объединять при загрузке будет быстрее, чем хреначить 500000 документов, а потом из удалять.

Сначала более 4 суток подготовки, и затем

(4) Это надо сделать в прошлых периодах в текущей базе.

может быстрее в пустую базу только нужное

(6) Значит таки реально удалить за 2 часа? Что для это надо сделать за 4+ суток подготовки?

(0) А может просто движения поправить? Зачем удалять?

Ну, если написать годный скрипт на T-SQL, то

Мда... Тут лёгкая атлетика уже не поможет.
Тут только тотальная диспансеризация и детоксикация...

(5) А подготовка зачем? Достаточно непосредственное удаление использовать.

(7) Пробовали. Конвертация умирает на загрузке только справочников контрагентов и договоров. 250000 контрагентов (без физиков), еще больше договоров.

(0) а может и 30

(13) типовая да... тут как раз нужна самописная, на текстовых файлах с правильной транзакцией

(10) Тут уже делали так. База после этого, мягко говоря, заглючила.
Требуется надежное решение.

(16) "База после этого, мягко говоря, заглючила"
Мягко говоря, тех, кто это делал, нужно было уволить.
Жёстко говоря - пристрелить...

(17) Уже уволили. Не хочется уйти вслед за ними :)
Я считаю, что неплохо знаю структуру БД 1С, но не решусь удалять данные непосредственно в SQL.

(13) под конвертацией имеется в виду выгрузка по правилам обмена?
Или ВыгрузкаЗагрузкаXML тоже пробовали?
Откуда ограничение 2 часа?

Если документы проведены, то мне кажется без шансов за сутки удалить.

(18) А я считаю, что я плохо знаю структуры БД 1с 8*, но при необходимости выполнять такие операции - возьмусь, сделаю и всё будет работать, как часы "Командирские".

документы надо удалить выборочно или все определеного вида?

(19) > под конвертацией имеется в виду выгрузка по правилам обмена?
Да

> Или ВыгрузкаЗагрузкаXML тоже пробовали?
А как это поможет?

> Откуда ограничение 2 часа?
Некоторые считают это реальным, причем только средствами 1С.

Документы проведены.

(21) Несколько видов. Реализация, СФ, оплата, корректировка долга, может еще что-то забыл.

(22) я думаю, ВыгрузкаЗагрузкаXML будет заметно  быстрее чем обмен по правилам

(22) Ну, если удалить именно документы - попробуй непосредственное удаление в монопольном режиме.

(22)
>Документы проведены.
Отключение итогов может ускорить удаление на порядок, только последующий расчет итогов может занять более 2 часов

(15) Самописная конвертация? Рассматриваем как вариант.
На какое время можно выйти в этом случае по Вашему мнению?.

Блин, да сделай в конце концов РИБ, и в файловой периферийное базе, размещённой в Рам диске проверки свои опыты, потом обмен между базами и все. Никто даже не заметит...

(28) Обмен тупо свалится по недостатку памяти.

(29) 64битный сервер не свалится. Настроить правильно транзакции и периодичность обменов.

(28) Не вариант. Происходит, как в (29). 64-битный сервер 32ГБ ОЗУ. Оптимизация обмена - это уже другая история.

Еще подсказывали что отключить регистрацию в журнале на массовых таких операциях

(32) Сделали. Помогает, но не сильно.

(0) Удалять непосредственно движения документов, при чем паралельно на разных таблицах.
Выпилить все срабатываемые события и блокировки (например, временно накатив подготовленную заранее конфу), а не просто обменданными.загрузка = истина.

(27) все кроме проведения доков будет ок

скажем на нормальном обычном компе (файловая на ssd) до 100 записей (элементов справочника или документов) в секунду при загрузке (и правильно подобранной транзакции)

(0) За два часа завалить базу - легко! Заказчику надеюсь вы сказали чем вся эта спешка обернется? Если нет, то надо бы сказать.

(10) Конечно же надо учитывать, что скрипт должен чистить еще и движения удаляемых документов (если есть). Плюс надо учесть, что на удаляемые документы может что-то ссылаться. К примеру, Поступление может фигурировать в качестве парии для какой-нибудь Реализации или Комплектации, а Реализация - выступает основанием Счета-Фактуры.

А особенно круто, если удаляемые документы могут ссылаться друг на друга, и плюс НА какие-то из удаляемой связки может ссылаться что-то, что нельзя удалять - тогда получается, что нельзя удалять всю связанную группу. Представляете себе алгоритм решения такой задачки?

(37) лисапед... в смысле уже писалось и не раз "быстрое удаление" "связанных объектов"

все делается через списки (можно - низзя) и поиск ссылок

(0) А не быстрее будет в чистую базу залить без этих 500 000 доков?

А можно ли так?
Делается полный бэкап и копия базы средствами SQL.
На копии неспеша удаляются документы.
Потом в копию средствами SQL загружаются изменения из рабочей базы.
Рабочая база подменяется копией.

Можно удалить штатными средствами
1  Без перехода в монопольный режим по 1 штуке как это сделано в УТ11. Займет времени 500 тыс секунд = это около 1 года
2. В монопольном режиме удалять порциями по 20 тыс документов. Займет это часов 10 - 15
3. Написать обработку по поиску объектов без ссылок. За час она найдет все объекты без ссылок. Потом в монопольном режиме можно удалить эти объекты стандартным способом за пару часов.
  
  Хочешь я тебе напишу внешнюю обработку по удалению большого числа объектов с контролем ссылочной целостности с минимально возможным временем нахождения базы в монопольном режиме.
    PS. Для 7-ки 500 тыс. документов удаляется за несколько часов :)

мы скульно удаляли 5 000 000  расходных перед обрезкой около
5 часов

там даже 5 мильенов с половиной было помоему

Если (0) надо пометить на удаление эти 500 тыс. документов, то это сложнее. Типовым способом на это уйдет от 10 до 100 суток. Если через SQL час. Но с учетом того, что на 8-ке нет 1С++ , то это почти не реально.

Короче, если (0) задает такие вопросы, то автор не удалит 500 тыс документов :)

(0) Можно не удалять, а просто в фоновом режиме постепенно заменять несколько на один и помечать на удаление. Монопольный режим тут не нужен, постепенно удалятся.

Может съесть слона по кусочкам.
1. Ввести нужный остаток где надо (можно за два часа).
2. Удалить что не нужно (несколько суток).
3. Получить что причитается (до нескольких часов).

я немного поработаю телепатом...

у автора розница, весь квартал оформляли на разных физиков...
сейчас время сдачи НДС, а проверка ругается на не заполненное ИНН,
кто-то умный сказал - оформляйте все на Иванова, у него ИНН есть и все пройдет....

а документов дофига и времени в обрез...

способ реально только один
1. отключаем итоги
2. запускаем 10 сесий, каждая обрабатывает документы которые заканчиваются на цифру номер сесии (от 0 до 9)
3. устанавливаем пометки проведения
4. после в одной сесии генерим новые документы и их проводим
5. сдаем НДС
6. в фоне удаляем помеченные на удаление объекты в течении месяца...

(48) Тут и телепатом не надо быть, чтобы понять - ТС НДС не сдаст их текущей базы. Нужно выгрузить реализацию и уже в ХМЛ заменять значения физика, или в самой декларации при сдаче. Короче решений масса, но они вне текущей базы.

кстати есть такое решение

на копии всех физиков банально изменить на одну фамилию и один ИНН, а потом по кодам вернуть взад...

вся прелесть - не надо документы ни удалять ни новые делать...

(50) реально минут 300 займет...

30

(0) Легко до 2 часов. TSQL в помощь.

(53) ты за 2 часа напишешь и отладишь скрипт который корректно удаляет документы, движения и при этом все с контролем ссылочной целостности?

(54) Задача не написать скрипт за 2 часа, а чтобы он отработал за эти 2 часа

(50) а не проще поменять только в одном месте? в месте проверки

Если ПустаяСтрока(ИНН) Тогда
ИНН=ИНН_Одного_Физика_С_ИНН;
КонецЕсли;

(54) Набрать по видам документов ссылок во временную таблицу, проиндексировать и написать delete по всем регистрам(по виду регистратора) по регистратору с join по временной таблице? Да пожалуй что смогу...