Есть УППырище... База объёмная... Провожу РСВ.
Дохожу до места решения СЛУ, там, где она в РС УзлыКорректировкиСтоимостиСписания пишет данные для решения... И натыкаюсь на странный факт... 5000 записей в регистр записываются полторы минуты... Чтоза? Почему так? На сервере памяти много, диски SAS, процы тоже неслабые... А вот такая вот... Куда можно начинать копать?

Переиндексиовать базу, обновить статистики. Все как у Гилева на сайте.

(1) Индексация еженедельно (то есть этой ночью прошла), статистики все 4 раза в сутки обновляются с FULL scan

"попахивает кривым проектированием"

сливай состав и свойства РС в студию будем возить фейсам аб тейбал - будь мужиком не очкуй)

(0) посмотри, что там с основным отбором... может у тебя получается 5к наборов записывается

(3) А не меня нужно возить :-) А разработчиков с Селезнёвской :-))

http://pics.rsh.ru/img/uzly_rzuld.jpg

(4) регистр подчинён регшистратору. Количество смотрю по НаборЗаписей.Количество() перед НаборЗаписей.Записать(). Если этому верить нельзя, то кому?

(6) какие там с основным отбором и как пишешь, через менеджер записи или через набор?

а, у подчиненных нету основного отбора, да... тогда непонятно

причем такая мерзость...
http://pics.rsh.ru/img/msg_8lzep.jpg

сколько там наборов? может есть что в модуле нбора записей?

может блокировки? какой режим записи?

управляемый или автоматический?

одна ли транзакция?

(8) где-то так

НаборЗаписей = РегистрыСведений.УзлыКорректировкиСтоимостиСписания.СоздатьНаборЗаписей();
НаборЗаписей.Отбор.Регистратор.Установить(РегламентныйДокумент);
НаборЗаписей.Записать(Истина);
       
Выборка = Результат.Выбрать();
Пока Выборка.Следующий() Цикл
   НовыйУзел = НаборЗаписей.Добавить();
   НовыйУзел.НомерУзла = НомерУзла;
   НовыйУзел.Регистратор = РегламентныйДокумент;
   НовыйУзел.Период = РегламентныйДокумент.Дата;
   ЗаполнитьЗначенияСвойств(НовыйУзел,Выборка);
           
   Если НаборЗаписей.Количество() >= 5000 Тогда
       Мой_СообщенияИзФона.ДобавитьСообщение("", "ПроведениеРСВ", "Очередная порция записей корректировки, записей " + НаборЗаписей.Количество() + " / обработано " + КоличествоЭлементовВНаборе);
       НаборЗаписей.Записать(ложь);
       НаборЗаписей.Очистить();
   КонецЕсли;
КонецЦикла;    
       
  Мой_СообщенияИзФона.ДобавитьСообщение("", "ПроведениеРСВ", "Последняя порция записей корректировки, записей " + НаборЗаписей.Количество() + " / обработано " + КоличествоЭлементовВНаборе);
НаборЗаписей.Записать(ложь);
НаборЗаписей.Очистить();

Блокировки автоматические, транзакции нет, в модуле пусто

внимание вопрос знатокам: почему не пишешь одной порцией?

ну и да - лучше через Набор.Загрузить(Результат.Выгрузить())

(15) странный код, т.е. я хотел сказать стремный - я бы снял премию до НГ за такое

(19) Че странного?

(15) Покажи время самой последней записи, которая не 5000 элементов содержит

(15) Паралельными вычислениями занимаешься?

я бы профайлером покурил, как он номер строки определяет при Набор.Записать(ложь)... вполне может быть, что он сначала все читает, а потом все записывает

(22) параллельно это у него никогда незапишется

(17) Блокировки. Это всё в фоне на фоне :-) работы пользователей происходит

(19) Снимай. Адрес ты знаешь :-)

(25) переходи на управляемый режим, и забудь про блокиовки

(27)+ относительно, конечно...

(21) http://pics.rsh.ru/img/uzly1_vhiys.jpg

(20) набор бухнет и перезаписывается - образно это можно представить как ширик, который надувают и паникуют разорвет он вдувателя или нет)

делаем ставки!

(27) Не прокатит. Всё равно будут. Ибо это не документ с 2мя строчками. А РСВ за месяц.

(31) ну если тебя устраивает блокировка этого регистра на пол часика, то оно конечно, да. Пробовал писать одним набором?

(29) Глонасс какой-то. Последний несколько 5000-ников у тебя по 3-4 секунды пишутся. Не анализировал почему?

(32) меня не устраивает. Именно поэтому и пишу частями. Одним набором пробовал. На некоторых объёмах - просто захлёбывается и может висеть часами

(33) Дык я поэтому ветку и завёл, что сам понять не могу.

убери подчиненность регистратору, добавь поле "Регистратор" , "ведущее", поставь основной отбор по регистратору, периоду (если есть) и по какому нибудь одному разделителю, чтобы примерно поделить все на 20 кусков. хоть поле с типом "число" делай. тогда сможешь вообще фоновым одновременно все наборы записать

(36)+ как в v8: Эффективность фоновых заданий

(36) ... и забей на обновления :-)

(38) прям этот регистр так часто обновляется...

если свой колонку не добавлять, а основной отор у имеющихся ставить - то код в других местах вооьбще не надо будет менять

(39) Это круто. Только причину тормозов не выяснит.
Вернее, все бы было хорошо, если бы не последние строки в (29)

(39) Не часто, эт точно... Только если сделать так, то ещё куски придётся дописывать, и не факт, что не пропущу чего-то

(41) причина - чтение этого регистра в другой странзакции

Вброс)

с этим разбухаловом по-моему простая запись в цикле через менеджер записи отработала бы быстрее, чем колбасня с наборами по 5К. Ведь БД пофик на ваши методы, когда идет физическая забись она все эти кучи вынуждена сканить

надо (23)

(43) Ничкто его не читает в этот момент. Это точно.

(43) Так. Момент. У него же в одном фоновом эта вещь идет, последовательно. Кто еще читает в другой транзакции?

(47) да виг знает, кто-то отчет по стоимости впродукции какой-ниьт запустил...

лил бэкап инкрементальный раз в час

или дофига чего еще. лично мне в этой ветке интересно (23)

наводка

попробуй создавать переменную набора и в цикле, а не использовать объявленную общую перед ним. "чистая" переменная набора никак не будет модифицировать деструкторами и прочими не очевидными сущностями

(48) Этот РС ни в каких отчётах не используется. ТОлько для проведения РСВ. А его в базе запускают только 2 человека - я и ГБ. Его на работе нет.

(51) можно попробовать... Когда эта итерация закончится.

(50) Надо потестить.

Еще хочу у нас опционально запилить в толпе фоновых УдалениеДвижений по твоей идее, а может че придумать аналогичное для ЗаписатьНаСервере(), но там думать надо.

У нас 8.2 :-)

Да, 1с 8.2.13.219

Естественно, скуль. 64бит сервер, МССКЛ 2008R2

(55) если наборов много, то оно в проц сервера 1с упирается, у меня из-за этого все тупило. как сделал 3 "потока", заработало нормально

(59) А ЗаписатьНаСервере() не переводил?

(58) Попробуй 1 набор и не построчно, а Загрузить(Результат.Выбрать). Естесственно, в результат добавить нужные колонки.

(61) я ж говорю. На определённых объёмах (которых у меня в августовском периоде есть) оно просто затыкается.

(59)
ПолныеПрава.ЗаписатьНаборЗаписейНаСервере()

(63) Я вот про эту типовую процедуру

(62) может оно засвопивается просто? все равно я бы писал не по 5к, а по наборам измерений (по одному значению) и убрал бы цикл 1сный по каждой записи - он тормозит раз в 5

(65) Да ну там цикл заполнения вряд ли тормозит, об этом говорит 3 секунды записи последних 5000-х наборов.

(63) у меня нет такого - у меня адская самописка, в которой работает при этом в центре около 100 юзеров + в филиалах на файловых размером в десятки гигов по 5-10 юзеров... пытаюсь сделать так, чтобы все не умерло, особенно к новому году, когда за декабрь делается треть годового оборота

а сколько раз повторилась картина как в сабже - быстро, тормозит, совсем тормозит, снова быстро? может вспышки на солнце, реально?

(68) С тех пор как я вставил оный код, чтобы можно было мониторий - практически постоянно.

(69) вставь задержку в 1 секунду после записи набора, например через вызов веб странички, по последнему образцу из Книга знаний: Перепроведение документов в 1С:Предприятие без блокировки других пользователей

вдруг какой-нибудь кэш засирается и не успевает освободиться

ну и (23)

(70) дык там эта пауза есть, наверное... Пока очередные 5000 заполняются. А веб вызвать с сервера не получится, ему никуда ходу нет :-)

(73) шо, и ИИСа нет?

(74) а назафея он мне на том сервере? Да и вообще в сети?

просто может не хватает паузы. а веб сервер - потому что не знаю, как сделать на сервере 1с паузу нормально...

ну, попробуй сделать с загрузкой проца - что-то типа
ЦелевоеВремя = ТекущаяДата()+2
пока ТекущаяДата() < ЦелевоеВремя  Цикл ; КонецЦикла;

(77) посмотри, не станет ли "начало тормозов" не в 20к, а позже

попробую, когда эта итерация закончится. Не хочется прерывать, пусть считает пока...

(0) Во - первых, судя по картинкам 1,5 минуты пишется 85к записей. Во-вторых, цель какая? Оптимизируешь РСВ? И что, это самое узкое место алгоритма?

Глянул свою базу, у меня чуть меньше записей - 70к, РСВ после оптимизации считался 20 минут, имхо +-1.5 минуты не принципиально

(80) Не столько оптимизирую, сколько пытаюсь вообще сделать расчёт...
(81) а покажи мне результат выбрать количество(*) из РегистрНакопления.УчетЗатрат где ПЕРИОД МЕЖДУ НАЧАЛОПЕРИОДА(&НачДата, ДЕНЬ) И КОНЕЦПЕРИОДА(&КонДата, ДЕНЬ) за какой-нибудь средний месяц?

(79) попробуй пилить еще не по 5к, а по изменившемуся значению первого измерения, когда записей больше 5к

(82) А что это даст?

(84) сравнить объём расчётов...

(83)+ естественно, выборка должна быть отсортирована по измерениям в порядке их слдедования в конфигураторе

(83) первое измерение - это аналитикаВидаУчета, а их там всего 3-4...

(87) тогда по первому и второму...

и вообще - нет ли там "индексов" и "индексов с доп. упорядочиванием"?

(88) А по первому и второму - доза получится существенно меньше 5000 :-)

Для чистоты эксперимента, по той же организации и в том же месяце, где 70к записей в регистре Узлы корректировки, количество записей в рег Учет затрат регл = 5 334 775

(89) Индексы есть. По всем измерениям...

(91) Значит, аналитика менее развёрнутая, чем у нас...

(92) а запросы, которые их используют, есть?

жалко, что итерация такая долгая.

(94) а как же. В том же РСВ. Ведь туда данные пишут не для того, чтобы они просто лежали... Они потом активно в решении СЛУ используются

Начиная с 1.3.22 это регистр не используется

(93) Запрос показал не развернутость аналитики, а количество записей в регистре. Правильно будет сравнивать количество уникальных записей.

Скажи это процедуре
РешитьСЛУБезИспользованияВременныхТаблиц ОМ ОбщийМодуль

100

Офигеть, они осилили Гаусса-Зеделя.
Респект таким пацанам!

Я так понимаю что каждые 5000 записей отрабатывают с увеличивающимся временем? Судя по скрину (10)

(102) нет

(101) согласись что программировать четкую математиескую логику не так сложно, тем более что данные на входе не меняются, четкае дано, четкое решение, четкий результат

как там?

(105) плохо. Отвалилось на блокировках :-(
Перезапускаю уже с внесёнными изменениями...
Правда, теперь основное время - на распределении косвенных затрат... Продолжаю наблюдение.

(102) до определенного момента. Смотри скрин ниже.

хм.. Перезапустил с изменениями - тормозов нет...
ЧОртего знает...

(108) изменения какие? все-все-все?

нет, только паузу...

а, ещё, создание набора в цикле...

(111) осталось теперь убарть паузу и перезапустить ...

*убрать

(112) Посчитается - презапущу...

(114) ну чего там? интересно ж..

(115) читай выше - считает очень долго.

Разное время выполнения одинаковых запросов может быть из-за различия в структуре индексов, если выборка выполняется по различным данным.
А дисковая подсистема у вас исправна - может быть - обращение в одно место диска идёт медленнее, чем в другое ?

(117) Насчет дисков - не совем уверен - админ ну прямо как тот студент у доцента... А сам я туда не полезу. Хотя то, что дисковая очередб захлётстывает под 50 - уже о чём-то говорит...

(118) о_О

(118) Просто я видел диски, которые "очень странно работают" - у них время доступа возрастает в разы, а никаких ошибок в SMART-е не отображается.
Если RAID, то он работает со скоростью самого медленного диска.
Хотя, я даже не знаю, как можно реально на системе проверить скорость доступа к диску посекторно без запуска тестов.

(118) 50 - это типа на графике perfmon 50%, или это значение, которое в окошке под графиком справа рисуется?

(121) это типа число. Проценты от единиц я отличаю.

(120) Нет, на дисках с данными - не рейд.

(122) тогда это ПЦ

(123) Копию базы на рамдрайв или ссд для теста сможешь разместить и проверить для того, чтобы понять, что дело не в железе?

(125) нет. Памяти 32Г, вся забивается скулем и рпхостом.
(124) думаешь, диски дохнут и мне следует от души отпинать админа?

Кстати... По статистике скуля, темпдб по уровню использования обгоняет основную базу на 2 порядка...

(127) а он у тебя не на быстрых дисках, чтоли?

(126) ну, я ЕНИП больше 12 не видел- и тогда это было очень много одновременных запросов

(128) на SAS. Вроде достаточно быстрые выбирали.

а там на самом сервере дефрагментация не крутится или что еще крутое?

нет

(132) т.е. всю загрузку дает скуль?

кстати, физически скуль и 1с сервер на одной машине?

если есть доступ до сервака, посмотри process explorer'ом кто дает основную нагрузку на диск. вполне может быть, что это сервер 1с свопится, если это одна машина, так как скуль все сожрал

(130) ты бы выложил кривые монитора производительности на http://3nity.ru/viewforum.php?f=40&sid=9d0a13fba905d6e5c06476de83dd4c29

вдруг симптомы типовые ?

(133) сутя по всему - да. (все - это перфмон)
(134) да
(136) скуль память уграничен, основную память жрут рпхосты.
(136) хм.... Их поймать надо ещё :-) А за ссылку спасибо, буду ловить и шотить

(137)[скуль память уграничен, основную память жрут рпхосты. ]
ээ
а сколько же ты памяти отдал сиквелу и не свопингует ли последний ?

(138) гигов 20 отдал, не пожалел... При размере базы в 40.