График и время загрузки http://plasmon.rghost.ru/45330010/image.png
В пустую базу УТ грузит 29 000 записей в течении более 2 дней.
Транзакция есть.

Посоветуйте, что можно сделать?

ps на сколько помню происходит загрузки и сохранение всех записей регистра сведений (на графике именно оно и изображено по Y)

можно код сюда выложить

(0)
Как грузит? В какую УТ? Какая платформа? Какое железо?

зы. ну сколько можно такие бестолковые темы создавать...

Повторы = 0;
Добавленно = 0;
   
НачатьТранзакцию();
Для Каждого Стр Из Товары Цикл
   Если ЕстьНоменклатура(Стр.No) Тогда
       Повторы = Повторы + 1;
   Иначе
       ДобавитьЭлемент(Стр, Идентификаторы, ПеременнаяЗаполнятьОписание, НовыйЭлементЦен);
       Добавленно = Добавленно + 1;
   КонецЕсли;
КонецЦикла;
ЗафиксироватьТранзакцию();



Процедура ДобавитьЭлемент(Элемент, Идентификаторы, ПеременнаяЗаполнятьОписание, НовыйЭлементЦен)
   НовыйЭлемент = Справочники.Номенклатура.СоздатьЭлемент();
   НовыйЭлемент.Артикул = Элемент.No;
   //также и все остальные значения
   НовыйЭлемент.Записать();
КонецПроцедуры



Товары - ТаблицаЗначений

(2) Простите! Просто хотел найти совета в общем, а не в конкртном случае.

Как грузит? - внешняя обработка
В какую УТ? - Управление торговлей, редакция 11.1 (11.1.1.5)
Какая платформа? - 1С:Предприятие 8.2 (8.2.17.169)
Какое железо? - Dual-Core 2.6Ггц, 2 гб оперативной

что в ЕстьНоменклатура?

(0) купи у Мани обработку

(5) Запрос на проверку по артикулу

(4) ну вот это ЕстьНоменклатура() тормозит

надо сразу всю номенклатуру найти в одном запросе, а потом по списку ненайденных добавлять новую.

Вот осталось включить замер производительности и понять что тормозит

перед записью объекта вначале

обменданными.загрузка=истина;

Чтобы получить совета в общем или конкретном случае - необходимо подробно описать ситуацию.

29 000 записей - это впринципе совсем не много, и должно загружаться за пару минут.

Внешняя обработка грузит откуда? Как быстро происходит чтение из источника? Если убрать транзакцию - время изменится?
Замер производительности что показывает, на какой процедуре дольше всего происходит выполнение? В файловом/в серверном вариантах есть различия? Загрузка под полными правами?

Это минимум информации.

убери транзакцию

грузи в 4 потока

загружал на днях 5тис. за пару минут, поиск по коду на уникальность, и без транзакций

Не верю, что даже запрос в цикле с поиском по артикулу может выполняться 2 дня для 29 тыс. строк....
Даже если не запросом, а обходить выборку справочника - должно быть быстрее =)

(15) там накладные расходы на поддержку транзакции, которая все больше и больше

(8) (9) Вот как раз таки по замеру производительность и смотрел, ЕстьНоменклатура() за милисекунды.

А вот ОбщийМодуль.УправлениеДоступомСлужебный.Модуль - НаборЗаписей.Записать() тормозит (представленно на графике по Y)

(11) Внешняя обработка грузит откуда? - XML
Как быстро происходит чтение из источника? - минуты 2
Если убрать транзакцию - время изменится? - без транзакции раза в 2 медленнее

На время загрузки отключай еще такое:
+из конфигуратора все логирование кроме ошибок
+проверь что версионирование не включено
+отключить все регл.задание, особенно слияние и построение полнот.поиска

(17) тогда (10) читайте.

(10) +100500

если RLS есть, то грузить под пользователем с полными правами

или установитьПривилегированныйРежим какой-нить

(10)(20)(21) "обменданными.загрузка=истина;"
Переменная не определена (обменданными)

Можно подробнее

НовыйЭлемент/J,vtyLfyysvb

Процедура ПередЗаписью(Отказ)
   ОбменДанными.Загрузка=истина;
конецПроцедуры

или в обработке перед
объект.ОбменДанными.Загрузка=истина;

объект.записать();

Попробуйте базу протестировать (проверить целостность и перевыгрузить) , подобного рода фигня была когда была повреждена одна из таблиц. Причем все хорошо было только тормозило на подобного рода операциях.

1. загрузить данные в ТЗ.
2. проиндексировать ТЗ
3. выполнить запрос к ТЗ и соединить со справочником номенклатура по артикулу
5. обработать результат, создать номенклатуру при необходимости.

(10)(20)(21) + (23)
т.е.

объект.ОбменДанными.Загрузка=истина;

объект.записать();

+

УстановитьПривилегированныйРежим(Истина);

сократили время с 55 секунд до 47 секунд за одну запись ((

(27) База чистая на старте, а время с каждым разом росло.

(29) включи отладку на сервере и сделай замер

(31) чего именно замер?

(31) Все тоже самое так и тормозит

(32) загрузки первой 100 номенклатуры

и вообще - сделаю удаленно за $$

Жесть жестяная. (0) Если используешь транзакции, то их надо фиксировать каждые 100-500 (примерно) записей. Загнать 29 тысяч, а потом всё разом попытаться записать на 2 гигах оперативки... ну ты и садист :-)

(29)15 % для тебя мало?
арендуй мощный сервак.

обработка - нетленка небось, почему не пользуешься готовыми ?

а простая интерактивная запись/gthtpfgbcm номенклатуры не тормозит?

(35) хочу понять "почему", а не результат получить (если уж никак не получится то пусть как будет)

(37) 15% это больше случайность чем реальные цифры

Когда приходилось пачками удалять документы (тысячами ) фиксировал транзакцию через каждые 500 записей , иначе был подобный результат. Это правда было на УТ 77

(42) А какая разница? Восьмёрка ещё больше памяти жрать будет, так, что 2 дня это чувак ещё легко отделался ;-)

Давай коннект, H A D G E H O G s придет на помосчь.

Да я просто хочу понять зачем "ОбщийМодуль.УправлениеДоступомСлужебный.Модуль - НаборЗаписей.Записать()" сначала читает всю номенклатуру а потом (тут же) ее пишет. Именно этот процесс занимает такое количество времени. Остальные несовершенсва кода на замер производительности не влияют.

(40) не мне же ей пользоваться ))

(45) я думаю, там немного выше по коду написано, почему так

Открыл конфу, открыл ОМ ииии, не нашел УправлениеДоступомСлужебный.

Быть может, дело в том, что у меня типовая УПП и в ней нет такого копрокода?

(45) Счаст я надену телепатический обруч (на пузо) и сразу все тебе объясню.

(48) Управлние торговлей - ОбщиеМодули - УправлениеДоступомСлужебный
(49) Вопрос и был "никто не знает почему/не сталкивался с таким"

Опять мимо, Акелла.

Нет (уже) такого модуля.
Но судя по артефактам в виде закомменченного куска в ОМ
СтандартныеПодсистемыПереопределяемый, такой модуль когда-то был.

Но нет теперь. Все, не успели. Аля-улю!

УТ 10.3.21.2

(52) У него Управление торговлей, редакция 11.1 (11.1.1.5)

Да сколько же их!

(52) )))
Кто промахнулся??

Грузить на сервере, без регистрации в планах обменаа в режиме ОбменДанными.Загрузка

Брррр, открыл УТ 11.
Конфигурация, созданная на погибель человечества.

В стандартной 11.0.9 "УправлениеДоступомСлужебный" нет.

а что за наборзаписей? какого регистра?
(у меня в УТ 11 7000 ном-ры создаются с 0, без ОбменДанными.Загрузка, за минут 15)

(56) "без регистрации в планах обменаа" - это как??

прошу прошения. сейчас поставил везде (у каждого элемента)

объект.ОбменДанными.Загрузка=истина;
объект.записать();

и все круто 29 минут.

Всем спасибо огромное за помощь!

РегистрСведений.ГруппыЗначенийДоступа
вот эта гадость появилась после обновления на 11.1
отрабатывает, даже если RLS не используется о_О
и реально тормозит загрузку

хотя ОбменДанными.Загрузка решает, да:)

гы, еще одно подтверждения что УТ11 для крупных фирм, :)

(64) + знающих толк в извращениях:)