3 измерения, при записи делается отбор по одному из них.
В набор записей загружается таблица с > 500 000 записей. Скорость с которой записываются данные меня не устраивает.
За счет чего можно повысить скорость записи?

    НабЗапМобТоргВыгрузкаЦенНоменклатуры = РегистрыСведений.дик_МобТоргВыгрузкаЦенНоменклатуры.СоздатьНаборЗаписей();
    НабЗапМобТоргВыгрузкаЦенНоменклатуры.Отбор.Менеджер.Установить(Отдел);
    НабЗапМобТоргВыгрузкаЦенНоменклатуры.Прочитать();
    НабЗапМобТоргВыгрузкаЦенНоменклатуры.Загрузить(ЦеныСИдентификаторами);
    НабЗапМобТоргВыгрузкаЦенНоменклатуры.Записать();

УБрать
НабЗапМобТоргВыгрузкаЦенНоменклатуры.Прочитать();

подобрать размер транзакции,
в несколько фоновых заданий если клиент-сервер

(2) >>подобрать размер транзакции,
Что имеется в виду: SQL или количество записей?

(1) тогда же весь регистр затрется? Или ошибаюсь?
(2) это как? Записывать в транзакции через менеджер записи?

(4) ошибаешься, ...но это не поможет - тормоза же не на чтении, а на записи?

(4) если установили отбор, то затрутся записи только по установленному отбору, которые вы и так трёте)
записывать в транзакции через набор записей, но допустим не сразу 500 000, а по 100 000 (вот это количество вам и надо найти опытным путем).

(5)На чтение тоже уходит время, пусть и не такое большое, но всё же ;)

(6) а как писать набор из 2 записей которые идут в одномнаборе разными транзакциями?
ведь для этого надо разделить их по отборам.... или как?

пиши по 5000 без очищения набора.

(8) Записать(Ложь), не?

т.е. просто так взять и разделить 500 на 5 по 100 не очень-то и получится
нужно одно из измерений в отборе которое позволит разделить набор

а если это цены с измерениями:
Отдел и Номенклатура

по отделу 500 записей
а по номенклатуре - по одной

и как?

(10) ага

(11) не нужно

(11) просто так взять и разделить таблицу из 500 000, на 5 наборов по 100 000 очень-то и получится (цикл и запрос, как простейший вариант)
Просто сначала надо определиться какое кол-во записей в наборе оптимально, 100 000 это цифра с потолка)

(0) "Скорость с которой записываются данные меня не устраивает" - цифры в студию.

ИМХО Быстрее чем НаборЗаписей писать в базу только сиквелом напрямую

(16) Ещё ОбменДанными поставь, может побыстрее будет

Вариант поиграться еще с индексируемыми полями. Часть убрать, часть добавить.

Я через менеджер записи пишу, скорость порядка 50 записей в секунду. Имхо дергать набор записей каждый раз накладно выйдет.

Писать напрямую используя Merge
v8: _SimpleKey и его установка

(19) Насколько я знаю, менеджер записи внутри себя все равно использует набор записей - так что, я бы рекомендовал наоборот. Поправьте, если я не прав.

менеджер работает с одной записью, а набор со многими сразу

(0)создать записи в нужном количестве на 1С а потом проапдейтить на SQL

(22) Я имел в виду, что менеджер это просто удобная "обертка" вокруг набора записей и не рекомендуется его использовать с точки зрения производительности.

(15) 500 000 - 20 минут и это в тестовой базе, где ни кого нет

(25) База скульная или файло ? Какая скорость Вас устроила бы ?

(26) sql
1 секунда меня устроит :)

(27) Секунда не получится. У меня были прайсы по 4 миллиона, то через Merge апдейт был порядка 2 минут включая булк в темповую таблицу . А вот инсерт был уже порядка 2 минут. Правда общая таблица была около 60 миллионов записей.

Инсерт порядка 20 минут

(5) А на чтение время не тратится?

(21) Именно так пишут в книжках по 1С
(22) Менеджер работает с одной записью, но использует для работы НаборЗаписей

(30) зачем читать, если всё удаляется?

(0)bcp.exe
быстрее вряд ли что-то есть

(33) у кого-нибудь есть пример работы через bcp? кроме http://infostart.ru/public/238160/

ап.

Можно как-то ускорить за счет блокировок?

(35) Да никак . Копайте в сторону bcp. (34) Взлетело  ?

С точки зрения профайлера запись набора  выглядит  как порционная запись. т.е.  сервер приложений задумывается на N е время - потом идет запись . Потом опять думает - потом опять запись.

(0) что это за извращенная запись с отбором и прочитать.
Без них никак не обойтись? В лоб писать просто и все. Ну можно замерить - в транзакции по 1000 штук - возможно быстрее будет.

(38) проблема не в чтении, а в записи.
1С очень долго пишет десятки тысяч записей.

(0)
- опиши структуру регистра (со всеми свойствами у каждого измерения, ресурса, реквизита).
- подключена-ли таблица к планам обмена?
- при отборе по менеджеру в регистре уже есть записи по нему?

(36)>>Копайте в сторону bcp.
с чего вы взяли, что "В набор записей загружается таблица с > 500 000 записей" - это у них единая таблица в SQL?

(36) еще не смотрел.
(37) т.е запись в транзакции фикция т.к Sql сам решает когда и что писать?
(38) код запси в транзакции правльно написал

#Если Клиент тогда
    Сообщить("Начало очистки цен: " + ТекущаяДата());
    #КонецЕсли
    НабЗапМобТоргВыгрузкаЦенНоменклатуры = РегистрыСведений.дик_МобТоргВыгрузкаЦенНоменклатуры.СоздатьНаборЗаписей();
    НабЗапМобТоргВыгрузкаЦенНоменклатуры.Отбор.Менеджер.Установить(Отдел);
    ////НабЗапМобТоргВыгрузкаЦенНоменклатуры.Прочитать();
    //НабЗапМобТоргВыгрузкаЦенНоменклатуры.Загрузить(ЦеныСИдентификаторами);
    НабЗапМобТоргВыгрузкаЦенНоменклатуры.Записать();    
    
    #Если Клиент тогда
    Сообщить("Конец очистки цен: " + ТекущаяДата());
    Сообщить("Начало записи цен (" + ЦеныСИдентификаторами.Количество() +"): " + ТекущаяДата());
    #КонецЕсли
    НачатьТранзакцию();
    сч = 0;
    Для Каждого Стр из ЦеныСИдентификаторами Цикл
        МенЗап = РегистрыСведений.дик_МобТоргВыгрузкаЦенНоменклатуры.СоздатьМенеджерЗаписи();
        ЗаполнитьЗначенияСвойств(МенЗап,Стр);
        
        Если сч = 10000 Тогда
            ЗафиксироватьТранзакцию();
            НачатьТранзакцию();
            сч = 0;
            
            #Если Клиент тогда
            Сообщить(" Пакет: " + ТекущаяДата());
            #КонецЕсли
        КонецЕсли;
        
        МенЗап.Записать();
        сч = сч + 1;
    КонецЦикла;
    ЗафиксироватьТранзакцию();

(42)>>т.е запись в транзакции фикция т.к Sql сам решает когда и что писать?
у SQL свой механизм-оптимизатор записи, который да, ищет оптимальный вариант и при записи тоже.

(0) какая версия платформы и какой режим совместимости используется?

(40) 3 измерения, 4 ресурса, 1 реквзит. Измерение Менеджер проиндексировано.
к планам обмена не подлючено
Перед записью данные уже имеются (т.е записывается на их место)
(45) 8.2.18,  без использования совместимости

(43) МенЗап.Записать(); выполняется в транзакции

(43) что за жуть "Если сч = 10000 Тогда "

(47) перенести, что в условие         Если сч = 10000 Тогда

Но тогда будет записываться только 10000-я запись...

(48) размер транзакции

сгруппируй свою таблицу по 3м полям измерений - сколько строк получится?

(41) Регистр в (0)  - одна таблица в скуле  . Предлагаю автору  как эталон  по времени "засунуть " данные в регистр напрямки . А потом сравнить время с  прикладным Записать().

Хотя на этот вопрос ответ в  (20) . Там и время уже приведено

(49) Если НЕ (СЧ % 10000) Тогда
и транзакции все равно вложенные

(54)
1c8 не поддерживает вложенные транзакции


Для каждого СтрокаТаблицы Из ОтражениеВУчетеНабор1 Цикл

    // Запись в регистр сведений
    СтрокаНабора = Набор.Добавить();
    ЗаполнитьЗначенияСвойств(СтрокаНабора, СтрокаТаблицы);
    СтрокаНабора.НПП = НПП;
    СтрокаНабора.Документ = Ссылка;
    Если нпп % 25000 = 0 Тогда
        Набор.Записать(Ложь);
        Набор.Очистить();
    КонецЕсли;
    НПП = НПП + 1;

КонецЦикла;

Если Набор.Количество() > 0 Тогда
    Набор.Записать(Ложь);
КонецЕсли;


(55) зато поддерживает ошибки в них)

(51) все уже сгруппировано. А иначе как бы записалось...
(56) спс. Попробую, но это же вариант без транзакции.
(43) чудо-юдо записывалось почти 2 часа. Жуть. В топку

Меня тоже огорчает скорость записи в 1С.
1 документ - 1-2 секунды.

(46) клиент-сервер, х64, ms sql какой?

(46)  3 измерения - они все ссылочные? там составной тип?

Менеджер - первое измерение в списке?

(60) 64 разрядный, 2008, ссылочные, без составных типов.
(62) Да, менеджер первое измерение

(63)
- запись идет на сервере (тонкий клиент) или на клиенте (толстый клиент)?

(43) если менеджер первое измерение (63), то можно отключить индекс по нему, так как у независимого рс кластерный индекс идет по всем измерениям.

(63) еще момент, когда идет запись 500к записей, сколько там уже записей есть?

еще можно ускорить запись в таблицы субд

уменьшив fill factor.

толко при расчете заполненности индекса нужно учесть прогноз увеличения таблицы, чтобы переполнение не наступило

либо периодически перестраивать кластерный индекс.

(0) почему не рассматриваешь совет в (2)
> в несколько фоновых заданий если клиент-сервер

?

(64) толстый
(65) примерно столько же с отбором по этому измерению
(67) Попробую, но после SQL. Можно программно создавать фоновые задания? Например у меня 10 отделов и на них надо 10 фоновых заданий.

вариант (56) то как?

(68) вот тут есть http://infostart.ru/public/173394/

(67)



без подбора размера транзакции бессмыслено
даже если разделить на не пересекающиеся потоки по КИ

(68) вариант с фоновыми не сделаешь, так как нужно будет все этот в логической транзакции поддерживать. Нужно тебе проведение этого документа вынести на сервер.

(58) еще вопрос, у тебя RLS используется на этой таблице?

(71) что такое потоки по КИ?
(72) у меня не проведение документа, а просто запись. Так, что транзакция одна.
Что такое логическая транзакция
(73) нет, РЛС тут нет

(74) если ты разнесешь все на несколько фоновых и какое из них крякнет, то тебе нужно откатить все назад в исходное состояние.

кстати еще неплохая идея думаю:
1. разбиение таблицы с 500000 строк на подтаблицы с уникальными наборами по первому измерению (менеджер)
2. запуск фоновых заданий в количестве уникальных первых измерений (менеджер) и передачи в них своей таблицы. запись набора внутри фонового задания.

таким образом ты пакет в 500000 записей разобьешь на N пакетов и запишешь параллельно

посмотри если есть доступ
http://kb.1c.ru/articleView.jsp?id=72

(74) провел тест на своем стенде (клиент-сервер, x64, ms sql 2008).

в базе 4 справочника (номенклатура, виды цен, сотрудник, валюта)
регистр сведений:
измерения
    сотрудник
    вид цен
    номенклатура
ресурсы
   валюта
   цена
  реквизит
   дата записи

работа идет через тонкий клиент
запись 218792 записей
запись с замещением 16507 мс (16.5 сек)
запись с предварительной очисткой по сотруднику и запись без замещения: 22452 мс (22.5 сек)

(78) что подтверждает мою мысль, что запись 500к записей не может идти более 30 сек. А уж разговора про 20 минут вообще не идет.

вообще, когда смотришь как 1с записывает данные в регистр становится страшно:
INSERT INTO _InfoRg9111 (_Fld9112RRef,_Fld9113RRef,_Fld9114RRef,_Fld9115RRef,_Fld9116,_Fld9117,_SimpleKey) VALUES(P1,@P2,@P3,@P4,@P5,@P6,@P7)
и так с каждой строчкой

но, очищает записи по отбору хоть человечески.
DELETE FROM T1
FROM _InfoRg9111 T1
WHERE T1._Fld9112RRef = P1

(79) может влиять, что записываю из внешней обработке (т.е выполняется на клиенте) и работаю на локальной машине?
В рабочей базе код будет выполняться в серверном модуле

Админ озвучивал мысль, что скорость упирается в жесткий диск. Это может быть?

(81) может, Для этого нужно смотреть нагрузку на сервере и смотреть на работу SQL сервера. Но, эту работу уже должен проводить админ. Основная мысль, что запись 500к в течении 20 мин не в 1с, а в другом.

(82) интересно сколько пишется записей при закрытии месяца и с какой скоростью...

(81) сделал замер на толстом клиенте (обычное приложение)
19.1 сек
23.6 сек

(80) почему страшно?

> но, очищает записи по отбору хоть человечески.
кстати, такая штука провоцирует эскалацию, местами
в отличии от одиночных инсертов

(85) считаем, что блокировки управляемые.

(86) если не ошибаюсь, здесь управляемые блокировки не помогут
т.к. в sql все равно будет выполнена та же самая инструкция delete

(87) нужно почитать про этот момент на ИТС

(88) что можно почитать по поводу диагности проблемы (с чем идти к админу)

(89) админ должен смотреть нагрузку на дисковую подсистему в момент записи (если он подозревает ее). Так же нужно смотреть что происходит на сервере SQL, возможно там проблемы.
подбора статей
http://www.gilev.ru/article/

(89) можешь начать с того, что сделать пустую базу с 4 спр и РС и катать туда данные. Если при устаовке на тот же сервер 1с и тот же sql сервер проблем не будет, то нужно смотреть в сторону обслуживания sql сервера.

(90) спс.

Conn = Новый COMОбъект("ADODB.Connection");
    Conn.Connectionstring = СтрокаКоннекта;
    Conn.ConnectionTimeOut = 600;
    Conn.CursorLocation = 3; //dUseClient
    Conn.IsolationLevel = 4096; //adXactReadCommitted
    
    Попытка
        Conn.Open() ;
    Исключение
        Сообщить(ОписаниеОшибки());
        
        Возврат Ложь;
    КонецПопытки;
    
        Conn.BeginTrans();
        СтрокаЗапроса = "
        | DELETE FROM _InfoRg7295";
        
        Conn.Execute(СтрокаЗапроса,,128);//adExecuteNoRecords(123)

на Conn.Execute( вылетает с ошибкой

Произошла исключительная ситуация (Microsoft OLE DB Provider for SQL Server): Время ожидания запроса истекло

получается, что реально SQL медленно работает? Как повысить время ожидания?

Conn.ConnectionTimeOut = 600;
?

(93) уже менял. Было 60

ConnectionTimeOut это для соединения с серваком.
"Indicates how long to wait while establishing a connection before terminating the attempt and generating an error."

Попробуй CommandTimeOut поставить.

BULK INSERT уже предлагали использовать?

(98) Да 20 28

96+ ПроUPDATEить кучу элементов одним запросом (прямые запросы)

(89) тебе и админу рекомендую
http://v8.1c.ru/metod/books/book.jsp?id=452

(95) спс. Помогло

100

(98) У меня стоит
Connection.CommandTimeOut=0;
    Connection.ConnectionTimeout = 0;
    Connection. CursorLocation= 3;

на сервере запись происходит гораздо быстрее

столкнулся с такой проблемой - конфликт блокировки. Но почему она возникла? Данные по этому измерению пишет только одно рег. задание. Чтение не выполнется. Может из-за объема данных (до 2,5 млн записей по этому измерения)

Надо в SQL 2008 изменить время ожидания для записи?

{ОбщийМодуль._Сервер.Модуль(2030)}: Ошибка при вызове метода контекста (Записать)
по причине:

по причине:
Конфликт блокировок при выполнении транзакции:
Microsoft SQL Native Client: Lock request time out period exceeded.
HRESULT=80040E31, SQLSrvr: SQLSTATE=HYT00, state=38, Severity=10, native=1222, line=1

для статистики надо анализировать сколько времени ушло на запись данных в регистр. Добавил реквизиты в регистр - Начало и КонецЗаписи.
Можно ли как-то быстро(!) после выполнения записи заполнить реквизит КонецЗаписи?
Мудить с журналом регистрации или другим регистром нет желания.

(104) Триггер на скуль повесь