Приветствую!

В 1С формируется таблица из 800k строк, которую нужно выгрузить в сиквел. Создание таблицы занимает 5 минут, построчный insert через COM - 5 часов, почему-то (убийственное время для столь незначительного объема данных) :(

Если у кого-то есть удачный опыт решения подобных задач средствами массового копирования с высокой надежностью - прошу поделиться. Можно даже без подробностей, просто в каком направлении лучше двигаться.

Теоретическая информация, пожалуй, не интересует.

база 1С серверная?

(0) копируешь что? Особенно круто если получаешь то что копируешь одним 1сным запросом. База серверная и на том же 1с.

Кури функцию bulk, она работает с массивами данных

Вот так:
BULK INSERT

чтобы построчности избежать - "булкин сёрт".
а, если база 1С серверая, то быстрее будет SQL-запросом напрямую select into

но вообще лучше отказать ся от затеи вскуль чо-тонапрямую писать - это от лукавого

v8: _SimpleKey и его установка

Обычно BULK INSERT загружаю в темповую таблицу индексирую а дальше применяю Merge

(0) пихай по 1000 строк

База серверная, но таблица собирается сложным алгоритмом и имеет критическую важность - даже если алгоритм можно реализовать одним запросом, понадобится серьезная отладка, а косяки в реальном времени грозят значительными убытками для компании.

Всем спасибо за советы. Идею про 1000 строк мне уже озвучил админ бд, но с "булкин сёрт" рекомендовал не связываться.

(0) А тебе обязательно построчно записывать? insert into ИмяТаблицыПриемника from (select ИменаПолей from ИмяТаблицыИсточника) не подойдет?

(9) как раз с BULK INSERT самое то

(9) булком кажется данные просто вливаются и все.. без всяких взаимосвязей и проверок..

C BULK может вылезти косяк - например, если символ разделителя встретился в текстовом поле. Это был основной аргумент против.

(10) Собирается таблица значений в 1С, в запрос её не вставить, к сожалению :)

символ разделителя можно самому задать при выгрузке и загрузке:
BULK INSERT EmployeeDB.dbo.Employees

FROM 'C:\Data\EmployeeData_n.dat'

WITH

 (
   DATAFILETYPE = 'char',
   FIELDTERMINATOR = '#',
   ROWTERMINATOR = '\r\n'
   TABLOCK

 );

(13) тз в файл выгружать, на сервере

можно и прям на сервере:

SELECT поле1, поле2
INTO НашаТаблица
FROM Таблица1С

(14) в таблице есть поле комментария, в котором может быть любой символ, теоретически.

а еще можно поместить ТЗ во временную таблицу, в результате она будет записана в темпдб  движком, нужно только узнать как она называется и выполнить команду select into from

(17) Ну и замени этот символ предварительно на другой. Поверь, всем будет наплевать если вдруг все ";" превратятся в ","

(18) Как назовёшь, так и будет называться :-)
Даю наводку: РЕГИСТР СВЕДЕНИЙ. Собирать данные не в какую то мифическую таблицу, а в регистр сведений, ну а далее по тексту, из одной таблицы перегрузить в другую средствами скуль сервера.

(19) и запретить ";" вообще в поле вводить?
(18),(20) спасибо, попробую

(21) Не важно. Можно во время сбора данных замену делать.

М... Да, наверное

(22) Не, мне идея с РС больше понравилась :)

Ток мне кажется, что РС сам по себе тормоз ещё тот. Может справочник использовать? В общем пробовать надо. В конце перегрузки грохать все записи тем же скулем, если ссылок на другие метаданные в 1С не будет, то наверное наплевать, что там унутре чё нить разъедется :-)

Расскажите, в каких условиях возникают подобные задачи? Только в разношерстной среде? Только в каких-нибудь холдингах?

Интернет услуги, биллинги, услуги связи, счетчики ЖКХ

2(25) в РС запись быстрее всего, даже быстрее чем в  справочник. См ветку про многопоточный тест производительности

а тормоз тот, у кого больше индексов и вспомогательных таблиц при прочих равных.

http://www.google.ru/search?newwindow=1&site=&source=hp&ei=ZT-fUcryE-io4gTn4ICwCQ&q=ms+sql+bcp&btnG=

(30) Спасибо, этот вариант тоже рассматривали, но пока отложили как не самый надёжный.