2 базы ERP, в одной больше номенклатур  чем в другой.


нужно выяснить на какие номенклатуры отличаются и догрузить их . Загрузка есть, это не сложно.

кончено здорово было бы сделать 2х сторонний обмен КД3. но это разовая акция.

как лучше сделать.
1 выгрузить номенклатуры в xml и сравнить 2 xml. очень долго.

2. развернуть SQl и там сравнить.

3.. еще варианты.

(0) в xls + ADODB  + обработка сравнения

(1) xls ??

да он там умрет
xml  файл то формируется в 60 ГБ.

номенклатур многА!

ручками

(2) а что ещё форум должен угадать ?

(4) если было бы мало, я бы не спрашивал.
(3) смишно .

(5) сиквел

(6) да вот склоняюсь к этому варианту.

главное чтоб ADODB   быстро отработал в выгрузку.  


строкаПодключения = "driver={SQL Server};server="+ стрПараметры.серверИмя +
                        ";uid='"+ стрПараметры.серверПользователь +
                        "';pwd='"+ стрПараметры.серверПароль+
                        "';database="+ стрПараметры.серверБаза +
                        ";trusted_connection=yes";
    АДОДБКоннект = Новый COMОбъект("ADODB.Connection");
    Попытка
        АДОДБКоннект.ConnectionTimeout = 0;
        АДОДБКоннект.Open(строкаПодключения);
        Возврат АДОДБКоннект;
    Исключение
        Предупреждение("Невозможно установить соединение с SQL-сервером " + стрПараметры.серверИмя + " " + ОписаниеОшибки());
        АДОДБКоннект.Close();
        Возврат Ложь;        
    КонецПопытки;

думаю что то вроде этого.

Эта задача делается просто, пишешь обработку с COM соединением, выясняешь общие параметры(например код), пишешь запрос
"ВЫБРАТЬ
|    Номенклатура.Ссылка
|ИЗ
|    Справочник.Номенклатура КАК Номенклатура
|ГДЕ
|    Номенклатура.Код = &Код"
Проверяешь по условию если есть, идешь дальше, если нет то так же через COM создаешь новую номенклатуру "Соединение.Справочники.Номенклатура.СоздатьЭлемент();", попутно проверяя это группа или нет, и заполняешь параметры, у меня таккая обработка есть, писал как-то для похожей ситуации, правда базы разнородные были

(8)  COM соединением? я думаю  это будет делаться месяц.
В курсе, что Комы не поддерживаются 64 платформой.

(9) О каком количестве идет речь?

(9) В курсе что поддерживается 64 платформой

(9) также базы SQL на одном сервере находятся ?

(9)[В курсе, что Комы не поддерживаются 64 платформой.]
тебя обманули

(10) 800 тыс.
(13) хмм возможно .  но Если сравнивать Ком с Адодб. явно будет быстрее даже на том же xls.

(12) нет.

(14) >>Если сравнивать Ком с Адодб. явно будет быстрее даже на том же xls.

ерунда

(16) ты бредишь

Быстрее всего будет выгрузить два файла в CSV, загрузить их в Access и там сравнить запросом.

(0) была подобная задача, справочник номенклатура около миллиона записей. Через запрос MS SQL синхронизация заняла около одной минуты, так что я за п.2
запрос в духе insert ... from select ... where not EXISTS (select...)

(0) А сравнивать номенклатуру по каким полям будешь?

800 тыс в 60 гб????
Кучеряво живёте :)

(18)+ Вместо MS Access можно использовать любой SQL сервер с которым лучше знакомы.

(18)  CSV 60 ГБ?? он просто вывалится.
(16) http://catalog.mista.ru/public/64883/ не ерунда,  вот провели эксперимент.

(23) Куда вывалится? HDD/SSD у тебя вывалится из системника да?

Построчно пиши. В файл, текстовый. С расширением CSV. По формату.

(21) это по минимуму характеристик. да когда то, загрузили все запчасти с дуру, от жадности.

как начинаешь говорить, что там 80  процентов ненада. сразу вопли нам все ннннада!!

(24) с ошибкой по памяти. (20) характеристики  и еще парочка. по минимуму.

(24)+

Файл = Новый ЗаписьТекста(ИмяФайла);
Файл.ЗаписатьСтроку("Привет!");
Файл.ЗаписатьСтроку("Как дела?");
Файл.Закрыть();


Вот это тебе позволит хоть несколько террабайт забить на диске, если файловая система может.

(26) Тупица. Извини сорвался.

Но реально вводит в недоумение когда человек с такой полоской и "типа программист" показывает такие проблемы в базовых знаниях.

ПОСТРОЧНАЯ запись в текстовый файл, сразу на диск. Какая еще к черту память?

(29) Долго будет построчно. Наверно лучше порциями по метров 10 хотя бы.

(30) А вот это уже оптимизация, причем размер порции можно на лету подбирать динамически засекая время.

Я бы через КОМ сделал, но не поэлементно дергать, а запросом с примитивными типами вытащил в таблицу значений и её сериализацией перебросил через КОМ. И далее дело техники, сверка справочника с таблицей.

(32) Как думаешь результат запроса где хранится? Учитывая чего то на 60 гигов?

(30) вот именно.
(29) ты сам то такие эксперименты производил Чудише.
записать то запишет, но не факт что потом он откроется.

(34) Рука лицо.

Ну делай файлы по полгига или по 100 метров и потом из по очереди и скорми в SQL.

(32) звучит как правильный вариант.

(36) Ыыыы

(33) Справочник вряд ли больше сотни мег. Всё в память спокойно влезет.

(37)+ Потому что если на сервере >64Gb RAM то может и взлететь ))

(35) слава богу дошло.

не все так просто.

думаю буду переводить в SQL. по кусочкам.

(38) Возьми длины строк кода и наименования (учитывая что каждый символ 2 байта) и умножь на 800 тысяч.
Если кроме кода и наименования еще чего то надо то добавь в формулу расчета сколько надо памяти.
Ну и плюсом служебные в двойном запасе.

(41) Ну тогда ой. 800 тысяч записей это не для сериализации, точно) Тогда фрагментами.

(40) В SQL запросом сравнить не предлагать ?

(43) А кстати можно на одном SQL сервере сравнить 2 таблицы из разных баз одним запросом?

(44) Можно

(44) Зависит от sql сервера но обычно можно

Выгрузить первые 100 кодов номенклатуры

SELECT TOP 100 [_Code] FROM [_BASE_1].[dbo].[_Reference32] WHERE [_Code] NOT IN (SELECT [_Code] FROM [_BASE_2].[dbo].[_Reference32]);

(44) Только сначала надо выяснить в какой табличке хранится на сервере номенклатура в этих двух базах и какие нужны поля.
Ну и довольно часто 1Сников напрямую к sql серверу боевому не подпускают, чтобы не ипортили.

(47) Если нет во второй таблице

Про поля дополнительные не забудьте и про критерии сравнения.

(43) сначала нужно выгрузить, потом сравнить.

(41) 800тыс, наименование гдето 100 байт, получается 80 мб умножить на 2 = 160. (38) прав, в принципе.

(48) это противоречит Лицензионному соглашению.
(50) в чтоку.
(52) посчитай еще поле описание, и характеристики. и 2 кода.
* на 10 получится.

Создать sql скрипт который выгрузит что есть в первой таблице и отсутствуют во второй по кодам и загрузить куда что  в какую базу не хватает если ---> Загрузка есть, это не сложно.

(54) да думаю, так и поступлю.

(55) Реквизит добавь в 1С для номенклатуры и sql скриптом сразу установи для дублей как надо

(56)+ Только все эксперименты не на боевой базе 1С а на копии на том же sql сервере

(57) это и так понятно.
(56) а вот реквизит низя. увы.

(53) в запросе вы не будете выбирать поле Описание. Максимум Код и Наименование - это где-то 160 мб. Мизер.

(58) Пиши в любой существующий текстовый, числовой или булевый, но надо чтобы в основной таблице для простоты а не доп.реквизиты в связанной.

(59) про нормирую и буду Увы. до 800, или сколько то там знаков. + Характеристики + Ед изм.
много там. у некоторых есть спецификация в фото, но слава богу их мало.

(61) как вы фото будете сравнивать? по распознаванию отдельных фигур на рисунке?

(62) Это уже надо ИИ внедрять. Отдельная тема.

(62) нет по индентичности. хотя нет наверное не буду сравнивать.

нужно что то типа, если 2 одинаковых элемента у одного есть фото у другого нет.  (значит нужно добавить. )

(64) Можно конечно считать в SQL контрольную сумму строки таблицы, убрать несопоставимые данные. Лично не пробовал, но как вариант сранения в двух базах

Ждем следующую тему, догрузил номенклатуру, как вернуть обратно ;-)

(офф) Читал ветку и думал: "По каким полям (минимальному набору) идентификация идентичности будет?" Имхо, этот вопрос ещё никто толком не копал. А он крайне важен.

(67) несомненно .
(66) смешно .

(68) Отвечу на твою задачу, как БА- ответ на тип сравнения находится в должностной инструкции к системе по заведению справочника номенклатуры, если она актуальна

Если не актуальна, сбор технологии заведения справочника займет от 3-х дней до 2 недель, и после этого можно будет ставить задачу программеру,

написание что обработки, что КД, 16 часов с тестированием

Ну это мое оценочное суждение по масштабам бедствия

(69) 2 недели + 16 часов. ??

охренеть,  я уже почти все сделал.

(71) Это же отлично

отпишись когда из "почти все сделал" будет стоять в продакшене ;-)