Всем привет.
Проблема в организации выгрузки из СТАНДАРТНОЙ УТ 11.1 в СТАНДАРТНУЮ БП 3.0
Сразу оточню - вариант клиент сервер. Релизы последние.
Обмен организован через локальный каталог, через файл обмена.
Объем данных - гигантский, за весь 2013 год.
Выгрузка в файл обмена шла 10 часов. Размер xml файла 3,5 Гб.
Загрузка в БП идет несколько часов после чего вышибает с ошибкой "Недостаточно памяти". Ни один элемент не создался.
Пробовал на двух разных компьютерах, с последней платформой (правда 8.2).
Сейчас запустил на еще одном с 64-х разрядным скулем и 32Гб ОЗУ.
Кто-то сталкивался с проблемой обмена при таком объеме данных?

(1) Напрямую в базу грузи. Это первый вариант.
Второй вариант - модернизируешь обработку, чтобы сбрасывала кэш в базу.

(1) напрямую так же вылетит
выход грузить частями

(2) частями если только дорабатывать обмен. там можно задать только начальный период, конечный - никак.
Неужели в 1С не рассчитан обмен на такой объем?
Чтобы было понятно: интернет магазин, 200 тыс. наименований, около 350 документов в день, что должны быть переданы в УТ

(3) я свой обмен писал, правда в двойку

(4) из-за чего? просто не устраивал типовой? или та же причина, что и у нас?

(5) и не устраивал, и валился на больших данных

вот блин тебе и масштабируемость. как быть тогда крупным компаниям? когда нужен функционал УТ 11, а обмен с БП не работает. УПП, КА - не вариант (слабоваты они в торговле). Уверен, что должен быть типовой выход, но немогу его найти. Сам программист, и могу дописать, но дело принципа. Вдруг где-то сам ошибаюсь, и все работает на самом деле

да уж :).
может проще надо быть и главное оперативнее, а не грузить потом весь год :)))).
грузить надо сразу .ввести признак выгрузки ( при желание запретить редактировать выгруженные, ну или сделать так что перегружало, выгружало при редактировании). пользователь захотел нажал и загрузил все что было не загружено ранее.
а так конечно сейчас надо делать кусками с периодом и признаком на будущее. если вдруг вставят задним числом что.

Ты правила сохрани и в универсальный обмен их, там резалка на порции есть, в чем проблема? Но скорее всего дело не в БП.

ут11-бп30 умеет настраивать выгрузку разных объектов? типа "контрагенты - выгружать, только по ссылке, не выгружать"?

(9) не в бп конечно же просто человек забывает что у всего есть ограничения. мистическая цифра 3.5Гб как бы намекает на то что тут размер влияет и даже не на уровне 1С на уровне работы самой ОС. хотя думаю и в 1С есть ограничения.

(9)Универсальный обмен в формате xml о чем - нибудь говорит?

(12)->К (10) конечно же)

(7) Ничего дорабатывать не надо: попробуйте обменяться только справочниками (если необходимо, сбросив регистрацию документов). Потом регистрируйте нужные документы по нужным периодам и обменивайтесь. Файл 3,5 Гб 1С может не прожевать, т.к. весь файл в оперативной памяти.

(8) Клиенту об этом твердили весь год. Ну вот к концу года они поняли и теперь будут переплачивать ))

(10) да там стоит отбор справолчников только используемых в документах. левых - нет

(11) у 64-х разрядной системы на клиент-сервере и файловой системе ntfs ограничений по размерам файла нет

(12) конечно говорит. только интересно следующее. передам первую партию большую универсальным. потом начнет на небольших объемах каждодненых работать типовой. но сопоставление идет по внутренним идентификаторам и оно не будет зарегистрировано. замучаешься сопоставлять, т.к. из практики на автомате только процентов 60 сопоставится

(14) а вот сбросить частично регистрацию - вариант. и передать типовым обменом по кускам. спасибо за идею. попробую отпишусь.

(17) ыыыы у ОС то нет ...
только вот процесс записи в файл без коммита (если не знаешь что такое коммит то почитай на вики). или по 1Сному процесс сервера не может просто разместить все в памяти т.к. кроме размера в 3.5Г ему еще надо кучу временных данных хранить и все это в памяти... че он и ругается что ее не хватает. он пытается загрузить все 3.5г и эти 3.5г превратить в данные для записи которые наверно занимают еще теже 3.5г условно и только после того как все загрузит он будет это дело записывать....
все-таки 1С это вам не оракл

Ребята (ДЗ) =) Норм с моего аккаунта писать на мисту?

Сразу скажу за ребят: Это правила косячные стандартные. Их нужно "крыжить"

(22) правила нормальные типовые. тестил на маленьких объемах. все отрабатывает на ура

Дело не в объёме а в данных