Имя: Пароль:
1C
1С v8
Синхронизация данных не справляется с БП Агрокомплекс
0 TrueIvan
 
23.09.20
07:13
Подскажите в какую сторону копать?
Из за большого количества проводок, документы из БП 3.0 очень долго выгружаются в центральную базу УХ. Прогноз передачи всего объема данных оценивается порядка месяца. Т.е. на этот период синхронизация данных будет работать только на передачу этих документов, что недопустимо.

Подробнее.
Агропромышленная компания занимающаяся растениеводством: Есть центральная база УХ(3.0.5.9) на платформе 8.3.16.1063 и несколько периферийных баз БП(3.0.81.25) на платформе 8.3.15.1830 с расширением отраслевого решения "Агрокомплекс".
Данные бухгалтерского учета из периферийных баз консолидируются в центральной посредством механизма "Синхронизация данных".

Проблема состоит в особенности распределения косвенных затрат. В течении всего года косвенные затраты аккумулируются на 25 и 26 счетах, а в конце календарного года происходит распределение на затраты основного производства(счет 20). Наверно, упоминание счетов особого значения не имеет. Здесь я хотел только сказать про особенность учета сельскохозяйственного производства, которое имеет годовой цикл.

В результате 31 декабря в базах БП формируется несколько бухгалтерских документов с огромным количеством проводок, которые по синхронизации данных передаются в центральную базу УХ. Передачи всего этого объема нет возможности дождаться, т.к. обмен блокируется для передачи другой оперативной информации на очень долгий срок порядка месяца.

Вопрос: какие варианты решения проблемы передачи большого объема данных существуют?

Хочу попробовать провести обмен через конвертацию данных.
Крайний вариант, в центральную базу не передавать все проводки, а только их результат(итоговые остатки), но для этого придется решать проблему не только технически, но и методологически, убеждая Заказчика смириться с отсутствием оборотов за период.
1 quest
 
23.09.20
07:42
Как вариант - выгружать только проводки. НСИ выгружать отдельно.
2 sikuda
 
23.09.20
09:08
1. А может при загрузке убрать этим проводкам флаг активности, чтобы не формировались итоговые данные по проводкам ;)
3 Bigbro
 
23.09.20
09:21
блокировка НА МЕСяЦ??? а я думал что встречал запущенные случаи...
4 Kesim
 
23.09.20
09:47
(0) свыше 1000 объектов уже вызывает тормоза, попробуйте в ручном режиме, снять все с регистрации и регистрировать и пушить по 500-750 объектов(всех типов) обмен пойдет быстрее , но требует чтобы кто то вручную его порционировал,
а в идеале - да - это не нормальный объем миграции, нужно группировать и укрупнять все что можно
5 Bigbro
 
23.09.20
09:52
если все настолько запущено - напишите свой обмен для передачи этой информации по проводкам "мега-документов". а в типовом отключите передачу этих данных.
6 TrueIvan
 
23.09.20
10:13
(4) спасибо за совет, пока вариант с группировкой данных кажется наиболее перспективным.
Разве что, получится сделать ручную обработку по проталкиванию обмена, как вы предлагаете.
7 TrueIvan
 
23.09.20
11:10
(2) Не очень понял такой подход. Разве это поможет сократить объем передаваемых данных? Мне кажется, передаваться, все равно, будет очень большой файл. Или я Вас не так понял?
8 Ёпрст
 
23.09.20
11:26
(0) сколько документов, сколько в среднем проводок в них ?
9 Ёпрст
 
23.09.20
11:26
в передаваемых данных ?
10 Ёпрст
 
23.09.20
11:27
И да..можно разделить, справочники ипрочие объекты передавать по правилам и часто, рибом передавать только документы и  не часто
11 TrueIvan
 
23.09.20
13:18
(8) тяжелых документов несколько, но даже один передается очень долго.
Проводок 400 тысяч штук в одном самом большом документе.

Параллельный перенос, тоже озвученный в (1), дельная тема, да.

В итоге, что я для себя вынес:
- рассмотреть вариант двух синхронизаций - для проводок и для НСИ. Рассмотреть самописный механизм обмена для проводок.
- Сгруппировать проводки на стороне источника и в приемник передавать результат этих проводок.
- проверить возможность ручного проталкивания, когда общий объем документов "порционируется" вручную.
Глупец, лишенный способности посмеяться над собой вместе с другими, не сможет долго выносить программирование. Фредерик Брукс-младший