Имя: Пароль:
1C
Как страшно жить
Обмен во многа баз, на 90% идентичные данные.
0 bolobol
 
12.12.13
16:29
Приветствую, товарищи!

Обмен. Обмен нужен гипер_оперативный, но... данных многа. Многа данных, из которых 90% идентичные для всех баз, выгружаются из центральной. Как бы так извернуться, чтобы 90% идентичных данных выгружались один раз и для всех периферийных?
Варианты?

8.2, обмен по правилам через файл, регламентное задание.
1 Волшебник
 
модератор
12.12.13
16:29
заведи план обмена
2 bolobol
 
12.12.13
16:31
(1) Так всё по плану. В плане ж каждый узел прописан, кому и что изменилось и выгрузить нужно. И каждому одно и то же, как правило.
3 EugeniaK
 
12.12.13
16:31
(0) Баз сколько?
4 bolobol
 
12.12.13
16:33
(3) 57 и их количество растёт.
5 EugeniaK
 
12.12.13
16:34
(2) Теоретически можно в одном из планов обмена все базы назвать одним именем узла, тогда они будут корректно считывать один и тот же файл обмена.
Только с контролем получения данных проблемы будут. Первая база отписалась об успешной загрузке и центральный узел считает сообщение полученным.
6 Волшебник
 
модератор
12.12.13
16:36
(5) Можно удалять регистрацию изменений, когда последняя база подтвердит получение
7 mistеr
 
12.12.13
16:37
(0) Зачем так изворачиваться?
8 EugeniaK
 
12.12.13
16:37
(4) На самом деле ставьте нормальный сервер с быстрым ССД-диском, тогда пофиг, сколько баз.
У меня достаточно долгое время на поддержке была РИБ из 160 узлов. Корректно обновлялись.
Принципиальных проблем не вижу.

Можно со временем подумать о древовидной иерархии РИБ, но это не принципиально.
9 EugeniaK
 
12.12.13
16:41
(7) Чтобы не плодить сотню одинаковых файликов.
10 Fragster
 
модератор
12.12.13
16:41
(0) выгружай данные параллельно, и пофигу, для скольки баз.
11 bolobol
 
12.12.13
16:43
(8) Проверял скорость диска на запись - 80 МБ/с. То есть - выгрузка должна за секунды записаться, а по факту 30-40 минут на 57 баз и до 2-3 часов. А если периферия не успела ответ записать о приёме - выгружается повторно и так до посинения. Итого - часами обмен не проходит. Тут ещё и синхронизацию бы куда-то залепить - выгрузка следующего пакета, лишь при получении периферией предыдущего.
12 Fragster
 
модератор
12.12.13
16:44
можно ввечти промежуточный уровень - 1 - 8 - 64 баз
13 bolobol
 
12.12.13
16:44
(10) А параллельно - несколько регламентных заданий делать надо или фоновые плодить одним регламентом?
14 Fragster
 
модератор
12.12.13
16:45
(13) как тебе больше нравится
15 Волшебник
 
модератор
12.12.13
16:45
Сделайте впн и цитрикс, работайте в единой центральной базе.
16 Fragster
 
модератор
12.12.13
16:46
(15) ну да, сделай так, чтобы в 57 точках не было проблем с интернетом :)
17 Fragster
 
модератор
12.12.13
16:47
дальше 300 км от москвы/питера это реально сложно.
18 EugeniaK
 
12.12.13
16:47
(11) Обмен раз в сутки не подходит?
19 Волшебник
 
модератор
12.12.13
16:48
(17) Можно прокинуть оптоволокно или радиоканалы
20 pavig
 
12.12.13
16:49
"Тут ещё и синхронизацию бы куда-то залепить - выгрузка следующего пакета, лишь при получении периферией предыдущего."

(11) в УПП например есть галочка в настройках обмена "Выгружать данные только при успешной загрузке"
сдери оттуда
21 EugeniaK
 
12.12.13
16:49
(15) Скорее всего точки достаточно мелкие.
Магазинчики или сервисные центры.
Нереально обеспечить всем нормальную связь.

У нас треть точек на мобильных модемах жила. По два часа файлик с обновлением копировался. Но жили и обновлялись.
22 bolobol
 
12.12.13
16:53
Сразу прошу извинять, что я оцениваю только отрицательные стороны, но это значит, что остальные отрицательные я не вижу))

1-8-64 - не прозрачно, регламенты так затупают странно, что иногда сутки проходят, пока до кого-нибудь дойдёт, что обмен не полный.

Интернет есть, но он крайне неустойчивый в отдельных местах, и, порою, его тупо нет или загружен обменом других информационных систем. Короче - медленно.

(20) А вот "выгружать при успешной загрузке" где-то видел. Спс!" Реально работает? Принцип не пойму
23 pavig
 
12.12.13
16:57
(22) а хз, не смотрел.
24 bolobol
 
12.12.13
16:58
(20) Принцип не понимаю вот в чём: как понять, что загрузка никогда не произойдёт, например - удалился файл обмена из-за сбоя сети. Тут нужно мониторить только эту причину или ещё есть?
25 pavig
 
12.12.13
17:00
(24) скорее всего, любые исключения при загрузке файла обмена.
то есть пока ответ успешно не загружен - выгрука происходить не будет

и еще, сейчас посмотрел, это реализовано только для интерактивного обмена

для фонового вроде это итак должно работать, если и загрузка и выгрузка выполняются в рамках одного задания
26 Fragster
 
модератор
12.12.13
17:04
(22) 1-8-64 работает у меня на >60 баз, время прохождения полного обмена <2 часов :)
27 bolobol
 
12.12.13
17:07
И, кстати, да - ведь не только выгруженный файл может пропасть, но и файл ответа тоже. Страшна ли при этом повторная регулярная выгрузка файла ответа с периферии(?) Он, как правило, не более 15 метров.

У нас обмен запускается через каждые 10 минут. И пользователи ждут, что за 20 минут у них должен полноценный обмен пройти, но увы...
28 pavig
 
12.12.13
17:08
(26) а чем такая схема лучше по сравнению с параллельной выгрузкой?
ну просто интересно
8 узлов промежуточной базы выполняются на том же сервере, что и центральная база, то есть ресурсы-то жрать будет столько же, но + обмен этих 8-и узлов с ЦБ...
или я чего-то упускаю?
29 Fragster
 
модератор
12.12.13
17:09
(28) тем, что выгружаю 8 обменов, они там дальше на другом сервере. а параллельно выгружать 8 проще, чем 64
30 Fragster
 
модератор
12.12.13
17:11
+ они логически объединены таким образом, что много данных первого уровня общие именно для узлов второго уровня, общих для конкретного узла первого уровня.
31 bolobol
 
12.12.13
17:12
Где бы ещё 8 серверов взять... а на одном серваке и с одним обменом не справляется, ну, быстро-быстро не справляется. Хотя, я попытаюсь сделать параллельную выгрузку, а вдруг - взлетит! Проц и на 15% на серваке не занят. Диск быстр. Где тупит - не ясно.
32 Fragster
 
модератор
12.12.13
17:17
(31) замер производительности, только тссс!
у меня с помощью галки "повторное использование возвращаемых значений" в нужных местах получилось ускорить в разы выгрузку
33 Advan
 
12.12.13
17:20
Разбей обмен на 2-3 плана обменов - те для справочников создай свой план, для документов свой. по справочникам делай пару раз в день, по документам постоянно по кругу. Чревато конечно битыми ссылками.
34 rsv
 
12.12.13
17:20
(0) Есть один способ .... отказаться от  распределенки и  работать в одной базе .
35 rsv
 
12.12.13
17:21
+(34)  Сразу и говорильня на N постов отпадет .
36 Fragster
 
модератор
12.12.13
17:23
(34) при надежности канала в 99% для 50 точек уже получаем 60%
37 Fragster
 
модератор
12.12.13
17:23
99% надежность у одной точки
38 Fragster
 
модератор
12.12.13
17:23
для 100 точек - 36%
39 mistеr
 
12.12.13
17:23
>Обмен нужен гипер_оперативный
>Интернет есть, но он крайне неустойчивый в отдельных местах, и, порою, его тупо нет
>пользователи ждут, что за 20 минут у них должен полноценный обмен пройти

У вас, похоже, проблемы не с самим обменом, а в консерватории что-то не так. А значит, как не пыжься, только крайним выйдешь. Рассматривайте проблему на более высоком уровне.
40 rsv
 
12.12.13
17:24
(36) А кто сказал что это бесплатно ?  Это ж не файлы по стране гонять через mail.ru  в рибе .
41 bolobol
 
12.12.13
17:25
(33) Чревато, да. К тому же - основная шляпа как раз в справочниках. И регистрах. Но не суть, мысль ясна - покурю.

(32) А замер выполнения регламентного задания, что на сервере выполняется, аналогичен будет простому запуску на том же сервере из под толстого клиента? Хотя бы в основной массе?

(34) Как это сделать?

(39) Тут не понял 00
42 bolobol
 
12.12.13
17:26
(32) или на сервак отправить выполнение, типа фоновый запуск сделать?
43 rsv
 
12.12.13
17:26
(41) Сначала выделить бюджет на каналы .
44 rsv
 
12.12.13
17:26
Если его нет ..... Выход - mail.ru
45 bolobol
 
12.12.13
17:29
(44) Почта - в смысле - гарантированное наличие письма, если смогло отправиться? 300-400 метров, правда, смущает для письма. Или я не так понял? По одному объекту кидаться?
46 Fragster
 
модератор
12.12.13
17:32
400 метров? пробовали архивировать, а?
47 Fragster
 
модератор
12.12.13
17:32
пц....
48 pavig
 
12.12.13
17:48
(29) а ну если на другом - то всё логично
49 pavig
 
12.12.13
17:50
(46) гыгы)))))
50 mistеr
 
12.12.13
18:00
(46) Интересно, чего ж там колотят на 400М за 10 минут? Ума не приложу.
51 bolobol
 
12.12.13
18:21
А я поясню: изменение условий расчёта документов. За 10 секунд проведения документа.
А архивировать мысль была, но почему по умолчанию не архивируется - это напрягло изначально.
52 Fragster
 
модератор
12.12.13
18:25
рукалицо... у тебя 400 метров в 5 сожмуться, и копироваться по инету нормально будет...
53 Fragster
 
модератор
12.12.13
18:25
*сожмутся
54 bolobol
 
12.12.13
18:29
Я бы попросил "рукалицо" пояснить - не пойму, что за предикат)

А мысль я уловил, отказываться даже вредно.
55 pavig
 
12.12.13
18:29
(51) нетленка? типовые вроде все архивируют
да и во всяком случае платформа сама zip поддерживает
56 Fragster
 
модератор
12.12.13
18:32
Чтобы обнаруживать ошибки, программист должен иметь ум, которому доставляет удовольствие находить изъяны там, где, казалось, царят красота и совершенство. Фредерик Брукс-младший