|
Обмен во многа баз, на 90% идентичные данные. | ☑ | ||
---|---|---|---|---|
0
bolobol
12.12.13
✎
16:29
|
Приветствую, товарищи!
Обмен. Обмен нужен гипер_оперативный, но... данных многа. Многа данных, из которых 90% идентичные для всех баз, выгружаются из центральной. Как бы так извернуться, чтобы 90% идентичных данных выгружались один раз и для всех периферийных? Варианты? 8.2, обмен по правилам через файл, регламентное задание. |
|||
1
Волшебник
модератор
12.12.13
✎
16:29
|
заведи план обмена
|
|||
2
bolobol
12.12.13
✎
16:31
|
(1) Так всё по плану. В плане ж каждый узел прописан, кому и что изменилось и выгрузить нужно. И каждому одно и то же, как правило.
|
|||
3
EugeniaK
12.12.13
✎
16:31
|
(0) Баз сколько?
|
|||
4
bolobol
12.12.13
✎
16:33
|
(3) 57 и их количество растёт.
|
|||
5
EugeniaK
12.12.13
✎
16:34
|
(2) Теоретически можно в одном из планов обмена все базы назвать одним именем узла, тогда они будут корректно считывать один и тот же файл обмена.
Только с контролем получения данных проблемы будут. Первая база отписалась об успешной загрузке и центральный узел считает сообщение полученным. |
|||
6
Волшебник
модератор
12.12.13
✎
16:36
|
(5) Можно удалять регистрацию изменений, когда последняя база подтвердит получение
|
|||
7
mistеr
12.12.13
✎
16:37
|
(0) Зачем так изворачиваться?
|
|||
8
EugeniaK
12.12.13
✎
16:37
|
(4) На самом деле ставьте нормальный сервер с быстрым ССД-диском, тогда пофиг, сколько баз.
У меня достаточно долгое время на поддержке была РИБ из 160 узлов. Корректно обновлялись. Принципиальных проблем не вижу. Можно со временем подумать о древовидной иерархии РИБ, но это не принципиально. |
|||
9
EugeniaK
12.12.13
✎
16:41
|
(7) Чтобы не плодить сотню одинаковых файликов.
|
|||
10
Fragster
модератор
12.12.13
✎
16:41
|
(0) выгружай данные параллельно, и пофигу, для скольки баз.
|
|||
11
bolobol
12.12.13
✎
16:43
|
(8) Проверял скорость диска на запись - 80 МБ/с. То есть - выгрузка должна за секунды записаться, а по факту 30-40 минут на 57 баз и до 2-3 часов. А если периферия не успела ответ записать о приёме - выгружается повторно и так до посинения. Итого - часами обмен не проходит. Тут ещё и синхронизацию бы куда-то залепить - выгрузка следующего пакета, лишь при получении периферией предыдущего.
|
|||
12
Fragster
модератор
12.12.13
✎
16:44
|
можно ввечти промежуточный уровень - 1 - 8 - 64 баз
|
|||
13
bolobol
12.12.13
✎
16:44
|
(10) А параллельно - несколько регламентных заданий делать надо или фоновые плодить одним регламентом?
|
|||
14
Fragster
модератор
12.12.13
✎
16:45
|
(13) как тебе больше нравится
|
|||
15
Волшебник
модератор
12.12.13
✎
16:45
|
Сделайте впн и цитрикс, работайте в единой центральной базе.
|
|||
16
Fragster
модератор
12.12.13
✎
16:46
|
(15) ну да, сделай так, чтобы в 57 точках не было проблем с интернетом :)
|
|||
17
Fragster
модератор
12.12.13
✎
16:47
|
дальше 300 км от москвы/питера это реально сложно.
|
|||
18
EugeniaK
12.12.13
✎
16:47
|
(11) Обмен раз в сутки не подходит?
|
|||
19
Волшебник
модератор
12.12.13
✎
16:48
|
(17) Можно прокинуть оптоволокно или радиоканалы
|
|||
20
pavig
12.12.13
✎
16:49
|
"Тут ещё и синхронизацию бы куда-то залепить - выгрузка следующего пакета, лишь при получении периферией предыдущего."
(11) в УПП например есть галочка в настройках обмена "Выгружать данные только при успешной загрузке" сдери оттуда |
|||
21
EugeniaK
12.12.13
✎
16:49
|
(15) Скорее всего точки достаточно мелкие.
Магазинчики или сервисные центры. Нереально обеспечить всем нормальную связь. У нас треть точек на мобильных модемах жила. По два часа файлик с обновлением копировался. Но жили и обновлялись. |
|||
22
bolobol
12.12.13
✎
16:53
|
Сразу прошу извинять, что я оцениваю только отрицательные стороны, но это значит, что остальные отрицательные я не вижу))
1-8-64 - не прозрачно, регламенты так затупают странно, что иногда сутки проходят, пока до кого-нибудь дойдёт, что обмен не полный. Интернет есть, но он крайне неустойчивый в отдельных местах, и, порою, его тупо нет или загружен обменом других информационных систем. Короче - медленно. (20) А вот "выгружать при успешной загрузке" где-то видел. Спс!" Реально работает? Принцип не пойму |
|||
23
pavig
12.12.13
✎
16:57
|
(22) а хз, не смотрел.
|
|||
24
bolobol
12.12.13
✎
16:58
|
(20) Принцип не понимаю вот в чём: как понять, что загрузка никогда не произойдёт, например - удалился файл обмена из-за сбоя сети. Тут нужно мониторить только эту причину или ещё есть?
|
|||
25
pavig
12.12.13
✎
17:00
|
(24) скорее всего, любые исключения при загрузке файла обмена.
то есть пока ответ успешно не загружен - выгрука происходить не будет и еще, сейчас посмотрел, это реализовано только для интерактивного обмена для фонового вроде это итак должно работать, если и загрузка и выгрузка выполняются в рамках одного задания |
|||
26
Fragster
модератор
12.12.13
✎
17:04
|
(22) 1-8-64 работает у меня на >60 баз, время прохождения полного обмена <2 часов :)
|
|||
27
bolobol
12.12.13
✎
17:07
|
И, кстати, да - ведь не только выгруженный файл может пропасть, но и файл ответа тоже. Страшна ли при этом повторная регулярная выгрузка файла ответа с периферии(?) Он, как правило, не более 15 метров.
У нас обмен запускается через каждые 10 минут. И пользователи ждут, что за 20 минут у них должен полноценный обмен пройти, но увы... |
|||
28
pavig
12.12.13
✎
17:08
|
(26) а чем такая схема лучше по сравнению с параллельной выгрузкой?
ну просто интересно 8 узлов промежуточной базы выполняются на том же сервере, что и центральная база, то есть ресурсы-то жрать будет столько же, но + обмен этих 8-и узлов с ЦБ... или я чего-то упускаю? |
|||
29
Fragster
модератор
12.12.13
✎
17:09
|
(28) тем, что выгружаю 8 обменов, они там дальше на другом сервере. а параллельно выгружать 8 проще, чем 64
|
|||
30
Fragster
модератор
12.12.13
✎
17:11
|
+ они логически объединены таким образом, что много данных первого уровня общие именно для узлов второго уровня, общих для конкретного узла первого уровня.
|
|||
31
bolobol
12.12.13
✎
17:12
|
Где бы ещё 8 серверов взять... а на одном серваке и с одним обменом не справляется, ну, быстро-быстро не справляется. Хотя, я попытаюсь сделать параллельную выгрузку, а вдруг - взлетит! Проц и на 15% на серваке не занят. Диск быстр. Где тупит - не ясно.
|
|||
32
Fragster
модератор
12.12.13
✎
17:17
|
(31) замер производительности, только тссс!
у меня с помощью галки "повторное использование возвращаемых значений" в нужных местах получилось ускорить в разы выгрузку |
|||
33
Advan
12.12.13
✎
17:20
|
Разбей обмен на 2-3 плана обменов - те для справочников создай свой план, для документов свой. по справочникам делай пару раз в день, по документам постоянно по кругу. Чревато конечно битыми ссылками.
|
|||
34
rsv
12.12.13
✎
17:20
|
(0) Есть один способ .... отказаться от распределенки и работать в одной базе .
|
|||
35
rsv
12.12.13
✎
17:21
|
+(34) Сразу и говорильня на N постов отпадет .
|
|||
36
Fragster
модератор
12.12.13
✎
17:23
|
(34) при надежности канала в 99% для 50 точек уже получаем 60%
|
|||
37
Fragster
модератор
12.12.13
✎
17:23
|
99% надежность у одной точки
|
|||
38
Fragster
модератор
12.12.13
✎
17:23
|
для 100 точек - 36%
|
|||
39
mistеr
12.12.13
✎
17:23
|
>Обмен нужен гипер_оперативный
>Интернет есть, но он крайне неустойчивый в отдельных местах, и, порою, его тупо нет >пользователи ждут, что за 20 минут у них должен полноценный обмен пройти У вас, похоже, проблемы не с самим обменом, а в консерватории что-то не так. А значит, как не пыжься, только крайним выйдешь. Рассматривайте проблему на более высоком уровне. |
|||
40
rsv
12.12.13
✎
17:24
|
(36) А кто сказал что это бесплатно ? Это ж не файлы по стране гонять через mail.ru в рибе .
|
|||
41
bolobol
12.12.13
✎
17:25
|
(33) Чревато, да. К тому же - основная шляпа как раз в справочниках. И регистрах. Но не суть, мысль ясна - покурю.
(32) А замер выполнения регламентного задания, что на сервере выполняется, аналогичен будет простому запуску на том же сервере из под толстого клиента? Хотя бы в основной массе? (34) Как это сделать? (39) Тут не понял 00 |
|||
42
bolobol
12.12.13
✎
17:26
|
(32) или на сервак отправить выполнение, типа фоновый запуск сделать?
|
|||
43
rsv
12.12.13
✎
17:26
|
(41) Сначала выделить бюджет на каналы .
|
|||
44
rsv
12.12.13
✎
17:26
|
Если его нет ..... Выход - mail.ru
|
|||
45
bolobol
12.12.13
✎
17:29
|
(44) Почта - в смысле - гарантированное наличие письма, если смогло отправиться? 300-400 метров, правда, смущает для письма. Или я не так понял? По одному объекту кидаться?
|
|||
46
Fragster
модератор
12.12.13
✎
17:32
|
400 метров? пробовали архивировать, а?
|
|||
47
Fragster
модератор
12.12.13
✎
17:32
|
пц....
|
|||
48
pavig
12.12.13
✎
17:48
|
(29) а ну если на другом - то всё логично
|
|||
49
pavig
12.12.13
✎
17:50
|
(46) гыгы)))))
|
|||
50
mistеr
12.12.13
✎
18:00
|
(46) Интересно, чего ж там колотят на 400М за 10 минут? Ума не приложу.
|
|||
51
bolobol
12.12.13
✎
18:21
|
А я поясню: изменение условий расчёта документов. За 10 секунд проведения документа.
А архивировать мысль была, но почему по умолчанию не архивируется - это напрягло изначально. |
|||
52
Fragster
модератор
12.12.13
✎
18:25
|
рукалицо... у тебя 400 метров в 5 сожмуться, и копироваться по инету нормально будет...
|
|||
53
Fragster
модератор
12.12.13
✎
18:25
|
*сожмутся
|
|||
54
bolobol
12.12.13
✎
18:29
|
Я бы попросил "рукалицо" пояснить - не пойму, что за предикат)
А мысль я уловил, отказываться даже вредно. |
|||
55
pavig
12.12.13
✎
18:29
|
(51) нетленка? типовые вроде все архивируют
да и во всяком случае платформа сама zip поддерживает |
|||
56
Fragster
модератор
12.12.13
✎
18:32
|
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |