|
Вопрос по Postgresql | ☑ | ||
---|---|---|---|---|
0
ВикторП
17.01.18
✎
12:29
|
Установил Postgresql - с сайта Postgres pro под Windows- самая последняя 9.6 для 1с.
Выполнил рекомендации из ИТС и gilev.ru/postgres. Что на ИТС, что у Гилева встречаются настройки, которых нет в конфигурационном файле, например checkpont_segmens . Из рекомендаций Гилева мне не подошла настройка effective_io_concurrency - c подобной настройкой PG не стартует. Сравниваю производительность баз данных под MS SQL и Postgresql , поэтому базы подняты с одного dt и выполняю одинаковые длительные обработки на одном и том же компьютере, обе СУБД на одном сервере. Вот что я заметил. Время выполнения на обоих СУБД почти одинаковое, MS SQL почти всегда быстрее , но не критично , примерно 10%, диски под MS SQL производительней, все файлы PG на одном диске, поэтому такая разница устраивает и понятна. НО... при втором, третьем выполнении этой же обработки, время на MS SQL уменьшается очень сильно, а на PG - уменьшения - нет .Вообще. Например , один тест - под MS SQL 10 мин- первый запуск, 7 минут - второй запуск. Под PG- все время 12 минут.(Времена округленные). второй тест под MS SQL первый прогон- 37, второй- 31 минута. Под Postgresql . Самый первый прогон - 50 минут, после vacuum full verbose analyze и изменения конфигурационнойго файла- 35 минут и на этом все, следующие прогоны вокруг этой цифры, уменьшения нет. Можно ли добиться использования кеша 1с настройками Postgresgl? Или это не кэш? |
|||
286
rs_trade
24.01.18
✎
14:36
|
(277) подскажи пожалуйста как у PG приятно настроить дифференциальные бекапы?
|
|||
287
ИТ директор
24.01.18
✎
14:49
|
(286) да все постгресисты-одноэсники такие постгресисты ниибацо что делают бэкапы через выгрузку в dt, а когда спрашиваешь за barman или backrest - "че-че? не, не слышал..."
Архивация WAL? - ессно архивы нужно снимать с реплики - не, денег на второй сервер нет, 2 раза в сутки дамп будем снимать (у архива валидации нет - да и ладно, куроводство сказало и так сойдет) Проблемы с pg_class при интенсивной работе - а что это такое о_О? вы всё передергиваете и фарцуете мс склем... |
|||
288
wayss
24.01.18
✎
15:02
|
(287) резервные копии средствами postgres, архивация WAL работает, реплика тоже работает. Проблем с Postgres не имеем уже 3 года на 5 серверах.
Разницы с производительность по отношению с MS практически нет (+/-) Работать через psqд вполне научились, системных представлений и лога вполне достаточно чтобы решать все проблемы с производительностью и не оптимальными запросами. Работает сервер на debian + postgres стабильнее, по крайней мере по части зависаний и перезагрузок. Крутится около 20 баз, их них 6 под активной нагрузкой. Что еще для счастья нужно? |
|||
289
ИТ директор
24.01.18
✎
15:09
|
(288) чтобы прийти к этому, нужно специально этим заниматься...как с MS - поставил, настроил и забыл - не получится
и обрати внимание с какими проблемами сталкиваются при нагрузочном тестировании MS https://www.youtube.com/watch?v=0KN5DdkbS2g PG https://www.youtube.com/watch?v=ID_W5nMi8cE PG без допила ядра и патчей вообще не взлетел |
|||
290
ИТ директор
24.01.18
✎
15:13
|
+(289) причем эти патчи и допилы могут быть не приняты сообществом и в ванильный Pg не войдут, их скорей всего воткнут в платный Enterprise
|
|||
291
wayss
24.01.18
✎
15:19
|
вторую ссылку я видел, они как раз сказали что в Enterprise патчи уже включены
Первую посмотрю, но 5000 пользователей это близко не наш уровень, поэтому совсем голова не болит по поводу того кто будет лучше PG или MS на 5к пользователей. Мы в свое время и на 50 MS SQL ложили;) |
|||
292
rs_trade
24.01.18
✎
15:20
|
(288) Разницы с производительность по отношению с MS практически нет (+/-)
И это при нулевых знаниях об ms sql. Откуда дровишки то про разницу? Когнитивные искажения? |
|||
293
ИТ директор
24.01.18
✎
15:25
|
(291) а сколько у вас активных пользователей?
|
|||
294
wayss
24.01.18
✎
15:36
|
(293) в основной 100, в других меньше.
Если база в которой до 40 млн записей в сутки, правда это база не связана с 1С. |
|||
295
ИТ директор
24.01.18
✎
15:38
|
(294) а у вас есть линукс админ+DBA?
|
|||
296
wayss
24.01.18
✎
15:47
|
(295) нет. Мы лет 6 назад пересадили ИТ отдел на ПК с linux + многие другие сервисы крутятся на linux, все с ним знакомы.
Сами сервера под Linux в обслуживании не нуждаются, только за свободным местом следим. Хотя есть один сотрудник, который Postgres начинал внедрять и лучше его знает. |
|||
297
ИТ директор
24.01.18
✎
15:50
|
(296) ясно, спасибо за инфу
|
|||
298
Вафель
24.01.18
✎
15:51
|
(296) и 1сные сервера на линуксе?
|
|||
299
ИТ директор
24.01.18
✎
15:52
|
(296) а, еще вопросик, у вас линуксовые сервера виртуальные?
|
|||
300
rphosts
24.01.18
✎
15:52
|
(287) не трынди! Если твоя любимая соска/barman/backrest никому не нужна - это значит только что она никому не нужна.
WAL архивация? Прочитал наконец-то что есть онлайн-бэкап... может следующий раз не будешь так глупо выглядеть. |
|||
301
Фрэнки
24.01.18
✎
15:53
|
(292) а чем тебе не нравятся "нулевые знания об мс скл" ? Его же никто знать не должен или как? Тут всем как раз в голову вбивают, что в отличие по постгри, не нужно ничего знать - все работает само, а не так, как в кривом халявном постгри. Поэтому, увы.
|
|||
302
ИТ директор
24.01.18
✎
15:55
|
(300) это не онлайн бэкап называется, а архивирование WAL
https://postgrespro.ru/docs/postgrespro/9.6/continuous-archiving так что глупо сейчас ты выглядишь |
|||
303
rphosts
24.01.18
✎
15:55
|
(289) для комплекта не хватает оракла, в среднем если активных юзеров >300 - оракл рвёт сиквел как тузик грелку
|
|||
304
rphosts
24.01.18
✎
15:56
|
||||
305
Вафель
24.01.18
✎
15:56
|
(289)на 1с?
|
|||
306
Вафель
24.01.18
✎
15:56
|
(305) к (303)
|
|||
307
Вафель
24.01.18
✎
15:57
|
(302) Так он же через pg_dump архивы делает. Зачем ему что-то еще )))
|
|||
308
rphosts
24.01.18
✎
15:57
|
(306) да, речь именно про 1с, до 300 активистов в базе не имеет никаких оснований для использования оракла, но далее...
|
|||
309
MrCoffin
24.01.18
✎
15:58
|
(289) Может плохие танцоры?
|
|||
310
Вафель
24.01.18
✎
15:58
|
(308) Кто тесты проводил? Есть публичная инфа?
|
|||
311
wayss
24.01.18
✎
15:58
|
(299) нет.так сложилось исторически что виртуализацией практически не пользуемся.
|
|||
312
ИТ директор
24.01.18
✎
16:00
|
(311) а 1С сервер тоже на линуксе?
|
|||
313
rphosts
24.01.18
✎
16:01
|
(299) например на лейзвийной циске у нас... но тут есть некоторые моменты в использовании с которыми я не согласен. Подробностей не будет, как минимум публично.
|
|||
314
Вафель
24.01.18
✎
16:09
|
(313) А циска уже сервера выпускает? что-то я отстал от жизни
|
|||
315
rphosts
24.01.18
✎
16:10
|
(314) очень давно.... но сцуко на мой взгляд они переоценены
|
|||
316
wayss
24.01.18
✎
16:22
|
(312) да, под виндой у нас только клиенты, и то не все.
|
|||
317
rphosts
24.01.18
✎
16:33
|
(316) год-два назад некто В.Богачев рекомендовал сервера 1С для нагруженных систем размещать только под окнами....
Нагрузка большая? Проблемы какие-то есть? |
|||
318
ИТ директор
24.01.18
✎
16:36
|
(316) И еще некто Лустин говорит что
"Однако там есть одна особенность – 1С-сервер лучше ставить все-таки не на Linux, а на Windows – из-за проблем с active directory и kerberos-библиотекой. Это связано не с Postgres, а с особенностью статической линковки библиотеки kerberos под CentOS, под Ubuntu и не только." https://habrahabr.ru/company/pgdayrussia/blog/331448/ Реально есть какие-то "особенности" и вообще о чем он?:) |
|||
319
arsik
гуру
24.01.18
✎
16:40
|
(318) Мне кажется какая то проблема может всплыть на уровне авторизации. Но не думаю, что такое может влиять на быстродействие.
|
|||
320
ИТ директор
24.01.18
✎
16:46
|
(319) вот поэтому и хочется услышать человека у кого всё работает в продакшене ;)
|
|||
321
wayss
24.01.18
✎
17:03
|
(318) с таким не сталкивались, может быть на очень нагруженных системах, но это пока не наш случай.
(317) проблем нет. Несколько тысяч документов в день, точных цифр уже не помню + активно пользуемся различными вед-сервисами из 1С ну и всякие регламентные задания, которых у нас достаточно. |
|||
322
wayss
24.01.18
✎
17:03
|
(321) веб.
|
|||
323
rphosts
24.01.18
✎
17:36
|
(321) ну документ документу рознь, тут оценить от чистого количество корректно не получится.
Веб-сервисы - это чисто обмен данными, вебморда, Rest/Odata? Какие-то доп. возможности используете кроме веба (риб, ком, внешние источники и т.п.)? |
|||
324
wayss
24.01.18
✎
17:42
|
(323) у нас сеть магазинов автозапчастей. Есть работа с веб-сервисами поставщиков, часть поставщиков присылают прайсы, которые парсятся, грузятся в отдельную БД и из нее погружаются в базы 1С, есть обмен с сайтом, правда трафик там небольшой,ну и по мелочи есть еще разные сервисы, которые из 1С используем, кроме того есть различные регламентные задания. Например у нас есть РС с текущей инофрмацией номенклатуры, куда каждые 10 сек записываются текущие остатки + всякая другая нужная информация
|
|||
325
rs_trade
25.01.18
✎
08:51
|
(301) Да просто радует логика чела. Я не знаю как это делают на сиквеле, но на слоне точно круче. Что-то из серии - не читал, но осуждаю.
|
|||
326
wayss
25.01.18
✎
10:33
|
(325) если про меня, то со всем что касается администрирования в ms sql знаком. Мы на sql до перехода на pg года 4 работали. И по поводу круче не нужно передергивать, хотя система резервирования на pg действительно круче.
|
|||
327
Вафель
25.01.18
✎
10:35
|
(326) А чем лучше?
|
|||
328
ИТ директор
25.01.18
✎
10:49
|
(327) Там из коробки работает репликация, можно реплицировать на несколько серверов. Но на самом деле это ничем не круче AlwaisOn и Windows Failover Cluster
https://docs.microsoft.com/ru-ru/sql/sql-server/failover-clusters/windows/windows-server-failover-clustering-wsfc-with-sql-server Построение отказоустойчивых схем это овердофига денег и одной постгресовской репликацией ничего не решишь, поэтому непонятен этот аргумент. Ну есть репл-ция и чо? |
|||
329
wayss
25.01.18
✎
10:59
|
(328) согласен что отказоустойчивая система стоит дорого. но есть бюджетный вариант резервного сервера с репликой.
Таблицы еще можно бэкапить. Хоть 1С не советует туда лазить но иногда это очень быстро, полезно и приятно) |
|||
330
ИТ директор
25.01.18
✎
11:04
|
(329) а зачем нужен резервный сервер с репликой, если автоматически на нее переключиться не получиться? да и где гарантия что получится вообще, если на основном сервере сгорит память и репликация не успеет завершиться?
|
|||
331
ИТ директор
25.01.18
✎
11:05
|
+(330) насколько я помню прстгресисты говорили что за сутки задержка репликации доходит до нескольких минут
|
|||
332
Вафель
25.01.18
✎
11:06
|
ну несколько минут не критично
|
|||
333
Вафель
25.01.18
✎
11:06
|
Всяко лучше чем вчерашний архив поднимать
|
|||
334
wayss
25.01.18
✎
11:11
|
(330) всякое решение имеет соотношение цена/качество. На данный момент резервный сервер с репликой базы нас устраивает.
Да и где гарантия что WFS в нужный момент правильно сработает? Вы гоняли рабочие сервера на все возможные форс-мажорные обстоятельства? |
|||
335
ИТ директор
25.01.18
✎
11:17
|
(334) А вы переключались на реплики?
|
|||
336
ИТ директор
25.01.18
✎
11:18
|
(333) зачем вчерашний? полный+диф+бэкапы лога+конечный фрагмент журнала
|
|||
337
Вафель
25.01.18
✎
11:19
|
(336) ну ладно часовой давности
|
|||
338
ИТ директор
25.01.18
✎
11:19
|
В мскл чтобы сделать (336) достаточно план обслуживания настроить, а на Pg нужно ибаццо https://eax.me/postgresql-replication/
|
|||
339
wayss
25.01.18
✎
11:19
|
(335) да переключались, во время обновления ПО на рабочих серверах.
|
|||
340
ИТ директор
25.01.18
✎
11:20
|
(337) да откуда часовой-то? с точностью до секунды до сбоя можно восстановиться при фулл модели
|
|||
341
Вафель
25.01.18
✎
11:21
|
(340) Ты бэкап каждую секунду делаешь? Откуда у тебя данные секундной давности?
|
|||
342
Вафель
25.01.18
✎
11:21
|
А если файл не побит, то ничего и восстанваливать не нужно
|
|||
343
ИТ директор
25.01.18
✎
11:22
|
(341) (342) /*рукалицо иди поучи матчасть штоли
|
|||
344
wayss
25.01.18
✎
11:23
|
(340) На одном и том же железе 4 года назад полную модель выключали, потому что сервер упирался в дисковую подсистему в пиковые моменты а также при создании диф. копий.
Сейчас PG пишет WAL без заметной нагрузки на диски. |
|||
345
ИТ директор
25.01.18
✎
11:25
|
(339) сколько заняло время переключения?
(344) с реплики пишет? |
|||
346
wayss
25.01.18
✎
11:28
|
(345) до 10 мин.
|
|||
347
wayss
25.01.18
✎
11:31
|
(345) WAL пишутся на рабочем сервера, до каскадной систему репликации мы еще не дошли;)
|
|||
348
ИТ директор
25.01.18
✎
11:35
|
(346) у меня восстановление из бэкапа занимает столько же
(347) всё это надо админить, само просто так не работает... |
|||
349
ИТ директор
25.01.18
✎
11:36
|
+(348) ну может минут 20, а не 10, но одинхрен сопоставимо
|
|||
350
ИТ директор
25.01.18
✎
11:36
|
при этом я одинесник а не админ
|
|||
351
wayss
25.01.18
✎
11:39
|
(348) а размер БД? У нас восстановление идет около часа. (350) Я тоже далеко не админ.
|
|||
352
ИТ директор
25.01.18
✎
11:45
|
(351) около 100 Гб
|
|||
353
ИТ директор
25.01.18
✎
11:49
|
(351) >>Я тоже далеко не админ.
так вас целый отдел линуксоидов + постгресист, а я один+виндовый одмин который в базах ни бумбум |
|||
354
wayss
25.01.18
✎
11:50
|
(352) сопоставимо, у нас чуть более 80.
А за счет чего у вас 20 мин получается? Винты SSD или регистров не так много? (353) у нас отдел 1С-ников в первую очередь. |
|||
355
wayss
25.01.18
✎
11:53
|
У нас на SAS + RAID 10 на MS SQL 2005/2008 восстановление около часа шло.
(354) Хотя регистры тут наверное не причем |
|||
356
ИТ директор
25.01.18
✎
11:57
|
||||
357
ИТ директор
25.01.18
✎
12:00
|
Хотя справедливости ради надо сказать что если сервак упадет то скорость восстановления на другом железе будет меньше, на моем рабочем компе разворачивается около часа.
|
|||
358
wayss
25.01.18
✎
12:01
|
(356) ясно.
|
|||
359
ВикторП
25.01.18
✎
16:33
|
Кто в курсе, дайте, пож-та, ссылку на не старую (максимум год) публикацию Лустина про Postgresql
|
|||
360
Вафель
25.01.18
✎
16:34
|
(359) У него только вебинар платный был. Таких руководств вроде нет
|
|||
361
ИТ директор
25.01.18
✎
16:35
|
(359) а зачем именно Лустин?
|
|||
362
ВикторП
26.01.18
✎
09:29
|
Я несколько раз видел эту фамилию в сочетании с postgresql :)
|
|||
363
ВикторП
26.01.18
✎
11:38
|
https://www.1c-interes.ru/catalog/all6964/25227623/
•Глава 6. Администрирование PostgreSQL при работе с «1С:Предприятием» ?Основы ?Расширения ?Логирование ? Настройки PostgreSQL для работы с «1С:Предприятием» ?Основные параметры postgresql.conf ?Общие положения ?Настройки сервера для PostgreSQL ?Обозначения ?Параметры производительности ?Параметры для платформы «1С:Предприятие» ?Online_analyse ?Расследование проблем ?Резервное копирование и восстановление ?Дамп SQL ?Физические бэкапы ?Непрерывная архивация ?Дополнительные источники информации |
|||
364
ИТ директор
26.01.18
✎
13:26
|
(363) когда чуваки, которые написали эту чудо-книгу, научатся диагностировать постгрес на таком уровне как чуваки с яндекс-почты, тогда они будут иметь право что-то спрашивать на своем экзамене, ггг
https://habrahabr.ru/company/pgdayrussia/blog/329178/ |
|||
365
ИТ директор
26.01.18
✎
13:29
|
+(364) а у них в букваре картинки постгреса под винду, бгг
|
|||
366
Фрэнки
26.01.18
✎
13:31
|
(365) потому что кроме, грубо говоря, балбесов из под винды никому больше эти картинки неинтересны :))))
|
|||
367
ВикторП
26.01.18
✎
13:37
|
Ребята, а вы сами напишите.
|
|||
368
ВикторП
26.01.18
✎
13:43
|
Начало такое
Настройка PostgreSQL версий 9.6 и 10.0 на максимальную производительность для платформы 1С. |
|||
369
Вафель
26.01.18
✎
13:44
|
(368) шаг (0) установить линукс
|
|||
370
Фрэнки
26.01.18
✎
13:51
|
(369) шаг один - открыть терминал
|
|||
371
wayss
26.01.18
✎
14:06
|
(370) шаг два - снес линукс, поставил ms )
|
|||
372
wayss
26.01.18
✎
14:08
|
(368) максимальная производительность будет зависеть от ваших конкретных условий - железа, базы данных, нагрузки на эту базу данных.
Общих рекомендаций по настройке PG а также по доработке конфигурации можно много где найти, на том же сайте 1С. А дальше нужно тестировать и смотреть во что вы упираетесь. |
|||
373
ИТ директор
26.01.18
✎
14:09
|
(371) шаг три - наконец-то начал зарабатывать деньги на 1С
|
|||
374
ansh15
26.01.18
✎
15:59
|
(368) >>Настройка PostgreSQL версий 9.6 и 10.0 на максимальную производительность для платформы 1С
Это больше похоже на строку в резюме или название услуги. И то и другое платно. |
|||
375
ВикторП
26.01.18
✎
16:43
|
||||
376
Вафель
26.01.18
✎
18:14
|
(375) думаешь сильно изменилось?
|
|||
377
MRazputko
31.01.18
✎
17:18
|
Hi All!
Народ, поделитесь плиз дистрибутивом PostgreSQL для Linux x86 (64-bit) (DEB), версия 9.6.6-1.1С Странное дело, на https://releases.1c.ru/ он весит всего 5 метров! Буду очень признателен! Михаил. |
|||
378
Вафель
31.01.18
✎
17:19
|
может там онлайн установщик?
|
|||
379
MRazputko
31.01.18
✎
17:24
|
Нет, там таровский архив
postgresql_9.6.6_1.1C_amd64_deb.tar.bz2 с *.deb файлами-пакетов внутри |
|||
380
arsik
гуру
31.01.18
✎
17:38
|
(377) Бери отсюда
https://postgrespro.ru/products/1c_build |
|||
381
arsik
гуру
31.01.18
✎
17:39
|
||||
382
ansh15
31.01.18
✎
17:53
|
(379) Там еще есть архив с доп. модулями. Он тоже нужен.
|
|||
383
MRazputko
31.01.18
✎
18:37
|
Архива с до. модулями не увидел.
Там ведь только добавляется репозиторий с ключем, из которого ставится постгри... |
|||
384
MRazputko
01.02.18
✎
09:24
|
Hi All!
Все заработало. Почти сутки - полет нормальный :) Спасибо! P.S. Таки не понятно, почему на портале ИТС выложен огрызок дистрибутива: libpq5_9.6.6-1.1C_amd64 deb?130096 postgresql-9.6_9.6.6-1.1C_amd64 deb?4038 K postgresql-client-9.6_9.6.6-1.1C_amd64 deb?1197 K postgresql-contrib-9.6_9.6.6-1.1C_amd64 deb?524878 |
|||
385
ВикторП
02.02.18
✎
12:30
|
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |