Имя: Пароль:
IT
Админ
Вопрос по Postgresql
0 ВикторП
 
17.01.18
12:29
Установил Postgresql - с сайта Postgres pro под Windows- самая последняя 9.6 для 1с.

Выполнил рекомендации из ИТС и gilev.ru/postgres. Что на ИТС, что у Гилева встречаются настройки, которых нет в конфигурационном файле, например checkpont_segmens . Из рекомендаций Гилева мне не подошла настройка effective_io_concurrency - c подобной настройкой PG не стартует.


Сравниваю производительность баз данных под MS SQL и Postgresql , поэтому базы подняты с одного dt и выполняю одинаковые длительные обработки на одном и том же компьютере, обе СУБД на одном сервере.

Вот что я заметил. Время выполнения на обоих СУБД почти одинаковое, MS SQL почти всегда быстрее , но не критично , примерно 10%, диски под MS SQL производительней, все файлы PG на одном диске, поэтому такая разница устраивает и понятна.



НО... при втором, третьем выполнении этой же обработки, время на MS SQL уменьшается очень сильно, а на PG - уменьшения - нет .Вообще.

Например , один тест - под MS SQL 10 мин- первый запуск, 7 минут - второй запуск. Под PG- все время 12 минут.(Времена округленные).
второй тест под MS SQL первый прогон- 37, второй- 31 минута. Под Postgresql . Самый первый прогон - 50 минут, после vacuum full verbose analyze и изменения конфигурационнойго файла- 35 минут и на этом все, следующие прогоны вокруг этой цифры, уменьшения нет.


Можно ли добиться использования кеша 1с настройками Postgresgl? Или это не кэш?
286 rs_trade
 
24.01.18
14:36
(277) подскажи пожалуйста как у PG приятно настроить дифференциальные бекапы?
287 ИТ директор
 
24.01.18
14:49
(286) да все постгресисты-одноэсники такие постгресисты ниибацо что делают бэкапы через выгрузку в dt, а когда спрашиваешь за barman или backrest - "че-че? не, не слышал..."

Архивация WAL? - ессно архивы нужно снимать с реплики - не, денег на второй сервер нет, 2 раза в сутки дамп будем снимать (у архива валидации нет - да и ладно, куроводство сказало и так сойдет)

Проблемы с pg_class при интенсивной работе - а что это такое о_О? вы всё передергиваете и фарцуете мс склем...
288 wayss
 
24.01.18
15:02
(287) резервные копии средствами postgres, архивация WAL работает, реплика тоже работает. Проблем с Postgres не имеем уже 3 года на 5 серверах.
Разницы с производительность  по отношению с MS практически нет (+/-)
Работать через psqд вполне научились, системных представлений и лога вполне достаточно чтобы решать все проблемы с производительностью и не оптимальными запросами.

Работает сервер на debian + postgres стабильнее, по крайней мере по части зависаний и перезагрузок.

Крутится около 20 баз, их них 6 под активной нагрузкой.

Что еще для счастья нужно?
289 ИТ директор
 
24.01.18
15:09
(288) чтобы прийти к этому, нужно специально этим заниматься...как с MS - поставил, настроил и забыл - не получится

и обрати внимание с какими проблемами сталкиваются при нагрузочном тестировании
MS https://www.youtube.com/watch?v=0KN5DdkbS2g
PG https://www.youtube.com/watch?v=ID_W5nMi8cE

PG без допила ядра и патчей вообще не взлетел
290 ИТ директор
 
24.01.18
15:13
+(289) причем эти патчи и допилы могут быть не приняты сообществом и в ванильный Pg не войдут, их скорей всего воткнут в платный Enterprise
291 wayss
 
24.01.18
15:19
вторую ссылку я видел, они как раз сказали что в Enterprise патчи уже включены
Первую посмотрю, но 5000 пользователей это близко не наш уровень, поэтому совсем голова не болит по поводу того кто будет лучше PG или MS на 5к пользователей.

Мы в свое время и на 50 MS SQL ложили;)
292 rs_trade
 
24.01.18
15:20
(288) Разницы с производительность  по отношению с MS практически нет (+/-)

И это при нулевых знаниях об ms sql. Откуда дровишки то про разницу? Когнитивные искажения?
293 ИТ директор
 
24.01.18
15:25
(291) а сколько у вас активных пользователей?
294 wayss
 
24.01.18
15:36
(293) в основной 100, в других меньше.
Если база в которой до 40 млн записей в сутки, правда это база не связана с 1С.
295 ИТ директор
 
24.01.18
15:38
(294) а у вас есть линукс админ+DBA?
296 wayss
 
24.01.18
15:47
(295) нет. Мы лет 6 назад пересадили ИТ отдел на ПК с linux + многие другие сервисы крутятся на linux, все с ним знакомы.
Сами сервера под Linux в обслуживании не нуждаются, только за свободным местом следим. Хотя есть один сотрудник, который Postgres начинал внедрять и лучше его знает.
297 ИТ директор
 
24.01.18
15:50
(296) ясно, спасибо за инфу
298 Вафель
 
24.01.18
15:51
(296) и 1сные сервера на линуксе?
299 ИТ директор
 
24.01.18
15:52
(296) а, еще вопросик, у вас линуксовые сервера виртуальные?
300 rphosts
 
24.01.18
15:52
(287) не трынди! Если твоя любимая соска/barman/backrest никому не нужна - это значит только что она никому не нужна.

WAL архивация? Прочитал наконец-то что есть онлайн-бэкап... может следующий раз не будешь так глупо выглядеть.
301 Фрэнки
 
24.01.18
15:53
(292) а чем тебе не нравятся "нулевые знания об мс скл" ? Его же никто знать не должен или как? Тут всем как раз в голову вбивают, что в отличие по постгри, не нужно ничего знать - все работает само, а не так, как в кривом халявном постгри. Поэтому, увы.
302 ИТ директор
 
24.01.18
15:55
(300) это не онлайн бэкап называется, а архивирование WAL

https://postgrespro.ru/docs/postgrespro/9.6/continuous-archiving

так что глупо сейчас ты выглядишь
303 rphosts
 
24.01.18
15:55
(289) для комплекта не хватает оракла, в среднем если активных юзеров >300 - оракл рвёт сиквел как тузик грелку
304 rphosts
 
24.01.18
15:56
305 Вафель
 
24.01.18
15:56
(289)на 1с?
306 Вафель
 
24.01.18
15:56
(305) к (303)
307 Вафель
 
24.01.18
15:57
(302) Так он же через pg_dump архивы делает. Зачем ему что-то еще )))
308 rphosts
 
24.01.18
15:57
(306) да, речь именно про 1с, до 300 активистов в базе не имеет никаких оснований для использования оракла, но далее...
309 MrCoffin
 
24.01.18
15:58
(289) Может плохие танцоры?
310 Вафель
 
24.01.18
15:58
(308) Кто тесты проводил? Есть публичная инфа?
311 wayss
 
24.01.18
15:58
(299) нет.так сложилось исторически что виртуализацией практически не пользуемся.
312 ИТ директор
 
24.01.18
16:00
(311) а 1С сервер тоже на линуксе?
313 rphosts
 
24.01.18
16:01
(299) например на лейзвийной циске у нас... но тут есть некоторые моменты в использовании с которыми я не согласен. Подробностей не будет, как минимум публично.
314 Вафель
 
24.01.18
16:09
(313) А циска уже сервера выпускает? что-то я отстал от жизни
315 rphosts
 
24.01.18
16:10
(314) очень давно.... но сцуко на мой взгляд они переоценены
316 wayss
 
24.01.18
16:22
(312) да, под виндой у нас только клиенты, и то не все.
317 rphosts
 
24.01.18
16:33
(316) год-два назад некто В.Богачев рекомендовал сервера 1С для нагруженных систем размещать только под окнами....
Нагрузка большая?
Проблемы какие-то есть?
318 ИТ директор
 
24.01.18
16:36
(316) И еще некто Лустин говорит что

"Однако там есть одна особенность – 1С-сервер лучше ставить все-таки не на Linux, а на Windows – из-за проблем с active directory и kerberos-библиотекой. Это связано не с Postgres, а с особенностью статической линковки библиотеки kerberos под CentOS, под Ubuntu и не только."

https://habrahabr.ru/company/pgdayrussia/blog/331448/

Реально есть какие-то "особенности" и вообще о чем он?:)
319 arsik
 
гуру
24.01.18
16:40
(318) Мне кажется какая то проблема может всплыть на уровне авторизации. Но не думаю, что такое может влиять на быстродействие.
320 ИТ директор
 
24.01.18
16:46
(319) вот поэтому и хочется услышать человека у кого всё работает в продакшене ;)
321 wayss
 
24.01.18
17:03
(318) с таким не сталкивались, может быть на очень нагруженных системах, но это пока не наш случай.
(317) проблем нет.
Несколько тысяч документов в день, точных цифр уже не помню + активно пользуемся различными вед-сервисами из 1С ну и всякие регламентные задания, которых у нас достаточно.
322 wayss
 
24.01.18
17:03
(321) веб.
323 rphosts
 
24.01.18
17:36
(321) ну документ документу рознь, тут оценить от чистого количество корректно не получится.

Веб-сервисы - это чисто обмен данными, вебморда, Rest/Odata?
Какие-то доп. возможности используете кроме веба (риб, ком, внешние источники и т.п.)?
324 wayss
 
24.01.18
17:42
(323) у нас сеть магазинов автозапчастей. Есть работа с веб-сервисами поставщиков, часть поставщиков присылают прайсы, которые парсятся, грузятся в отдельную БД и из нее погружаются в базы 1С, есть обмен с сайтом, правда трафик там небольшой,ну и по мелочи есть еще разные сервисы, которые из 1С используем, кроме того есть различные регламентные задания. Например у нас есть РС с текущей инофрмацией номенклатуры, куда каждые 10 сек записываются текущие остатки + всякая другая нужная информация
325 rs_trade
 
25.01.18
08:51
(301) Да просто радует логика чела. Я не знаю как это делают на сиквеле, но на слоне точно круче. Что-то из серии - не читал, но осуждаю.
326 wayss
 
25.01.18
10:33
(325) если про меня, то со всем что касается администрирования в ms sql знаком. Мы на sql до перехода на pg года 4 работали. И по поводу круче не нужно передергивать, хотя система резервирования на pg действительно круче.
327 Вафель
 
25.01.18
10:35
(326) А чем лучше?
328 ИТ директор
 
25.01.18
10:49
(327) Там из коробки работает репликация, можно реплицировать на несколько серверов. Но на самом деле это ничем не круче AlwaisOn и Windows Failover Cluster
https://docs.microsoft.com/ru-ru/sql/sql-server/failover-clusters/windows/windows-server-failover-clustering-wsfc-with-sql-server

Построение отказоустойчивых схем это овердофига денег и одной постгресовской репликацией ничего не решишь, поэтому непонятен этот аргумент. Ну есть репл-ция и чо?
329 wayss
 
25.01.18
10:59
(328) согласен что отказоустойчивая система стоит дорого. но есть бюджетный вариант резервного сервера с репликой.

Таблицы еще можно бэкапить. Хоть 1С не советует туда лазить но иногда это очень быстро, полезно и приятно)
330 ИТ директор
 
25.01.18
11:04
(329) а зачем нужен резервный сервер с репликой, если автоматически на нее переключиться не получиться? да и где гарантия что получится вообще, если на основном сервере сгорит память и репликация не успеет завершиться?
331 ИТ директор
 
25.01.18
11:05
+(330) насколько я помню прстгресисты говорили что за сутки задержка репликации доходит до нескольких минут
332 Вафель
 
25.01.18
11:06
ну несколько минут не критично
333 Вафель
 
25.01.18
11:06
Всяко лучше чем вчерашний архив поднимать
334 wayss
 
25.01.18
11:11
(330) всякое решение имеет соотношение цена/качество. На данный момент резервный сервер с репликой базы нас устраивает.
Да и где гарантия что WFS в нужный момент правильно сработает? Вы гоняли рабочие сервера на все возможные форс-мажорные обстоятельства?
335 ИТ директор
 
25.01.18
11:17
(334) А вы переключались на реплики?
336 ИТ директор
 
25.01.18
11:18
(333) зачем вчерашний? полный+диф+бэкапы лога+конечный фрагмент журнала
337 Вафель
 
25.01.18
11:19
(336) ну ладно часовой давности
338 ИТ директор
 
25.01.18
11:19
В мскл чтобы сделать (336) достаточно план обслуживания настроить, а на Pg нужно ибаццо https://eax.me/postgresql-replication/
339 wayss
 
25.01.18
11:19
(335) да переключались, во время обновления ПО на рабочих серверах.
340 ИТ директор
 
25.01.18
11:20
(337) да откуда часовой-то? с точностью до секунды до сбоя можно восстановиться при фулл модели
341 Вафель
 
25.01.18
11:21
(340) Ты бэкап каждую секунду делаешь? Откуда у тебя данные секундной давности?
342 Вафель
 
25.01.18
11:21
А если файл не побит, то ничего и восстанваливать не нужно
343 ИТ директор
 
25.01.18
11:22
(341) (342) /*рукалицо иди поучи матчасть штоли
344 wayss
 
25.01.18
11:23
(340) На одном и том же железе 4 года назад полную модель выключали, потому что сервер упирался в дисковую подсистему в пиковые моменты а также при создании диф. копий.
Сейчас PG пишет WAL без заметной нагрузки на диски.
345 ИТ директор
 
25.01.18
11:25
(339) сколько заняло время переключения?
(344) с реплики пишет?
346 wayss
 
25.01.18
11:28
(345) до 10 мин.
347 wayss
 
25.01.18
11:31
(345) WAL пишутся на рабочем сервера, до каскадной систему репликации мы еще не дошли;)
348 ИТ директор
 
25.01.18
11:35
(346) у меня восстановление из бэкапа занимает столько же
(347) всё это надо админить, само просто так не работает...
349 ИТ директор
 
25.01.18
11:36
+(348) ну может минут 20, а не 10, но одинхрен сопоставимо
350 ИТ директор
 
25.01.18
11:36
при этом я одинесник а не админ
351 wayss
 
25.01.18
11:39
(348) а размер БД? У нас восстановление идет около часа. (350) Я тоже далеко не админ.
352 ИТ директор
 
25.01.18
11:45
(351) около 100 Гб
353 ИТ директор
 
25.01.18
11:49
(351) >>Я тоже далеко не админ.

так вас целый отдел линуксоидов + постгресист, а я один+виндовый одмин который в базах ни бумбум
354 wayss
 
25.01.18
11:50
(352) сопоставимо, у нас чуть более 80.
А за счет чего у вас 20 мин получается? Винты SSD или регистров не так много?
(353) у нас отдел 1С-ников в первую очередь.
355 wayss
 
25.01.18
11:53
У нас на SAS + RAID 10 на MS SQL 2005/2008 восстановление около часа шло.
(354) Хотя регистры тут наверное не причем
356 ИТ директор
 
25.01.18
11:57
357 ИТ директор
 
25.01.18
12:00
Хотя справедливости ради надо сказать что если сервак упадет то скорость восстановления на другом железе будет меньше, на моем рабочем компе разворачивается около часа.
358 wayss
 
25.01.18
12:01
(356) ясно.
359 ВикторП
 
25.01.18
16:33
Кто в курсе, дайте, пож-та, ссылку на не старую (максимум год) публикацию Лустина про Postgresql
360 Вафель
 
25.01.18
16:34
(359) У него только вебинар платный был. Таких руководств вроде нет
361 ИТ директор
 
25.01.18
16:35
(359) а зачем именно Лустин?
362 ВикторП
 
26.01.18
09:29
Я несколько раз видел эту фамилию в сочетании с postgresql :)
363 ВикторП
 
26.01.18
11:38
https://www.1c-interes.ru/catalog/all6964/25227623/

•Глава 6. Администрирование PostgreSQL при работе с «1С:Предприятием» ?Основы
?Расширения
?Логирование
? Настройки PostgreSQL для работы с «1С:Предприятием» ?Основные параметры postgresql.conf
?Общие положения
?Настройки сервера для PostgreSQL
?Обозначения
?Параметры производительности
?Параметры для платформы «1С:Предприятие»
?Online_analyse

?Расследование проблем
?Резервное копирование и восстановление ?Дамп SQL
?Физические бэкапы
?Непрерывная архивация

?Дополнительные источники информации
364 ИТ директор
 
26.01.18
13:26
(363) когда чуваки, которые написали эту чудо-книгу, научатся диагностировать постгрес на таком уровне как чуваки с яндекс-почты, тогда они будут иметь право что-то спрашивать на своем экзамене, ггг

https://habrahabr.ru/company/pgdayrussia/blog/329178/
365 ИТ директор
 
26.01.18
13:29
+(364) а у них в букваре картинки постгреса под винду, бгг
366 Фрэнки
 
26.01.18
13:31
(365) потому что кроме, грубо говоря, балбесов из под винды никому больше эти картинки неинтересны :))))
367 ВикторП
 
26.01.18
13:37
Ребята, а вы сами напишите.
368 ВикторП
 
26.01.18
13:43
Начало такое

Настройка PostgreSQL версий 9.6 и 10.0 на максимальную производительность для платформы 1С.
369 Вафель
 
26.01.18
13:44
(368) шаг (0) установить линукс
370 Фрэнки
 
26.01.18
13:51
(369) шаг один - открыть терминал
371 wayss
 
26.01.18
14:06
(370) шаг два - снес линукс, поставил ms )
372 wayss
 
26.01.18
14:08
(368) максимальная производительность будет зависеть от ваших конкретных условий - железа, базы данных, нагрузки на эту базу данных.
Общих рекомендаций по настройке PG а также по доработке конфигурации можно много где найти, на том же сайте 1С.
А дальше нужно тестировать и смотреть во что вы упираетесь.
373 ИТ директор
 
26.01.18
14:09
(371) шаг три - наконец-то начал зарабатывать деньги на 1С
374 ansh15
 
26.01.18
15:59
(368) >>Настройка PostgreSQL версий 9.6 и 10.0 на максимальную производительность для платформы 1С
Это больше похоже на строку в резюме или название услуги.
И то и другое платно.
375 ВикторП
 
26.01.18
16:43
С этих слов начинается статья

https://kb.1c.ru/articleView.jsp?id=91

только там про версии 9.2-9.4
376 Вафель
 
26.01.18
18:14
(375) думаешь сильно изменилось?
377 MRazputko
 
31.01.18
17:18
Hi All!

Народ, поделитесь плиз дистрибутивом

PostgreSQL для Linux x86 (64-bit) (DEB), версия 9.6.6-1.1С

Странное дело, на https://releases.1c.ru/ он весит всего 5 метров!

Буду очень признателен!

Михаил.
378 Вафель
 
31.01.18
17:19
может там онлайн установщик?
379 MRazputko
 
31.01.18
17:24
Нет, там таровский архив

postgresql_9.6.6_1.1C_amd64_deb.tar.bz2

с *.deb файлами-пакетов внутри
380 arsik
 
гуру
31.01.18
17:38
(377) Бери отсюда
https://postgrespro.ru/products/1c_build
381 arsik
 
гуру
31.01.18
17:39
+ (380) Точнее от сюда. https://postgrespro.ru/products/archive/1c

Там то же самое.
382 ansh15
 
31.01.18
17:53
(379) Там еще есть архив с доп. модулями. Он тоже нужен.
383 MRazputko
 
31.01.18
18:37
Архива с до. модулями не увидел.

Там ведь только добавляется репозиторий с ключем, из которого ставится постгри...
384 MRazputko
 
01.02.18
09:24
Hi All!

Все заработало. Почти сутки - полет нормальный :)

Спасибо!

P.S. Таки не понятно, почему на портале ИТС выложен огрызок дистрибутива:

libpq5_9.6.6-1.1C_amd64                    deb?130096
postgresql-9.6_9.6.6-1.1C_amd64            deb?4038 K
postgresql-client-9.6_9.6.6-1.1C_amd64     deb?1197 K
postgresql-contrib-9.6_9.6.6-1.1C_amd64    deb?524878
385 ВикторП
 
02.02.18
12:30
Независимо от того, куда вы едете — это в гору и против ветра!