Имя: Пароль:
1C
1С v8
Расчет производительности, поиск узких мест.
0 BasilKiselev
 
11.05.13
22:51
Добрый вечер, друзья!

Есть две фермы серверов, в первой:

Кластер 1С из двух серверов WS2008R2SP1ENT, кластер из двух серверов SQL2008R2SP1ENT, аппаратная часть серверов идентична, это HP BL685G8, по 4 физических процессора в каждом, по 127GB оперативной памяти на каждый процессор. В качестве дисковой подсистемы используется HP EVA8400, диски FiberChannel 600GB15K, по 8 дисков в группе, VRAID10. Между всеми серверами 20Гбит\с, между дисками и серверами 16Гбитъ\с. На серверах баз данных подключенные диски разбиты на разделы, базы и журналы разнесены, временные базы и журналы вынесены на отдельный пул дисков. Нагрузка в пике не превышает 25% на каждом сервере.

Во второй:

Все тоже самое, что и в первой, только вместо MSSQL используется DB2. Нагрузка в пике на сервера 1С не превышает 25%, на сервера баз данных 5%.

Переходим к самому интересному, к вопросам.

При запуске отчетов большой плотности и глубины наблюдается значительное замедление в работе фермы DB2, однако проведение регламентных операций ощутимо медленнее выполняется на ферме SQL.

Каким образом, возможно, отловить узкие места, в работе фермы? Заранее прошу не ругать за терминологию, использованную мною выше в описании отчетов, я не программист, а по сему пытался писать наиболее доступным языком.

Данный вопрос возник в связи с расхожей позицией, меня, как ИТ директора и моего подчиненного, руководителя отдела разработки, которые уверяет меня, что аппаратная часть просто не справляется с массивными транзакциями в БД.

P.S. Все это настраивал сам, являюсь сертифицированным специалистам HP по сетям, серверам и СХД & MSCE. Корректность настройки программное и аппаратной части не должна вызывать вопросов.
1 ДенисЧ
 
11.05.13
22:57
Ну, ля и вопросы в субботу вечером....
2 BasilKiselev
 
11.05.13
22:58
Я даже и не расчитывая получить ответ раньше среды. :)
3 Reaper_1c
 
11.05.13
23:02
Где версия 1С, где версия db2, где логи perfmon'а?
4 BasilKiselev
 
11.05.13
23:09
DB2 10ка, со всеми обновлениями и фиксами до 25.04.2013, раз в месяц ставлю апы. 1С 8.2.16.368. пм настроил на сбор проца дисков и памяти, нет нагрузки, нету.
5 РазДва
 
11.05.13
23:10
(3) написано же, нагрузка сервера бд 5% в пике, зачем тут логи, сервер курит ). Дисковая подсистема, видимо, тоже курит.
Дедуктивный метод мне подсказывает, плотные отчеты всему виной, если их не запускать - проблемы нет.
6 РазДва
 
11.05.13
23:15
(0) А руководитель отдела разработки предлагает закупить мега-систему на SSD-дисках за много-много денег?
7 Reaper_1c
 
11.05.13
23:18
(5) мммм, круто, а можете мне рассказать, что это за счетчик такой "нагрузка сервера"?
(4) Сколько баз крутится на ваших стендах?
8 BasilKiselev
 
11.05.13
23:30
Руководитель отдела разработки именно это и предлагает, только вот схд на твердотелках при замере в йопсках не выстреливает мою нынешнею схд, там есть ограничение на количество дискив в группе, на этом она проигрывает при построение вирейдов, то-есть 10 рейд на 32 файбер дисках производительнее в 1.5х чем тот же массив на 8 тт. так что тут схема не рабочая. 10 баз.

сами знаете, что такого счетчика нет, в нашей дискуссии за него принят самый высокий показатель нагрузку, это память, как правильно заметили выше, система курит, простаивает.

идея в том, что при запуска написанных моими кодерами отчетов, пользователи БД в которой отчет выполняется жалуются на значительные тормоза, остальные бд работают отлично и даже при запуске этих ответов, нагрузки на ферму нет.
9 Mitriy
 
11.05.13
23:34
все, что я понял из вышеизложенного - это надо переписывать отчеты...
10 ILM
 
гуру
11.05.13
23:35
Конфа и отчеты про что?


А почему 1с хотябы не 8.17?
11 Reaper_1c
 
11.05.13
23:35
(8) Проблема скорее всего в кодерах. Можете заказать аудит программного кода. Или опубликовать отчеты здесь - тоже неплохо оборжем.

Вообще 1С при построении отчетов использует грязное чтение, и тем страннее, что у вас снижается пропускная способность системы при формировании отчетов. Ваши кодеры - они не из 7.7 ли часом?
12 ILM
 
гуру
11.05.13
23:37
Скорее всего дело не в ферме, сервер 1с не настроен.
13 BasilKiselev
 
11.05.13
23:38
to Mitriy

Это было мне понятно еще до момента создания темы, однако вот вопрос, как обосновать необходимость данной работы с технической точки зрения, а не с авторитетной или ранговой. Может быть заказать аудит у БИТ или РАРУС на предмет корретности кода отчетов?

to ILM

За конфу не понял, отчеты по продажам и финансовые показатели.

to Reaper

Именно, они до сих пор знают, что лучше 7.7+скуль2000 нет ничего.

to ILM, что значит сервер 1С не настроен, подробнее можно?
14 ILM
 
гуру
11.05.13
23:38
Или отчеты идут кривые...
15 Пеппи
 
11.05.13
23:40
(13) какие отчеты - типовые или написанные вашими программистами? Сравнение делали?
16 BasilKiselev
 
11.05.13
23:41
Типовые ответы вообще не используются, все отчеты написанны нашими кодерами. я даже не задумывался о сравнении... ксатати, непло хо бы попробовать...
17 Mitriy
 
11.05.13
23:42
(13) либо заказывать, либо исследовать запросы инструментами скуля или того же технологического журнала... а вообще, если пальцем в небо, то в первую очередь поубирать многоэтажные вложенные запросы...
18 Reaper_1c
 
11.05.13
23:43
(13) Прозреваю автоматический режим управления транзакционными блокировками и адовые отчеты, формируемые кодом с массой обращений к данным через точку от ссылки.
19 йети
 
11.05.13
23:44
(0) можно прогнать тест Гилева http://www.gilev.ru/tpc1cgilv/

интересны показатели ваших монстров
20 BasilKiselev
 
11.05.13
23:45
меня сейчас очень интересует фраза товарища ILM, про сервер должно быть не настроен, вот все жду ответа)))

стало быть аудит.
21 ILM
 
гуру
11.05.13
23:47
В книжке по платфрме
было про особенности работы и настройки сервера.. 1С...
22 BasilKiselev
 
11.05.13
23:47
Прогнать тест не проблема, только мне не понятно, что нужно сделать кроме как в чистую базу развернуть *.dt а что потом?
23 BasilKiselev
 
11.05.13
23:48
ILM номер странички или название конкретной статьи можно попросить, а лучше ссылку с указанием на конкретное место, если конечно не сложно
24 йети
 
11.05.13
23:49
(22) там одна кнопка
если показатели высокие, то скорее всего ваши неперековавшиеся семерошники наваяли адского кода
25 Sorm
 
11.05.13
23:49
(13) Отчеты анализировать... Что тут сказать? Разбивать источники во временные таблицы, индексировать...
(18) +.
26 Пеппи
 
11.05.13
23:51
(16) Да вы бы выложили хотя бы один запрос из отчетов сюда, сразу понятно стало бы многое. А иначе сферический конь в вакууме.)
27 ILM
 
гуру
11.05.13
23:53
На итс посмотрите в техдокументации. Там про выделение серверу сеансов и настройка кластера серверов при масштабируемости.  Если у вас виртуалка, то создайте пару серверов 1с в кластере и настройте как руководстве администратора для 8.2 написано.
28 ILM
 
гуру
11.05.13
23:54
У вас там случайно не консолидация стоит?
29 Gorgol
 
11.05.13
23:55
"между дисками и серверами 16Гбитъ\с" - убивать-убивать-убивать за такую архитектуру
30 ILM
 
гуру
11.05.13
23:57
Может вам просто итоги рассчитать нужно? Объем базы какой? )
31 BasilKiselev
 
12.05.13
00:00
ITL - что Вы имеете ввиду под словом консолидация?
Gorgol - это Вы из чего такие выводы сделали? я открою Вас страшную тайну, это почти топовые показатели скорости между схд и контроллерами в серверах.
ITL - объем базы 200ГБ. может быть... :)
ПЕППИ - запрошу пару отчетов, выложу.
32 Gorgol
 
12.05.13
00:05
(31) Я тоже открою вам страшную тайну. Имя ей iops & latency.
33 BasilKiselev
 
12.05.13
00:08
Georg, между блейд корзиной и схд через файбер свичи быстрее сделать врят ли получиться, или у Вас быстрее? вообще, решение технологически верное, корзина, файбер свич, схд. бест прэктикс. уверяю.
34 ILM
 
гуру
12.05.13
00:08
Конфигурация фирмы 1с есть такая "консолидация".  Может, но это достаточно большая база. Не пробовали сделать две базы оперативную для ввода и аналитическую для отчетов?

Могу только посочуствовать вашим кодерам, как они свои отчеты тестируют...

Обратитесь сразу в 1с, у них есть опыт работы с большими базами. Я видел базу в три терабайта, но в нее шла только запись, и итоги выгружались за день в другую базу, где уже была обработка и отчеты.
35 ILM
 
гуру
12.05.13
00:12
(33) Это шутка была про убить, белая зависть. Уверен что с железом у вас прблемы нет.Сама1с не тянет. Они могут вам дать спецверсию для больших баз, но это уже отдельный разговор с 1с.
36 РазДва
 
12.05.13
00:13
(34) не-не-не, отдельная база, это слишком просто, так они не проведут аудит, и не узнают "страшных тайн" про создателя архитектуры, кодеров и руководителя разработки
37 BasilKiselev
 
12.05.13
00:14
А что насчет теста, что мне дали в ссылке выше? Я не смогу запустить его на самом сервере, так как на серверах толстый клиент не развернут, могу просто грузануть дт в базу со своего пк и с него же пройти тест, это будет показательно?
38 Sorm
 
12.05.13
00:15
(34) Ну, я видел 300 гб:) Но там уже настоятельно задумывались над выгрузкой данных для кубов:)
39 ILM
 
гуру
12.05.13
00:16
(36) тоже мне тайна, выпускники из франча, того который начал внедрение. Мы строили, строили и наконец построили. А теперь попробуем в этом доме жить.
40 Gorgol
 
12.05.13
00:18
Если бы я хотел что-то сделать корпоративненько для базы 1с размером в 200 Гб, то я бы очень внимательно почитал http://www.intel.com/content/www/us/en/solid-state-drives/solid-state-drives-910-series.html
41 ILM
 
гуру
12.05.13
00:20
Что мешает установить 1с на сервере и сделать как надо? Интерпретировать результаты Гилев только и сможет. Вам бы призвать@Демиурга )))
42 РазДва
 
12.05.13
00:20
(40) Явно и одной школы с текущим руководителем разработки )
43 BasilKiselev
 
12.05.13
00:22
Gorgol, с Вами все ясно...
44 Gorgol
 
12.05.13
00:23
(42) Гораздо веселее будет написать свое УПП, полностью оптимизированное под highload? Ну-ну.
45 Gorgol
 
12.05.13
00:24
(43) С вами, товарищ сисадмин, все ясно с нулевого поста, но помочь ведь хочется.
46 ILM
 
гуру
12.05.13
00:24
(37)  я думаю, что сложилась у вас ситуация, когда в базе есть данные, а отчеты работают медленно и разработчики кивают на вас, мол у них все работает. И команда одинесников у вас нанятая на проект или своя?
47 BasilKiselev
 
12.05.13
00:26
команда своя, вот только подход в работе у них весьма странный...
48 Gorgol
 
12.05.13
00:28
Нет, ну если Intel принципиально не нравится, то ведь есть http://www.fusionio.com/products/iodrive-octal/
49 BasilKiselev
 
12.05.13
00:30
Gorgol, ну что Вы теряете "лицо", оба устройства, что Вы предложили не выстреливают выше 6Гбит, у меня же 16Гбит, будьте Вы чуть-чуть умнее...
50 Sorm
 
12.05.13
00:30
(48) Я подхода не пойму - "Тормозят отчеты - купим новые серваки."?:)
51 BasilKiselev
 
12.05.13
00:31
p.s. да и где это видано, в блейды вставлять такое вот... вы хоть на картинке посмотрите, как выглядит сервер мой... название в первом посте
52 Gorgol
 
12.05.13
00:33
(49) Товарищ сисадмин, изучите отличия между гигабайтом и гигабитом.
53 Gorgol
 
12.05.13
00:35
(51) А зачем сервер баз данных на блейде размещать? Ему и памяти может понадобиться столько, сколько в блейдовую маму не воткнешь.
54 Gorgol
 
12.05.13
00:36
(50) Тут не отчеты тормозят, тут админы тормозят при построении конфигурации. Купить новых не получится - они дорвались до таблички CIO, придется учить :)
55 Sorm
 
12.05.13
00:40
(54) Я не про то, я про порочность решения проблем только покупкой новой техники:) Может стоит сначала проанализировать отчеты?
56 viktor_vv
 
12.05.13
00:41
Мне одному кажется, что (54) это и есть вторая сторона, руководитель разработчиков :).
57 Reaper_1c
 
12.05.13
00:41
(56) нет
58 viktor_vv
 
12.05.13
00:44
Скандалы, интриги, расследования :).
59 BasilKiselev
 
12.05.13
00:45
Коллеги, спасибо! Буду двигаться в сторону аудита и еще раз перечитаю материал по рекомендации ILM.
60 РазДва
 
12.05.13
00:47
(56) Не, Горгол - обладатель страшных тайн в архитектуре под 1С, он бы не позволил настраивать всё какому-то ИТ-директору.
61 Advan
 
12.05.13
01:16
обратитесь к Гилеву - он скажет где косяк т  кто виноват и может дать рекомендации по оптимизации(если надо то и оптимизировать)
62 Худой
 
12.05.13
04:22
(61)Чуть что - "обратитесь к Гилеву". Хоть иногда, головой надо чуток думать. У Гилева можно только его пару идей посмотреть и все. Типа, такое бывает. А то на какое-то шаманство смахивает. Скоро, наверное, преданные "гилевцы" выдумают еще и шаманский "бубен гилева". Будут его всем предлагать. Побегать с ним вокруг сервака и все будет понятно, и голова пройдет, и любовница хорошая появится, и прочее...
(59) Двигаться "в сторону аудита", лучше всего, со своими коллегами по работе. Вам же вместе работать. А доказывать им - "вы дураки, вот, смотрите, что уважаемая фирма говорит", это все равно, что быть рефери, не зная сути происходящего. Попробуйте повысить их самооценку. Предположите, что можно, все-же, поработать и ускорить отчетность. В конце концов, можно хоть чуток, им куры реальные по 8-ке подкинуть.
Представляете, как приятно, когда подбрасываешь идею и подчиненный приходит и с горящими глазами говорит, я это сделал. Пусть он считает, что это он сам сделал. Спросите его почему так "удачно" получилось? Пусть расскажет. Заодно, вы свои знания повысите.
Вот если подчиненный, в принципе, на новое не способен, тогда уберите его от разработки. Пусть карандашики точит пользователям.
63 andreynikus
 
12.05.13
04:46
Возможно вам следует отправить пару ваших 1Сников на курс 1С Эксперт
Таким образом можно решить сразу несколько задач
1 с большой долей вероятности вы решите проблему с медленными отчетами
2 у вас будут собственные спецы по производительности и вы обезопасите себя в будущем от подобных проблем
3 сотрудники самостоятельно поймут где косяк и решат эту задачу, тем самым сохранив свое лицо, а значит не будет конфликта

Хотя уверен что проблема решатся легко переписанием запросов, но лучше иметь своего спеца чем каждый раз бегать за советом на форум.
64 BasilKiselev
 
12.05.13
06:09
Всем спасибо! Буду двигаться в сторону совместного аудита и бюджетирование курсов для адекватных программистов.

Есть еще один вопрос, может быть не в рамках этой темы, но создавать отдельную ради этого...

Кто может по телефону проконсультировать на туму правильной настройки и вариантов настройки кластера 1с, возможно посмотреть настройки и дать совет. Компенсацию обсудим. Если МСК возможен НАЛ, если нет, перевод на пластик или счет.
65 Очевидно
 
12.05.13
08:32
(56) Мне тоже так показалось xD , уж больно яростен соперник ))
66 МихаилМ
 
12.05.13
08:44
67 ILM
 
гуру
12.05.13
09:59
(64) Гляньте вот сюда, надеюсь сэкономите свои деньги и не потратите их зря:
1) http://mkostyas.ru/archives/106
2) http://xn--90afdtkhdeabaxvge.net/1s_predpriyatie_82/1c_82_klaster_serverov.html
3) http://infostart.ru/public/146940/
4) http://interface31.ru/tech_it/2012/01/server-1s-predpriyatie-chast-1---obshie-voprosy.html

Парочку запросов из отчетов которые у вас тормозят выложите сюда, для аудита.
А на сэкономленные средства разработчикам кофе, печенья и конфет лучше купите...
68 krbIso
 
12.05.13
10:38
(64)
http://www.gilev.ru/online/
бесплатно.
Сервер 1С особо никак настраивать не надо.
Вообще обычно единственные железные настройки которые могут влиять это настрйока энергосбережения.
69 Худой
 
12.05.13
16:41
(66) Глянул ролик. Еще один "миф от гилева" - "Бэкапить Postgre сложнее с точки зрения надежности...". Правда, там добавлено "имхо". Но кто обращает внимание на эти "имхо". У меня в двух конторах на линуксе работает. К серверам не подходят. Там уже все мхом поросло. Бэкапится без проблем. Понадобилось несколько раз, в рабочем порядке воспользоваться бэкапами. Никаких проблем. Я больше вижу проблем с Poctgre в других вещах, а не надежности.
Глупец, лишенный способности посмеяться над собой вместе с другими, не сможет долго выносить программирование. Фредерик Брукс-младший