Добрый вечер, друзья!

Есть две фермы серверов, в первой:

Кластер 1С из двух серверов WS2008R2SP1ENT, кластер из двух серверов SQL2008R2SP1ENT, аппаратная часть серверов идентична, это HP BL685G8, по 4 физических процессора в каждом, по 127GB оперативной памяти на каждый процессор. В качестве дисковой подсистемы используется HP EVA8400, диски FiberChannel 600GB15K, по 8 дисков в группе, VRAID10. Между всеми серверами 20Гбит\с, между дисками и серверами 16Гбитъ\с. На серверах баз данных подключенные диски разбиты на разделы, базы и журналы разнесены, временные базы и журналы вынесены на отдельный пул дисков. Нагрузка в пике не превышает 25% на каждом сервере.

Во второй:

Все тоже самое, что и в первой, только вместо MSSQL используется DB2. Нагрузка в пике на сервера 1С не превышает 25%, на сервера баз данных 5%.

Переходим к самому интересному, к вопросам.

При запуске отчетов большой плотности и глубины наблюдается значительное замедление в работе фермы DB2, однако проведение регламентных операций ощутимо медленнее выполняется на ферме SQL.

Каким образом, возможно, отловить узкие места, в работе фермы? Заранее прошу не ругать за терминологию, использованную мною выше в описании отчетов, я не программист, а по сему пытался писать наиболее доступным языком.

Данный вопрос возник в связи с расхожей позицией, меня, как ИТ директора и моего подчиненного, руководителя отдела разработки, которые уверяет меня, что аппаратная часть просто не справляется с массивными транзакциями в БД.

P.S. Все это настраивал сам, являюсь сертифицированным специалистам HP по сетям, серверам и СХД & MSCE. Корректность настройки программное и аппаратной части не должна вызывать вопросов.

Ну, ля и вопросы в субботу вечером....

Я даже и не расчитывая получить ответ раньше среды. :)

Где версия 1С, где версия db2, где логи perfmon'а?

DB2 10ка, со всеми обновлениями и фиксами до 25.04.2013, раз в месяц ставлю апы. 1С 8.2.16.368. пм настроил на сбор проца дисков и памяти, нет нагрузки, нету.

(3) написано же, нагрузка сервера бд 5% в пике, зачем тут логи, сервер курит ). Дисковая подсистема, видимо, тоже курит.
Дедуктивный метод мне подсказывает, плотные отчеты всему виной, если их не запускать - проблемы нет.

(0) А руководитель отдела разработки предлагает закупить мега-систему на SSD-дисках за много-много денег?

(5) мммм, круто, а можете мне рассказать, что это за счетчик такой "нагрузка сервера"?
(4) Сколько баз крутится на ваших стендах?

Руководитель отдела разработки именно это и предлагает, только вот схд на твердотелках при замере в йопсках не выстреливает мою нынешнею схд, там есть ограничение на количество дискив в группе, на этом она проигрывает при построение вирейдов, то-есть 10 рейд на 32 файбер дисках производительнее в 1.5х чем тот же массив на 8 тт. так что тут схема не рабочая. 10 баз.

сами знаете, что такого счетчика нет, в нашей дискуссии за него принят самый высокий показатель нагрузку, это память, как правильно заметили выше, система курит, простаивает.

идея в том, что при запуска написанных моими кодерами отчетов, пользователи БД в которой отчет выполняется жалуются на значительные тормоза, остальные бд работают отлично и даже при запуске этих ответов, нагрузки на ферму нет.

все, что я понял из вышеизложенного - это надо переписывать отчеты...

Конфа и отчеты про что?


А почему 1с хотябы не 8.17?

(8) Проблема скорее всего в кодерах. Можете заказать аудит программного кода. Или опубликовать отчеты здесь - тоже неплохо оборжем.

Вообще 1С при построении отчетов использует грязное чтение, и тем страннее, что у вас снижается пропускная способность системы при формировании отчетов. Ваши кодеры - они не из 7.7 ли часом?

Скорее всего дело не в ферме, сервер 1с не настроен.

to Mitriy

Это было мне понятно еще до момента создания темы, однако вот вопрос, как обосновать необходимость данной работы с технической точки зрения, а не с авторитетной или ранговой. Может быть заказать аудит у БИТ или РАРУС на предмет корретности кода отчетов?

to ILM

За конфу не понял, отчеты по продажам и финансовые показатели.

to Reaper

Именно, они до сих пор знают, что лучше 7.7+скуль2000 нет ничего.

to ILM, что значит сервер 1С не настроен, подробнее можно?

Или отчеты идут кривые...

(13) какие отчеты - типовые или написанные вашими программистами? Сравнение делали?

Типовые ответы вообще не используются, все отчеты написанны нашими кодерами. я даже не задумывался о сравнении... ксатати, непло хо бы попробовать...

(13) либо заказывать, либо исследовать запросы инструментами скуля или того же технологического журнала... а вообще, если пальцем в небо, то в первую очередь поубирать многоэтажные вложенные запросы...

(13) Прозреваю автоматический режим управления транзакционными блокировками и адовые отчеты, формируемые кодом с массой обращений к данным через точку от ссылки.

(0) можно прогнать тест Гилева http://www.gilev.ru/tpc1cgilv/

интересны показатели ваших монстров

меня сейчас очень интересует фраза товарища ILM, про сервер должно быть не настроен, вот все жду ответа)))

стало быть аудит.

В книжке по платфрме
было про особенности работы и настройки сервера.. 1С...

Прогнать тест не проблема, только мне не понятно, что нужно сделать кроме как в чистую базу развернуть *.dt а что потом?

ILM номер странички или название конкретной статьи можно попросить, а лучше ссылку с указанием на конкретное место, если конечно не сложно

(22) там одна кнопка
если показатели высокие, то скорее всего ваши неперековавшиеся семерошники наваяли адского кода

(13) Отчеты анализировать... Что тут сказать? Разбивать источники во временные таблицы, индексировать...
(18) +.

(16) Да вы бы выложили хотя бы один запрос из отчетов сюда, сразу понятно стало бы многое. А иначе сферический конь в вакууме.)

На итс посмотрите в техдокументации. Там про выделение серверу сеансов и настройка кластера серверов при масштабируемости.  Если у вас виртуалка, то создайте пару серверов 1с в кластере и настройте как руководстве администратора для 8.2 написано.

У вас там случайно не консолидация стоит?

"между дисками и серверами 16Гбитъ\с" - убивать-убивать-убивать за такую архитектуру

Может вам просто итоги рассчитать нужно? Объем базы какой? )

ITL - что Вы имеете ввиду под словом консолидация?
Gorgol - это Вы из чего такие выводы сделали? я открою Вас страшную тайну, это почти топовые показатели скорости между схд и контроллерами в серверах.
ITL - объем базы 200ГБ. может быть... :)
ПЕППИ - запрошу пару отчетов, выложу.

(31) Я тоже открою вам страшную тайну. Имя ей iops & latency.

Georg, между блейд корзиной и схд через файбер свичи быстрее сделать врят ли получиться, или у Вас быстрее? вообще, решение технологически верное, корзина, файбер свич, схд. бест прэктикс. уверяю.

Конфигурация фирмы 1с есть такая "консолидация".  Может, но это достаточно большая база. Не пробовали сделать две базы оперативную для ввода и аналитическую для отчетов?

Могу только посочуствовать вашим кодерам, как они свои отчеты тестируют...

Обратитесь сразу в 1с, у них есть опыт работы с большими базами. Я видел базу в три терабайта, но в нее шла только запись, и итоги выгружались за день в другую базу, где уже была обработка и отчеты.

(33) Это шутка была про убить, белая зависть. Уверен что с железом у вас прблемы нет.Сама1с не тянет. Они могут вам дать спецверсию для больших баз, но это уже отдельный разговор с 1с.

(34) не-не-не, отдельная база, это слишком просто, так они не проведут аудит, и не узнают "страшных тайн" про создателя архитектуры, кодеров и руководителя разработки

А что насчет теста, что мне дали в ссылке выше? Я не смогу запустить его на самом сервере, так как на серверах толстый клиент не развернут, могу просто грузануть дт в базу со своего пк и с него же пройти тест, это будет показательно?

(34) Ну, я видел 300 гб:) Но там уже настоятельно задумывались над выгрузкой данных для кубов:)

(36) тоже мне тайна, выпускники из франча, того который начал внедрение. Мы строили, строили и наконец построили. А теперь попробуем в этом доме жить.

Если бы я хотел что-то сделать корпоративненько для базы 1с размером в 200 Гб, то я бы очень внимательно почитал http://www.intel.com/content/www/us/en/solid-state-drives/solid-state-drives-910-series.html

Что мешает установить 1с на сервере и сделать как надо? Интерпретировать результаты Гилев только и сможет. Вам бы призвать@Демиурга )))

(40) Явно и одной школы с текущим руководителем разработки )

Gorgol, с Вами все ясно...

(42) Гораздо веселее будет написать свое УПП, полностью оптимизированное под highload? Ну-ну.

(43) С вами, товарищ сисадмин, все ясно с нулевого поста, но помочь ведь хочется.

(37)  я думаю, что сложилась у вас ситуация, когда в базе есть данные, а отчеты работают медленно и разработчики кивают на вас, мол у них все работает. И команда одинесников у вас нанятая на проект или своя?

команда своя, вот только подход в работе у них весьма странный...

Нет, ну если Intel принципиально не нравится, то ведь есть http://www.fusionio.com/products/iodrive-octal/

Gorgol, ну что Вы теряете "лицо", оба устройства, что Вы предложили не выстреливают выше 6Гбит, у меня же 16Гбит, будьте Вы чуть-чуть умнее...

(48) Я подхода не пойму - "Тормозят отчеты - купим новые серваки."?:)

p.s. да и где это видано, в блейды вставлять такое вот... вы хоть на картинке посмотрите, как выглядит сервер мой... название в первом посте

(49) Товарищ сисадмин, изучите отличия между гигабайтом и гигабитом.

(51) А зачем сервер баз данных на блейде размещать? Ему и памяти может понадобиться столько, сколько в блейдовую маму не воткнешь.

(50) Тут не отчеты тормозят, тут админы тормозят при построении конфигурации. Купить новых не получится - они дорвались до таблички CIO, придется учить :)

(54) Я не про то, я про порочность решения проблем только покупкой новой техники:) Может стоит сначала проанализировать отчеты?

Мне одному кажется, что (54) это и есть вторая сторона, руководитель разработчиков :).

(56) нет

Скандалы, интриги, расследования :).

Коллеги, спасибо! Буду двигаться в сторону аудита и еще раз перечитаю материал по рекомендации ILM.

(56) Не, Горгол - обладатель страшных тайн в архитектуре под 1С, он бы не позволил настраивать всё какому-то ИТ-директору.

обратитесь к Гилеву - он скажет где косяк т  кто виноват и может дать рекомендации по оптимизации(если надо то и оптимизировать)

(61)Чуть что - "обратитесь к Гилеву". Хоть иногда, головой надо чуток думать. У Гилева можно только его пару идей посмотреть и все. Типа, такое бывает. А то на какое-то шаманство смахивает. Скоро, наверное, преданные "гилевцы" выдумают еще и шаманский "бубен гилева". Будут его всем предлагать. Побегать с ним вокруг сервака и все будет понятно, и голова пройдет, и любовница хорошая появится, и прочее...
(59) Двигаться "в сторону аудита", лучше всего, со своими коллегами по работе. Вам же вместе работать. А доказывать им - "вы дураки, вот, смотрите, что уважаемая фирма говорит", это все равно, что быть рефери, не зная сути происходящего. Попробуйте повысить их самооценку. Предположите, что можно, все-же, поработать и ускорить отчетность. В конце концов, можно хоть чуток, им куры реальные по 8-ке подкинуть.
Представляете, как приятно, когда подбрасываешь идею и подчиненный приходит и с горящими глазами говорит, я это сделал. Пусть он считает, что это он сам сделал. Спросите его почему так "удачно" получилось? Пусть расскажет. Заодно, вы свои знания повысите.
Вот если подчиненный, в принципе, на новое не способен, тогда уберите его от разработки. Пусть карандашики точит пользователям.

Возможно вам следует отправить пару ваших 1Сников на курс 1С Эксперт
Таким образом можно решить сразу несколько задач
1 с большой долей вероятности вы решите проблему с медленными отчетами
2 у вас будут собственные спецы по производительности и вы обезопасите себя в будущем от подобных проблем
3 сотрудники самостоятельно поймут где косяк и решат эту задачу, тем самым сохранив свое лицо, а значит не будет конфликта

Хотя уверен что проблема решатся легко переписанием запросов, но лучше иметь своего спеца чем каждый раз бегать за советом на форум.

Всем спасибо! Буду двигаться в сторону совместного аудита и бюджетирование курсов для адекватных программистов.

Есть еще один вопрос, может быть не в рамках этой темы, но создавать отдельную ради этого...

Кто может по телефону проконсультировать на туму правильной настройки и вариантов настройки кластера 1с, возможно посмотреть настройки и дать совет. Компенсацию обсудим. Если МСК возможен НАЛ, если нет, перевод на пластик или счет.

(56) Мне тоже так показалось xD , уж больно яростен соперник ))

(64)
http://www.gilev.ru/1c/works/perf.htm

http://www.softpoint.ru/article_id415.htm

(64) Гляньте вот сюда, надеюсь сэкономите свои деньги и не потратите их зря:
1) http://mkostyas.ru/archives/106
2) http://xn--90afdtkhdeabaxvge.net/1s_predpriyatie_82/1c_82_klaster_serverov.html
3) http://infostart.ru/public/146940/
4) http://interface31.ru/tech_it/2012/01/server-1s-predpriyatie-chast-1---obshie-voprosy.html

Парочку запросов из отчетов которые у вас тормозят выложите сюда, для аудита.
А на сэкономленные средства разработчикам кофе, печенья и конфет лучше купите...

(64)
http://www.gilev.ru/online/
бесплатно.
Сервер 1С особо никак настраивать не надо.
Вообще обычно единственные железные настройки которые могут влиять это настрйока энергосбережения.

(66) Глянул ролик. Еще один "миф от гилева" - "Бэкапить Postgre сложнее с точки зрения надежности...". Правда, там добавлено "имхо". Но кто обращает внимание на эти "имхо". У меня в двух конторах на линуксе работает. К серверам не подходят. Там уже все мхом поросло. Бэкапится без проблем. Понадобилось несколько раз, в рабочем порядке воспользоваться бэкапами. Никаких проблем. Я больше вижу проблем с Poctgre в других вещах, а не надежности.