Привезли новый сервер. Тестирую. Скинул на него копию базы 1С (БП ред. 3.0). Попробовал наиболее продолжительные операции (проведение доков за месяц, тестирование и исправление) - время практически не изменилось. Загрузка процессора процентов 7, при этом в активной работе только 2 ядра из 24-х. Загрузка памяти - тоже процентов 5-7. что можно сделать?
База файловая, доступ через терминал, размер базы 4.5 Гб

поражаюсь - конфигурации сервера нет, но  прокачанные телепаты уже дают советы.
Замеры производительности дисковой подсистемы сделаны?

"скорей всего к каталогу с файловой базой установлен доступ не только "из терминала", но из локальной сети также."
Нет. Доступ только через терминал

(34) Гы гы)) +10500.Бп 3.0 тут завести пытаются) 7.7Тис уже 11 лет назад на серваках летала, что уж про современные то говорить .

(40) до самых корней дисков общего доступа нет? Что там в правах на рабочую группу определено? Может тебе не видно, а кто-то один по сетке с правами админа коннектится к дискам?

(29) А какая ОС стоит на новом серваке? Вполне возможно что на старом Win 2003 а на новый win 2012 R2 поставили. А там куча фишек для "ускорения" работы, которые тормозят 1С-ку

(0) > Попробовал наиболее продолжительные операции (проведение доков за месяц, тестирование и исправление)

Что за бред?... У вас каждый пользователь, зайдя в базу сразу начинает перепроводить документы за месяц и ТиИ делать?
Тестировать надо одновременную работу нескольких пользователей, выполняющих повседневные задачи.
Результат тестирования задач, делающихся монопольно, - это вообще не показатель. Максимум чего можно было ожидать - увеличения производительности на 5-10%% (и то - не факт).

И вообще... Чего вы ожидали для файловой базы?
У вас был SSD, поставили рейд из SSD. Какая между ними фактическая разница по производительности? Какой ожидался прирост скорости?
Про процессоры уже писали. Их производительность может дать прирост (и то не факт) только при одновременной работе нескольких пользователей - у каждого свой процесс.

"Замеры производительности дисковой подсистемы сделаны?"
Вот в данный момент уже 2 часа идет удаление помеченных объектов. Загрузка процессора - 8%, в работе 2 ядра, одно на 100%, второе чуть меньше. Память - 8%. Диск не загружен вообще.

(6) Да ладно? Длина очереди к диску какая?

и еще может быть, что загрузку процессора показывает некорректно. 24 ядра всего - если одно сильно нагружено, то от общего 100% будет 5%, а на двух ядрах будет скакать от 5% до 10%, а в среднем 7%.

Нужен какой-то другой способ. Распараллеливания на потоки 1С делать практически не умеет. Если один сеанс, то он и будет крутить один поток. Другому сеансу достанется другой поток.
Два ядра - один для текущего сеанса 1С-ки, другой всему остальному.

Видимо, узнать модель нового процессора и объем оперативной памяти нам не судьба.

(45) тебе уже раз 10 ответили - файловая + терминалка  разгоняется только повышением тактовой частоты ядра и увеличением его ядра кэша

(0) какой дурак тестирует сервер в однопользовательском режиме? ты ему нагрузку дай - юзеров с полста(с сотню), а потом тестируй.

а так - хм..
у меня дома обычный i5 + ССД работает куда как шустрее, чем сервак на работе.
Для одного пользователя.
Потому что в однопользовательском файловом 1С юзает одно ядро.
И одно ядро моего i5 в полтора раза шустрее одного ядра на моем же сервере. Соответственно и память шустрее.

Зато мой домашний вообще не потянет 100 юзеров. А сервак на работе - легко.

И хрена ли тут сравнивать производительность файловой базы для ОДНОГО юзера.

Если процы старого и нового сервака по своим скоростным характеристикам (тактовой частоте) близки, если дисковые подсистемы близки (а один ССД и рэйд из ССД близки) - то для ОДНОГО юзера в однопользовательском режиме быстродействие 1С с какой радости должно увеличиться?
Ах количество ядер на новом серваке удвоилось? так они одному юзеру и нафик не нужны, эти ядра.

Неужто с тех пор, как 1С выпустила лицензию на мини-сервер, кто-то продолжает работать на файловой?

(45) ну вот сам же видишь. Скорость работы уперлась в максимум производительности ядра процессора. Что непонятно?

(51) а толку от этой лицензии? Развод мышей

(0)А с чего она должна увеличиться?
Дисковая подсистема у вас практически не изменилась, разве что скорость записи упала на новом сервере.
Был один SSD стал RAID из четырех SSD.


Увеличилось количество ядер на новом серере я так понимаю.
Поэтому скорее всего производительность одного ядра уменьшилась.

В общем судя по представленной информации база должна работать точно так же или немного медленнее на новом сервере.

(51) процентов 60% от рынка, ибо это БП с одним ГБ

Я, кстати, частенько наблюдаю, что узким местом становится производительность ядра. Что, честно говоря, удивительно.

(51)Конечно.
Чем плоха файловая на двух-трех пользователей?

А по поводу лицензии на мини сервер можно поподробнее- это вообще что за фрукт? Я как то упустил.

(51) мини-сервер - там всего пять одновременных сеансов к серверу. к СЕРВЕРУ. А базы бывают нужны в в нескольких экземплярах разных конфигураций

(55)+10000
Но многие этого не понимают.

(57) http://www.1c.ru/news/info.jsp?id=17577

(51) Ты не поверишь, то очень многие прекрасно работают на файловой под веб-сервером с количеством пользователей больше пяти.

(58) зачем одновременно ? =)

(58)Ну вот у моего клиента 140 баз, с ними работают примерно 3-10 пользователей.
Подойдет этот минисервер?

"Может тебе не видно, а кто-то один по сетке с правами админа коннектится к дискам?"
Говорю же, нет. Сервак в тестовом режиме, там просто никаких общих доступов не делалось.

"А какая ОС стоит на новом серваке?"
2008R2

(61) Подтверждаю) Жалоб нет, 5-7 пользователей.

(63) Не подойдет.

(55) Ясно. Спасибо.

(56) однопоточные процессы в каждом сеансе подключения к базам. Причем, даже без разницы: - файловая? клиент однопоточно. - серверная? сеанс на сервере однопоточно.

Потоки между ядрами не параллелятся... Это процессы изначально распараллеливаются на потоки, но поток исполняется своим ядром - один поток на одно ядро.

(63) Вряд ли.
Минисервер  на 5 одновременных ПОДКЛЮЧЕНИЙ.
Вашего клиента удовлетворит минисервер только в случае, если один пользователь работает в один момент времени только с  одной базой и при этом не используются регламентные и фоновых задания, которые тоже жрут лицензии.

(69) задания не лицензии они жрут, а сеансы. Сеансов должно быть не больше пяти, т.е. подключения извне + фоновые и регламентные, если они разрешены.

(37) А есть объективные подтверждения влияния сетевого доступа на кеширование? Воспроизводимый бенчмарк.

+68 в англоязычной документации вообще для потока используется термин "thread" , который буквально переводится нитка. Т.е. я к тому, что "thread" одномоментно в двух ядрах находиться и не должен по определению.

(69) > и при этом не используются регламентные и фоновых задания, которые тоже жрут лицензии.


не жрут

(73) Речь о программных лицензиях, поведение которых сильно отличаются от аппаратных

(74) был баг, когда минисервер учитывал и фоновые задания
но это вроде починили

(69)У меня аппаратный ключ и файловые базы. Каждый открывает сколько захочет. Обычно до трех баз. С файловой все работает прекрасно.

(64) характеристики серверов озвучишь старого и нового? или так и будем в телепатов играть?

(76) лицензии на сервер и обычные не путай

(68) Это всё понятно. Но привычнее упираться в дисковую подсистему. От 1С не ждешь высокой нагрузки на проц.
И, кстати, что заметил на тестах: MSSQL умеет параллелить компоновку СКД по ядрам. А postgres не умеет.

(79) "От 1С не ждешь высокой нагрузки на проц" с выходом бп 3.0, ут11 и т.д. упираться стало и в проц, особенно на ссд заметно

(79) от роду УПП в ядра упиралась и обсуждено это было 100500 раз

диски давно уже не узкое место, лет 5

(74) Речь о программных лицензиях, поведение которых сильно отличаются от аппаратных. - например, кроме возможности раздачи через hasplm?

(79)С появлением SSD упереть 1с в дисковую  практически нереально.
Только процессор, если речь идет о файловой.
Ну и память если речь идет о скуле.

(79) тут база файловая.

(81) Да какое, нафиг, УПП? Скорость тупой записи пачек синтетических документов по тому же тесту Гилева прямо зависит от производительности ядра! Это ненормально, я считаю.

http://catalog.mista.ru/public/173394/ показывает, что на серверных процессорах суммарная скорость растет на количестве сеансов вплоть до количество ядер * 4 примерно

(86) Меня больше интересует и удивляет скорость выполнения конкретной задачи, чем суммарная скорость на параллельных задачах.

(79) // И, кстати, что заметил на тестах: MSSQL умеет параллелить компоновку СКД по ядрам. А postgres не умеет.

Могу ошибаться, но насколько я представляю возможности программирования на таком уровне, могу высказать только предположения. СКД все равно отдается процессу 1С:Сервер на сервере. СУБД не знает и не опознает, что такое СКД, а что такое черный запрос. 1С:Сервак шлет только запросы в СУБД.
Если при обращению к postgres 1С не может генерить запросы в новых потоках, то значит не может. Но я думаю, что поведение postgres по обработке пакетных запросов будет отличаться в случаях исполнение на винде или на линуксе.

(87) то же восстановление последовательности или расчет себестоимости можно распараллелить при желании и прямых руках

(88) Да, формулировка была некорректна. Где именно камень преткновения - не до конца понятно. То ли в линухе, то ли в 1С, то ли в СУБД, то ли всё вместе взятое. Налицо только результат. "Тяжелый" отчет в инфраструктуре MS способен сформироваться значительно быстрее на сопоставимом железе.

минисервер 1С  мертворожденная вещь, учитывались бы не коннекты, а пользователи подключенные к серверу был бы смысл.

При наличии купленных лицензий на ПО и недостатках файлового варианта такой сервер должен бесплатно в основную поставку входить.

(91) Соглашусь, что минисервер - очень странный продукт в части позиционирования. Он попадает в очень узкий сегмент рынка. А нормальный файловый движок нужен. И 1С его пилит.

(90) да, такое могу подтвердить. Я физически такое наблюдал неоднократно. Железо сопоставимое, а линуксовое решение проигрывает ms по скорости, что особенно заметно на "тяжелых" отчетах или обработках.

(93) Ну, это не показатель ни разу. Суммарная совокупная производительность нормального решения на линухе хуже виндового ненамного. Я только о тяжелых компоновках СКД говорил. С какой-то точки зрения оно даже хорошо, что пользователь не способен в линухе больше одного ядра загрузить, кроме тех случаев, когда это явно предусматривает разработчик.

"удаление помеченных объектов" - как раз на SQL получите значительное ускорение этой операции

а так - мерить файловую даже не интересно

(0) <- (95)

Сорри, не внимателен был.

А у ТС на файловой версии регламентные задания исполняются? Если "да" - то ещё один вопрос: "В том же самом сеансе?" - если два "да" - то о производительности можно забить(зачеркнуто) забыть.

(82) Они по разному считают количество подключений

(97) О каких регламентных идёт речь? Там в БП регламентных раз-два и обчелся

Более того в файловой версии 1С даже не юзает фоновые задания (алгоритм в типовой так прописан). Что как бы блокирует работу при выполнении операции, но позволяет увеличить скорость выполнения на лишние 1-2 секунды на каждой операции

(92) если строго к терминам подходить, то файл базы в 8-ке - это компаунд-файл. Это не совсем файловая, как это было, допустим в 7.7. К нему можно обратиться только своим "движком". По привычке этот режим называют файловым. Обращение в файлу базы из СУБД - фактически тоже файловый доступ. Но сам файл базы в этом случае не расшарен на сетевой доступ и соответственно у него не возникают проблемы, свойственные файловым операциям в режиме разделенного доступа.

(99) ну не скажи... полнотекстовый поиск по дефолту обновляется постоянно.

(102) Согласен. Это единственное задание, которое запускается раз в минуту и иногда приводит к микрофризам. Остальные не влияют на производительность (обычно запускаются раз в день. Максимум раз в 3 часа - обновление данных монитора руководителя)

(101) Не совсем понял, к чему эта мини-лекция.

(104) да мне не дали закончить текст и отправил его хоть в том виде, как прервался.

В общем, если при обращении к компаунд-файлу на клиентах 1С уже все получается так как нужно, то достаточно изолировать этот файл на любом "сервере" от разделенного сетевого доступа и скормить его 1С:Серверу, чтоб получить желаемый результат.
НО !!! Выбранная на сегодня маркетинговая политика дает возможность продавать "серверный режим" по ценам на порядок выше клиентской платформы. А поэтому нет сборки собственного движка 1С:сервера, который не обращался бы к готовым MS SQL, Oracle и т.д.

(101)[Обращение в файлу базы из СУБД - фактически тоже файловый доступ]
да ты чё
хоть раз запусти профайлер и на запрос посмотри

(105) Хорошая трава))

(106) но файл базы у СУБД один? А внутри множество таблиц.
А что запрос через профайлер посмотреть... ну можно посмотреть, только я не отрицаю, что таблиц множество.

(92) нормальный файловый движок никогда не будет нормальным ПО СЕТИ по причине его файловости, не надо глупостей.

(107) соглашусь.

(101) "Это не совсем файловая, как это было, допустим в 7.7."

все аналогично 7.7. Просто много файлов объединили в 1 и его не может читать Excel.

(111) тогда чем СУБД со своим одним файлом базы отличается?

если будут какие-то ссылки, где бы объяснялось отличие СУБД от "файловых баз", то я с готовностью их прочту.
Вот даже яндекс попробую помучить этим вопросом :)

(113) субд - это программа, файловая база - это набор файлов.
Что ещё ты хочешь прочитать?

(114) у восьмерки в файловой базе только один файл.

(112) Что ты имеешь под словом СУБД?

(116) обращение к данным, ну и запись их, само собой.

В общем, пока полазил по яндексу нашел вот такую
http://devacademy.ru/posts/sqlite-vs-mysql-vs-postgresql/
... там много букв
кусок есть об
---
SQLite

Легко встраиваемая в приложения база данных. Так как это система базируется на файлах, то она предоставляет довольно широкий набор инструментов для работы с ней, по сравнению с сетевыми СУБД
и т.д.

(117) Вот как? На чем тогда базируется MS SQL ?

(117) Задумайся, зачем нужен сервер как программа.

(0)
1. Отключи Hyper-threading, получишь существенный прирост скорости.
2. Главное - частота проца, а не кол-во ядер, особенно для файловой базы. Если частоты старого и нового похожи, то не жди прироста.

(119) :)
Вот сам задумайся. У нас есть 8-ка и файл базы.
А есть сервер для базы и на нем MS SQL и приложение 1С:сервера в котором запускается сразу несколько процессов и т.д. Но все они подключаются через сокеты к MS SQL

Поскольку файловая выдает такие же результаты при обработке данных... Отличие только в сохранении производительности в многопользовательском режиме. Но при небольшом числе пользователей, при терминальном режиме падение производительности есть даже на MS SQL
Ну примерно об этом всем написано по ссылке, только не так коряво, как это я пересказываю.

(105) Ты про потенциальную возможность реализации сервера 1С в спарке с файловым хранилищем? Да, это имело бы смысл...
Кэширование, устранение разделенного сетевого файлового доступа, человеческие регламенты и прочие плюшки...
Да, это было бы неплохое решение. Архитектурно выглядит красиво. Но маркетинг в самом деле ему почти не оставляет места.

(89) можно поподробнее?

(0) в большинстве случаев RAID для SATA плохое решение.

(124) то есть для SSD http://habrahabr.ru/company/webzilla/blog/227927/

(121) https://ru.wikipedia.org/wiki/Система_управления_базами_данных


Систе?ма управле?ния ба?зами да?нных (СУБД) — совокупность программных и лингвистических средств общего или специального назначения, обеспечивающих управление созданием и использованием баз данных[1].

управление данными во внешней памяти (на дисках);
управление данными в оперативной памяти с использованием дискового кэша;
журнализация изменений, резервное копирование и восстановление базы данных после сбоев;
поддержка языков БД (язык определения данных, язык манипулирования данными).

Состав СУБД[править | править вики-текст]

Обычно современная СУБД содержит следующие компоненты:
ядро, которое отвечает за управление данными во внешней и оперативной памяти и журнализацию,
процессор языка базы данных, обеспечивающий оптимизацию запросов на извлечение и изменение данных и создание, как правило, машинно-независимого исполняемого внутреннего кода,
подсистему поддержки времени исполнения, которая интерпретирует программы манипуляции данными, создающие пользовательский интерфейс с СУБД
а также сервисные программы (внешние утилиты), обеспечивающие ряд дополнительных возможностей по обслуживанию информационной системы.

(121) У Файловой есть премущество, что программа 1С работает напрямую с файлами, которые к тому же кэшируются системой. И если есть множество мелких запросов, то такой алгоритм будет иметь преймущество перед СУБД, так не нужны затраты по передаче данных между двумя процессами.

(127) Это преимущество будет стабильным только при условии обращения к файловому хранилищу в локальном контексте с одним пользователем...
Собственно топик-тема с этого вопроса и началась: см в (0)

(128) Необязательно одним пользователем. Это будет работать и при нескольких пользователях, но на одном компьютере, так как драйвера локальной базы будут использовать кэшированные в памяти страницы файлов (файа). Поэтому для локальных баз и используют терминальные сессии.

(29) про то, что sql медленнее файловой в однопользовательском.
это байки. тестовая база (пиленая БП3) в 13 гиг в файле еле шевелилась :)
под постгре оно работало вполне сносно.
на ноутбуке.

(125)Ну скажем так - для SSD имеет смысл только Raid 1, когда нужна отказоустойчивость.
В большинстве остальных случаев это либо бессмысленно, либо вредно.

Основное преимущество SSD это скорость случайного чтения, из за этого и повышение быстродействия, рэйд повышает только скорость линейного чтения.
Скорость случайного чтения в рейде либо не меняется, либо уменьшается.
В итоге рэйд будет показывать шикарные скорости линейного чтения, которые на практике никому нафиг не нужны, а вот случайное чтение будет либо такое же, либо хуже.

(130)Сколько юзеров?

(130) Там даже преимущество может быть даже не в SQL а в 64 битном сервере приложений

133 Хотя по сравнению с ноутом на SQL сервере значительно больше памяти

(54) "Дисковая подсистема у вас практически не изменилась, разве что скорость записи упала на новом сервере.
Был один SSD стал RAID из четырех SSD. "
точно скорость упала? даже при RAID 10?

re: Загрузка процессора процентов 7, при этом в активной работе только 2 ядра из 24-х. Загрузка памяти - тоже процентов 5-7. что можно сделать?

Это нормально, так и должно быть. При небольшом количестве пользователей загружены два ядра, одно полностью процессом 1с и второе меньше чем на 50% всем остальным, включая ОС и sql сервер если он на той же машине.
Сделать можно следующее:
1. На сайте Гилева есть рекомендации по настройке BIOS и ОС. Привести в соответствие. Есть шанс что вырастет производительность.
2. Приобрести процессор(а) с максимально возможной тактовой частотой с учётом Turbo Boost. При небольшом количестве пользователей число ядер не важно а важна производительность одиночного ядра, которая в пределах одного поколения на 99% определяется тактовой частотой.

(135)Ну да.
А с чего бы ей не упасть?

По порядку-
1) Для начала нужно определиться какая скорость важна.
Линейная или случайная.
В рейде растет линейная скорость.
Скорость случайного доступа, и соответственно скорость чтения мелких блоков либо остается такой же, либо падает.
Линейная скорость важна когда вы копируете видео с диска на диск.
При работе с базами данных вам интересна именно скорость случайной записи/чтения.

2)Обычные SSD не приспособлены для рэйда, нет оптимизации под рейд.
В итоге у вас работает четыре диска - один из них включает сбор мусора - и у вас курит весь массив, потом включит другой и массив опять будет курить.
Вот если бы они одновременно это делали. Но синхронизации мозгов нет. Поэтому все просадки скорости связанные с внутренними работами SSD в вашем рейде будут суммироваться.

3)Рейд 10 я так понимаю сделан не средствами ОС, а на контроллере. А контроллер трим не пропускает.
В результате диск забивается полностью неудаленными данными, и скорость записи просаживается раз этак в 5-10раз.

Как замерялось время? На глаз или через Апдекс? В 3.0 апдекс по-моему встроен.
Что показывают ключевые счетчики на новой и старой системе?

Memory    Available MBytes
    Pages/sec
Network Interface (*)    Bytes Total/sec
Processor    % Processor Time
System    Processor Queue Length
    Context Switches/sec
Physical Disk (*)    Avg. Disk sec/Write
    Avg. Disk sec/Read
    Current Disk Queue Length
    Avg. Disk Queue Length
    % Disk Time
    % Disk Write Time
    % Disk Read Time
    Disk Reads/sec
    Disk Writes/sec

По поводу файловой и sql:
http://www.gilev.ru/mssqlvsfile/