Имя: Пароль:
IT
Админ
Деградация скорости архивации у 7z
,
0 vlandev
 
12.08.14
21:06
Странная фигня происходит , после перезагрузки сервера архиватор 7z работает нормально , но со временем ближе к концу недели создание архивов по времени сильно тормозится , т.е. если сразу после перезагрузки сервака он делает архив за три минуты , то дней через пять непрерывной работы сервера создание архива занимает уже 30 минут. И это практически с одним и тем же объемом сжимаемых данных и получаемого архива! Свободной памяти в системе до дури , места на дисках тоже полно , никаких посторонних процессов , которые могли бы затормозить архивацию - нет. В чем может быть дело? Может какая то фрагментация памяти происходит и 7z уже не может разместить в памяти непрерывный блок данных?
Опции архивирования такие:
-mx6 -mmt7 -ms=off
1 HeroShima
 
12.08.14
21:09
Может спросить у автора?
2 vlandev
 
12.08.14
21:15
Автор сильно занят и по таким пустякам не отвлекается , да и слишком трудно ему будет воспроизвести эту ситуацию. Хочу узнать может кто то замечал такую же фигню , или это только у меня? Железо тестил до дури , память не битая.
3 Jump
 
12.08.14
21:18
(0)Разумеется память.
7z очень требователен к памяти.
"Свободной памяти в системе до дури" - это сколько?
И да озвучь пожалуйста размер данных, и основные параметры архивации - степень сжатия, размер словаря, непрерывный архив или нет? Я раром в основном пользуюсь, не помню так вот влет параметры командной строки 7z, а в справке смотреть лень.
4 HeroShima
 
12.08.14
21:18
(2) А вдруг у него баг? Думаю, ему было бы интересно.
Версия архиватора хоть какая?
5 opty
 
12.08.14
21:25
(3) особенно если включен Solid режим . Правда у ТС он вроеде отключен
6 vlandev
 
12.08.14
21:33
Версия архиватора - 7-Zip [64] 9.20
размер сжимаемого файла (это дамп msslq) - 2,6гб , размер получаемого на выходе архива - 600мб.
Параметры архивации только эти: -mx7 -mmt7 -ms=off
ms=off - солид отключен (сначала думал что изза этого тормоза начинаются)
-mmt7 - это типа разрешается 7z задействовать семь ядер
-mx7 - это режим "Maximum compressing" , до этого стоял режим "Ультра" но он потормознее а выйгрыш в размере архива совсем небольшой.
Памяти в системе всего 32гб , из них в момент архивации где то 13 свободно показывает , система виндовс-2008R2
7 Jump
 
12.08.14
21:39
Хм, интересно, размер данных достаточно маленький, словарь больше файла быть не может. Даже не знаю что сказать.
Я думал размер сжимаемых данных больше оперативки....
А что там с ядрами, загрузка как? Попробуй уменьшить количество ядер, или дай ему возможность самому выбирать.
8 Партизан
 
12.08.14
21:48
(0) в новых виндах диспетчер задач врёт, по маркетинговым соображениям в диспетчере задач выделенный объем памяти показывается за МИНУСОМ памяти, сброшенного в СВОП, т.е. вроде-бы памяти еще до дури, а на самом деле уже свопится по страшному, т.е. фактический выделенный объем памяти превышает физический объем ОЗУ.
9 Сержант 1С
 
12.08.14
21:53
-mmt7
когда я тестировал 7з, многоядерный режим отрабатывал как-то мутно и непредсказуемо. Плюнул, в один поток эффективней.
10 vlandev
 
12.08.14
22:08
(8) Это совершенно точно не своп , нет совсем никаких тормозов и массовых обращений к носителю , система не фризится как это бывает при свопинге.
Попробую отключить мультиядреность , хотя сомневаюсь что в этом дело , так как сразу после перезагрузки сервака время архивации возвращается в адекват.
11 Партизан
 
12.08.14
23:57
загрузка процессора сколько? сколько очередь диска? что с DPC? процессор не AMD?
12 vhl
 
13.08.14
09:09
(0) А если другой архиватор попробовать?
13 vlandev
 
13.08.14
09:44
(11) Прцессор Интел , номер сейчас не скажу какой. По очередям точно тоже сейчас сказать не могу , но в момент когда наблюдал за архивацией никаких явных аномалий в диспетчере не было.
(12) Вот я уже тоже думаю что надо раром попробовать параллельно тоже самое сделать.
14 vlandev
 
13.08.14
09:45
Ну или есть еще бетта 7z , может им еще попробую.
15 Ndochp
 
13.08.14
09:45
(0)Может фрагментация памяти? в начале архиватор может один кусок получить по запросу, а через неделю все уже кусочками по 4кб?
Попробуй утилиткой какой глянуть на эту тему. Название не скажу, лет 5 назад заморачивался, на моих задачах прирост был не на столько большой, чтобы ее в трее терпеть.
16 bolobol
 
13.08.14
09:46
За несколько дней может что-то перегреться и начать тормозить. У меня так на двух разных бучерах - перезагрузка решает проблему. Но не такой порядок, чтоб в ШЕСТЬ раз.
17 HeroShima
 
13.08.14
09:50
(14) Там одни альфы, потому и про баг сразу подумал.
18 strange2007
 
13.08.14
09:52
Может и фигню сморожу, но, автор, периодически на автомате перегружай все библиотеки, которые использует архиватор.
Я тут костыль один сваял, так он самым хаотичным образом падал. Мог неделю проработать и свалиться, мог через 2 часа помахать лапкой. Ну всё перерыл, оля (дебагер которая) на меня уже начала косо поглядывать. В итоге плюнул на это дело и слепил небольшой граф.инструмент, на котором отловил падлюку - SQLite в моём случае криво с ресурсами обращался и сам же себя губил и за собой тянул остальных. В общем через определённое кол-во запросов этой СУБД, тупо всё перегружал, заново создавал все подключения и, вуаля, ни чего не падает, память не отъедается со временем и ни кто в психушку не попал))))
19 mistеr
 
13.08.14
10:25
Я банальную вещь скажу, но скорость сжатия сильно зависит от сжимаетых ДАННЫХ. Вероятно данные в начале недели и в конце разные.
20 Kavar
 
13.08.14
10:55
7z 9/20 x64
WinServ2008R2 32gb


не наблюдается такой фигни. ежедневно несколько гиг архивируется.
сервер неделями не перегружается.

Архивация, правда, по ночам идет - никакой сторонней нагрузки на сервер нет. 15-20 гиг свободно.
21 bolder
 
13.08.14
11:12
(0)Аналогично.Но 7-z не причем.Процессы сервера нужно мониторить.
22 Жан Пердежон
 
13.08.14
12:14
(0) попробуй память дефрагментировать перед запуском архиватора
23 vlandev
 
13.08.14
13:02
(18) Посмотрел утилиткой - 7z не использует никаких библиотек в процессе работы , видать он самодостаточный и для работы ему не нужны никакие дополнительные библиотеки.
(19) Нет , данные всегда практически одни и теже - дамп одной базы MSSQL.
(22) Попробую , скачал какой то RAM Manager , там есть дифрагментатор памяти , попробую им.
24 Kavar
 
13.08.14
13:31
(23) Системным монитором понаблюдай, что в момент архивации происходит. (процессор, память, диски)
25 strange2007
 
13.08.14
13:51
(23) Тоже глянул. Ооооочень много использует библиотек. В общем тут походу надо полностью комп перегружать
26 vlandev
 
13.08.14
14:11
(25) Я использую консольную версию 7z , там монитор показывает что процесс 7z.exe совсем не задействует какие либо библиотеки.
27 Lama12
 
13.08.14
14:11
(0)Предполагаю что дело не в архиваторе, а в операционке.
Точнее в том, как операционка выделяет память программам.
Что сделает виндовс, если память будет сильно фрагментирована?
Проводит ли Windows принудительную дефрагментацию памяти?
28 vlandev
 
13.08.14
14:14
(27) Вряд ли виндовс проводит дефрагментацию памяти. Сегодня ночью постараюсь проверить , будет-ли 7z жать быстрее после дефрагментации памяти через RAM Manager.