|
Деградация скорости архивации у 7z | ☑ | ||
---|---|---|---|---|
0
vlandev
12.08.14
✎
21:06
|
Странная фигня происходит , после перезагрузки сервера архиватор 7z работает нормально , но со временем ближе к концу недели создание архивов по времени сильно тормозится , т.е. если сразу после перезагрузки сервака он делает архив за три минуты , то дней через пять непрерывной работы сервера создание архива занимает уже 30 минут. И это практически с одним и тем же объемом сжимаемых данных и получаемого архива! Свободной памяти в системе до дури , места на дисках тоже полно , никаких посторонних процессов , которые могли бы затормозить архивацию - нет. В чем может быть дело? Может какая то фрагментация памяти происходит и 7z уже не может разместить в памяти непрерывный блок данных?
Опции архивирования такие: -mx6 -mmt7 -ms=off |
|||
1
HeroShima
12.08.14
✎
21:09
|
Может спросить у автора?
|
|||
2
vlandev
12.08.14
✎
21:15
|
Автор сильно занят и по таким пустякам не отвлекается , да и слишком трудно ему будет воспроизвести эту ситуацию. Хочу узнать может кто то замечал такую же фигню , или это только у меня? Железо тестил до дури , память не битая.
|
|||
3
Jump
12.08.14
✎
21:18
|
(0)Разумеется память.
7z очень требователен к памяти. "Свободной памяти в системе до дури" - это сколько? И да озвучь пожалуйста размер данных, и основные параметры архивации - степень сжатия, размер словаря, непрерывный архив или нет? Я раром в основном пользуюсь, не помню так вот влет параметры командной строки 7z, а в справке смотреть лень. |
|||
4
HeroShima
12.08.14
✎
21:18
|
(2) А вдруг у него баг? Думаю, ему было бы интересно.
Версия архиватора хоть какая? |
|||
5
opty
12.08.14
✎
21:25
|
(3) особенно если включен Solid режим . Правда у ТС он вроеде отключен
|
|||
6
vlandev
12.08.14
✎
21:33
|
Версия архиватора - 7-Zip [64] 9.20
размер сжимаемого файла (это дамп msslq) - 2,6гб , размер получаемого на выходе архива - 600мб. Параметры архивации только эти: -mx7 -mmt7 -ms=off ms=off - солид отключен (сначала думал что изза этого тормоза начинаются) -mmt7 - это типа разрешается 7z задействовать семь ядер -mx7 - это режим "Maximum compressing" , до этого стоял режим "Ультра" но он потормознее а выйгрыш в размере архива совсем небольшой. Памяти в системе всего 32гб , из них в момент архивации где то 13 свободно показывает , система виндовс-2008R2 |
|||
7
Jump
12.08.14
✎
21:39
|
Хм, интересно, размер данных достаточно маленький, словарь больше файла быть не может. Даже не знаю что сказать.
Я думал размер сжимаемых данных больше оперативки.... А что там с ядрами, загрузка как? Попробуй уменьшить количество ядер, или дай ему возможность самому выбирать. |
|||
8
Партизан
12.08.14
✎
21:48
|
(0) в новых виндах диспетчер задач врёт, по маркетинговым соображениям в диспетчере задач выделенный объем памяти показывается за МИНУСОМ памяти, сброшенного в СВОП, т.е. вроде-бы памяти еще до дури, а на самом деле уже свопится по страшному, т.е. фактический выделенный объем памяти превышает физический объем ОЗУ.
|
|||
9
Сержант 1С
12.08.14
✎
21:53
|
-mmt7
когда я тестировал 7з, многоядерный режим отрабатывал как-то мутно и непредсказуемо. Плюнул, в один поток эффективней. |
|||
10
vlandev
12.08.14
✎
22:08
|
(8) Это совершенно точно не своп , нет совсем никаких тормозов и массовых обращений к носителю , система не фризится как это бывает при свопинге.
Попробую отключить мультиядреность , хотя сомневаюсь что в этом дело , так как сразу после перезагрузки сервака время архивации возвращается в адекват. |
|||
11
Партизан
12.08.14
✎
23:57
|
загрузка процессора сколько? сколько очередь диска? что с DPC? процессор не AMD?
|
|||
12
vhl
13.08.14
✎
09:09
|
(0) А если другой архиватор попробовать?
|
|||
13
vlandev
13.08.14
✎
09:44
|
(11) Прцессор Интел , номер сейчас не скажу какой. По очередям точно тоже сейчас сказать не могу , но в момент когда наблюдал за архивацией никаких явных аномалий в диспетчере не было.
(12) Вот я уже тоже думаю что надо раром попробовать параллельно тоже самое сделать. |
|||
14
vlandev
13.08.14
✎
09:45
|
Ну или есть еще бетта 7z , может им еще попробую.
|
|||
15
Ndochp
13.08.14
✎
09:45
|
(0)Может фрагментация памяти? в начале архиватор может один кусок получить по запросу, а через неделю все уже кусочками по 4кб?
Попробуй утилиткой какой глянуть на эту тему. Название не скажу, лет 5 назад заморачивался, на моих задачах прирост был не на столько большой, чтобы ее в трее терпеть. |
|||
16
bolobol
13.08.14
✎
09:46
|
За несколько дней может что-то перегреться и начать тормозить. У меня так на двух разных бучерах - перезагрузка решает проблему. Но не такой порядок, чтоб в ШЕСТЬ раз.
|
|||
17
HeroShima
13.08.14
✎
09:50
|
(14) Там одни альфы, потому и про баг сразу подумал.
|
|||
18
strange2007
13.08.14
✎
09:52
|
Может и фигню сморожу, но, автор, периодически на автомате перегружай все библиотеки, которые использует архиватор.
Я тут костыль один сваял, так он самым хаотичным образом падал. Мог неделю проработать и свалиться, мог через 2 часа помахать лапкой. Ну всё перерыл, оля (дебагер которая) на меня уже начала косо поглядывать. В итоге плюнул на это дело и слепил небольшой граф.инструмент, на котором отловил падлюку - SQLite в моём случае криво с ресурсами обращался и сам же себя губил и за собой тянул остальных. В общем через определённое кол-во запросов этой СУБД, тупо всё перегружал, заново создавал все подключения и, вуаля, ни чего не падает, память не отъедается со временем и ни кто в психушку не попал)))) |
|||
19
mistеr
13.08.14
✎
10:25
|
Я банальную вещь скажу, но скорость сжатия сильно зависит от сжимаетых ДАННЫХ. Вероятно данные в начале недели и в конце разные.
|
|||
20
Kavar
13.08.14
✎
10:55
|
7z 9/20 x64
WinServ2008R2 32gb не наблюдается такой фигни. ежедневно несколько гиг архивируется. сервер неделями не перегружается. Архивация, правда, по ночам идет - никакой сторонней нагрузки на сервер нет. 15-20 гиг свободно. |
|||
21
bolder
13.08.14
✎
11:12
|
(0)Аналогично.Но 7-z не причем.Процессы сервера нужно мониторить.
|
|||
22
Жан Пердежон
13.08.14
✎
12:14
|
(0) попробуй память дефрагментировать перед запуском архиватора
|
|||
23
vlandev
13.08.14
✎
13:02
|
(18) Посмотрел утилиткой - 7z не использует никаких библиотек в процессе работы , видать он самодостаточный и для работы ему не нужны никакие дополнительные библиотеки.
(19) Нет , данные всегда практически одни и теже - дамп одной базы MSSQL. (22) Попробую , скачал какой то RAM Manager , там есть дифрагментатор памяти , попробую им. |
|||
24
Kavar
13.08.14
✎
13:31
|
(23) Системным монитором понаблюдай, что в момент архивации происходит. (процессор, память, диски)
|
|||
25
strange2007
13.08.14
✎
13:51
|
(23) Тоже глянул. Ооооочень много использует библиотек. В общем тут походу надо полностью комп перегружать
|
|||
26
vlandev
13.08.14
✎
14:11
|
(25) Я использую консольную версию 7z , там монитор показывает что процесс 7z.exe совсем не задействует какие либо библиотеки.
|
|||
27
Lama12
13.08.14
✎
14:11
|
(0)Предполагаю что дело не в архиваторе, а в операционке.
Точнее в том, как операционка выделяет память программам. Что сделает виндовс, если память будет сильно фрагментирована? Проводит ли Windows принудительную дефрагментацию памяти? |
|||
28
vlandev
13.08.14
✎
14:14
|
(27) Вряд ли виндовс проводит дефрагментацию памяти. Сегодня ночью постараюсь проверить , будет-ли 7z жать быстрее после дефрагментации памяти через RAM Manager.
|
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |