Имя: Пароль:
IT
 
Архивирование большого количества файлов по месяцам
0 Freya
 
05.04.12
12:24
Есть каталог, в котором больше миллиона текстовых файлов, начиная с 2010 года. Проблема в том, что даже команда ls отрабатывает крайне долго. Надо соптимизировать запрос с архивированием и последующим удалением таким образом, чтобы это не длилось вечность. И мне в этом нужна ваша помощь.
Мои размышления пока такие: использовать find, отбирая файлы по месяцам, а дальше тарить и, по идее, надо сразу удалять.

Пытаюсь начать с малого, но и оно не работает, поправьте, пожалуйста.
find /home/freya/myfiles -mtime +30 -exec tar -cf 03.2012.tar
1 Андрюха
 
05.04.12
12:25
WinRar.exe с командной строкой
2 Freya
 
05.04.12
12:27
у меня линукс. Про командную строку понятно, про ключи и синтаксис непонятно
3 gr13
 
05.04.12
12:27
apple time machine?
4 gr13
 
05.04.12
12:28
5 Андрюха
 
05.04.12
12:29
эээ под Линукс не подскажу... разве что LinRar )))
6 Freya
 
05.04.12
12:29
(3) это только под мак?
7 gr13
 
05.04.12
12:30
(6) hz
8 Freya
 
05.04.12
12:30
(5) я думаю, что логика будет одна и та же, что под виндовой командной строкой, что под линуксовой. Может быть, find в моем случае неоправдан и все сможет сделать gzip, но не могу пока найти нужных ключей.
9 Freya
 
05.04.12
12:31
(7) сам пробовал? у меня сложность с установкой дополнительного ПО на эту машину.
10 gr13
 
05.04.12
12:32
(9) ja ne rabotaju s linux
11 pumbaEO
 
05.04.12
12:32
а фотка где?
man gzip
man find

и сколько же у вам inod свободных?
12 Freya
 
05.04.12
12:35
(11) man и  info читала, оттуда и нашла опцию mtime. Я совсем нехорошо знаю линукс, поэтому не понимаю логику, вот я задаю поиск, он мне находит файлы по нужной дате, выдает их в поток, а как сказать тару, чтобы он тарил файлы по очереди, по мере отработки find, а не только первый найденный файл? я счас уперлась в это.
13 pumbaEO
 
05.04.12
12:40
rsync используй.
14 pumbaEO
 
05.04.12
12:44
или
tar czf ~/backup.tgz -T filelist.txt

создать список можно так
find -name "*.txt" > filelist.txt
15 Freya
 
05.04.12
12:48
(14) спасибо, про rsync почитаю. А с помощью конвейера нельзя как-то одной командой сделать? я прочитала в вики, что это ускорит обработку:

Конвейеры

Основная статья: Конвейер (UNIX)
Конвейеры — это возможность нескольких программ работать совместно, когда выход одной программы непосредственно идет на вход другой без использования промежуточных временных файлов. Синтаксис:
команда1 | команда2
Выполняет команду1 используя её поток вывода как поток ввода при выполнении команды2, что равносильно использованию двух перенаправлений и временного файла:
команда1 > ВременныйФайл
команда2 < ВременныйФайл
rm ВременныйФайл
16 pumbaEO
 
05.04.12
12:55
find -name "*.txt" | xargs tar cvf myfile.tar
17 Freya
 
05.04.12
13:11
(16) Красиво. Спасибо.
18 gr13
 
05.04.12
13:11
(17) a kak ty vosstanavlivat sobiraeshsja)?
19 Freya
 
05.04.12
13:13
(18) восстанавливать что? затаренные файлы? что-то мне подсказывает, что когда будут помесячные архивы, работать с ними будет гораздо проще.
20 gr13
 
05.04.12
13:17
(19) u tebja mln failov

0 month 1 000 000
1 month 1000 files were changed - keep 1000 files
2 month 2000 files were changed - keep 2000 files

...

n month you want to recover the archive

you have n-1 small files 1..n and 0 full file
21 gr13
 
05.04.12
13:19
(20) dlja vosstanoblenija tebe nado posledovatelno vosstanovit vse files
22 HeroShima
 
05.04.12
13:19
(0) может сначала рассовать по каталогам, соответствующим необходимым периодам? идея с удалениями в процессе мне что-то не нравится
23 gr13
 
05.04.12
13:21
24 gr13
 
05.04.12
13:21
(23) dlja linux
25 Freya
 
05.04.12
13:29
(22) в этом есть здравый смысл, спасибо. Просто заход в этот каталог повергает меня в уныние, а просмотр содержимого жуткую депрессию:)
26 Freya
 
05.04.12
13:30
(23) у меня нет графики и почти нет  возможности ставить новое ПО. Точнее, ее нет, но можно выбить, но сложно.
И вы не могли бы писать кириллицей?
27 gr13
 
05.04.12
13:33
(26) tolko vecherom, u menja zdes ne russkoj raskladki( i ustanovit eje pochti nelzja. "Точнее, ее нет, но можно выбить, но сложно. "

podumaj nad (20,21) i esli est testovaja machina poprobuj (23)
28 pumbaEO
 
05.04.12
13:39
Тут вообще вопрос откуда миллион с гаком файлов нарисовался.
29 gr13
 
05.04.12
13:41
(28) eto ne vagno
30 HeroShima
 
05.04.12
13:41
(28) мне тоже интересно что в них, но задача в другом)
31 gr13
 
05.04.12
13:43
naprimer vygruzki o prodagah po chekam on 100 magazinov... ne pravilno realizovannye)))
32 Йохохо
 
05.04.12
14:53
(0) лучше так не делать
помучай гугл по двум скриптам
1 разнести файлы по месяцам
2 архивировать по каталогам
а то проблему целостности придется через опу решать
33 Freya
 
05.04.12
16:19
всем спасибо. В итоге разношу по каталогам по месяцам, потом тарю каждый каталог и архивирую. На создание каталога, правда, уходит ОЧЕНЬ много времени.
34 HeroShima
 
05.04.12
16:42
(33) нет за что. и "а где вы раньше были".)
35 Freya
 
05.04.12
16:51
(34) вот, пришла на "все готовенькое".
36 pumbaEO
 
05.04.12
16:53
фотография с тебя.
37 Freya
 
05.04.12
16:54
(36) да нафига вам фотография очередного бородатого эникея? за помощь спасибо.
38 HeroShima
 
05.04.12
16:55
(37) изредка попадаются весьма небородатые)
39 Freya
 
05.04.12
16:56
ок, побреюсь - выложу;)
40 HeroShima
 
05.04.12
16:58
токо не забудь побриться-то)
41 pumbaEO
 
05.04.12
17:00
(39) Ольга, а где вы собрались бриться?
42 HeroShima
 
07.04.12
04:53
(31) а может и html