|
Архивирование большого количества файлов по месяцам | ☑ | ||
---|---|---|---|---|
0
Freya
05.04.12
✎
12:24
|
Есть каталог, в котором больше миллиона текстовых файлов, начиная с 2010 года. Проблема в том, что даже команда ls отрабатывает крайне долго. Надо соптимизировать запрос с архивированием и последующим удалением таким образом, чтобы это не длилось вечность. И мне в этом нужна ваша помощь.
Мои размышления пока такие: использовать find, отбирая файлы по месяцам, а дальше тарить и, по идее, надо сразу удалять. Пытаюсь начать с малого, но и оно не работает, поправьте, пожалуйста. find /home/freya/myfiles -mtime +30 -exec tar -cf 03.2012.tar |
|||
1
Андрюха
05.04.12
✎
12:25
|
WinRar.exe с командной строкой
|
|||
2
Freya
05.04.12
✎
12:27
|
у меня линукс. Про командную строку понятно, про ключи и синтаксис непонятно
|
|||
3
gr13
05.04.12
✎
12:27
|
apple time machine?
|
|||
4
gr13
05.04.12
✎
12:28
|
||||
5
Андрюха
05.04.12
✎
12:29
|
эээ под Линукс не подскажу... разве что LinRar )))
|
|||
6
Freya
05.04.12
✎
12:29
|
(3) это только под мак?
|
|||
7
gr13
05.04.12
✎
12:30
|
(6) hz
|
|||
8
Freya
05.04.12
✎
12:30
|
(5) я думаю, что логика будет одна и та же, что под виндовой командной строкой, что под линуксовой. Может быть, find в моем случае неоправдан и все сможет сделать gzip, но не могу пока найти нужных ключей.
|
|||
9
Freya
05.04.12
✎
12:31
|
(7) сам пробовал? у меня сложность с установкой дополнительного ПО на эту машину.
|
|||
10
gr13
05.04.12
✎
12:32
|
(9) ja ne rabotaju s linux
|
|||
11
pumbaEO
05.04.12
✎
12:32
|
а фотка где?
man gzip man find и сколько же у вам inod свободных? |
|||
12
Freya
05.04.12
✎
12:35
|
(11) man и info читала, оттуда и нашла опцию mtime. Я совсем нехорошо знаю линукс, поэтому не понимаю логику, вот я задаю поиск, он мне находит файлы по нужной дате, выдает их в поток, а как сказать тару, чтобы он тарил файлы по очереди, по мере отработки find, а не только первый найденный файл? я счас уперлась в это.
|
|||
13
pumbaEO
05.04.12
✎
12:40
|
rsync используй.
|
|||
14
pumbaEO
05.04.12
✎
12:44
|
или
tar czf ~/backup.tgz -T filelist.txt создать список можно так find -name "*.txt" > filelist.txt |
|||
15
Freya
05.04.12
✎
12:48
|
(14) спасибо, про rsync почитаю. А с помощью конвейера нельзя как-то одной командой сделать? я прочитала в вики, что это ускорит обработку:
Конвейеры Основная статья: Конвейер (UNIX) Конвейеры — это возможность нескольких программ работать совместно, когда выход одной программы непосредственно идет на вход другой без использования промежуточных временных файлов. Синтаксис: команда1 | команда2 Выполняет команду1 используя её поток вывода как поток ввода при выполнении команды2, что равносильно использованию двух перенаправлений и временного файла: команда1 > ВременныйФайл команда2 < ВременныйФайл rm ВременныйФайл |
|||
16
pumbaEO
05.04.12
✎
12:55
|
find -name "*.txt" | xargs tar cvf myfile.tar
|
|||
17
Freya
05.04.12
✎
13:11
|
(16) Красиво. Спасибо.
|
|||
18
gr13
05.04.12
✎
13:11
|
(17) a kak ty vosstanavlivat sobiraeshsja)?
|
|||
19
Freya
05.04.12
✎
13:13
|
(18) восстанавливать что? затаренные файлы? что-то мне подсказывает, что когда будут помесячные архивы, работать с ними будет гораздо проще.
|
|||
20
gr13
05.04.12
✎
13:17
|
(19) u tebja mln failov
0 month 1 000 000 1 month 1000 files were changed - keep 1000 files 2 month 2000 files were changed - keep 2000 files ... n month you want to recover the archive you have n-1 small files 1..n and 0 full file |
|||
21
gr13
05.04.12
✎
13:19
|
(20) dlja vosstanoblenija tebe nado posledovatelno vosstanovit vse files
|
|||
22
HeroShima
05.04.12
✎
13:19
|
(0) может сначала рассовать по каталогам, соответствующим необходимым периодам? идея с удалениями в процессе мне что-то не нравится
|
|||
23
gr13
05.04.12
✎
13:21
|
||||
24
gr13
05.04.12
✎
13:21
|
(23) dlja linux
|
|||
25
Freya
05.04.12
✎
13:29
|
(22) в этом есть здравый смысл, спасибо. Просто заход в этот каталог повергает меня в уныние, а просмотр содержимого жуткую депрессию:)
|
|||
26
Freya
05.04.12
✎
13:30
|
(23) у меня нет графики и почти нет возможности ставить новое ПО. Точнее, ее нет, но можно выбить, но сложно.
И вы не могли бы писать кириллицей? |
|||
27
gr13
05.04.12
✎
13:33
|
(26) tolko vecherom, u menja zdes ne russkoj raskladki( i ustanovit eje pochti nelzja. "Точнее, ее нет, но можно выбить, но сложно. "
podumaj nad (20,21) i esli est testovaja machina poprobuj (23) |
|||
28
pumbaEO
05.04.12
✎
13:39
|
Тут вообще вопрос откуда миллион с гаком файлов нарисовался.
|
|||
29
gr13
05.04.12
✎
13:41
|
(28) eto ne vagno
|
|||
30
HeroShima
05.04.12
✎
13:41
|
(28) мне тоже интересно что в них, но задача в другом)
|
|||
31
gr13
05.04.12
✎
13:43
|
naprimer vygruzki o prodagah po chekam on 100 magazinov... ne pravilno realizovannye)))
|
|||
32
Йохохо
05.04.12
✎
14:53
|
(0) лучше так не делать
помучай гугл по двум скриптам 1 разнести файлы по месяцам 2 архивировать по каталогам а то проблему целостности придется через опу решать |
|||
33
Freya
05.04.12
✎
16:19
|
всем спасибо. В итоге разношу по каталогам по месяцам, потом тарю каждый каталог и архивирую. На создание каталога, правда, уходит ОЧЕНЬ много времени.
|
|||
34
HeroShima
05.04.12
✎
16:42
|
(33) нет за что. и "а где вы раньше были".)
|
|||
35
Freya
05.04.12
✎
16:51
|
(34) вот, пришла на "все готовенькое".
|
|||
36
pumbaEO
05.04.12
✎
16:53
|
фотография с тебя.
|
|||
37
Freya
05.04.12
✎
16:54
|
(36) да нафига вам фотография очередного бородатого эникея? за помощь спасибо.
|
|||
38
HeroShima
05.04.12
✎
16:55
|
(37) изредка попадаются весьма небородатые)
|
|||
39
Freya
05.04.12
✎
16:56
|
ок, побреюсь - выложу;)
|
|||
40
HeroShima
05.04.12
✎
16:58
|
токо не забудь побриться-то)
|
|||
41
pumbaEO
05.04.12
✎
17:00
|
(39) Ольга, а где вы собрались бриться?
|
|||
42
HeroShima
07.04.12
✎
04:53
|
(31) а может и html
|
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |