|
Сборщик файлов с ftp - решение...? | ☑ | ||
---|---|---|---|---|
0
Злопчинский
18.11.15
✎
03:02
|
.. у меня есть мысль и я ее - думаю!
Есть сборщики почты. И это понятно/хорошо. У мну есть потребность в "сборщике ftp" Как я это себе представляю: - некая программулина; - в которой прописываются адреса фтп с логинами и паролями; - для каждого фтп - назначается папка на локальном компе; - с фтп идет загрузка файлов в указанные папки; - из указанных папок идет выгрузка на фтп; - то есть грубо говоря некая "синхронизация" фтп и локального компа; - с фтп - при указании папки/адреса на фтп - на комп сливается все вложенные папки с фтп адреса (возможно хорошо бы настраивать исключения); - нужно чтобы было возможность после успешного слива файлов с фтп на комп - на фтп их удалять (опциональная настройка); - аналогично - при выгрузке с локального компа на фтп - при успешной выгрузке файлы с локального компа удалять (опционально - сливать в локальный архив); - если файлы на локальном компе "открыт" для чтения или записи - фтп-сборщик их пропускает/не синхронизирует до следующего цикла синхронизациии. - возможность опционально включать письма-уведомленяи на почту для событий синхронизации/выгрузки/загрузки файлов (т.е. некие семафоры) - прога должна (желательно) уметь крутиться как сервис и иметь интерйес для просмотрк/управления. Что-то по концепции похожее на Cobian Backup Как-то вот так я себе примерно представляю.. Есть что-либо подобное? Юзал кто-то такое/аналогичное? Как решали такую задачу? Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами - если все "плохо" то смайстярчими такое - смысл в быстром и удобно управлении/настройке всего этого. ??? Спсб |
|||
1
Злопчинский
18.11.15
✎
03:04
|
Может такой функционал FileZilla как-то может обеспечить?
|
|||
2
Aleksey
18.11.15
✎
04:51
|
так большинство FTP клиентов это умеют
|
|||
3
Aleksey
18.11.15
✎
04:58
|
лично мне для таких действий хватает обычного cmd файла и встроенного фтп клиента в винду
|
|||
4
Web00001
18.11.15
✎
05:14
|
(1)>>Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами
>>Может такой функционал FileZilla как-то может обеспечить? Ты либо готов писать скрипты, либо не готов использовать фтп клиенты в стоке :) а так это взаимоисключающие параграфы. |
|||
5
Злопчинский
18.11.15
✎
06:33
|
(3) это как набор отверток и гаечных ключей в гараже. они есть, иможет даже в порядке лежат - но "далеко", а надо под рукой и чтобы удобно управлять
|
|||
6
Злопчинский
18.11.15
✎
06:34
|
(2) например. который побогаче функциями ближе к описанным?
|
|||
7
Fedor-1971
18.11.15
✎
08:53
|
(0) описан функционал не клиента FTP, а сервера!!!
Начни с простенького TFPPD32, если функционала пкажется маловато, то ищи какой-то другой. Можешь и сразу поинтересоваться более навёрнутыми серверами. |
|||
8
Лефмихалыч
18.11.15
✎
09:01
|
(0) во-первых, ни чего сложного, вариантов это сделать ахулиард.
Во-вторых, ты по сути описал дропбокс |
|||
9
ДенисЧ
18.11.15
✎
09:04
|
написать на 1с - как два байта об асфальт...
|
|||
10
vde69
18.11.15
✎
09:13
|
(0) задача имеет одну большую проблему:
при чтении с фтп невозможно определить что файл целый, а не с прерванной заливкой. (а вот с почтой таких проблем нет) по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа.... если ты распишешь зачем тебе это нужно, может быть что лучше подскажем.... |
|||
11
Злопчинский
18.11.15
✎
13:19
|
(10) Нужно это (пока что) для простых целей.
У мну склад. Клиенты. Хочу С ИХ ФТП-серверов забирать заявки на отгрузку, заявки на приемку и воощем меняться всякой информацией. |
|||
12
Лефмихалыч
18.11.15
✎
13:20
|
(11) вебсервисы для этого придуманы. Но ты можешь, конечно, использовать и ftp. Реши только проблему контроля целостности
|
|||
13
Злопчинский
18.11.15
✎
13:21
|
(10) "по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа.... "- то есть на фтп-держать еще файлики с контрольными суммами к большим файлам..?
а как понять что файлик с контрольной суммой - тоже целиком скачался? |
|||
14
Злопчинский
18.11.15
✎
13:22
|
(12) Проблема целостности не так страшна. Файлики маленькие совсем. Вдобавок это иксемели, если вдруг при загрузке иксемель "сбойнул" - а это я смогу отследить - то просто повторная перекачка файла и все...
|
|||
15
Лефмихалыч
18.11.15
✎
13:22
|
(13) если тебе так повезло, что файл битый, и его КС битая, но при этом КС совпала с битым файлом, значит ты неудачник и тебе вообще больше ни чего не поможет, сдавайся.
|
|||
16
Лефмихалыч
18.11.15
✎
13:22
|
ну, или лотерейный билет купи - тут могут быть варианты...
|
|||
17
2S
18.11.15
✎
13:22
|
(11) дропбокс юзай
|
|||
18
Гёдза
18.11.15
✎
13:23
|
rsync
|
|||
19
0xFFFFFF
18.11.15
✎
13:24
|
(10)
1. Копируем файл с ФТП в локальный каталог 2. Сравниваем размер (в байтах) в лок. каталоге и на ФТП 3. Если размеры сошлись, удаляем с ФТП вот и вся проблема. |
|||
20
Лефмихалыч
18.11.15
✎
13:24
|
(14) таки в чем ваша проблема тогда?
|
|||
21
Лефмихалыч
18.11.15
✎
13:25
|
(19) он на ФТП может лежать не весь. да и "000" и "999" - это одно и то же количество байт.
|
|||
22
0xFFFFFF
18.11.15
✎
13:25
|
(0) у меня это все 1С делает.
ФТП используется именно как "буфер" для передачи. В остальном локальный каталог, файлы забираются по принципу (19) |
|||
23
0xFFFFFF
18.11.15
✎
13:27
|
(21) для этого - тот кто выкладывает делает ту же проверку.
Собственно то же самое делаю и я, когда выкладываю на ФТП. Есть локальный каталог "Отправляемые", есть "Отправленные". Если размер в "Отправляемых" сошелся с размером на ФТП, то он переносится из "Отправляемых" в "Отправленные". |
|||
24
0xFFFFFF
18.11.15
✎
13:28
|
Если же получатель "схавал" файл с ФТП в процессе того, как я его туда копировал, то он у него не загрузится. Мой регламент выгрузит его повторно следующим сеансом обмена и получатель его получит в полном объеме.
|
|||
25
vde69
18.11.15
✎
13:29
|
(13) есть транзакционные механизмы обмена, например мой транспорт http://catalog.mista.ru/public/16687/
|
|||
26
Злопчинский
18.11.15
✎
13:31
|
(20) Проблема - хочу программулину примерно как написал в (0).
|
|||
27
Лефмихалыч
18.11.15
✎
13:31
|
вообще, вот такая хреновина, которая собирает сообщения между ИС, строит их в очередь, гарантирует доставку и целостность между отправителями и получателями, называется ESB - Enterprise Service Bus. Их готовых до едрени фени. Fuse ESB, Zato ESB, ещемногоразных ESB.
Но это для задротов. Нормальные пацаны своё с нуля стругают. |
|||
28
Злопчинский
18.11.15
✎
13:33
|
(22) Не, это не наш путь. Свой велосипедя изобрету когда не найду подходящего или не понравится то что есть - здесь я проблемы не вижу. Тот же ncftp позволяет похожую штуку как в (0) делать - у него можно запустить процесс который крутится и подсовывать ему .
Но это имеет смысл делать если другого ничего нет/не найду. Фигли велосипед изобретать? |
|||
29
sapphire
18.11.15
✎
13:34
|
(27) именно
|
|||
30
sapphire
18.11.15
✎
13:36
|
(27) правда, не едрени фени, и их исчо надоть уметь готовить, что не всяк могет, исчо и понимать надоть для чаво оне сделаны. Да. И где их надо применять.
И кстати, применение этого добра в наших целях вовсе не Лустин придумал. |
|||
31
Aleksey
18.11.15
✎
13:37
|
(28) потому что в данном случае велосипед быстрее изобрести чем опробовать пару десятков программ, разочароваться в них и изобрести свой велосипед
|
|||
32
Garykom
гуру
18.11.15
✎
13:40
|
(26) мы такую программулину юзали еще в далеком 2005, но глючила она сильно
вроде WebSynchronizer но не уверен еще есть http://www.goodsync.com/how-to-sync-ftp-server |
|||
33
Лефмихалыч
18.11.15
✎
13:40
|
(30) я же говорю - для задротов :)
А Лустин это кто? |
|||
34
vde69
18.11.15
✎
13:42
|
(32) моя прога из 25 работала 2 года в большом холдинге, ни одной ошибки за все время :)
|
|||
35
Сержант 1С
18.11.15
✎
13:43
|
||||
36
sapphire
18.11.15
✎
13:44
|
(33) Есть такой персонаж на нимбостарте
|
|||
37
Garykom
гуру
18.11.15
✎
13:49
|
(35) а если сервер 1с на линуксе?
|
|||
38
Лефмихалыч
18.11.15
✎
13:50
|
(36) а! В очочках такой и с бородой. Вспомнил. А он еще и ESB в массы двигает?
|
|||
39
Jump
18.11.15
✎
13:57
|
Загрузка всегда делаю c помощью wget или aria2
А вот на фтп заливать - это наверное ftp.exe встроенный мучать надо, консольных я не знаю. |
|||
40
Злопчинский
18.11.15
✎
14:10
|
(22) А посмотреть хотя бы визуально на скриншоты (поделиться? купить если понравится?)
|
|||
41
gorakh
18.11.15
✎
14:41
|
(0) 1c встроенными средствами почти со всем из вышеперечисленого хорошо справляется. У нас так работает интеграция с мобильным клиентом сборшиком заказов. Но в самом ФТП проблемма. Не все операторы мобильной связи поддерживают фиксированный IP адрес в течении всего сеанса связи, ФТП такое не понимает.
|
|||
42
Злопчинский
18.11.15
✎
15:02
|
(41) на данном этапе это мало волнует. Сбор планируется со "стационарных" мест/ресурсов, где с инетом все хорошо
|
|||
43
Злопчинский
18.11.15
✎
15:02
|
(41) Не хочу на 1С...
|
|||
44
arsik
гуру
18.11.15
✎
15:09
|
(0) У нас работает Binkd, но для него нужно клиента на той стороне.
Тебе же подойдет lftp. Правда она только вроде под линуксом заводится. Вытянуть каталог с удалённого сервера (синхронизировать локальный каталог с удалённым): $ lftp -e 'mirror -e каталог-на-сервере локальный-каталог; bye;' -u логин,пароль удалённый.хост И наоборот, выложить локальный каталог на удалённый сервер: $ lftp -e 'mirror -R локальный-каталог каталог-на-сервере; bye;' -u логин,пароль удалённый.хост |
|||
45
Злопчинский
18.11.15
✎
15:15
|
(44) скриптов - если надо будет - мы и сами с админом понапишем.
хочется нормальный гуевый фейс. чтобы если что - не дергать админа - а самому добавить/удалить/изменить. |
|||
46
Гёдза
18.11.15
✎
15:19
|
||||
47
Strogg
18.11.15
✎
15:21
|
(0) - ncftpget. У нас так документооборот внутри группы работает. Запускается скрипт по расписанию, который сканирует определенные папки на фтп и выкачивает все на локальный комп. Затем, одноэс формирует определенные папки на локальном компе с файлами выгрузки. И вот потом эти папки полностю улетают в соответствующие папки на фтп.
|
|||
48
arsik
гуру
18.11.15
✎
15:21
|
(46) опередил
|
|||
49
Гёдза
18.11.15
✎
15:23
|
Да и вообще
https://www.google.ru/search?q=app for automatic download from ftp |
|||
50
Злопчинский
18.11.15
✎
15:23
|
(47) у меня тоже работает ncftp - но вот хочется чтобы сверху типа какая-то обертка удобная была...
|
|||
51
Злопчинский
18.11.15
✎
15:24
|
(49) мне не только загружать, мне еще и выгружать и прочая...
|
|||
52
arsik
гуру
18.11.15
✎
15:25
|
Handy Backup
|
|||
53
kauksi
18.11.15
✎
15:28
|
Есть такая штука Ftp Performer - уже лет 15 работает на обменах РИБ 7.7 Имеет мощный скриптовый язык, которые компилируется в независимые exe-Файлы
|
|||
54
tixis
18.11.15
✎
15:33
|
(0) http://www.goodsync.com/ru смотри или готовые проги, или пиши на 1с
|
|||
55
tixis
18.11.15
✎
15:36
|
Не увидел(43), тогда выбирай из готовых
|
|||
56
Chieftain
18.11.15
✎
15:46
|
WinSCP + sync.cmd
у меня прикручен через COM-объект в базе 1С8 - тоже своеобразный велосипед |
|||
57
Лефмихалыч
18.11.15
✎
15:49
|
можно, кстати я щас вспомнил, использовать Apache Ant
http://ant.apache.org/manual/Tasks/ftp.html годная штуковина. Просто берет и работает. Только одно небольшое неудобство - config.xml. Хотя кому как |
|||
58
Лефмихалыч
18.11.15
✎
15:49
|
или grunt.js, но к нему инфраструктуры поболе надо будет И Ант в нее входит, кажись :)
|
|||
59
Лефмихалыч
18.11.15
✎
15:50
|
такого рода софта тоже ахулиард
|
|||
60
Злопчинский
18.11.15
✎
16:16
|
(57) ну блин
Unix, NT, OS2, VMS, and OS400. |
|||
61
Лефмихалыч
18.11.15
✎
16:31
|
(60) http://ant.apache.org/manual/install.html
под винду тоже есть. У меня на домашнем ноуте работает, который под win7, значит и у тебя заведется. |
|||
62
Гёдза
18.11.15
✎
16:50
|
кстати, многие фтп сервера поддерживат проверку crc
|
|||
63
Злопчинский
18.11.15
✎
18:43
|
Админ посмотрел вроде можно с WinSCP такое сделать
|
|||
64
arsik
гуру
19.11.15
✎
09:41
|
(63) Чем WinSCP от консольной отличается? Где там удобное гуи для настроек синхронизации? Уж лучше lftp + файл со списком серверов для синхронизации.
|
|||
65
Остап Сулейманович
19.11.15
✎
09:54
|
Лет десять назад пользовали вот это чудо : http://www.emtec.com/pyrobatchftp/index.html
В принципе есть все, что прописано в (0) и даже чуть больше. Имеет ГУИ, планировщик с КРОН и достаточно внятный язык скриптов. |
|||
66
Злопчинский
21.11.15
✎
07:29
|
(64) не потянет, юниксы не юзаем
|
|||
67
Злопчинский
21.11.15
✎
07:30
|
(65) Спасибо, учтем.
|
|||
68
Злопчинский
21.11.15
✎
07:31
|
Ftp Performer вроде интересная штука, но платный блин
|
|||
69
Злопчинский
21.11.15
✎
09:58
|
(65) платная блин... ;-)
|
|||
70
Злопчинский
21.11.15
✎
09:58
|
Кстати, просветите неграмотного: в снеговике есть штатно методы работы с фтп? наскольо это работсопособно?
|
|||
71
ДенисЧ
21.11.15
✎
10:07
|
(70) Есть. Работают.
Но не всегда |
|||
72
Провинциальный 1сник
21.11.15
✎
10:08
|
(19) (21) Если соединение не рвалось (а это легко отследить) - то считаем, что файлы идентичны, доверяя протоколу tcp/ip. Если рвалось - производим попытку возобновить закачку с позиции ранее места закачки, скачиваем фрагмент в несколько килобайт и определяем место разрыва поиском фрагмента в буфере. Далее качаем с найденного места и до конца. Так всякие Regetы работают.
|
|||
73
Maniac
21.11.15
✎
10:14
|
(0) лучше нет http://www.xstarter.com/rus/
|
|||
74
Maniac
21.11.15
✎
10:15
|
+(73) РЕАЛЬНО лучше нет.
|
|||
75
Злопчинский
21.11.15
✎
11:53
|
(74) спсб, посмотрим
|
|||
76
Kvant1C
21.11.15
✎
11:58
|
||||
77
Jump
21.11.15
✎
14:16
|
(0) Вообще по описанию вам нужен сервис синхронизации.
А FTP не предназначен для синхронизации. Может вам не нужен фтп? Просто взять нормальный сервис синхронизации вроде BTSync? |
|||
78
Злопчинский
21.11.15
✎
14:28
|
(77) и как им забрать файлы лежащие на чужом фтп...?
|
|||
79
Jump
21.11.15
✎
14:57
|
(78) Т.е именно фтп.
Я думал возможно нужна просто синхронизация между компьютерами. |
|||
80
Повелитель
21.11.15
✎
16:36
|
(0) Использую для подобных задач
http://allwaysync.com/ru/index.html Правда платная, но есть и таблетки от жадности )) Конкретно для синхронизации картинок, для 2 наших сайтов. (73) xStarter хорошо, пользуюсь около 10 лет, но он такого не может. |
|||
81
Злопчинский
23.11.15
✎
16:39
|
Админ наваял караван.
Синхронизируется. |
Форум | Правила | Описание | Объявления | Секции | Поиск | Книга знаний | Вики-миста |