Имя: Пароль:
1C
 
Сборщик файлов с ftp - решение...?
,
0 Злопчинский
 
18.11.15
03:02
.. у меня есть мысль и я ее - думаю!
Есть сборщики почты. И это понятно/хорошо.

У мну есть потребность в "сборщике ftp"

Как я это себе представляю:
- некая программулина;
- в которой прописываются адреса фтп с логинами и паролями;
- для каждого фтп - назначается папка на локальном компе;
- с фтп идет загрузка файлов в указанные папки;
- из указанных папок идет выгрузка на фтп;
- то есть грубо говоря некая "синхронизация" фтп и локального компа;
- с фтп - при указании папки/адреса на фтп - на комп сливается все вложенные папки с фтп адреса (возможно хорошо бы настраивать исключения);
- нужно чтобы было возможность после успешного слива файлов с фтп на комп - на фтп их удалять (опциональная настройка);
- аналогично - при выгрузке с локального компа на фтп - при успешной выгрузке файлы с локального компа удалять (опционально - сливать в локальный архив);
- если файлы на локальном компе "открыт" для чтения или записи - фтп-сборщик их пропускает/не синхронизирует до следующего цикла синхронизациии.
- возможность опционально включать письма-уведомленяи на почту для событий синхронизации/выгрузки/загрузки файлов (т.е. некие семафоры)
- прога должна (желательно) уметь крутиться как сервис и иметь интерйес для просмотрк/управления. Что-то по концепции похожее на Cobian Backup

Как-то вот так я себе примерно представляю..
Есть что-либо подобное?

Юзал кто-то такое/аналогичное?
Как решали такую задачу?

Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами - если все "плохо" то смайстярчими такое - смысл в быстром и удобно управлении/настройке всего этого.

???

Спсб
1 Злопчинский
 
18.11.15
03:04
Может такой функционал FileZilla как-то может обеспечить?
2 Aleksey
 
18.11.15
04:51
так большинство FTP клиентов это умеют
3 Aleksey
 
18.11.15
04:58
лично мне для таких действий хватает обычного cmd файла и встроенного фтп клиента в винду
4 Web00001
 
18.11.15
05:14
(1)>>Понятно и не надо объяснять что это все можно настроить типовыми средствами винды и всякими консольными сервисами/утилитами

>>Может такой функционал FileZilla как-то может обеспечить?

Ты либо готов писать скрипты, либо не готов использовать фтп клиенты в стоке :) а так это взаимоисключающие параграфы.
5 Злопчинский
 
18.11.15
06:33
(3) это как набор отверток и гаечных ключей в гараже. они есть, иможет даже в порядке лежат - но "далеко", а надо под рукой и чтобы удобно управлять
6 Злопчинский
 
18.11.15
06:34
(2) например. который побогаче функциями ближе к описанным?
7 Fedor-1971
 
18.11.15
08:53
(0) описан функционал не клиента FTP, а сервера!!!
Начни с простенького TFPPD32, если функционала пкажется маловато, то ищи какой-то другой. Можешь и сразу поинтересоваться более навёрнутыми серверами.
8 Лефмихалыч
 
18.11.15
09:01
(0) во-первых, ни чего сложного, вариантов это сделать ахулиард.
Во-вторых, ты по сути описал дропбокс
9 ДенисЧ
 
18.11.15
09:04
написать на 1с - как два байта об асфальт...
10 vde69
 
18.11.15
09:13
(0) задача имеет одну большую проблему:

при чтении с фтп невозможно определить что файл целый, а не с прерванной заливкой. (а вот с почтой таких проблем нет)

по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа....

если ты распишешь зачем тебе это нужно, может быть что лучше подскажем....
11 Злопчинский
 
18.11.15
13:19
(10) Нужно это (пока что) для простых целей.
У мну склад.
Клиенты.
Хочу С ИХ ФТП-серверов забирать заявки на отгрузку, заявки на приемку и воощем меняться всякой информацией.
12 Лефмихалыч
 
18.11.15
13:20
(11) вебсервисы для этого придуманы. Но ты можешь, конечно, использовать и ftp. Реши только проблему контроля целостности
13 Злопчинский
 
18.11.15
13:21
(10) "по этому такие задачи следует решать только путем создания дополнительных каталогов с контрольными суммами ориг файлов, что сильно затрудняет решение сабжа.... "- то есть на фтп-держать еще файлики с контрольными суммами к большим файлам..?

а как понять что файлик с контрольной суммой - тоже целиком скачался?
14 Злопчинский
 
18.11.15
13:22
(12) Проблема целостности не так страшна. Файлики маленькие совсем. Вдобавок это иксемели, если вдруг при загрузке иксемель "сбойнул" - а это я смогу отследить - то просто повторная перекачка файла и все...
15 Лефмихалыч
 
18.11.15
13:22
(13) если тебе так повезло, что файл битый, и его КС битая, но при этом КС совпала с битым файлом, значит ты неудачник и тебе вообще больше ни чего не поможет, сдавайся.
16 Лефмихалыч
 
18.11.15
13:22
ну, или лотерейный билет купи - тут могут быть варианты...
17 2S
 
18.11.15
13:22
(11) дропбокс юзай
18 Гёдза
 
18.11.15
13:23
rsync
19 0xFFFFFF
 
18.11.15
13:24
(10)
1. Копируем файл с ФТП в локальный каталог
2. Сравниваем размер (в байтах) в лок. каталоге и на ФТП
3. Если размеры сошлись, удаляем с ФТП
вот и вся проблема.
20 Лефмихалыч
 
18.11.15
13:24
(14) таки в чем ваша проблема тогда?
21 Лефмихалыч
 
18.11.15
13:25
(19) он на ФТП может лежать не весь. да и "000" и "999" - это одно и то же количество байт.
22 0xFFFFFF
 
18.11.15
13:25
(0) у меня это все 1С делает.
ФТП используется именно как "буфер" для передачи.
В остальном локальный каталог, файлы забираются по принципу (19)
23 0xFFFFFF
 
18.11.15
13:27
(21) для этого - тот кто выкладывает делает ту же проверку.
Собственно то же самое делаю и я, когда выкладываю на ФТП.
Есть локальный каталог "Отправляемые", есть "Отправленные". Если размер в "Отправляемых" сошелся с размером на ФТП, то он переносится из "Отправляемых" в "Отправленные".
24 0xFFFFFF
 
18.11.15
13:28
Если же получатель "схавал" файл с ФТП в процессе того, как я его туда копировал, то он у него не загрузится. Мой регламент выгрузит его повторно следующим сеансом обмена и получатель его получит в полном объеме.
25 vde69
 
18.11.15
13:29
(13) есть транзакционные механизмы обмена, например мой транспорт http://catalog.mista.ru/public/16687/
26 Злопчинский
 
18.11.15
13:31
(20) Проблема - хочу программулину примерно как написал в (0).
27 Лефмихалыч
 
18.11.15
13:31
вообще, вот такая хреновина, которая собирает сообщения между ИС, строит их в очередь, гарантирует доставку и целостность между отправителями и получателями, называется ESB - Enterprise Service Bus. Их готовых до едрени фени. Fuse ESB, Zato ESB, ещемногоразных ESB.
Но это для задротов. Нормальные пацаны своё с нуля стругают.
28 Злопчинский
 
18.11.15
13:33
(22) Не, это не наш путь. Свой велосипедя изобрету когда не найду подходящего или не понравится то что есть - здесь я проблемы не вижу. Тот же ncftp позволяет похожую штуку как в (0) делать - у него можно запустить процесс который крутится и подсовывать ему .

Но это имеет смысл делать если другого ничего нет/не найду.
Фигли велосипед изобретать?
29 sapphire
 
18.11.15
13:34
(27) именно
30 sapphire
 
18.11.15
13:36
(27) правда, не едрени фени, и их исчо надоть  уметь готовить, что не всяк могет, исчо и понимать надоть для чаво оне сделаны. Да. И где их надо применять.
И кстати, применение этого добра в наших целях вовсе не Лустин придумал.
31 Aleksey
 
18.11.15
13:37
(28) потому что в данном случае велосипед быстрее изобрести чем опробовать пару десятков программ, разочароваться в них и изобрести свой велосипед
32 Garykom
 
гуру
18.11.15
13:40
(26) мы такую программулину юзали еще в далеком 2005, но глючила она сильно

вроде WebSynchronizer но не уверен

еще есть http://www.goodsync.com/how-to-sync-ftp-server
33 Лефмихалыч
 
18.11.15
13:40
(30) я же говорю - для задротов :)
А Лустин это кто?
34 vde69
 
18.11.15
13:42
(32) моя прога из 25 работала 2 года в большом холдинге, ни одной ошибки за все время :)
35 Сержант 1С
 
18.11.15
13:43
36 sapphire
 
18.11.15
13:44
(33) Есть такой персонаж на нимбостарте
37 Garykom
 
гуру
18.11.15
13:49
(35) а если сервер 1с на линуксе?
38 Лефмихалыч
 
18.11.15
13:50
(36) а! В очочках такой и с бородой. Вспомнил. А он еще и ESB в массы двигает?
39 Jump
 
18.11.15
13:57
Загрузка всегда делаю c помощью wget или aria2
А вот на фтп заливать - это наверное ftp.exe встроенный мучать надо, консольных я не знаю.
40 Злопчинский
 
18.11.15
14:10
(22) А посмотреть хотя бы визуально на скриншоты (поделиться? купить если понравится?)
41 gorakh
 
18.11.15
14:41
(0) 1c встроенными средствами почти со всем из вышеперечисленого хорошо справляется. У нас так работает интеграция с мобильным клиентом сборшиком заказов. Но в самом ФТП проблемма. Не все операторы мобильной связи поддерживают фиксированный IP адрес в течении всего сеанса связи, ФТП такое не понимает.
42 Злопчинский
 
18.11.15
15:02
(41) на данном этапе это мало волнует. Сбор планируется со "стационарных" мест/ресурсов, где с инетом все хорошо
43 Злопчинский
 
18.11.15
15:02
(41) Не хочу на 1С...
44 arsik
 
гуру
18.11.15
15:09
(0) У нас работает Binkd, но для него нужно клиента на той стороне.
Тебе же подойдет lftp. Правда она только вроде под линуксом заводится.
Вытянуть каталог с удалённого сервера (синхронизировать локальный каталог с удалённым):
$ lftp -e 'mirror -e каталог-на-сервере локальный-каталог; bye;' -u логин,пароль удалённый.хост

И наоборот, выложить локальный каталог на удалённый сервер:
$ lftp -e 'mirror -R локальный-каталог каталог-на-сервере; bye;' -u логин,пароль удалённый.хост
45 Злопчинский
 
18.11.15
15:15
(44) скриптов - если надо будет - мы и сами с админом понапишем.
хочется нормальный гуевый фейс.
чтобы если что - не дергать админа - а самому добавить/удалить/изменить.
46 Гёдза
 
18.11.15
15:19
47 Strogg
 
18.11.15
15:21
(0) - ncftpget. У нас так документооборот внутри группы работает. Запускается скрипт по расписанию, который сканирует определенные папки на фтп и выкачивает все на локальный комп. Затем, одноэс формирует определенные папки на локальном компе с файлами выгрузки. И вот потом эти папки полностю улетают в соответствующие папки на фтп.
48 arsik
 
гуру
18.11.15
15:21
(46) опередил
49 Гёдза
 
18.11.15
15:23
Да и вообще
https://www.google.ru/search?q=app for automatic download from ftp
50 Злопчинский
 
18.11.15
15:23
(47) у меня тоже работает ncftp - но вот хочется чтобы сверху типа какая-то обертка удобная была...
51 Злопчинский
 
18.11.15
15:24
(49) мне не только загружать, мне еще и выгружать и прочая...
52 arsik
 
гуру
18.11.15
15:25
Handy Backup
53 kauksi
 
18.11.15
15:28
Есть такая штука Ftp Performer - уже лет 15 работает на обменах РИБ 7.7 Имеет мощный скриптовый язык, которые компилируется в независимые exe-Файлы
54 tixis
 
18.11.15
15:33
(0) http://www.goodsync.com/ru смотри или готовые проги, или пиши на 1с
55 tixis
 
18.11.15
15:36
Не увидел(43), тогда выбирай из готовых
56 Chieftain
 
18.11.15
15:46
WinSCP + sync.cmd
у меня прикручен через COM-объект в базе 1С8 - тоже своеобразный велосипед
57 Лефмихалыч
 
18.11.15
15:49
можно, кстати я щас вспомнил, использовать Apache Ant
http://ant.apache.org/manual/Tasks/ftp.html
годная штуковина. Просто берет и работает. Только одно небольшое неудобство - config.xml. Хотя кому как
58 Лефмихалыч
 
18.11.15
15:49
или grunt.js, но к нему инфраструктуры поболе надо будет И Ант в нее входит, кажись :)
59 Лефмихалыч
 
18.11.15
15:50
такого рода софта тоже ахулиард
60 Злопчинский
 
18.11.15
16:16
(57) ну блин
Unix, NT, OS2, VMS, and OS400.
61 Лефмихалыч
 
18.11.15
16:31
(60) http://ant.apache.org/manual/install.html
под винду тоже есть. У меня на домашнем ноуте работает, который под win7, значит и у тебя заведется.
62 Гёдза
 
18.11.15
16:50
кстати, многие фтп сервера поддерживат проверку crc
63 Злопчинский
 
18.11.15
18:43
Админ посмотрел вроде можно с WinSCP такое сделать
64 arsik
 
гуру
19.11.15
09:41
(63) Чем WinSCP от консольной отличается? Где там удобное гуи для настроек синхронизации? Уж лучше lftp + файл со списком серверов для синхронизации.
65 Остап Сулейманович
 
19.11.15
09:54
Лет десять назад пользовали вот это чудо : http://www.emtec.com/pyrobatchftp/index.html
В принципе есть все, что прописано в (0) и даже чуть больше. Имеет ГУИ, планировщик с КРОН и достаточно внятный язык скриптов.
66 Злопчинский
 
21.11.15
07:29
(64) не потянет, юниксы не юзаем
67 Злопчинский
 
21.11.15
07:30
(65) Спасибо, учтем.
68 Злопчинский
 
21.11.15
07:31
Ftp Performer вроде интересная штука, но платный блин
69 Злопчинский
 
21.11.15
09:58
(65) платная блин... ;-)
70 Злопчинский
 
21.11.15
09:58
Кстати, просветите неграмотного: в снеговике есть штатно методы работы с фтп? наскольо это работсопособно?
71 ДенисЧ
 
21.11.15
10:07
(70) Есть. Работают.
Но не всегда
72 Провинциальный 1сник
 
21.11.15
10:08
(19) (21) Если соединение не рвалось (а это легко отследить) - то считаем, что файлы идентичны, доверяя протоколу tcp/ip. Если рвалось - производим попытку возобновить закачку с позиции ранее места закачки, скачиваем фрагмент в несколько килобайт и определяем место разрыва поиском фрагмента в буфере. Далее качаем с найденного места и до конца. Так всякие Regetы работают.
73 Maniac
 
21.11.15
10:14
(0) лучше нет http://www.xstarter.com/rus/
74 Maniac
 
21.11.15
10:15
+(73) РЕАЛЬНО лучше нет.
75 Злопчинский
 
21.11.15
11:53
(74) спсб, посмотрим
76 Kvant1C
 
21.11.15
11:58
77 Jump
 
21.11.15
14:16
(0) Вообще по описанию вам нужен сервис синхронизации.
А FTP не предназначен для синхронизации.

Может вам не нужен фтп?
Просто взять нормальный сервис синхронизации вроде BTSync?
78 Злопчинский
 
21.11.15
14:28
(77)  и как им забрать файлы лежащие на чужом фтп...?
79 Jump
 
21.11.15
14:57
(78) Т.е именно фтп.
Я думал возможно нужна просто синхронизация между компьютерами.
80 Повелитель
 
21.11.15
16:36
(0) Использую для подобных задач
http://allwaysync.com/ru/index.html
Правда платная, но есть и таблетки от жадности ))

Конкретно для синхронизации картинок, для 2 наших сайтов. (73) xStarter хорошо, пользуюсь около 10 лет, но он такого не может.
81 Злопчинский
 
23.11.15
16:39
Админ наваял караван.
Синхронизируется.
Кaк может человек ожидaть, что его мольбaм о снисхождении ответит тот, кто превыше, когдa сaм он откaзывaет в милосердии тем, кто ниже его? Петр Трубецкой