Есть программки в 1С для мониторинга цен конкурентов? Необходимо заходить на сайты из списка, вытягивать с них цены товаров и выдавать в таблице для сравнения со своими ценниками. Видел кто-нибудь такое?

(50) А что там кроме получения страниц и парсинга?

мутно это все. работы дохренища, а в долю вряд ли кто возьмет ;-)
на фармации делал тупо - с основной торговой площадки тянул прайсы "проверенных" поставщиков (список настраивался), получал некий усредненный прайс, относительно него мониторил свои продажные цены...

(49) хоть на asm'e
(51) больше ничего, не парсил сайты пачками, не могу ничего сказать, но помню клиента, как у него было получение большого количества почты и все висело, правда у него сервер был плох. вот и подумалось, что будет подвешивать. там ведь не один сайт а несколько. также помню, делал обработку, баловства ради, мисту парсила, все висело))) правда на клиентской машине

вот если на какой очень быстрый сервер (облаках) в web разместить php и выполнить...

(52) не видел таких сайтов чтоб работы было дохренища.
вот согласовывать номенклатуру придется, только делать это должен не программист.

(55) ну это уже для совсем автоматического сравнения.
Обычно достаточно показать цены конкурентов по маске типа "колесо%opel".
Делается это конечно уже вручную.

(30) >>> потому что в нём регулярные выражения для парсинга посильнее будут

Не будете ли вы так любезны пояснить этот тезис? Чем сильнее регулярные выражения в perl относительно php? Там разумеется немного разные реализации стандарта PCRE, но вот такой формулировки я еще не встречал...

(42) Ужа с ежом сращивать? Все равно все с нуля писать, лучше уже сразу на одной платформе.

(55) вот как раз с согласованием номенклатуры - все более-менее хорошо. думаю, что опыта именно в согласовании номенклатуры у меня м.б. чуть поболее чем у маньяка с его автозапчастями. конечно, если согласовывать что-то с очень короткими наименованиями - то проблемы будут...

(59) Парсинг только кажется сложным, на самом деле парсить сайты очень легко.

(60) парсинг сайтов это для ларьков с 1000 товаров.
Пропарсь сайт когда нужно залить 20-30 тысяч номенклатуры.
За...шся парсить.

(61) Ты на полном серьезе хочешь сказать что код для отпарсить 1000 товаров, отличается от кода для отпарсить 100000 товаров?

(62) я те о том что парсинг вэб-страниц это вообще не вариант.

На подавляющем большинстве движкой сейчас везде стоят проактивные защиты при превышении определенного количества хитов - бан.

(63) Парсинг веб страниц - это очень даже вариант.
Тем более в этой теме обсуждается именно парсинг веб страниц.
(64) Это вручную у тебя будет дохрена хитов, а автоматом один хит на получение страницы.

(65) обсуждается то да, но теоритически)
Думаю когда дело дойдет про то что заказчик хочет 20 000 товаров получать цены ) и допрет что на процедуру закачки обработкой нужны сутки) Весь интузиазм пропадет.

(0)Программы такой нет.
Написать не проблема.
Обновлять - проблема.
Ибо конкуренты они такие сволочи, никак не хотят чтобы цены на их сайте боты мониторили, и всячески этому препятствуют.

(66) Какие сутки? Ты о чем?
По твоему есть сайты на которых кроме как один товар на странице данных не получить?

Я в стройматериалах три года работал - как раз у автора задача для них. Цены пять раз в день менятся могут у поставщика.
Тк у него тупо контейнеры идут пачками каждый день и себестоимость может менятся в зависимости от поставок контейнеров.

Если бизнес интенсивный - а автозапчастия, стройматериалы - это активно меняющиеся позиции в реальном времени! Как и цены так и остатки. Щаз есть, через пять секунд нет.
И тому подобное.

То загребется он парсером что то парсить.

(66) Пофиг. Главное чтобы прога работала стабильно. У меня бывали варианты, когда работы долго считали. и ничего - никто не паритлся. если это ДЕЙСТВИТЕЛЬНО нужно - оно будет считаться. а если оно нахер не нужно - ну и похер

(64)Банят не за превышение хитов, а за превышение "404"

Если грамотно писать, то 404 не будет.

ну да, если торговля идет ПО ВЫСШЕМУ РАЗРЯДУ логистики - с колес на колеса, без собственных складских запасов - то это высший пилотажи и у собственника ДОЛЖНЫ быть РЕСУРСЫ на обеспечение такой работы. Надо чтобы отклик был не в сутки а в час - аренжуй мегасерверы и получай что надо.
.
а то унас народ любит - надо чтобы было ВСЕ , но ДАРОМ и БЫСТРО.

(73) ну мы теперь знаем к кому обратиться, если что...
если конечно не гнушаетесь мелкой для вас работы...
будет желание/возможность - стукнись в личку [email protected] или скайп Zlopun - надо регулярно парсить сайтик - картинки выдирать, а у них нет статического адреса, а у меня сейчас немного другие проблемы - парсингом никогда не занимался...

(73)Большинство защит работает на различии просмотра страниц человеком и роботом.
Сможешь точно смоделировать человека? Обойти все уловки?

(76) конечно смогу.
роботов используют стандартных, которые умудряются гулять по ловушкам для ботов. когда пишешь сам, то нет никакой надобности искать все ссылки и лазить по ним.

(77)Против тех кто не озабочен сработает, но если контора целенаправленно защищает сайт от слива, то фиг победишь.

Самое банальное - следим кто откуда пришел качать прайс.
Если человек редиректился со странички "информация" значит нормальный чувак, отдаем ему прайс.
Если приперся по прямой ссылке - однозначно бот.

(78) Приведи пример.

(79) А если это был потенциальный клиент ? которому знакомый передал прямую ссылку ?

(81)Знакомые редко передают прямые ссылки на скачку, обычно дают ссылку на сайт. Прайс такая штука что меняется постоянно, часто с изменением прайса меняется и ссылка на него.

Единственный нормальный способ защиты - это выводить цену в картинке, такое действительно тяжело победить, хотя уже столько библиотек для распознавания, а цена в виде капчи - это полная жесть.

(82) Боюсь что постоянно меняя ссылку на прайс ты потеряешь кучу клиентов. И если ссылка всегда в одном месте, я без проблем её получу.

(82) Какая-то чушь. С чего ссылке меняться ? Чего уж там домен тогда каждый раз менять.

(64) Тысяча Боярских, 6 девочек в течение дня парсят вручную несколько сайтов. Почему их до сих пор не забанили?

(66) Никто не будет возражать против "одна закачка за сутки", главное что теперь это делает скрипт, а не 6 девочек. И ошибок будет меньше, и девочек можно будет употребить по назначению.

Да и потом в какой-то момент конкурент может стать твоим клиентом или наоборот твоим поставщиком. Так что палка о двух концах.

(85)Ну хотя бы по техническим причинам -
фирма.ру/прайс20052013
фирма.ру/прайс21052013

(64) Пример сайта с проактивной защитой.

(79) Сфейхоа ли? Может он твой прайс в экселе посмотрел и по ссылке с этого прайса пришел.

(89) Ссылка на прайс на главной странице есть? Кто мне помешает оттуда её взять? Или они дизайн главной страницы ежедневно менять будут?

(90)http://market.yandex.ru

(83) Я как раз сейчас пишу систему распознавания отсканированных документов. Распознает с вероятностью 99%

(93) да с яндекса качают все кому не лень.

(91)Во первых это пример, один из множества.
Во вторых те кто так делают, не оставляют в экселе прямых ссылок на прайс, а оставляют ссылку на сайт.

(92)Ссылка динамическая, меняется однако, в отличие от дизайна.

(95)Да качают, защита у них не лучшая, но есть.

Просто яндекс маркету пофиг на мониторинг, цены не их.
Поэтому если не наглеешь, не банят.

(98) так приведи пример сайта с нормальной защитой.

(96) Оставляют

(97) v8: Запрос на Яндекс из Delphi 7
вот тут оказалось что яндекс только заголовки запроса проверяет.

В общем три вида -
те кому пофиг на мониторинг - просто вывешивают прайс.
те кому не пофиг - делают хитрые защиты от ботов.
те которые особо параноидальные - пишут на сайте "звоните для получения прайса"

(96) я тебя не понимаю. я возьму с главной страницы ссылку на прайс, и перейду по этой ссылке.

моя программа возьмет с главной страницы ссылку на прайс, и перейдет по ней.

(101)А ты уверен что это не меняется  с определенной периодичностью?

(105) меняют что? заголовки запросов в браузерах? :)

(104)Размещаем на главной рисунок "получить прайс" пишем скрипт, чтобы рисунок работал как кнопка.
Делаем еще штуки три рисунка, адрес рисунка с кнопкой меняем каждый час.
В итоге - человек увидит кнопку и нажмет на нее.
Робот увидит несколько рисунков, и хз над каким из них нужно эмулировать щелчок мыши, чтобы получить ссылку.

(106)Меняется алгоритм проверки.

(107) приведи пример такого сайта.

(108) а что яндекс может проверить кроме заголовков запроса?
ты меня заинтриговал.

(109)Навскидку сложно сказать на днях скину ссылку.

(0) сейчас как раз одним такую подсистему пишу, все по умному, через список прокси + подсистема проверки и формирования валидного проксилита + умеет прикидываться разными браузерами, многопоточноть дабы быстрей работало, валидация результата и много чего еще...
Пока решение получилось не универсальное, но буду работать над тем чтобы сделать более универсальным и настраиваемым под разные сайты.

(112) Напиши пустышку на whitecat<cobaka>bk.ru, может договоримся о сотрудничестве?

(112) ОФФ: А Первомайск какой именно, не крымский?

Маня прав тут. Если делать все по уму, то нужно очень хорошо вкладываться в это дело. Я делал что-то подобное, но как только конкурент чухал что его тупо грабят/парсят - он сначала менял каждый день хтмл разметку прайса. Потом, поняв, что через рекурсивку можно все равно эти детские шалости обходить, стал отслеживать количество просмотров страниц. Потом, поняв, что временные тайминги рулят, понял что нужно вводить ограничение на кол-во запросов с одной машины - наняли какого-то чувака, он туда им впилил бан от чата Бородина, который даже сменой прокси-сервера не обойдешь - он чухал разрешение экрана, и что-то там еще. Тогда я поднял 10 виртуалок, и с каждого сеанса под разными гео-локациями, с синхронизированными таймингами эмулировал 10 разных пользователей, небрежно лазающих по сайту :)

Ну кароче, Маня прав. Это все требует мега-затрат. И парсить можно - но просто все это поддерживать - ад.

(115) Как он узнавал что его грабят?

(115) Ну вы все правы, конечно, но ничего нового для меня пока не открыли, так как в свое время мне уже приходилось быть "по ту сторону баррикад", а именно выявлять и обманывать подобных парсеров.

(116) Логи смотришь, проверяешь, с какого айпи слишком часто страницы открываются, с какого айпи слишком много страниц просматривают, ну и т.д.

(116) я так полагаю, как-то :)

(118) Чтоб сграбить сайт не надо часто страницы открывать. И много страниц не надо просматривать. Не бывает сайтов где цена на каждый товар есть только на отдельной странице. Цены идут группами.
(119) Может ты просто забыл про заголовки, и тебя по кривому заголовку запроса вычислили?

(120) Ну группами, конечно, но как минимум 10 страниц. Причем одних и тех же, связанных с каталогом товаров. Анализируешь все это и приходишь к выводам.

(119) ну, как бы лидер рынка. Я думаю, таких как я, тыщи там были граберов. Я орудовал через HttpAnalyzer по протаскиванию заголовков. И банили не меня одного :) Слишком много чести.

(121) Не понял, к каким выводам приходишь.
Человек заходит к тебе раз в сутки в разное время, и смотрит по очереди 10 страниц в каталоге. Никаких подозрений это не вызовет. Если на каждую страницу тратится несколько секунд, в запросе есть referer, заголовок запроса соответствует какому-либо браузеру. Можно конечно отследить движения мышки и передать на сервак. Но скрипты у пользователя могут быть тупо отключены. Более того, когда ты пишешь парсер ты всяко смотришь html код страницы. И если робот написан с умом, то ну никак ты его по 10 страницам прайса не заловишь. Его поведение ничем не отличается от браузера для той стороны.

(123) ну что такое 10 страниц? :)

(124) А сколько?

(123) Ну отлавливали же

(126) Значит что-то криво написал.

(125) у нас на одной странице было где-то 10 наименований. В одном разделе - порядка 15 000 наименований. Таких разделов - ну где-то 10. Иногда 11. Ты можешь либо искать - если знаешь что. Либо листать. 15 000 / 10 = 1500 запросов. Я так полагаю, какие-то механизмы анализа у них были :)

Факт остается фактом - робот для той стороны ничем не отличается от пользователя. И окромя того что в html коде (что ты всегда можешь посмотреть) та сторона может отследить только ip, время захода на страницу, и заголовки.

(128) Ну 1500 запросов отследить совсем легко.

Такой сайт, на который нужна такая куча запросов - нормально парсить не выйдет. Тут действительно нужна куча подставных айпишников, да и то будут засекать.

ну вы монстры...

(131) я про то и говорю. Ларек распарсить - легко. Все остальное - уже сложнее. Чем выше уровень конкурента - тем он больше вкладывает в то, чтобы его не парсили. Я говорю - там стояла система идентификация от чата Дмитрия Бородина. Понимаешь? Вот одно это какбы намекает - что челы ваще взялись по тяжелому за нас. Сама система авторская - хз что он там понакрутил. Насколько я понял - ее до сих пор, оригинал, не ломанули. Форки ломали. А его - нет. Уж чат почал как года три )

(0) я сейчас доделываю парсер тендерных площадок, в принципе вопрос вполне реализуем...

даже изменение формата в большинстве случаев не влияет на результат парсера...

в принципе это будет отдельная конфа, возможно буду ее продавать после обкатки и притирки.

По этому твой парсер - это примерно неделя работы и месяц отладки, если готовы потратить примерно 150 тр, то вообще не вопрос...

о Дмитрий! :) Разреши тебе поклониться )))))

(133) Может просто куки? Что накрутил всегда можно посмотреть, ибо невозможно скрыть код страниц.

(136) А с чего ты взял, что в коде будут алгоритмы? :) там вызов серверных скриптов. Туда ушло - оттуда в лоб. Что ты видишь? Максимум, что видно на клиенте. По этому как-то еще и вычислялось.

(137) Ты видишь что туда ушло.

(107) у тебя URL прайса все равно статический, я его один раз получу и все...

если по уму, то делается через генерацию (например раз в сутки) URL нечитаемого вида по секретному алгоритму... так сделано обновление 7.7 и генерация url на основе ключа с ИТС.

но таких сайтов единицы, большенство тупые и парсятся легко

+ (138) Если у тебя отключены скрипты в браузере - ничего туда не уходит.

(138) естественно видишь. Ну там то тоже не валенок писал - видимо как-то по совокупности параметров вычислялось, что - это ты. Куки, твой массив параметров, что-то еще. Как-то же вычислял. Т.е. вот эта тема - это гниль. Я говорю, этим нужно заниматься плотно. Какую-то писать универсальную систему, которая будет граббить таких челов - это детский лепет. Никакой универсальности не будет.

(140) ну тогда ты х чего и увидишь :)

(141) Где ты увидел универсальную систему? Тут не обсуждались универсальные системы. Граббер среднего сайта пишется с набитой рукой за пол-часа. Изменили сайт, подправил граббер. На изменение сайта у них уйдет на порядок больше времени, чем у программиста на изменения граббера.

(134) Видно профессионала, бюджет угадал практически один в один ))

(143) Ну только если там не прохавают, что их грабят и при этом будут не банить, а кидать дезу. В этом случае будет сложно отловить сам факт подпихивания неверной инфы.

(113) отписал

Вычисляют по статистике/частоте обращений с ip, юзерагенту, реферу. Ну к примеру у меня 10000 наименований надо получить цены конкурентов, это 10000 страниц скачать и распарсить с сайта агрегатора цен, с бесплатных источников собираю проксилиты, потом проводится их валидация: живой/мертвый, анонимный/прозрачный, сайт который будем парсить доступен через этот прокси или нет, после этого получаем список годных прокси, но и они могут отмирать во время парсинга, по этому надо еще анализировать результат и ранжировать прокси во время парсинга, короче много интересных моментов всплывает...

Вообще по хорошему надо ВК писать именно по части дать ей список ссылок, заставить в эн потоков через прокси скачать, распарсить и вернуть результат, так как многопоточность в 1С те еще костыли.

(146) В этой ветке я уже спрашивал, существуют сайты где цены можно получить только со страницы с товаром?
Я вот сколько живу, таких сайтов еще не встречал.

(147) все зависит от задачи, не всегда нужны только цены, а если надо характеристики, описания, отзывы...
Можно распарить весь сайт, можно определенные страницы...

(143) зачем менять структуру сайта если можно просто банить по ip

(146) Лови ответ.