Заказчик поставил такую вот интересную задачу. К ним на сайт каждый день заходит бот, запускаемый конкурентом и сканирующий определенный набор страниц с целью срисовать цены. Заказчик хочет этому боту подпихивать фейковые цены. Для этого надо понять, с какого айпи или диапазона айпи заходит этот бот. Можно, конечно, написать скрипт и через неделю получить необходимые срезы информации, но хотелось бы получить нужную инфу уже сегодня. Пока в распоряжении есть только статистика от яндекс-метрики, но что-то я сходу там нужной информации не нашел (может плохо искал или смотрел не туда).

Собственно вопрос: есть ли тут гуру яндекс-метрики (и веб-мастеринга в принципе), подскажите как вытащить из нее необходимую информацию? В итоге нужна таблица вида:

URL  |  IP |  Количество заходов за период  |  Дата последнего захода


Любые мысли, не связанные с метрикой, но способные помочь решить вопрос, также приветствуются.

людям реально делать нечего.

(1) Я тоже так думал, пока не увидел, сколько они на таком "делать нечего" денег поднимают.

а что, нельзя убрать цены с сайта? можно просто заинтересованным высылать проспект с ценами - делов-то..

(3) И потерять всех розничных покупателей? Отказаться от Яндекс-маркета?

awstats + аналоги

(5) Я так понимаю, это нужно подключить к сайту и выделить определенное время на сбор статистики?

а что помешает ему  с того же яндекса дергать эти цены а не с вас?

(0)капчи поставить на страницы открытия прайса типа 2+2= ?

(7) А зачем, если он уже с сайта дергает? Он же не узнает (вероятность стремится к нулю), что на яндексе цены отличаются от тех, которые он на сайте видит.
(8) Ну вот ты сам стал бы заказывать что-то на сайте, на котором для того чтобы увидеть цену надо код ввести?

Нужен лог вэб-сервера, с включенным логированием рефералов. Как правило простые скрипты - не парятся с указанием referer, по этому признаку их можно вычислить, так же их можно вычислить по частоте запроса ресурсов - простые люде не щелкают по ссылкам каждую секунду.

(10) Так, а лог этот обычно где хранится?

(9) После первого подозрения что что-то не так с ценами и проверки их манагерами  по яндексу и он будет собирать их либо с яндекса или используя какой-нибудь анонимайзер, который вы в жизни не сможете обрубить

(11) Хранится обычно там, где хостится сайт. Статистика от яндекс-метрики - бесполезна, ибо боты не будут исполнять скрипты яндекса и отмечаться на ресурсах яндекса.

(12) Да, только вероятность возникновения подозрения действительно очень мала, так что в любом случае данная акция имеет смысл.

(13) О как! Спасибо тебе, добрый фей! Пойду искать логи.

можно сделать проще) забацать простенькую функцию на сваскрипте, типа "выберите ваш город" пр загрузке страницу) если город выбран - это человек, если нет - бот, подсовывай ему ложные цены

Цены рисовать?

Скрипт, который вместо цены рисует картинку с ценой. Не?

(18) Причем капчевым шрифтом

(16) Исключаем - неудобств для рядовых покупателей мы при этом создавать не должны.
(17) Ну в этом случае конкурент поймет, что то-то не то, сразу зайдет на сайт и увидит, что цены-то не те )) Да и нагрузка на сервер лишняя.

(17) кстати, вариант. цены - рисовать, а для ботов - оставлять в коде

(17) +1

(19) ага и с показом через отпраку СМС на номер такой то :)

Хотя про скрипт.норм идея цены ставить, делаешь наподобие защиты от граберов е-мейлов, только не рисунком, а текстом например, с отложенным показом поля на 0,5 сек.

(21) Да как-то сложно. Все равно мы бота и так и так должны идентифицировать. Намного проще подпихнуть ему цену другого типа.

(5) awstat - модуль апача, его просто надо включить и вся информация детальная кто-что куда заходил + веб интерфес просмотра истории

посмотри, как сделано на сайте ржд. там вывод поездов и билетов так просто не сграббишь. там сделано через хитрую функцию-шаблон яваскрипта

(4) так если на я.маркете есть цены, в чем смысл (0)?

Кстати, надо проверить скрипт для я-маркета - может его кто-то левый юзает и тупо сливает цены через этот скрипт...

(25) Это у хостера надо ставить, на серваке... И опять же тратить время на сбор инфы.
(26) Ок
(27) В том, что бот грабит непосредственно с сайта. Пока они очухаются и сообразят, что надо смотреть на яндексе... А мы к тому моменту еще что-нить придумаем.

(29) то, что грабят с сайта - это бурная фантазия какого-то человека. я.маркет грабить намного проще (не надо подстраиваться под конкретного поставщика-продавца). я помню с я.маркета по еану картинку с изображением товара грабил.

цены на сайте это розница, со всеми вытекающими. если вы кому то покажете не то - дом турма при желании или помоев вагон. бота можно банить, можно по критерию кидать на капчу, но фейк нельзя
вариант в (26) лучшее, что можно. или подумайте, как они позициоинруются на цене и сбейте прицел

(9)видел капчи где нужно на правильном рисунке просто щелкнуть

как вариант, не знаю реально или нет, для яндекса и конкурентов делать редирект или закрыть секции с ценами

(31) Пока договор не заключен - можно показывать что угодно, а бот - не будет оформлять покупку товара, так что совершенно пофигу, какая там цена.

(30) Ну вот счас логи посмотрим и увидим, откудова он грабит

цифры цен на картинки заменить уже предлагали??

раз конкуренты придумали такое - то на все ваши грабли сделают противограбли. у них же автоматом потом все ваши цены у них не выставляются -  так же чел делает потом цены как у вас. ну подумаешь будет терь несколько раз каптчу вводить, про прокси всем известно - там явно не простачки этим вопросом занимаются.

(34) я далек от этого всего, но есть рекламные обещания, публичные договоры оферты и розница - ни в одном случае ни чьей подписи не нужно. если на витрине 10 рублей - ла фин, на кассе 10 рублей. и витрина всем обязана показывать одно и то же*
*если не ляляля)

(36) сайт сильно тяжелый будет

(38) Ну сделает мой заказчик акцию - скидка всем кроме тех кто зашел с такого-то айпи

динамический айпишник, заход под проксей, баловство все это - так чтоб скучно Заказчику не было :) и главный вопрос: а как заказчик собственно узнал что к ним бот лазит?, если вы его все никак не пойцмаете. или конкуренты сами об этом сказали " да блеать! у нас бот каждый день парсит ваш сайт - почему до сих пор скрипт не напишете чтоб бота не пускал?"

мож банально тетя Маша копипастит все цены не спеша :)

Я цены собираю с яндекс-маркета, гораздо проще)

(38) Витрина не обязательно должна показывать всем одни и те-же цены, нопример интернет-магазин запчастей exist.ru без регистрации всем выдает московские цены, после того, как чел зарегается и укажет свой регион - цены у него будут уже другие (если он, канечно, не из мск).

(41) Парсит бот, есть доступ к собранной им информации, по ней видно, что инфа собирается очень быстро, тетя Маша так быстро не обойдет 20 страниц на сайте. Ну а насчет захода под проксей - так почему бы не попробовать. Если получится так, что конкурент заметит подставу через месяц и примет меры, то экономический эффект уже будет около 300000 руб. Так что как минимум заказчик ничего не теряет.

(45) А конкурент потом в ФАС обратится по факту нечестной конкуренции. Этот экономический эффект вы просчитывали?

ну скорей всего они после таких вылазок бота наблюдают спад продаж - и все эти отклонения типа идут в продажи к конкурентам, вот и посчитали их экон. эффект.

предожение! начните разработку бота для парсинга сайта конкурентов и автоматическое снижение цен по сравнению с их ценами :)

(48) Спасибо, мы рассмотрим ваше предложение! )

(45) может тетя Маша в совершенстве владеет принтскрином )))

(0) Бывает страшнее. Некоторые хотят считать кто сколько листов бумаги на принтере распечатал. Это из той же серии.

(51) У меня лет 10 назад был клиент - салон красоты. Так они считали, сколько миллиграмм крема уходит на одну процедуру.

(46) Что бы обратиться в ФАС или в суд по правам потребителя - нужно заверенные нотариально скриншоты, т.е. нотариус должен с вами сидеть за компом, вы снимаете скриншоты каждого своего действия, распечатываете и нотариус их удостоверяет. Кто будет это делать?

(52) Дык для калькуляции надо.

(53) Когда конкуренты попадут на бабки - сделают.

(51) тож проходили :) на 1 месяц хватило

(0)Сделай страницу на сайте, на фронте не показывай, а в робот.тхт запрети роботам индексацию этой страницы. Нормальные роботы будут соблюдать инструкцию, а ломовые - будут индексировать всеравно. Ваш разведчик - стопудово из наглых роботов.

Круг сузишь, а потом и его вычислишь.

(0) а что помешает боту парсить яндомаркет?

не, регите новый ящик, обзываете "????новский центр скидок" шлете письмо на мыло конкурентов, вписьме ссыль и пиар про ваш магазин, а ссыль на  страничку на которую интерактивно не попадешь - только по прямой ссылке. Если клюнет - посмотрите в логах с какого ip зашли на нее. эт при условии что они с работы бота юзают.

(56) Там у них в настройках скрипта указано руками, на какие страницы заходить надо. То есть из 1300 товаров он мониторит только 20 тех, которые им интересны.

(59) такое очучение что конкуренты обратились к тебе за написанием бота, а тот магаз за отловом :) раз уж вкурсе всех нюансов работы их скрипта :)))

Все, отловил!!!
Как и предполагалось, заходит примерно в одно и то же время, парсит всегда один и тот же список страниц. Заходит с одного и того же айпи.
Ха-ха, денег на отпуск я таки заработал ))))

(60) У меня есть хорошие друзья из хороших структур, мы друг другу всегда помогаем, каждый в своей области )

молодец :)

Запалили таки демоны:((
Придется теперь заходить в разное время и с разных айпишников.
Народ, подскажите, как айпишники подменять в пакетах?

(64) )))

кстати, вопрос - а почему цены, выложенные в общедоступной странице - нельзя скачивать конкуренту?

Конкурент сидит, почитывает мисту и попивает охлажденное мартини со злобной усмешкой во взгляде...

(64) используй прокси сервера,например fineproxy.org. По другому айпишники не подменишь ;)

(66) Чтобы он не так оперативно реагировал на изменение цен моего клиента. При больших объемах лаг в запоздании информации равный одному дню это иногда сотни тысяч рублей прибыли.

(69) ну он может нанять человека, который будет отслеживать изменения цен

(70) Человека можно отловить так же как и бота

Вообще не понимаю в чем суть, у Вас там что дельта в 500% что ли ? У конкурента свои закупочные цены, у Вас свои. И насколько сильно Вы хотите ему изменить цены ? Он это сразу поймет, у него же не бот прайс-лист составляет ! Бот только инфу собирает, а решения то в любом случае принимают люди !
Какой-то херней Вы занимаетесь Юрий !

(72) Мы не собираемся ЕМУ ничего менять, задача - скрыть ОТ НЕГО изменения наших цен или значительно усложнить процесс их отслеживания. Тогда он либо будет терять ресурсы на их сборе, либо задолбается и откажется от своей идеи нам ботов присылать.

(72) херня не херня а 300 косарей в месяц тоже деньги

Это в двух словах. На самом деле есть некие особенности, которые позволят заработать на этом, но я не буду их выкладывать в данной ветке, уж простите ))

(75) нет ты уж расскажи раз начал ;)

(76) Я еще не начал )

(73) Любой Ваш покупатель может в любой момент стать Вашим конкурентом ! А может быть это покупатель сделал ботов и мониторит сайты всех контор торгующих аналогичными товарами ?

в линуксе помнится на iptables можно было редирект сделать

http://checkerproxy.net/free_proxy
полеhtml или компонент webbrouser + программно в реестре прописываем ip прокси и все.

webbrowser

(0) судя по боту, конкуренты не такие идиоты как вы о них думаете. подсунуть левые цены ха ха

(82) Часто люди начинают думать что они умнее других и на этом можно подловить.
Например, мы ппц какие умные написали бота, остальные тупые - ничего не заметят. И все они уже не ведут мониторнг того что собрал бот

(78) У меня на руках отчеты, сформированные их ботом. Имя конкурента было известно изначально, надо было только понять, как именно и с какого айпи он к нам заходит.
(82) Был бы не идиотом, я бы не смог зайти к нему на сайт и в онлайне прочитать результат работы бота, со всей историей его работы за последние месяцы. Страничка, конечно, под паролем, но логин "111" и пароль "111" - просто порвали.

(0) А как бота определили? А если это обычный юзер?

(83) автор намекнул что речь идет о не малых прибылях. плюс цена все таки есть в открытом доступе, ничего не мешает при подозрении сверить. вот если бы бот из какой то закрытой базы что то тырыл, а ему подменили бы, был бы детектив да

(85) Мониторинг 20 сайтов по 18 товарным позициям. Заход на каждую страницу сайта с периодичностью день и дельтой в несколько секунд - человек так не сможет.

(87) а если бот через анонимайзер ходить станет?
Пару лишних действий вбить -- дело даже не часа работы

(88) поэтому и будут дезу подсовывать, а не доступ рубить
еще раз есть доступ к боту, может подсунуть функционал ему соответствующий...например, отправка сообщений на почту когда запускается бот

(88) Пока они прочухают, уже сколько-то времени пройдет. К тому же нам известны как минимум еще несколько параметров, по которым можно понять, что это бот: порядок обхода сайта, периодичность посещения страниц, список посещаемых страниц, время посещения и т.д.. Можно привязываться к этим данным и идентифицировать бота. В общем не так то просто им будет.
(89) Доступа к скрипту не получили, только к формируемому им отчету и параметрам поиска, но этого уже было достаточно, чтобы предсказать алгоритм его работы. Собственно поэтому всего за 4 часа и получилось его опознать.

(90) ну так опознали суньте дезу. только нафиг, собирать ваши цены можно например у ваших оптовых покупателей.

имхо, затея бесполезная. конкурент сменит айпи, будет выходить в другое время, или накрайняк наймет человека

(91) Это уже временные лаги, то есть как раз то, к чему стремимся

писать цены "от...", а подробнее --- уже другой запрос из БД

Так как поймали то?
Тупым одинесникам не понятно!

(95) По формату отчета стало понятно, что нужно искать около 20-ти заходов ежедневно с одного IP, причем на конкретные страницы. Время захода тоже известно из того же отчета: с 8-00 до 9-40. Выгрузил лог сервера в таблицу, закачал ее в скуль и сформировал отчет с фильтром по страницам и по времени, с группировкой по IP и по дате. Собственно задача попалась несложная.

война фигня, главное маневры.
Теперь конкуренты поменяют бота, дней пять макс. понадобится, потом будете опять искать решение, потом они, потом вы.

Короче, на отпуск зарабатываем круглый год.

(97) Деньги там хорошие крутятся, заказчику это выгодно. Мне тоже. Так что все в шоколаде. К тому же работа удаленная, можно на отпуск прям под пальмой зарабатывать.

(84) Отчеты конкурента? А вот это уже статья...

(99) Да ну? ))

(100) 183-я, например.

(0) Я бы на месте конкурента прикололся и оформил бы заказ по фэйковым ценам.
А на самом деле есть еще такая вещь как авторизация.

(101) Ну мне это не грозит, я ее не получал незаконно.
(102) Так пусть заказывает.

(103) Да? И как же ты ее получил? Пришел к конкуренту и он тебе выдал отчет? Все остальное может быть признано незаконным.

(104) "Нашел на улице листик" устроит?

(105) Нет. Листик не твой, значит украл, а не "нашел".

(106) Хорошо. Шел по улице, увидел листик на столбе, прочитал, запомнил, сделал выводы, пошел дальше? )

(107) "Прочитал" - уже незаконно. Да и такой листок на столбе висеть не будет. Судья не поверит.

(108) Ну конечно, секретные документы на викиликс висят, а листок на столбе не может? Я вас умоляю! ))

(108) Сфигали "прочитал = незаконно", если инфа висит в открытом доступе?

(109) Судье будешь рассказывать, только сначала придумай правдоподобную версию того, почему именно этот листок оказался на столбе и почему именно ты его прочитал.

(110) С того, что это коммерческая тайна. Не читай все вподряд.

(109) А то еще разразится скандал со шпионским столбом.

(111) Ну я принял к сведению, спасибо )

фигней маетесь... ваши цены секрет ??? если конкурент ставит цены ниже, то завоевывайте своего покупателя более лучшим обслуживанием, акциями, стабильностью логистики, широтой выбора и тп... или проваливайте с рынка !!!

(111) А между фоирмой и ним нет же никаких обязательств о неразглашении коммерческой тайны? А то, что в открытый доступ выложили -- ССЗБ. Они бы еще распечатали и с вертолета над Красной Площадью сбрасывали

(114) Об акциях речь и идет, незачем конкуренту знать о них

А к прайсу авторизацию прикрутить и забанить те аккаунты, которые мониторят тоже, что и бот?

(166) напоминает ситуацию, когда идешь по рынку, выбираешь товар, спрашиваешь цену, а тебе говорят "эээ дарагой зачем спрашиваешь цену, все равно ведь не будешь пакупать, да ?"

(115) Ну дык закон "О коммерческой тайне" нарушен? Нарушен. Все, этого достаточно, чтобы получение сведений стало незаконным. Неважно кем нарушен, важно что информация получена с нарушением закона, т.е. незаконным способом.

(116) Тю-тю... рекламы у вас что, вообще нет?

(119) если у меня есть логин и пароль, то это то же самое, что ключ от сейфа. С точки зрения системы это не Юрий Лазаренко заходил, а биг-босс или Одмин в Свитере

(117) Заставлять каждого розничного покупателя проходить авторизацию = потерять большой процент клиентов.

+120 ну вот, например

"Статья 10. Охрана конфиденциальности информации
5) нанесение на материальные носители (документы), содержащие информацию, составляющую коммерческую тайну, грифа "Коммерческая тайна" с указанием обладателя этой информации (для юридических лиц - полное наименование и место нахождения, для индивидуальных предпринимателей - фамилия, имя, отчество гражданина, являющегося индивидуальным предпринимателем, и место жительства)."

Если на отчетах такого грифа нет, то эта информация не коммерческая тайна. Соответственно, под закон не подпадает

(120) Да без разницы, конкуренту достаточно мотивированное заявление накатать, и работа пойдет...

(122) Не так. Если не нанесли - это уже нарушение закона. От наличия или отсутствия грифа информация свой статус не меняет.

(122) Плюс отсутствие грифа еще надо будет доказать ;)

Интересная тему, автор, держи нас в курсе развития событий. Прямо детектив.

(124) Нужно "доказать отсутствие грифа"? Сильно!

(126) Конкуренты же скажут, что не печатают такую информацию без грифа и приложат соответствующую регламентированную процедуру. А потому на столбе не мог появиться просто так листок с коммерческой тайной, тем более без грифа. Впрочем, давшие тебе отчет сами же тебя и сдадут при грамотно мотивированной заяве конкурента, так что судья насчет листов на столбе будет слушать с ухмылкой.

(127) А если у Юрия есть лист БЕЗ грифа? Распечатанный. Все, Юрий не имеет возможности знать, что это -- коммерческая тайна. И проблема перетекает во внутренние трудности "Конкурента"

(128) Вот если бы не воспользовался - еще можно было бы поверить. Понимаешь, если ты в фотошопе уберешь этот гриф и распечатаешь так, а потом дашь этот листок заинтересованному лицу - нарушение и незаконность никуда не денутся. Просто будет организованная группа, а это уже отягчающее обстоятельство.

(122) закон нужно читать целиком. Я тоже так могу, например:
режим коммерческой тайны - правовые, организационные, технические и иные принимаемые обладателем информации, составляющей коммерческую тайну, меры по охране ее конфиденциальности;

+(130) 2. Информация, самостоятельно полученная лицом при осуществлении исследований, систематических наблюдений или иной деятельности, считается полученной законным способом несмотря на то, что содержание указанной информации может совпадать с содержанием информации, составляющей коммерческую тайну, обладателем которой является другое лицо.

так что сначала нужно доказать, что данная информация является коммерческой тайной, потом что получена незаконным способом

(132) См. (84), с чего все началось. Вот "сидел день и ночь, анализировал логи сервера и нашел" - еще могло бы прокатить за отмазку. А листок на столбе - нет.

(133) Ну а почему - нет? Всё, что в открытом доступе - можно читать.
Это задача владельца информации - защитить её. А не моя задача - закрывать глаза, чтобы ненароком не увидеть ничего лишнего.
ИМХО, для судебного разбирательства потерпевшая сторона должна доказать факт незаконного проникновения в её информационную систему.

(134) т.е. нашел ключи от квартиры где деньги лежат, открыл этими ключиками квартиру без разрешения хозяев и это уже законное проникновение ?

(134) См. (84). Там были имя и пароль, т.е. доступ не открытый. Не исключено, что все это было специально подстроено конкурентами, и у них все ходы записаны.

(135) Нет, если зашёл в квартиру - это незаконно. А вот если я у вас увижу запонку - точно такую же, как была у меня, то это я должен доказать, что вы её у меня украли, а не вы должны объяснять, как  у вас оказалась такая же запонка.

(136) Ну вот если действительно ходы записаны - то да, могут судить за незаконное проникновение. Но не факт, что за кражу коммерческой информации (это наверняка надо доказывать отдельно).

(137) Ну так они воспользовались этой информацией, теперь надо только ущерб нарисовать - и дело готово. Скоро, наверное, конкуренты завербуют автора за незаведение дела...

(138) Как воспользовались? Стали отслеживать действия с определённого IP? Так для этого НЕ нужна коммерческая информация.

(0) Не дай бог вы перепутаете вашего конкурента с проверкой яндекс маркета :-) Враз закроют вам доступ.

(139) Ну, тут не все так невинно. И опять, же, резать ножом мясо - вроде бы, звучит невинно. Правда, если добавить прилагательное "человеческое" - уже совсем другое дело получается.

(141) Ну, "по понятиям" это действительно кража. По понятиям - и похожая запонка у другого человека - вполне повод для разборок. А по закону - доказывать ведь надо.

(142) Получил доступ к инфе - а затем предпринял ответные действия. Причем логичные, исходя из того, что именно содержалось в этой информации. Какие тут могут быть сомнения?

(143) Не знаю. Тут уже юридические тонкости. Я думаю, всё-таки надо будет показывать, что информацию нельзя было получить из открытых источников.
Да и какие действия были предприняты? Что будет показано суду? "Вот мы запускаем наш скрипт, а он вместо правильных цен неправильные возвращает - и это всё не из-за наших ошибок, а из-за зловредных действий ответчика" ? ИМХО, тут должна быть глубокая экспертиза, чтобы доказать факт злого умысла, причём основанного на украденной информации.

(144) А ветка на Мисте на что? ;) Да и для шантажа достаточно "а вдруг смогут?" Плюс даже просто обвинение по такой статье - уже почти волчий билет... любая СБ выдаст на него отрицательное заключение на всякий случай.

(145) Надо Волшебнику сказать, что миста становится площадкой для разборок... думаю, ветку после этого будет трудно подшить ))

(145) Угу, только сначала надо доказать, что данному конкретныму нику соответствует человек с таким же именем в паспорте и что именно он создал эту ветку, а не Петя Иванов, который у него пароль от аккаунта украл.

(146) А нотариально завернный скриншот?

(148)Нотариусы скриншоты не заверяют.

(149) На Лурке статья есть ))))
http://lurkmore.to/Нотариально_заверенный_скриншот

(67) =))))

(147) Ходорковский тоже так думал...

(152) Что ж ты так против меня настроен то? Мож я тебе в прошлой жизни чего плохого сделал?

(153) Не кормите троллей, вы уже решили свою задачу, так что покиньте эту ветку и отправляйтесь спокойно в отпуск :)

(154) Тихо, не спугните его! )))))