Заказчик поставил такую вот интересную задачу. К ним на сайт каждый день заходит бот, запускаемый конкурентом и сканирующий определенный набор страниц с целью срисовать цены. Заказчик хочет этому боту подпихивать фейковые цены. Для этого надо понять, с какого айпи или диапазона айпи заходит этот бот. Можно, конечно, написать скрипт и через неделю получить необходимые срезы информации, но хотелось бы получить нужную инфу уже сегодня. Пока в распоряжении есть только статистика от яндекс-метрики, но что-то я сходу там нужной информации не нашел (может плохо искал или смотрел не туда).

Собственно вопрос: есть ли тут гуру яндекс-метрики (и веб-мастеринга в принципе), подскажите как вытащить из нее необходимую информацию? В итоге нужна таблица вида:

URL  |  IP |  Количество заходов за период  |  Дата последнего захода


Любые мысли, не связанные с метрикой, но способные помочь решить вопрос, также приветствуются.

(0)Сделай страницу на сайте, на фронте не показывай, а в робот.тхт запрети роботам индексацию этой страницы. Нормальные роботы будут соблюдать инструкцию, а ломовые - будут индексировать всеравно. Ваш разведчик - стопудово из наглых роботов.

Круг сузишь, а потом и его вычислишь.

(0) а что помешает боту парсить яндомаркет?

не, регите новый ящик, обзываете "????новский центр скидок" шлете письмо на мыло конкурентов, вписьме ссыль и пиар про ваш магазин, а ссыль на  страничку на которую интерактивно не попадешь - только по прямой ссылке. Если клюнет - посмотрите в логах с какого ip зашли на нее. эт при условии что они с работы бота юзают.

(56) Там у них в настройках скрипта указано руками, на какие страницы заходить надо. То есть из 1300 товаров он мониторит только 20 тех, которые им интересны.

(59) такое очучение что конкуренты обратились к тебе за написанием бота, а тот магаз за отловом :) раз уж вкурсе всех нюансов работы их скрипта :)))

Все, отловил!!!
Как и предполагалось, заходит примерно в одно и то же время, парсит всегда один и тот же список страниц. Заходит с одного и того же айпи.
Ха-ха, денег на отпуск я таки заработал ))))

(60) У меня есть хорошие друзья из хороших структур, мы друг другу всегда помогаем, каждый в своей области )

молодец :)

Запалили таки демоны:((
Придется теперь заходить в разное время и с разных айпишников.
Народ, подскажите, как айпишники подменять в пакетах?

(64) )))

кстати, вопрос - а почему цены, выложенные в общедоступной странице - нельзя скачивать конкуренту?

Конкурент сидит, почитывает мисту и попивает охлажденное мартини со злобной усмешкой во взгляде...

(64) используй прокси сервера,например fineproxy.org. По другому айпишники не подменишь ;)

(66) Чтобы он не так оперативно реагировал на изменение цен моего клиента. При больших объемах лаг в запоздании информации равный одному дню это иногда сотни тысяч рублей прибыли.

(69) ну он может нанять человека, который будет отслеживать изменения цен

(70) Человека можно отловить так же как и бота

Вообще не понимаю в чем суть, у Вас там что дельта в 500% что ли ? У конкурента свои закупочные цены, у Вас свои. И насколько сильно Вы хотите ему изменить цены ? Он это сразу поймет, у него же не бот прайс-лист составляет ! Бот только инфу собирает, а решения то в любом случае принимают люди !
Какой-то херней Вы занимаетесь Юрий !

(72) Мы не собираемся ЕМУ ничего менять, задача - скрыть ОТ НЕГО изменения наших цен или значительно усложнить процесс их отслеживания. Тогда он либо будет терять ресурсы на их сборе, либо задолбается и откажется от своей идеи нам ботов присылать.

(72) херня не херня а 300 косарей в месяц тоже деньги

Это в двух словах. На самом деле есть некие особенности, которые позволят заработать на этом, но я не буду их выкладывать в данной ветке, уж простите ))

(75) нет ты уж расскажи раз начал ;)

(76) Я еще не начал )

(73) Любой Ваш покупатель может в любой момент стать Вашим конкурентом ! А может быть это покупатель сделал ботов и мониторит сайты всех контор торгующих аналогичными товарами ?

в линуксе помнится на iptables можно было редирект сделать

http://checkerproxy.net/free_proxy
полеhtml или компонент webbrouser + программно в реестре прописываем ip прокси и все.

webbrowser

(0) судя по боту, конкуренты не такие идиоты как вы о них думаете. подсунуть левые цены ха ха

(82) Часто люди начинают думать что они умнее других и на этом можно подловить.
Например, мы ппц какие умные написали бота, остальные тупые - ничего не заметят. И все они уже не ведут мониторнг того что собрал бот

(78) У меня на руках отчеты, сформированные их ботом. Имя конкурента было известно изначально, надо было только понять, как именно и с какого айпи он к нам заходит.
(82) Был бы не идиотом, я бы не смог зайти к нему на сайт и в онлайне прочитать результат работы бота, со всей историей его работы за последние месяцы. Страничка, конечно, под паролем, но логин "111" и пароль "111" - просто порвали.

(0) А как бота определили? А если это обычный юзер?

(83) автор намекнул что речь идет о не малых прибылях. плюс цена все таки есть в открытом доступе, ничего не мешает при подозрении сверить. вот если бы бот из какой то закрытой базы что то тырыл, а ему подменили бы, был бы детектив да

(85) Мониторинг 20 сайтов по 18 товарным позициям. Заход на каждую страницу сайта с периодичностью день и дельтой в несколько секунд - человек так не сможет.

(87) а если бот через анонимайзер ходить станет?
Пару лишних действий вбить -- дело даже не часа работы

(88) поэтому и будут дезу подсовывать, а не доступ рубить
еще раз есть доступ к боту, может подсунуть функционал ему соответствующий...например, отправка сообщений на почту когда запускается бот

(88) Пока они прочухают, уже сколько-то времени пройдет. К тому же нам известны как минимум еще несколько параметров, по которым можно понять, что это бот: порядок обхода сайта, периодичность посещения страниц, список посещаемых страниц, время посещения и т.д.. Можно привязываться к этим данным и идентифицировать бота. В общем не так то просто им будет.
(89) Доступа к скрипту не получили, только к формируемому им отчету и параметрам поиска, но этого уже было достаточно, чтобы предсказать алгоритм его работы. Собственно поэтому всего за 4 часа и получилось его опознать.

(90) ну так опознали суньте дезу. только нафиг, собирать ваши цены можно например у ваших оптовых покупателей.

имхо, затея бесполезная. конкурент сменит айпи, будет выходить в другое время, или накрайняк наймет человека

(91) Это уже временные лаги, то есть как раз то, к чему стремимся

писать цены "от...", а подробнее --- уже другой запрос из БД

Так как поймали то?
Тупым одинесникам не понятно!

(95) По формату отчета стало понятно, что нужно искать около 20-ти заходов ежедневно с одного IP, причем на конкретные страницы. Время захода тоже известно из того же отчета: с 8-00 до 9-40. Выгрузил лог сервера в таблицу, закачал ее в скуль и сформировал отчет с фильтром по страницам и по времени, с группировкой по IP и по дате. Собственно задача попалась несложная.

война фигня, главное маневры.
Теперь конкуренты поменяют бота, дней пять макс. понадобится, потом будете опять искать решение, потом они, потом вы.

Короче, на отпуск зарабатываем круглый год.

(97) Деньги там хорошие крутятся, заказчику это выгодно. Мне тоже. Так что все в шоколаде. К тому же работа удаленная, можно на отпуск прям под пальмой зарабатывать.

(84) Отчеты конкурента? А вот это уже статья...

(99) Да ну? ))

(100) 183-я, например.

(0) Я бы на месте конкурента прикололся и оформил бы заказ по фэйковым ценам.
А на самом деле есть еще такая вещь как авторизация.

(101) Ну мне это не грозит, я ее не получал незаконно.
(102) Так пусть заказывает.

(103) Да? И как же ты ее получил? Пришел к конкуренту и он тебе выдал отчет? Все остальное может быть признано незаконным.

(104) "Нашел на улице листик" устроит?

(105) Нет. Листик не твой, значит украл, а не "нашел".

(106) Хорошо. Шел по улице, увидел листик на столбе, прочитал, запомнил, сделал выводы, пошел дальше? )

(107) "Прочитал" - уже незаконно. Да и такой листок на столбе висеть не будет. Судья не поверит.

(108) Ну конечно, секретные документы на викиликс висят, а листок на столбе не может? Я вас умоляю! ))

(108) Сфигали "прочитал = незаконно", если инфа висит в открытом доступе?

(109) Судье будешь рассказывать, только сначала придумай правдоподобную версию того, почему именно этот листок оказался на столбе и почему именно ты его прочитал.

(110) С того, что это коммерческая тайна. Не читай все вподряд.

(109) А то еще разразится скандал со шпионским столбом.

(111) Ну я принял к сведению, спасибо )

фигней маетесь... ваши цены секрет ??? если конкурент ставит цены ниже, то завоевывайте своего покупателя более лучшим обслуживанием, акциями, стабильностью логистики, широтой выбора и тп... или проваливайте с рынка !!!

(111) А между фоирмой и ним нет же никаких обязательств о неразглашении коммерческой тайны? А то, что в открытый доступ выложили -- ССЗБ. Они бы еще распечатали и с вертолета над Красной Площадью сбрасывали

(114) Об акциях речь и идет, незачем конкуренту знать о них

А к прайсу авторизацию прикрутить и забанить те аккаунты, которые мониторят тоже, что и бот?

(166) напоминает ситуацию, когда идешь по рынку, выбираешь товар, спрашиваешь цену, а тебе говорят "эээ дарагой зачем спрашиваешь цену, все равно ведь не будешь пакупать, да ?"

(115) Ну дык закон "О коммерческой тайне" нарушен? Нарушен. Все, этого достаточно, чтобы получение сведений стало незаконным. Неважно кем нарушен, важно что информация получена с нарушением закона, т.е. незаконным способом.

(116) Тю-тю... рекламы у вас что, вообще нет?

(119) если у меня есть логин и пароль, то это то же самое, что ключ от сейфа. С точки зрения системы это не Юрий Лазаренко заходил, а биг-босс или Одмин в Свитере

(117) Заставлять каждого розничного покупателя проходить авторизацию = потерять большой процент клиентов.

+120 ну вот, например

"Статья 10. Охрана конфиденциальности информации
5) нанесение на материальные носители (документы), содержащие информацию, составляющую коммерческую тайну, грифа "Коммерческая тайна" с указанием обладателя этой информации (для юридических лиц - полное наименование и место нахождения, для индивидуальных предпринимателей - фамилия, имя, отчество гражданина, являющегося индивидуальным предпринимателем, и место жительства)."

Если на отчетах такого грифа нет, то эта информация не коммерческая тайна. Соответственно, под закон не подпадает

(120) Да без разницы, конкуренту достаточно мотивированное заявление накатать, и работа пойдет...

(122) Не так. Если не нанесли - это уже нарушение закона. От наличия или отсутствия грифа информация свой статус не меняет.

(122) Плюс отсутствие грифа еще надо будет доказать ;)

Интересная тему, автор, держи нас в курсе развития событий. Прямо детектив.

(124) Нужно "доказать отсутствие грифа"? Сильно!

(126) Конкуренты же скажут, что не печатают такую информацию без грифа и приложат соответствующую регламентированную процедуру. А потому на столбе не мог появиться просто так листок с коммерческой тайной, тем более без грифа. Впрочем, давшие тебе отчет сами же тебя и сдадут при грамотно мотивированной заяве конкурента, так что судья насчет листов на столбе будет слушать с ухмылкой.

(127) А если у Юрия есть лист БЕЗ грифа? Распечатанный. Все, Юрий не имеет возможности знать, что это -- коммерческая тайна. И проблема перетекает во внутренние трудности "Конкурента"

(128) Вот если бы не воспользовался - еще можно было бы поверить. Понимаешь, если ты в фотошопе уберешь этот гриф и распечатаешь так, а потом дашь этот листок заинтересованному лицу - нарушение и незаконность никуда не денутся. Просто будет организованная группа, а это уже отягчающее обстоятельство.

(122) закон нужно читать целиком. Я тоже так могу, например:
режим коммерческой тайны - правовые, организационные, технические и иные принимаемые обладателем информации, составляющей коммерческую тайну, меры по охране ее конфиденциальности;

+(130) 2. Информация, самостоятельно полученная лицом при осуществлении исследований, систематических наблюдений или иной деятельности, считается полученной законным способом несмотря на то, что содержание указанной информации может совпадать с содержанием информации, составляющей коммерческую тайну, обладателем которой является другое лицо.

так что сначала нужно доказать, что данная информация является коммерческой тайной, потом что получена незаконным способом

(132) См. (84), с чего все началось. Вот "сидел день и ночь, анализировал логи сервера и нашел" - еще могло бы прокатить за отмазку. А листок на столбе - нет.

(133) Ну а почему - нет? Всё, что в открытом доступе - можно читать.
Это задача владельца информации - защитить её. А не моя задача - закрывать глаза, чтобы ненароком не увидеть ничего лишнего.
ИМХО, для судебного разбирательства потерпевшая сторона должна доказать факт незаконного проникновения в её информационную систему.

(134) т.е. нашел ключи от квартиры где деньги лежат, открыл этими ключиками квартиру без разрешения хозяев и это уже законное проникновение ?

(134) См. (84). Там были имя и пароль, т.е. доступ не открытый. Не исключено, что все это было специально подстроено конкурентами, и у них все ходы записаны.

(135) Нет, если зашёл в квартиру - это незаконно. А вот если я у вас увижу запонку - точно такую же, как была у меня, то это я должен доказать, что вы её у меня украли, а не вы должны объяснять, как  у вас оказалась такая же запонка.

(136) Ну вот если действительно ходы записаны - то да, могут судить за незаконное проникновение. Но не факт, что за кражу коммерческой информации (это наверняка надо доказывать отдельно).

(137) Ну так они воспользовались этой информацией, теперь надо только ущерб нарисовать - и дело готово. Скоро, наверное, конкуренты завербуют автора за незаведение дела...

(138) Как воспользовались? Стали отслеживать действия с определённого IP? Так для этого НЕ нужна коммерческая информация.

(0) Не дай бог вы перепутаете вашего конкурента с проверкой яндекс маркета :-) Враз закроют вам доступ.

(139) Ну, тут не все так невинно. И опять, же, резать ножом мясо - вроде бы, звучит невинно. Правда, если добавить прилагательное "человеческое" - уже совсем другое дело получается.

(141) Ну, "по понятиям" это действительно кража. По понятиям - и похожая запонка у другого человека - вполне повод для разборок. А по закону - доказывать ведь надо.

(142) Получил доступ к инфе - а затем предпринял ответные действия. Причем логичные, исходя из того, что именно содержалось в этой информации. Какие тут могут быть сомнения?

(143) Не знаю. Тут уже юридические тонкости. Я думаю, всё-таки надо будет показывать, что информацию нельзя было получить из открытых источников.
Да и какие действия были предприняты? Что будет показано суду? "Вот мы запускаем наш скрипт, а он вместо правильных цен неправильные возвращает - и это всё не из-за наших ошибок, а из-за зловредных действий ответчика" ? ИМХО, тут должна быть глубокая экспертиза, чтобы доказать факт злого умысла, причём основанного на украденной информации.

(144) А ветка на Мисте на что? ;) Да и для шантажа достаточно "а вдруг смогут?" Плюс даже просто обвинение по такой статье - уже почти волчий билет... любая СБ выдаст на него отрицательное заключение на всякий случай.

(145) Надо Волшебнику сказать, что миста становится площадкой для разборок... думаю, ветку после этого будет трудно подшить ))

(145) Угу, только сначала надо доказать, что данному конкретныму нику соответствует человек с таким же именем в паспорте и что именно он создал эту ветку, а не Петя Иванов, который у него пароль от аккаунта украл.

(146) А нотариально завернный скриншот?

(148)Нотариусы скриншоты не заверяют.

(149) На Лурке статья есть ))))
http://lurkmore.to/Нотариально_заверенный_скриншот

(67) =))))

(147) Ходорковский тоже так думал...

(152) Что ж ты так против меня настроен то? Мож я тебе в прошлой жизни чего плохого сделал?

(153) Не кормите троллей, вы уже решили свою задачу, так что покиньте эту ветку и отправляйтесь спокойно в отпуск :)

(154) Тихо, не спугните его! )))))