Доброе времени суток.
Подскажите кто сталкивался, как можно закачать сайт в 1с. т.е. номенклатуру с картинками и краткой информацией и ценой. Причем цены нужно обновлять раз в неделю. Есть ли какие то обработки, может даже платные.

Мы открыли интернет магазин компьютеров (железо, переферия) хотим ориентироваться на цены другого известного дискаунтера.

Также интересны механизмы как полученные цены потом обрабатывать (накладывать формулы, коэффиценты и т.д.).

У нас конфигурация УНФ 1.6.

Буду рад любой помощи, заранее спасибо.

я однажды парсер делал для сбора данных с 2гис, брал наименование фирмы, телефон и адрес.
это долго и муторно. и вряд ли есть готовый универсальный механизм.

(0) А позиций номенклатуры, для которых надо брать цены, много? Брать надо с одного сайта или с нескольких?

(1) я просто читал что делают парсеры на xpath и через java. но они все не на 1С (на C# и т.д.). просто хоть бы какую зацепку, понятно что сайты все разные.

(2) ну пока один сайт в последствии возможны ещё добавяться

(0) http://catalog.mista.ru/public/88106/

http://catalog.mista.ru/public/332050/

http://catalog.mista.ru/public/463833/

(4) спасибо кое какая-то ниточка появилась
(5) да вот здесь как раз xpath используется, интересно. но платно, хотя скупой платит дваждый. попрошу демку у этих разработчиков. спасибо

(7) а что такое Мерлион? сайт? или тут относительно универсально? мне другой сайт нужен просто )

На нормальных сайтах - особенно имеющих цену - не идоты сидят)

И запросто блокируют тех кто пытается их читать. А в отдельных случаях видя что их без конца парсят (или вы думаете что какой то дурак позволит чтобы у него воровали инфу) можэет выдавать таким ботам - неверную инфу чтобы запороть выдачу данных.

Например совершенно левые цены. и так далее.

Все крупные поставщики имеют защиту от таких парсеров, поэтому они в большинстве случаев просто не рабочие.

А остальные крупныки, дистрибьюторы - обычно предоставляют веб-сервисы партнерам. Но реальным партнерам. С доступом и прочим.
Но для этого надо иметь партнерское соглашение и реальные обороты

(11) тут ты прав, но если очень нужно - можно и их обмануть. Надо просто попробовать

(11) (12) согласен не попробуешь не узнаешь. если информация в открытом доступе, грех ей не воспользоваться.

(10) Да нормально обходятся эти блокировки. Не надо долбиться на сайт с одного IP, не надо грузить много данных за короткий промежуток времени.

(13) можно менять ip например, парсить не сразу все, а с промежутками по времени...

(14) опередил )

(14) если только данных не 30 000 страниц с товарами

Попробуйка не пропарсить и быть не замеченным)

На сайте вводится блокировка не более 300 хитов за 20 минут.

И будешь ты парсить 30 000 - неделю.

с блокировкой айпи при попытке фигачить хиты выше положенного

(18) не пугайте так ). Нам не нужно 30000 парсить, у нас маленький магазин региональный.
Максимум 1000 товаров будет.

(19) блокировка по ip обходится, разве нет?

(21) может быть вечной. Может быть временной. как настроишь.
Условий там полно можно задать.
Все от админа зависит

(22) я про то - что ip можно поменять

(23) замучаешся их менять и искать.

(18) Женя, ну ты же умный и ты в курсе, что у интернет-магазинов почти в 100% случаев кроме карточек товара есть еще списки групп товаров с ценами. Не открывай 30000 страниц с полными данными товаров, открой 300 страниц с группами товаров и пропарсь их.

(24) еще лет 12 назад была прога которая автоматом меняет прокси через определенное количество времени. Бесплатная причем была.

(25) Ты наверное про список товаров на странице без входа на саму страницу?
Ну там считаешь только название и цену. может быть 1 картинку если будет.

Свойства обычно держат внутри.

Ну и на страницах со списками обычно 10-15 товаров.

Не я не говорю что задача не выполнима. Выполнима если что то простое и таргетируемый сайт не представляет из себя ничего особенного.

Крупные дистрибьюторы вообще на своих сайтах не держат список и даже не продают в розницу.
Внутренние базы данных для своих партнеров.

(27) Ну дык для получения актуальных цен этого достаточно. Ясен пень, что для первоначального заполнения свойств надо будет пройтись по карточкам, но за это время антибот вряд ли сможет заблокировать, если по-умному заходить.

(27) кому надо - тот распарсит

(0) если этот известный дискаунтер выкладывает прайс на яндекс-маркет, то можно воспользоваться апи.яндекса и цены быстро и без парсинга поиметь

Ну в данном случае как автор заявил про небольшой бизнес в 1000 товаров. то скорее всего и заморачиваться не о чем.

(30) яндексу деньги надо платить за доступ

(9) > а что такое Мерлион?

Мерлион - это поставщик эскпортер всякой мути.
У нас корпоративный отдел с ним часто работает.

У яндекса веб-сервис для доступа к своей БД через API
И он за него денюжку просит.

(31) Ну это ты зря. У нас как-то один клиент заморочился из-за 30 позиций, чтобы автоматически делать свои цены на 1 рубль ниже, чем у конкурентов. Так он в яндекс маркете обеспечил себе топ в выдаче.

(30) да яндекс мониторили у них дороговато выходит.

емнип, если у тебя есть мараз на Я.М, то доступ к партнерскому апи тоже есть

(37) мараз = магаз

(38) с яндексом сотрудничает крупняк в основном нам не потянуть наверно. тем более торговать мы будем в розницу

в общем выбрал 2 разработки для тестирования по одной автор уже дал демо доступ (настройки у автора для этого сайта уже были), по второй тоже обещали настроить дать доступ. по результатам тестирования отпишусь. решил брать платную, с бесплатными дольше и дороже выйдет.
всем спасибо за быструю подачу информации.