Поставили огромную задачу, делать несколько месяцев, возможно год-два даже. Сделать парсер интернет-сайтов и слить инфу в одну базу, упорядочить полученную инфу и тд. Обещают денег хороших, потому и согласился. Но кроме 1с я ничего не знаю. Никаких языков. А 1с я считаю идеально подходит для этой задачи. Раньше уже делал парсеры на 1с, сполне приличная скорость работы получается.

Но заказчик потребовал вообще обосновать целесообразность использовать для этого именно 1с, а я должен ему это предоставить в письменном виде. Потом начнем работать.

Думал ниче сложного, но... уже второй час не могу начать писать первую строчку. Вообще ничего в голову не лезет. Помогите хотя бы начать писать такой текст. В тексте надо убедительно показать что нет смысла использовать НЕ 1с, 1с-ка вполне сгодится и не хуже других вариант. Хотя я понимаю что 1с не для этого создана, но ведь она справится полностью, это точно.

Честно говоря мне просто лень учить другой язык, это долго, да и не вижу смысла, быстрее на 1с сделаю, чем другой выучу. В будущем если проект окажется окупаемым, его просто перепишут на более оптимальный язык, сделают свой движок. Но на начальном этапе делать такие расходы нет смысла ведь. Сначала надо хотя бы выяснить возможно ли создать такой парсер вообще, как можно быстрее выяснить, а уже потом "городить" правильное и оптимальное.

PS: цели парсера описать не могу, подписал "коммерческую тайну".

(61) А говорил "коммерческая тайна"...

(63) грустно

(61) А что с чем сопоставляешь-то? И как?

(63) вы не поняли. Просто парсить - это да, 2 дня работы. Там ведь самое сложное это интеллектуальный алгоритм, который нужно и можно постоянно доучивать. Просто содрать инфу с сайт - легко. А вот сопоставить так чтобы парсер понял что этот товар этого магазина равен этому товару другого магазина - вот это сложная задача, это много месяцев работы.

Например, парсер читает файлы CSS чтобы понять какая цена перечеркнута. Такая цена не верная - это старая цена, нужно вычислить правильную цену. Это уже не очень просто. Хотя ерудна.

Например я 2 недели работал над задачей "Как отделить страницы товаров от других страниц"? это задача уже давно решена, отделяет без ошибок. И так далее.

Это минимум месяцы работы для программиста любого уровня.

(68) Ну и как твой продукт осознаёт, что "хрень всякая" из одного магазина - это то же самое, что "сувенирная продукция в ассортименте" из другого магазина?

(68) "читает файлы CSS чтобы понять какая цена перечеркнута". ужас.

Народ, объясните тупому, для чего вообще эти парсеры нужны.
В какой сфере бизнеса.

(61) на Инфостарте валяется этот парсер бесплатный для всех ))))

(69) А "хрень всякая" и "всякая хрень" - это один товар?

(68) и чего сложного? регистр номенклатура поставщиков.

"Это минимум месяцы работы для программиста любого уровня."
а вы знаете в Москве (и не только ) метро открыли , представляете поезда под землей. Вы откуда ?

(52) Пиши лучше так.
выбор в качестве среды разработки ПО 1С
достоинства:
-быстрая разработка альфа-версии (указать ориентировочные сроки)
-меньший бюджет
-больший выбор специалистов при дальнейшем развитии ПО и его поддержке
недостатки:
-ограничения 1С

(73) не всегда) в автозапчастях например хрени называются как угодно) и наименование вообще не имеет никакого значения.
потом что будет какой нить клапан. а это тысячи 2 разных клапанов.

(70)
поему ужас. или вы считаете что есть другой способ? цена далеко не всегда заключена в тег страйк, часто это далется стилями из CSS.

(69)
да. И без ошибок. При условии что это техника. Кальяны например не получилось сопоставить. Пока что. И возможно не получится. Любая техника - без проблем. Ему пофиг телевизор там или микроволновка - всегда без ошибок, любые магазины.

(73) распознование идет не только по названию. Использует анализ текстового описания, и выдача результатов поиска яндекса и гугла. Т.е. если гугл выводит этот товар наверх, значит он скорее соотствеует. Если сходст больше 50% считается что это один и тот же товар. В технике никогда не ошибается, но вот кальяны делает с точностью 70%, полно ошибок.

(71) как в какой? в интернетпродажах... кучка "бизнесменов" закупаются у одного поставщика.(да и сидят скорее всего в одном здании, не далеко от склада) но вот что б привлечь покупателя к себе, воруют цену у конкурента и снижают на рубль.

(73) верно. Поэтому алгоритм оценивает не только наименование, но и:
1) картинки
2) выдачи поисковиков по этому магазину
3) текст описания
4) сравнивает по цене (если в 10 раз дороже, значит это точно не то же самое например)
5) полно других приемов, некоторые еще не реализованы, но придуманы, некотоые еще не придуманы :)

(71) парсеры нужны чаще всего в двух сферах:
1) отслеживание цен конкурентов (чтобы продавать всегда дешевле)
2) создание информационных сервисов (например яндекс.маркет)

Остальные задачи более редки. Заказчик хочет редкую задачу, нечто среднее между 1 и 2.

+(76)    
выбор в качестве среды разработки иного продукта
недостатки:
-неопределенный срок разработки альфа-версии
-неизвестный бюджет
-сильная привязка к разработчику ПО

(80) Картинки? Не, у меня была программа, сравнивающая картинки и выдающая процент их совпадения, независимо от формата и размера. Но как вы это сделали в 1С?

(77) не тестировал на автозапчастях, но думаю там 100% точность достижима, но очень тяжело будет достич. Это если профинансируют - сделаю. Но это много месяцев работы. И не факт что это кому-то нужно будет, ибо дорого выйдет.

парсер на 1С. бред какой-то.

perl (не знаю используют еще или нет), python, любой другой язык с регулярными выражениями.

хотя если стоит задача интеграции с 1С. другой вопрос. тогда может имеет смысл делать на 1С, используя внешние средства.

(83) очень часто в картинках есть:
1) описание картинок с названием товара
2) часто картинки воруют друг у друга, поэтому они имеют равные названия
3) или одинаковый вес в байтах
4) так же порой количество картинок совпадает
5) если товар важный и дорогой, то картинок много, если товар не важен, то может быть одна

Каждый такой показатель один не решает, но сумма этих показателей сильно повышают точность сопоставления товаров.

нереализовано:
6) в будущем надеюсь добавить (наверное не 1с будет уже) сравнение по цвету, если на обоих товарах преобладает черный, значит более вероятно что и там и там черные ботинки.
7) можно попробовать подлючить такую программу сравнения картинок или даже получить код этой программы

Нереализовано потому что дорого и сложно, а толку будет мало. на первых парах это не нужно.

(86) отличная мысль! Я уточню предполагается ли интеграция с 1с. Не знаю еще.

(79), (81) Гм. Я правильно понял?

У продавца нет своего склада.
Нет вообще ничего, кроме интернет витрины.
Поэтому расходы минимальны.

Получив заказ он покупает его у своего поставщика,
и переправляет покупателю.

Профит.

(83) да не 1С это делает - 100%. Скорее всего внешняя служба какая нить. типа http://www.tineye.com/
(77) автозапчастях... хмъ... а мне казалось что там как раз все проще всякие оригинальные каталони...

(87) ну собственно это и подтверждает мою мысль... большинство инет магазинов берут информацию из одного источника. вот вам и корректность поиска, и сравнение картинок...

(86) +. Из самого простого на ум приходит IE с DOM:) Ну не HTML же парсить...

(87) "если товар важный и дорогой, то картинок много, если товар не важен, то может быть одна"
Не факт. На сайте Никса, например, фотографии компьютерных мышей чуть ли не со всех ракурсов, независимо от цены.

Делал такое разок, классная задача была.
Парсить каталоги типа желтых страниц, инфу класть в справочник, у руководителя отдела продаж отчет по загруженным данным, откуда может раскидать контрагентов на обзвон менеджерами, а потом анализировать результат, если попросил коммерческое предложение - ввод контрагента на основании элемента.
Даж премию получил за такую разработку.

в (90) каталони - каталоги

(68) Как цену себе набивает с уникальным парсером, прямо ИИ на 1с ))))

(89) нет не правильно. Такой вариант не работает. Потому как затраты на получение трафика будут выше чем прибыль. Я это прошел уже на своем опыте еще давно. Это нереально.

Задача сервиса помогать интернет-магазинам продавать. Магазины будет не против что их парсят, будут рады. Прибыль пойдет вообще из очень неожиданного для меня места :) Никогда бы не догадался извлекать прибыль таким образом. Не могу рассказать.

Я сам так как он не смогу, поэтому лучше поднять проект и получить там должность руководителя проекта. Ну так мечта.

(89) совершенно верно. думаю по такой схеме работает порядка 95% (процент с потолка, но смысл - абсолютное большинство) магазинов. только относительно крупные игроки и торговцы уникальным товаром, держат склад

(87) Так и говори что не картинки он сравнивает))

(96) А потом этот ИИ сам будет искать клиентов, заключать договора, торговать и направлять отчеты в нужные органы.

(97) "Задача сервиса помогать интернет-магазинам продавать. Магазины будет не против что их парсят, будут рады." Магазины проще и надежнее дать доступ к базе данных

+ (101) Поднимут веб-сервис, например

(96) попробуйте поискать такой парсер - если сильно повезет нагуглите только меня. Больше никого :)

(99) да, картинки он "пока" не сравнивает, но он с ними тоже работает. В будущем (если проплатят) будет отличать по картинке тоже. Короче он сравнивает картинки... в планах :)

(98) нет не верно. Все эти крупные магазины имеют договора с офлайн магазинами. Товар лежит на складе. Этот товар купили для офлайн магазина. А инет-шоп очень дешево перепокупает и забирает со склада сам. Такое поднять не сложно, но очень дорого. Нужно с первого же месяца дать оборот хотя бы миллионы. Для каждого поставщика! А для начинающего магазина это нереально вообще. Тем более для бедного программиста или дизайнера. Такие магазины созданы владельцами не мелких фирм, таких как логистические компании например.

(102) веб-сервис конечно же будет, ему то и нужен файл парсера.

(0) C парсерами в 1С еще не так плохо, а вот с получением и отображением данных очень костыльно...
HTTPСоединение.Получить() не воспринимает просто сайти типа forum.mista.ru...
я не разделяю твою уверенность в этой задаче в 1С.

Большое спасибо за советы. Многие мне пригодятся. Далее тему отслеживать не буду, по теме уже никто не пишет :)

тема закрыта

(0) хех, вот люди пошли. берешь список функционала, перечисляешь вразнобой, разбавляя фразами "для этого 1С подходит как нельзя лучше, потому что " и дальше либо "алгоритмы", либо "прикладные объекты", либо "механизмы", либо "учет", да все что угодо - уже существует. плюс большое количество спецов, хорошая сопровождаемость.

(0) парсер в твоем случе - это не цель, а вспомогательный механизм. Цель - сводный анализ данных из разных источников, консолидация данных, и прочая мутотень, для которой нужна СУБД. 1С - это СУБД (идите в жопу зануды, которые в нижеследующих постах кинулись, теряя подлежащие, это опровергать - не цепляйтесь к словам).
Что и требовалось доказать.

(108) здраво

(108) Кто ж спорит, что 1С - это СУБД?

(104) "C парсерами в 1С еще не так плохо" да лана... а каком парсере может идти речь, если 1С из "коробки" даже регулярных выражений не понимает?

(109) спасибо
(110) да щас "набигут", будь спок
(0) и писать тебе надо не парсер. Ты просто парсера больше боишься, чем остального, потому и сконцентрировал внимание на нем. Если ты просто напишешь на любом другом языке и платыорме парсер, получающий данные с твоих сайтов, ни чего это ни кому не даст. А вот если у тебя будет анализ данных без парсера, то хотя бы руками можно будет БД заполнять и уже использовать по назначению.
Короче, сконцентируйся на обработке данных и анализе, а парсер этот говенный отдай кому-нить на аутсорс, кто это умеет

(111) это просто ты не знаешь, как их использовать из коробки

(0) Нечего тут обосновывать, 1С не подходит

(113) я не могу назвать это
RegExp = Новый COMОбъект("VBScript.RegExp");
из коробки...
Есть другой способ?

на самом деле запло повторять одно и то же: объект автоматизации для вас, одинэсники, - это БИЗНЕС ПРОЦЕСС, мать вашу, а не эти ваши ёхарные буковки в конфигураторе, которые вы там пишете и которыми думаете. Прежде чем писать буквы и думать над справочниками, поймите, как процесс вам следует автоматизировать и в чем цель этой автоматиз
ай да ладно, один хрен - бестолку...

Начнем с Начнем с того, что этот индекс затянет на многие десятки гигов, продолжать?

(115) вот ты мутный. Определи тогда сначала понятие "из коробки", как ты его понимаешь, потом поговорим

+(116) "поймите как процесс" = "поймите КАКОЙ процесс"

(0) Человек имя задачу не ищет инструмент, а имея инструмент пытается его впихать в задачу. Не разбираясь с тех. частью. Маркетологи 1С - молодцы, сделали свое дело.

(0) А человек который попросил написать эту бумагу - молодец. Он Вас подставляет. По заветам Петра Первого: "Яко дурость свякого видна была..."

(120) (121) +100500

(116) Что-то хамишь тут всем? Самый крутой спец?

(0) я бы начал с определения :  - " Парсер - это некоторый скрипт, который берет готовый дизайн и в специальным способом помеченные места подставляет некоторые значения. "

потом бы налил водички вот отсюда

http://bozza.ru/art-44.html

теорема БЖ-Соболя - упрямая штука.

(0) Поэтому уважаемый Босс какое тебе на х рен дело до того нна каком языке я эту работу сделаю???

И вообще не надо вдаваться в подробности реализации проекта - пусть для них это ваще будет черный ящик - я бы еще и код модулей "напутал" специально обученной программкой - к примеру брали бы они продукт на дельфях , то че они просили бы тексты иходных модулей чтоли?

Нескромный вопрос к ТС: скоко обещают за всё это счастье?

Ну я аналогичную работу за 5000 рублей обычно делаю - больше нельзя а меньше влом...

кстати на инфостарте лежит такая разработка в бесплатном доступе.

а ведь заказчик скорее всего просто хочет удостовериться, что исполнитель понял цель проекта. Начнет лечить про то, что парсер на 1С ни чем не хуже парсера на чем угодно другом, значит не понял

Скромно замечу, то ТС уже давно удалился от темы... О чем сам заявил в (105)

(132) Когда это кого-то волновало?

(0) я бы написал так

я (мои специалисты) смогу решить поставленную задачу на 1с за 112 000  долларов

я (мои специалисты) смогу решить поставленную задачу на VB за 257 000  долларов

я (мои специалисты) смогу решить поставленную задачу на Делфи за 358 000  долларов


Скорость работы буудет сопоставимася

Стоимость поддержи
на 1с 1000 тыс в месяц
на вб 1500 тыс в месяц
на делфи 1600 тыс в месяц

(134) вот и обоснование ;)

А мож все-тки напишем 1С:Яндекс?

человек, знающий только 1с, ничего путного уже не напишет.

(0) ты сам ответил на свой вопрос, самое правдивое обоснование:
"Кроме 1с я ничего не знаю, мне просто лень учить другой язык, это долго, да и не вижу смысла, быстрее на 1с сделаю, чем другой выучу."

В вообще напиши про скорость разработки интерфейса (для БД то надо интерфейс), удобство в модификации, возможность интеграции с другими системами.

ой прямо такой умный парсер на 1С, прямо единственный такой во вселенной - ржу немогу =)
вообще сомневаюсь что человек создающий такие темы v8: Получить HTML-код из ПоляHTML в форме способен написать парсер =)

(138) если заказчик просит обоснования я бы с ним не работал. тк эта писанина - трата времени которую никто не полатит.
Уже даже то что на эту тему полдня автор сидит пишет и читает - потрачено времени. время деньги.
Вместо кокнкретной работы сза деньги, идет болтовня без денег.

И уже тем более если заказчик не знаком с 1С. я бы наверное его бы не втягивал. Дал бы ссылки на решения не 1С. пусть сам поколбасится.
Потом если поймет что надо было 1С - сам прийдет.

уже без разговоров. Но за заказчика сидеть сравнивать и додумывать - нафиг надо!!!

(0) вы бредите, сэр. писать парсер сайтов в 1с если нет именно такого требования - это нонсенс.

есть масса простых языков на которых это будет проще и быстрее. и работать оно будет проще и быстрее. python, php, ruby.

если надо быстро сделать какую-то человекочитаемую каталогизацию спи***ного, то пожалуйста python+django, ruby+ruby-on-rails. и задача эта не на год, а на месяц-два от силы если никуда не спешить.

вобщем выражаясь словами великого и ужасного татьяныча: руки прочь от вменяемого заказчика.

НУ (134) прямо в тему (121)  "Яко дурость свякого видна была...".
Только в России из-за передела всего и вся очковтирательством гордятся...

(143) парсер должен менять айпишки, через группу анонимайзеров, иначе это не парсер ;-)

найди какой нить парсер. используй его. результаты загрузи в 1с.

(143) Компонента, позволяющая использовать Python скрипты в 1C : я вас там не видел. интересно мнение

(147) взял на заметку, но удручает привязка к .NET

(148) ни на win32com, ни на comtypes завести не удалось

(145) казалось бы, причем здесь мой пост...

(150) Руби знает по человечески человек 100 от силы

(149) я не очень силен в том как работает система внешних компонент в 1с. но я вообще имел в виду linux, на котором только mono и никакого .NET. рано или поздно ведь 8.3 зарелизится и тогда прощай венда насовсем.

(151) ага, а питон 200 человек, а пхп 300... а вот 1с!!! тысячи их... а потом вы проснулись

(0) 1С для этого не предназначена

(0) не пудри заказчику мозг, а лучше зайди в Google, посмотри какие платные сервисы он предоставляет и возьми деньги за консультацию.

(154) ты (0) читал дальше заголовка вообще? Ему надо собирать инфу, чтобы консолидировать в БД и потом обрабатывать. Если 1С для этого не предназначена, то для чего? Парсер - это не существенная деталь в этом проекте

(156)

1. Парсер (от англ. parser) — это программа или алгоритм, осуществляющие грамматический разбор.

2. ПАРСЕР. То же, что граббер, т. е. скрипт или программа, которые используются для сбора информации с сайтов для последующего размещения на собственных ресурсах

3. Parser — объектно-ориентированный скриптовый язык программирования, созданный для генерации HTML-страниц на веб-сервере с поддержкой CGI. Разработан Студией Артемия Лебедева и выпущен под лицензией, сходной с GNU GPL.

Начнем с того, что выясним, что он имеет в виду под парсером?

(52) имхо, этот текст, как красная тряпка для быка - сигнал клиенту о том, что стоимость работы должна быть копеечная, особенно после фразы "а для целей проекта нужно его лишь адаптировать". как бы он вобще тебя не кинул, как обычно бывает "вы тут сделали, а мы не пользуемся" или "оно не работает, платить не будем". ты, как продавец, не должен изначально прогибаться и делать какие-то уступки, потому что это играет против тебя.

(+157) а потом давай определимся насколько это несущественная деталь для реализации в 1С?

(157) начинать надо с того, что надо автоматизировать и с какой целью. Далее надо уразуметь, что просто само по себе сгребание в кучу инфы с разных сайтов ни кому и ни за чем не нужно, а нужно - что-то потом с этой кучей делать. Так вот затевается все не для парсера, а для того, чтобы это что-то делать. То есть - выполнять какой-то бизнес процесс.

(159) вообще напрочь в корень не существенная, я в этом уверен.

(160) Начинать надо не с того, что ты можешь и умеешь и что у тебя по жизни получалось, а с того, что предстоит выяснить.

Если "парсер" является белым пятном и необходим клиенту в рамках проекта - то начинать надо именно с этого.

(162) ну да, ага. Зачем знать, что заказчику надо? Надо слушать, что он говорит и делать в точности, что он просит

(163) я тебе уже написал, что прежде чем за что-то хвататься, необходимо выяснить все белые пятна и насколько они глубоко интегрированы в проекте.

Вполне возможно, что из-за этого может быть принято совершенно не эффективное решение.