Добрый вечер.

Кто делал такое - из строк

<Конденсатор UVK105CH1R5BW (0402-C0H-50В-1,5 пФ±0,1пФ) Taiyo Yuden>
<Резистор ERJ-14YJ100 (1210-10 Ом±5%) Panasonic>

Получить свойства: Тип детали, производитель, размер, номинал, допуск.

Задача со звёздочкой: у конденсаторов параметры - ёмкость, напряжение; у резисторов этих параметров нет, есть другие.

в общем случае нерешаемо, но с известными ограничениями (например набор свойств для одного типа одинаковый и идет в одном порядке) сделать можно. а сколько платите?

Задача на парсеры. Задаешь грамматику и прогоняешь по правилам свои строки. Собственно, проблема в грамотном написании правил.

Не заморачивайся на грамматику. тупо лексер пишешь. Что бы написать - необходим достаточно большой объем изначальных данных (что бы выявиьт закономерности) плюс удобный инструмент что бы править получившийся автомат.

(0) Решал подобную задачу только осложненную тем что нет строгих правил нахождения свойств в строках наименований
Алгоритм нахождения подстрок в строке

Самое наилучшее (если форматы жестко заданы а не меняются постоянно) то действительно написать парсер.

С кучей условий и совершенно тупой но зато надежный и простой:

Если Лев(Стр,11)="Конденсатор" Тогда
   КонденсаторЕмкость = //найти внутри () пФ и взять число слева
   // и т.д.
ИначеЕсли Лев(Стр,11)="Резистор" Тогда
   //
Иначе
   Сообщить("Непонятный вид номенклатуры!").
КонецЕсли;


(4)+ Для облегчения написания условий (выборки свойств из строки каждого вида номенклатуры) можно заюзать RegExp на каждое свойство.

(0) Regexp тут скорее всего на 100% рабочий достаточно сложно будет собрать, хотя при желании можно сделать. Экспериментировал как то, все равно 5-10% остается, из которых трудно извлечь все поля, и это достаточно много(если только наименования не сгенерированы автоматически). Проще действительно обычную процедуру написать, обрабатывая строки посимвольно, распределить по разным блокам.

(1) За идею (зачёркнуто) булочки в столовой работаю. Видать, скоро похудею.

(2) Парсер, лексер... Спасибо, что не Шекельгрубер. Приличные же люди вроде, а так ругаются.

(3) Юзвери колотят по тыще новых данных в месяц.

(4) Понял. Причём надо подставлять словари - типов, размеров, номиналов E24, единиц измерения. И знать, что мкФ - это только про кондёры, а 0Ом - не из буддизма, а резистор-перемычка.

(5) Каждое слово понятно, но чувствую истинный путь в твооей уверенности.

(6) Очевидно, что Эти всегда сделают набор данных, превращающих сервер в кирпич, как сегодняшний эксплойт на PSP. Но 80% распознавание было бы очень полезным.

(0) Выложи базу. Побаловаться.

(8) Мыло открой, в паблик не смогу.

(9) открыл

(2) как определить какая строка должна какой грамматикой обслуживаться?

(10) Не открылось. Но у меня с собой данных не оказалось, а удалёнку туда даже не буду согласовывать. Утром справочник покажу.

(6) Плюсую за регулярные выражения. Регулярками можно разобрать значителную часть такого набора если не весь. Тут уж   как раскуриш регулярные выражения.

(7) если юзвери вводят это сами то тебе нужно сделать точно наооброт - не разбирать строку, а сделать им форму ввода названия - тогда и название соберешь по нужной маске и составлящие наименования можно обрабатывать без предварительного анализа.

(11) если извратиться - то можно. Но, проще заюзать состояния в лексиеском анализатрое (что-то типа yybegin(KONDENSATOR_REST))

(13) не помогут тут регулярки. Точнее могут помочь - но код будет неотлаживаемый и не поддерживаемый.

(0) Кстати, глянь еще в сторону PEG - будет медленно и тормознуто, но просто описывать.

(16) да помогут и регулярки и не регулярки. главное знать масштаб трагедии (насколько серьёзно извращались юзеры над списком). тут нужно только понимать в резисторах и конденсаторах немножко.

вот такой регуляркой для начала можно разделить на части запись "(.+) +(.+) +\(.+\) +(.+)"
потом колдовать с хреновинами типа "0402-C0H-50В-1,5 пФ±0,1пФ"

данных нет. говорить не о чем. может это вообще плёвое дело.

может, тупо идти "по шагам"? типа поискали единицу измерения, если омы-фарады-генри , то разбираем по правилам пассивных, иначе - по правилам активных
если пассивные - ищем типоразмер по стандарту. ищем номинал из рядов перед обозначением единицы измерения. от номинала ищем допуск. если конденсатор и пикофарады - проверяем допуск нк абсолютное значение (у резисторов, насколько помню, допуск только процентный). для конденсаторов - из оставшейся части строки ищем рабочее напряжение.
а вообще, лучше сделай "мастер" для ввода - там же сможешь и ошибки фильтровать сразу.

Пример данных:

1 Резистор RK73H1ETTP1500F KOA (0402 150 Ом ±1%) Каталог "Платан"
2 Конденсатор C0402C221K5RACTU KEMET (0402 X7R-50В-220пФ ±10%) Каталог "Платан"
3 Катушка индуктивности 0603CS-82NXGLW CoilCraft (0603 82нГн ±2%) Каталог "Платан"
4 13.0 MHZ CFPX-180 20/20/-40 TO 85C/18 кварцевый резонатор
5 FYLS-0603UBC Светодиод
6 GRM1885C1H472JA01D Конденсатор
7 Электронный компонент:C0402C105K9PACTU конденсатор керамический (KEMET ELECTRONICS)


Словари (номиналы, допуски, производители, ) расширяются. Сложно ли работают регэкспы при этом?

(14), (21) - тут многая тыщи этого добра. При вводе нового нужно заводить параметры, убедить будет сложно. Но старое надо упорядочить процентов на 80 автоматом.

(22) Сложно долго и нудно, но реализуемо

мне кажется нужно привязаться к какому ни будь глобальному каталогу электронных компонентов.

(22) как вариант ragel и свой генератор к нему. Лексеры там пишутся просто. Второй вариант - PEG  - быстрое прототипирование, потом уже преобразуешь на автомат (а если использовать waxeye - то автомат получишь сразу)

(24) думаю если бы автор мог - он так бы и сделал.

(24) совершенно верно. самый правильный путь

(22) мдя... тут уже чуть ли не искусственный интеллект нужен

выдирать из записи названия по признаку "написано русскими буквами". потом тупить со всякими C0402C221K5RACTU

+(25) еше вариант томита-парсер от яндекс.

В общем инструментов - немеряно. Остается только сесть и сделать :)

составить список всех названий. причесать его.
(29) да не надо тут никаких парсеров.

(0) нынче нейронные сети в моде. как раз для них задачка

(30) регулярками - не разберешь такое. поэтому парсер нужен в итоге. в (3) я был не прав.

(24) Вроде бы нет такого. А закрытость ещё и онлайны не позволит, только скачать и внутри периметра разбирать.
(28) Для разделения новых и существующих позиций использую это. Причём последние символы часто несущественны.
(30) Да, словари упорядочиваю.
(31) Да? Вечером буду учить это дело. Есть видео для одинэсников?

(33) на ИС проскакивали примеры реализации нейронных сетей на 1С
но боюсь, что одним вечером тут не обойдёшся :)

Смысл примерно такой, что н.сеть после соответствующего обучения научается находить закономерности, которые не очень то формализуются. Главное правильно построить процесс обучения. И сеть подобрать.

я в этом естественно нифига не понимаю :)

(34) для нейронной сети нужна размеченная выборка. где ее взять?

(33) Вы просто плохо ищите. Вот например. Гуглится 5 минут. https://ru.mouser.com/servicesandtools/

(7) > Юзвери колотят по тыще новых данных в месяц.

Не позволяй им бардачить.
Сделай в номенклатуре шаблон наименования и пусть выбирают из шаблона. Справочников наклепай.
Иначе потом не разберешся.
У нас задействован такой механизм. Стало быньше геммороя.

(37) только сначала нужно  будет 100500 шаблонов подготовить. ну или в процессе запуска молниеносно из добавлять

(35) кстати да, это ещё одна суровая трудность

+(37) И кстати - заведи в спр. номенклатура "Автор" и раздай потом задание пересобрать наименование товара.
(38) Да нихера. У нас задействован такой механизм (шаблон выбирается в группе):
https://image.prntscr.com/image/nZenhtuqRL64fQcQT9LE2A.png

(40) Это если номенклатура на группы разбита корректно

Само собой Производитель, Модель, Цвет и ДопИнформация - справочники. Дополнительно в шаблон можно подключить штрихкод, артикул и прочее чего душа пожелает.

кстати в ЕРП-УТ11 такое уже есть

(43) Ну, у нас это уже лет 12-ть

(40) Вот это реально понравилось, спасибо!
(44) Указанная на форме модель 2003 года.

можно присосаться к какому нибудь серьёзному сайту через яндекс. вводишь UVK105CH1R5BW в яндекс. находишь в результатах нужный сайт и получаешь всё по элементу на странице https://www.terraelectronica.ru/product/2190753

(35) из истории справочников, если эти справочники разбирали вручную...

+(46) для надежности пяток сайтов пригреть и с них грабить

(46) такое можно и по даташиту (https://ru.mouser.com/datasheet/2/396/mlcc01_e-1313713.pdf) разобрать.
кстати, можно написать "конструктор парсеров",под каждое новое семейчтво парсер, прогонять через имеющиеся парсеры - скорее всего, сработает полностью только один.

(49) ну как бы всё равно что разбирать. главное принцип, как это можно решить.

короче:
1. Запрос на яндекс.
2. Парсим страницу яндекса на предмет наличия нужного сайта.
3. Парсим страницу сайта.
4. Результат в базу или сообщение эксперту, что не смогли ничего добыть

имхо, самый простой и надежный способ.

(49) даташиты все разные, а краткая информация на сайте более менее структуирована

(52) даташитов/производителей не так уж и много.

(53) ну полтыщи всего

производителей. и у каждого по полтыщи даташитов

(55) не, у производителя даташитов не так много - у них как правило внутренняя классификация отлажена, да и номенклатура не слишком велика (именно номенклатура, без учета разбивки по номиналам-допускам-типоразмерам-напряжениям-ТКЕ/ТКС-исполнению.) . производителей (нормальных) тоже не так уж много

(56) ну и хорошо, если так

(57) бардака, конечно, хватает - интересно, почему какой-нибудь IEEE не введет стандарт....

(58) .. и не исправит всю КД, в которых сыграла серийная и опытная элементная база?

зачем? "параллельная нумерация".

+(60) Тем же емкостям от Taiyo Yuden можно подобрать вполне добротные аналоги от Cornell серии MCN, и не только их...

Я бы сначала создал справочники со значениями параметров - Производители, Значения емкости и пр. и заполнил бы их всеми возможными значениями.

Затем обходом номенклатуры определял бы для нее значения этих параметров


Для каждого Номенклатура Из Справочники.Номенклатура Цикл

Если Найти(Номенклатура.Наименование, "Конденсатор") > 0 Тогда

// Определим ёмкость
Для каждого Ёмкость Из Справочники.ЗначенияЕмкости Цикл

Если СтрНайти(Номенклатура.Наименование, Ёмкость.Наименование) > 0 Тогда

Номенклатура.Емкость = Ёмкость;

КонецЕсли

и т.д.

Понятно что нужно подготовить временные таблицы, и обращаться к ним, а не к базе, а так же вставить сообщения если не смогли определить значение параметра, это просто для примера

Если какие то значения параметров не нашли - заносим их в справочник и прогоняем парсер по новой, с условием Если Не ЗначениеЗаполнено(%ИскомыйПараметр%) Тогда...

Херня это все. напишут грамотеи в прайсе или еще как/где "кандинсатор" - и жпс вашим всем алгоритмам

(64) Обязательно напишут. Поэтому заносим в справочник все возможные варианты написания, и после заполнения всех свойств  обработкой по замене дублей проходим по справочникам значений свойств, приводя все к единому формату

(62) навскидку, некоторые номиналы емкости из ряда могут совпадать с рабочим напряжением. допуски могут быть и процентными, и абсолютными. ну и т.д.

(64) поэтому и надо делать заполнение через мастер. любо высосать даташиты основных поставщиков, и всандалить их классификаторы.

Частный вопрос - как убирать все символы кириллицы, КРОМЕ идентификаторов отечественных ИМС вида "1879ВЯ1Я"?

(67) регуляркой?

Написать пользователям конструктор шаблонов,чтобы сами себе шаблоны готовили,и их же заполняли.
Если оставлять так как есть,то никакой современный парсер не поймет правильно человеческую дурость.

(68) А вот и да!

Составьте, пожалуйста, RegExp для отечественных микросхем. Формат:

1. "К" ЕМНИП, признак ИМС общего применения (необязательный символ)
2. "155" Серия. 3 или 4 цифры.
3. "ЛА" Назначение, ограниченный список вариантов, всегда 2 русские буквы.
4. "3" Модификация, кажется.
5. Иногда ещё русская буква, щас буду ГОСТ курить.

(70) выложи ты уже файлик с мусором, который нужно разгребать.
а гост курить не надо наверное

(70) Ну по моему скудному опыту получается нечто типа
/([К]|[КР]|[КМ])*[0-9]{3,4}[А-Я]{1,2}[0-9]{1,2}[А-Я]?/
Т.е. К или КР или КМ или ничего, потом 3-4 цифры серии, потом две буквы функцонального назначения(группа и подгруппа), затем одна или две цифры порядковый номер в функционале, затем может быть одна буква модификации (по питанию, быстродействию).

да, кроме К,КР,КМ еще что-то встречалось, но т.к. отечественными давно не пользуюсь - не помню

+(72) пардон
/([К]|[КР]|[КМ])*[0-9]{3,4}[А-Я]{2}[0-9]{1,2}[А-Я]?/

Вы чо на каждую пилюльку собираетесь регулярки писать? Совсем с ума сошли. Их же многия тысячи :)

проверил, работает
/([К]|[КР]|[КМ])*\d{3,4}[А-Я]{2}\d{1,2}[А-Я]?/
хотя точнее - надо
/([К]|[КР]|[КМ])*[1-9]\d{2,3}[А-Я]{2}\d{1,2}[А-Я]?/
(Номер серии не может начинаться с нуля.  ну и по идее, номер разработки тоже не должен начинаться с нуля, но я чот не знаю, как это обойти.

Нужна регулярка на слово на русском. Регулярка на абракадабру букв и цифр, которая обозначает обычно код производителя. Регулярка на параметры типа 100Ом, 100 Пкф и т.п. Список производителей. Список названий компонентов типа Транзистор, Резистор и т.п.
И имея всё это, можно начинать эксперементировать с разбором этого хлама. Шансов мало, но может хоть что то получится.

(74) не, зачем на каждую? стандарт на классификацию отечественных позволяет по краейней мере определить, что это отечественная микросхема. ну по большому счету и разобрать.
мелкую импортную логику 74 семейства тоже позволяет разобрать - там тоже стандартизировали. семейства микроконтроллеров чуть сложнее - там на производителях завязано. но производителей немного, семейств у каждого тоже - а в семействе уже есть логика.

(76) "регулярка на параметры" - это ряды Е6-Е192

1 Резистор RK73H1ETTP1500F KOA (0402 150 Ом ±1%) Каталог "Платан"
2 Конденсатор C0402C221K5RACTU KEMET (0402 X7R-50В-220пФ ±10%) Каталог "Платан"
3 Катушка индуктивности 0603CS-82NXGLW CoilCraft (0603 82нГн ±2%) Каталог "Платан"
4 13.0 MHZ CFPX-180 20/20/-40 TO 85C/18 кварцевый резонатор
5 FYLS-0603UBC Светодиод
6 GRM1885C1H472JA01D Конденсатор
7 Электронный компонент:C0402C105K9PACTU конденсатор керамический (KEMET ELECTRONICS)

(78) Где тут стандартизировано?

(79) 150,220,82

(80) 13.0 забыл

(81) не уверен, что частоты кварцев подчиняются вышеупомянутым рядам. зато уверен, что слишком много исключений из рядов

(82) Кварцы точно не в рядах, 32768 не даст соврать.

(83) часовик - он часовик и есть.

+(84) просто кроме часовика есть кварцы на частоты радиосвязи, на несущие-поднесущие телевизионного изображения, на частоты радиоуправления игрушками, на частоты UART и USB (причем под разные их скорости), и т.д.
т.е. "исключений больше, чем правил"

(85) а нам не похер, какие бывают кварцы.
я бы делал (76)+(51), ну и навести порядок с вводом новых данных.

(86) а я б при наличии времени - поизвращался бы с нейронкой. хочу научиться, а это реальная интересная задача.
если топикстартер выложит данные - можно будет заняться...

(87)а как сюда прикрутить нейросети? можешь объяснить?

(88) Да просто кабелем свой мозг к компу подключит. Он же вроде как шарит в радиодеталях.

(88) задача классификации или кластеризации. достаточно типовые для нейросетей

(90) но на выходе ты получаешь что с вероятностью 60% строка
" RK73H1ETTP1500F KOA (0402 150 " описывает резистор. 20 % конденсатор , 10% диод и 10 % транзистор.
смысл в такой кластеризации для решения задачи?

(91) если я буду знать, что "с вероятностью 60% это описывает резистор", и "с вероятностью 85% это деталь производителя KOA Speer", то мне надо будет обработать всего один даташит.

с моей точки зрения - это не тот инструмент ля решения задачи ТС. обучающей выборки нет, правила анализа - нет. на выходе только вероятность что угадали ответ.

(93) обучающую выборку можно вытащить из исправлений его собственной базы...
не, я не говорю, что нейронки - лучший (или даже просто хороший) вариант - мне просто интересно было бы его попробовать.
а вообще - я "втупую" действовал бы через даташиты производителей.

(94) "действовал бы через даташиты производителей"
лучше уж действуй через нейронные сети :)
Написать 1000 парсеров для даташитов это очень сурьёзная и очень бесполезная работа :)
распарси хотя бы один https://www.ckswitches.com/media/1402/fpush.pdf

(90) Да это задача классификации но не все так просто.

Я этим занимался и добился вполне неплохих результатов, но это пипец как медленно и печально по скорости на проце.

Как туда прикрутить GPU ускорение пока не придумал, там очень специфическое программирование дикими ограничениями на память и код.

(96)+ И да ИНС нафик тут не нужны, тут банальное выделение признаков и далее используя вектора признаков юзаем метод k средних.

Т.е. для одной-нескольких строчек выделили например артикул и оно само находит и выделяет артикул в других строках, аналогично с емкостью и прочими параметрами.
Но работает очень медленно и чем больше всего строчек тем больший пипец наступает при сравнении векторов.

(97)+ https://ru.wikipedia.org/wiki/Метод_k-средних

(97) спасибо, учту. хотя тут артикул и есть "емкость и прочие параметры"

(95) не такая уж и страшная. не вижу никаких сложностей

(100) да ваще молодец

(98) высокое программирование...

за время писания этой ветки, четыре бабы уже бы полбазы руками перебили :)

(102) Обычное программирование но когда у меня при реализации на C# на табличках в 100 строк наступали дичайшие тормоза при выделении одного артикула - задумалось на пару секунд, выделил еще один - уже 10 секунд, еще один и приехали ждем минуты.
Понял что это что то не то или нужна дичайшая оптимизация.

Можно конечно навыделять правильно сначала (подготовить обучающую выборку) а затем натравить и ждать пока оно там отработает, но мне то надо было в онлайне чтобы с разными форматами работать.

(103) "лучше день потерять, а потом за пять минут долететь"©КНХ

(105) В данном случае это не прокатывает потому что оператор должен видеть что там ai наклассифицировал и поправлять его на лету.
Фишка алгоритма что все взаимосвязано и выделив какое то свойство в новой строке можно испоганить автовыделение в правильных уже строках.

(103) Если бабы умеют формулы в эксель то двух хватит и вся база уже была бы готова