Статья о разработке чат-бота по ответам на часто задаваемые вопросы пользователей. Разработка еще ведется на текущий момент и хотелось бы получить от профессионалов обратную связь: вопросы, мнения, пожелания, комментарии

Статья о разработке чат-бота по ответам на часто задаваемые вопросы пользователей. Разработка еще ведется на текущий момент и хотелось бы получить от профессионалов обратную связь: вопросы, мнения, пожелания, комментарии
Уважаемые коллеги, предлагаю в этой статье ознакомиться с возможностями разрабатываемой нами системы «Консультант 1С». Будет несколько скомкано, так как писалось на кооленке

Цель разработки – освободить одинэсников от часто задаваемых вопросов пользователей, а пользователям экономить время и общаться с помощником онлайн, получая ответы мгновенно:

А почему в ТОРГ-12 не выводится должность в графе «Отпуск разрешил»?
А как обновить КЛАДР?
А как заполнить производственный календарь?
И прочее… прочее… прочее
После первого же года работы с 1с мы стали понимать, что львиную долю рабочего времени съедают ответы на вопросы пользователей, ответы на которые мы зачастую и сами не знали. Приходилось самостоятельно гуглить, читать форумы, переваривать кучу информации, чтобы выдать корректный ответ пользователю, резонно интересующимся об алгоритме работы РАУЗ (расширенная аналитика учета затрат).

Обычно пользователи при возникновении вопросов в работе программы действуют следующим образом (последовательность может меняться):

Обращение к коллегам с надеждой, что они уже сталкивались с аналогичной проблемой;
Поиск в интернете на тематических форумах;
Звонок на линию консультации или своему знакомому фрилансеру, который часто в этот момент занят чем-то другим, и отправка вопроса на e-mail с надеждой получить ответ когда-нибудь.
Далее подключается специалист по выбранной тематике, анализирует вопрос и спустя сутки и более, наконец-то,  …. пользователь получает пачку уточняющих вопросов.
Мы решили изменить эту порочную практику.

Мы обозначили для себя проблематику и стали искать решение. Вроде бы все просто - из университетского курса работы с экспертными системами было понятно - надо всего лишь построить огромную базу знаний и правильно обрабатывать вопросы пользователей («Я ничего не трогала, оно само сломалось!!! Срочно помогите»).

Построение базы знаний – работа трудоемкая, но простая и понятная. А вот процесс обработки вопроса пользователя стал для камнем преткновения. Мы видели два решения:

Построение словаря системы с кучей if … then;
Разработка (как бы это громко не звучало) искусственного интеллекта, обучающегося на большой выборке данных.
Первый вариант предполагает в последующем очень трудоемкую поддержку этого словаря с развитием функционала 1с. Грубо говоря, каждое новое обновление релиза потребует от нас новых усилий по актуализации словаря. Не говоря уже о выходе новых конфигураций, коих выходит довольно много в последнее время («автоматизация бабушек, торгующих семечками»).

Второй же вариант, построенный на математической модели данных в среде Python, уже в в первом приближении давал хороший результат. Если вкратце, то по словам-якорям (так мы назвали определяющие слова, такие, например, как «Расчет», «Себестоимость», «Отчетность») мы построили многомерное пространство, осями которого стали эти слова-якоря:

0 – якорь не связан с вопросом,
1 – якорь содержится в ответе на вопроc.
В добавок системе нужна обратная информация от пользователя для обучения. Поэтому пользователю предлагается 3 наиболее близких по версии системы ответа, один из которых пользователь выбирает в качестве верного, а система корректирует точность.

Ниже показан пример работы демо-системы, в которую загружены 230 пар вопрос-ответов по теме «Управление торговлей 10.3».

Был задан вопрос по установке счетов учета номенклатуры. Стоит сказать, что правильного ответа в системе нет. Вот результат.

Вопрос:Как установить счета номенклатуры?

Ответы:
http://savepic.ru/13443267.jpg

Чтобы было понятно, каждый ответ связан с каким-то вопросом. Вот полный ответ системы с ранжированием по совпадению.
http://savepic.ru/13459650.jpg

А теперь зададим тот же вопрос, но поточнее:
Было: «Как установить счета номенклатуры?»»
Стало: «Как установить счета учета номенклатуры?»
Ответ для 1с: http://savepic.ru/13476037.jpg
Полный ответ системы со связанными вопросами: http://savepic.ru/13452485.jpg

Здесь уже наблюдается два ответа из нужной тематики и точность в процентах выше.

Стоит сказать о том, что для работы пользователей в 1с используется внешняя обработка, которая посылает по API к серверу вопрос, а ответ раскладывает на форме. Также скоро будет готов веб-интерфейс.

На этом, в принципе, все. Хотелось бы услышать от профессионального сообщества мнения о нашей работе. В добавок нужно сказать, что сейчас мы активно занимаемся поиском и подготовкой базы знаний для системы – будем рады сотрудничеству.

Цена?

вещь по задумке - хорошая.
но будет ли это давать результат лучший, чем поисковая машина...? хз...
.
сотрудничество как будет строиться:
- пользователи будут "наполнять" базу знаний, а профиты получать владельцы продукта? ".. ты - халявщик.." ;-)
.
если БЗ будут наполнять пиплы - кто будет оценивать и отсеивать плохое? если никто - чем это отличается от поисковой машины?

(3) Как и любой бот, сначала наполняешь, потом он начинает за тебя отвечать, тут вопросы есть конечно, но если локально в рамках вопрос ответ- он думаю быстро обучится в рамках холдинга

(3)

" будет ли это давать результат лучший, чем поисковая машина...?"

Трудно сказать, пока не проверим на практике. Но тут один важный момент - наша система обучается, получая от пользователя обратную связь.

Формы сотрудничества:
1) Модератор - проверяющий ответы и вопросы пользователей
2) Пользователь - задает вопросы и выбирает верные ответы из предложенных
3) Эксперт - наполняет базу знаний

(5) Работать на тебя не интересно, бесплатно не интересно в 3-не

ТелепатБот-II ? Погугли, был такой бот-автоответчик на вопросы Мисты. Откликался на

ТелепатБот, ответь

Книга знаний: ТелепатБот

Да, помню этого бота, основные отличия:
А) Наша система обучается, получая от пользователя обратную связь о выборе правильного ответа
Б) Между разными ответами наша система может устанавливать связи сама. Ей не надо объяснять что "Основной договор" и "Договор по умолчанию" одно и то же, например
В) ТелепатБоту нужны заранее определенные тэги, нам не нужны

(7) Я его отключил. Было слишком много ложных срабатываний, около 50%

Обычная https://ru.wikipedia.org/wiki/Экспертная_система хороший пример работы обычная игра в угадайку http://ru.akinator.com/

(11)+ Кста https://ru.wikipedia.org/wiki/WolframAlpha готовый движок

(5) опыт Иса показал что без постановки этого дела на коммерческую основу - не взлетело...

(13) Опыт ИСа показал что на этом денег напрямую не заработаешь пока есть бесплатные аналоги в виде форумов.

(14) для меня ценность состоит в получении ответов, а не в рыскании в тоннах гумуса. Если телепатбот будет в узкой области хоть чуток релевантнее поисковых машин - я всеми руками за

(15) Он будет дороже чем бесплатный форум... на котором можно задать вопрос и среди толпы троллей и тонн их продуктов вполне будет ответ(ы).

(16) это да

(12) Какое странное ощущение от пользования wolfram alpha. Ни одного верного ответа я не получил, но информацию он выдает в избытке. Это больше учебник, нежели вопрос-ответная система

Интересная идея, но ощутимую монетизацию врядли получит.

В качестве опен-сорс проекта - народ оценит!

(0) Не вижу в этом смысла. Делаешь базу знаний на ВИКИ. Даешь ее пользователям. Пусть там сами ищут.

+20 По ходу доработки конфы выкладываешь туда новые статьи. Если сделать кнопку перехода из 1с - вообще никакого интеллекта не нужно будет. Жмякай на кнопки и читай.

(19) Монетизация проста, главное сделать хороший продукт и привлечь много пользователей.
А дальше уже думать о ежемесячной подписке, показе рекламы и прочем.

(21) Я вот ни одного такого 1сника еще не видел, к сожалению. Пользователи не всегда справкой пользуются, не говоря уже об учебниках и пособиях. Зато форумы пестрят вопросами от пользователей

человек, ничего не знающий о machine learning хочет делать коммерческую экспертную систему????

какие якоря, каие if...then???
На дворе 21 век

(25) ну и ? ) эксперт скажет как надо? человек просит мнений, так дайте.

(0) задумка хорошая, но половина отвалиться из-за того, что  у большинства конфы переписанны и ваши советы будут не актуальны.

(1) вы, похоже, не знакомы с рядовыми пользователями. Ответ пользователя будет таков( на предложение воспользоваться ботом):
Мне некогда читать. Мне надо работать. Ваня, Петя или иное покажите, по быстрее пожалуйста.
Вы сами то часто открываете справку по тематике вопросов? А пользователи, они из другого теста сделаны, что ли.

+(27) иное могло бы быть реально востребованным. Как в играх, как работает msАгент. Всплывающая подсказка, с указанием места, об'екта, где надо чего делать. Пользователь включает режим обучения , одной кнопкой. И далее идёт текст, голос, видео.

(26) Абсолютно верно. Мы не претендуем на полную замену эксперта, а лишь снятие с него 75-95% рутины

(28) Вот тут уже надо встраиваться в ядро 1с - можно, конечно, но кто ж нас впустит.

А в перспективе было бы неплохо получать сразу с обращением номер релиза, номер платформу, последние действия из журнала регистрации - уровень правильности ответов был бы на порядок выше

(24) как это не знает? В (0) как раз про ml написано, главное читать вдумчиво. Матмодель, питон, якоря - какая-то предиктивная модель построенная на частотном мешке слов, думаю.

> Было слишком много ложных срабатываний, около 50%

по моему, зря. это хороший процент.
а с учетом того, что тут помогающих надо самих учить часто, это вообще отлично.


> Монетизация проста, главное сделать хороший продукт и привлечь много пользователей.

баблостарт 2

еще одни желающие, въехать на чужом горбу в рай.

(0) Сайт на движке вики с FAQом слишком сложно думаешь будет для юзеров?

(33) Зря вы так, немало времени и денег ушло на текущую реализацию, а впереди еще много работы

(34) Пользователь, правильно сформулировавший проблему, найдет решение в гугле - это вопрос времени.

Базу Wiki по продуктам 1с я почему-то не видел еще.
Но главный минус такой базы - вопрос пользователя поисковику - его надо правильно задать

(18) а мне понравилось. вот не помнишь ты как решать дифф.уравнения второго порядка, а он тебе лист разрисует.
я бы сказал, что это сложный калькулятор, которым еще и пользоваться уметь надо.

Это будет лучше поиска по ИТС?

(36) Как нет то? а ИТС? вот у них поисковик гуано конечно, вот туда бы встроить умного бота и норм, там как раз все есть.

(22) "...и привлечь много пользователей".
Такое только можно сделать только на плохом продукте. Да и нужен ли плохой продукт до такой степени, чтобы еще один продукт покупать - ваш.
И вопрос: как это будет встроено в конфигурации?

(1)(29) то, что ты называешь "рутиной 1с-ника", приносит ему хлеб. Если все пользователи научатся гуглить и получать ответы бесплатно, то услуги консультантов если не исчезнут, то заметно сократятся, как уже происходит сейчас на примерах франчей.

Спасают рынок 1с-услуг только ленивые пользователи, не желающие разбираться самим, но их будет все меньше в связи с поголовной информатизацией, улучшениями поисковиков и увеличения пользователей у профильных форумов и сайтов.

Опять же, не стоит забывать о ЧСВ 1с-ников, которым нравится чувствовать себя необходимыми и даже незаменимыми. Мне вот приятно чувствовать, что люди знают, что я могу решить любой их вопрос, да еще и профит за это получаю, хотя бы даже в виде простой благодарности.

И вообще, эти всякие гугления и вопросы ботам убивают живое человеческое общение. С кем бухгалтер потом будет чокаться рюмкой чая - с бездушными поисковиками и синтакс-помощниками?))

(39) Дельное предложение. Спасибо

(40) Пока никак встраивать не будем. В первой версии это внешняя обработка "Чат". Пользователь задает вопрос, обработка отправляет по API вопрос, получает ответ

(41) Вот как-то ни разу не пришлось чокаться с бухгалтерами, но думаю можно такую опцию "включить"))

(6) об этом я сказал сразу.. ;-)

(41) Опять же, не стоит забывать о ЧСВ 1с-ников, которым нравится чувствовать себя необходимыми и даже незаменимыми.

С этим ложным чувством надо бороться - в первую очередь это вредит 1с-нику. Рано или поздно придет кто-то или что-то на замену такому 1с-нику

(0) А ответит ли система на вопрос: почему счет 41, а не 10?

И работа работе рознь. На моей прошлой некоторые сотры сразу шли к программистам, то бишь нам. И одна из них начальница отдела кадров с конкретными наездами сразу. Типа а как расчитывается дни дополнительного отпуска у вас в системе. Ну подождите я посмотрю алгоритм. Как так вы его должны знать. Вы же программист и должны знать и расчет отпускных и количество дней отпуска и сторнируемое сальдо 41 счета и алгоритм расчета материалов в производстве. А так вы куевывй специалист...

(47) Текущая демка работает всего лишь на 230 вопросах по УТ -> о бух счетах она не знает. (в статье система нашла на 60% подходящий ответ, так как были знания об обмене с бухгалтерией)

Загрузив в систему знания хотя бы 10000 пар вопрос-ответов и обучив лексике 1с-ников на электронных книгах  и пособиях(заметьте, это НЕ извлечение данных из книг, а лишь лексикон, но туда мы стремимся) велика вероятность, что среди этих вопросов будут и вопросы о видах номенклатуры и их связи со счетами

(49) так у тебя же демо вопрос: как установить счета номенклатуры

обычно вопросы задают не заранее как сделать то-то, а спрашивают почему не работает как нужно

чтоб заранее нужна тесная интеграция и системой

обучи на книгах по 1с (статьях и т д)

https://github.com/tensorflow/models/tree/master/textsum

(49) га 60 подходящий отчёт это в большинстве случаев ни о чем.

(46) к тому времени чсв одинэсника давно его уведет а такие эмпиреи, что ему пофиг кто там к кому придет

Пользователь пишет быстро - потому что надо срочно- вот прямо сейчас. Ошибается (опечатки, значки препинания), путается в показаниях... Добавь к этому постоянно меняющийся интерфейс 1с, плюс режим запуска - кто с такси, кто без него... Опять же функциональные опции...
В общем гиблая затея....

(56) если это в 1с пишется, то данную информацию можно передавать сразу.

(49) хочешь своей поделкой переплюнуть библию 1сника - ИТС?

(57) Так хоть запередавайся - простой вопрос - почему не вижу контрагентов? для УТ 11 ответ не сколько технический (включить функциональную опцию), сколько методологический.
И второй вопрос - как описать это все в правилах? в терминах "Если - то" не всякое правило опишешь.

(53) Спасибо за рекомендацию, попробуем использовать в работе

(59) правила если то нужны на первой линии.
дальше, если они не сработали нейросеть.

постепенно пополняем вопросами первую линию (если то) и вторую нейросеть

(59) (61) Мы в принципе простив правил если то - высоки затраты таких правил.
Система обучается и сможет ответить почему не видно контрагентов, другое дело, что ответ может быть не точным или не полным, но и это лечится: периодически вопросы плохими % попаданий обрабатываются и дополняются - это уже модуль поверх системы

(63) удивишься, но правила если то эффективны
но их будет сотни

на них придется 50% ответов.

это первая линия

на кандле идет соревнование по проверки - являются ли 2 вопроса одинаковыми

ядро можно стянуть оттуда.

(66) Это где?

http://www.kaggle.com

(10) Твой телепат бот был крутой.
50% правильных ответов это было круто.
Он мне реально помогал.

(0) Смотрел стековерфлоу?
https://ru.stackoverflow.com/
Все уже сделано.
И работает.
уже есть автонаписатели программ под этот оверфлоу.
В виде научных работ пока )

(70) Открыл сайт https://ru.stackoverflow.com/ , посмотрел вопросы по 1с. Там только вопросы разработчиков по коду. Если я все верно понял, то ТелепатБота там хватит за глаза. У нас же вопросы пользователей по настройке программы без программирования, ибо это уже хлеб 1с-ника.

Дополнительно хочу сказать о планах по работе со смыслами слов в контексте. У гугла уже есть опыт алгебраических операций над словами, имеющими единственный смысл. Работа показала, что компьютер может складывать и вычитать слова.
Например, в контексте 1с, Реализация+Агент(Посредник) = Отчет комиссионера

бот наказывающий пользователей ударами тока за не правильно оформленные документ или просроченные процессы, на мой взгляд был бы более востребован.

(73) shut up and take my money

(73) система просто не должна давать оформить неправильно.
А вообще оформлятели и не нужны вовсе

(75) система знающая как оформлять правильно, не нуждается в оформляторах

(76) конечно, это послдний этап

ну ка запустите в своего бота вопрос
"Как в БП3 открыть список ГТД"

Вы там поаккуратнее.
Когда система сможет нормально ответить на 80% вопросов - 80% одинэсников эффективные менеджеры уволят.
Так что вас могут побить тащемто...

(79) а ты не боишься сам-то? а то начнет снегопат сам телепать код направо-налево выдавать на-гора... я-то тебя не побью, мне клюшек хватит, а вот 8-ки - гни же как дети малые... могут губки надуть и расплакаться, ручонками и ножонками махать налево и направо в стерике что конфетку отобрали.. ;-0)

(0) Пошли лучше на Кагглю зарабатывать 60 килодолларов за распознавание речек, лесов и прочего по космическим снимкам Амазонии.

Вот ссылка на демо - http://185.13.113.140/reason_demo?service_id=114&service_token=f44bf5f8e91849e2aaa021456a84bdb9
Там во второй вкладке виден список вопросов и ответов. Несколько примеров для понимания преимущества работы, что система способна распознавать смысл сообщений без ключевых слов
"Как открыть вторую ставку для физлица"
"Пропал человек"
"Какие ограничения по кассе"
и др.

Вопросы и ответы взяты из разных тем и конфигураций, но при этом уже система понимает вопросы

(82) попробуем

При выборе правильного ответа система дообучается и меняет веса. Не сразу, собрав статистику

(82) тупой ваш бот, на вопрос "Как в БП3 открыть список ГТД" вменяемого не ответил

перефрпазировал вопросы малость. тупняк.

буо тупо судя по всему ищет по словам как поисковая машина.

(85) Ну зря вы так:
1) если вы обратили внимание на второй вкладке список вопрос-ответов, о которых знает демо-бот. Их всего 200 штук - больше он ничего не знает, его еще не обучали на всевозможных источниках данных. Ааа, еще он знает словарь русского языка.
2) Вопрос "Как в БП3 открыть список ГТД" - тут смысловую нагрузку несут два слова БП3 и ГТД - естественно бот будет к ним цепляться.
3) Если например задать вопрос "Существуют ли предельные суммы для выдачи в кассе?", то бот ответит про лимиты в кассах

(88) а что так ответов то мало?
Кто будет базу наполнять?

(89) Это демка, работаем над наполнением.
Под наполнением понимается:
1) составление словаря 1с-ника (ГТД, СЗВ, НДФЛ и т.д. и т.п.)
2) составление классификации данных
3) составление пар вопрос-ответов

(90) Я как то не совсем понял. Он на любой запрос выдаёт "Choose the correct suggestion from the FAQ" ЧЯДНТ?

(91) Перепроверил дома, всё ок. Видать на работе что то банится...

(90) ну так зачем выкладывать такую демку, которая ничвего не может.
на пруф оф концепт она не катит. Ибо тут нужны именно корректные ответы.
Вот сделай по одной конфе ответов 1000-5000, тогда да

(91) на хроме и сафари работает.
Firefox 45 и младше - нет

(94) Дома на Опере проверил работает, да на работе Firefox 44, не работает

(88) смысловую нагрузку несут слов список ГТД и открыть

(90) тупиковый вариант
Нужны достаточно конкретные ответы на частные вопросы
А не общее типа чтоиподоцдет
Иначе это нифига не ИИ а такая же поисковая машина, которая имхается будет порелевантнее вашего ИИ.
Смысл имеет если кто-то буде хотя бы на первых порах аудировать вопросы и выдаваемые ответы и минусовпть фуфло

Например
Каков порядок отработки предопределённых событий на платформе 8.3.9