Наш генеральный директор, архитектор Big Data систем компании, Александр Сулейкин, совместно с нашим экспертом по внедрению LLM, Анатолием Лапковым, подготовил статью по теме внедрения умного помощника в крупной НКО.
В статье рассматривается использование больших языковых моделей (LLM) и подхода «Карта знаний» для создания умного помощника техподдержки. Основные моменты статьи включают:
В статье рассматривается использование больших языковых моделей (LLM) и подхода «Карта знаний» для создания умного помощника техподдержки. Основные моменты статьи включают:
- Проблема галлюцинаций в LLM: Галлюцинации возникают из-за неверного трактования запросов и ошибок при разбиении текста на чанки. Современные методы разбиения текста на чанки пока не решают проблему качества поиска информации.
- Популярность генеративного ИИ: LLM успешно внедряются в промышленных задачах, таких как создание умного помощника техподдержки, который может автоматически обрабатывать запросы, заводить заявки, поддерживать диалог и обучаться.
- Метод «Карта знаний»: Этот метод позволяет разработчикам контролировать информацию, используемую для ответов на запросы, путем классификации запросов и извлечения данных из документации. Это исключает галлюцинации и позволяет интегрировать систему с CRM, ERP и другими системами.
- Проект по созданию умного помощника техподдержки: Проект включал использование отечественной модели и короткие сроки реализации. Основные проблемы включали задержки в предоставлении данных и сложности с ответами на определенные темы.
- Архитектура решения: Под капотом — базовая модель от Сбера GigaChat. Архитектура включает классификацию запросов и извлечение релевантных данных из базы знаний. Бот отвечает на частые запросы с точностью более 90% и передает сложные запросы операторам.
- Планы на будущее: Планируется дальнейшее совершенствование решения, включая разработку фреймворка «Умного поиска» и интеграцию подхода «Карты знаний». Система будет развиваться в сторону гибридного поиска и автоматизации.
Статья подчеркивает важность контроля информации и интеграции систем для создания эффективных умных помощников.
Ссылка на статью здесь!
Ссылка на статью здесь!