Новости и обзоры ИТ-решений

Use Case внедрения умного чат-бота на основе подхода “Карта знаний” и LLM GigaChat

Habr, научные статьи
Наш генеральный директор, архитектор Big Data систем компании, Александр Сулейкин, совместно с нашим экспертом по внедрению LLM, Анатолием Лапковым, подготовил статью по теме внедрения умного помощника в крупной НКО.

В статье рассматривается использование больших языковых моделей (LLM) и подхода «Карта знаний» для создания умного помощника техподдержки. Основные моменты статьи включают:
  1. Проблема галлюцинаций в LLM: Галлюцинации возникают из-за неверного трактования запросов и ошибок при разбиении текста на чанки. Современные методы разбиения текста на чанки пока не решают проблему качества поиска информации.
  2. Популярность генеративного ИИ: LLM успешно внедряются в промышленных задачах, таких как создание умного помощника техподдержки, который может автоматически обрабатывать запросы, заводить заявки, поддерживать диалог и обучаться.
  3. Метод «Карта знаний»: Этот метод позволяет разработчикам контролировать информацию, используемую для ответов на запросы, путем классификации запросов и извлечения данных из документации. Это исключает галлюцинации и позволяет интегрировать систему с CRM, ERP и другими системами.
  4. Проект по созданию умного помощника техподдержки: Проект включал использование отечественной модели и короткие сроки реализации. Основные проблемы включали задержки в предоставлении данных и сложности с ответами на определенные темы.
  5. Архитектура решения: Под капотом — базовая модель от Сбера GigaChat. Архитектура включает классификацию запросов и извлечение релевантных данных из базы знаний. Бот отвечает на частые запросы с точностью более 90% и передает сложные запросы операторам.
  6. Планы на будущее: Планируется дальнейшее совершенствование решения, включая разработку фреймворка «Умного поиска» и интеграцию подхода «Карты знаний». Система будет развиваться в сторону гибридного поиска и автоматизации.
Статья подчеркивает важность контроля информации и интеграции систем для создания эффективных умных помощников.

Ссылка на статью здесь!
Made on
Tilda