LLM чат-бот — бизнес-ассистент для крупного производителя и дистрибьютора электромонтажных изделий

Чтобы решить поставленные перед нами задачи, мы вместе с заказчиком решили разработать чат-бот на основе искусственного интеллекта. Это чат-бот, способный общаться с пользователями на естественном человеческом языке. Благодаря взаимодействию с различными API бот всегда точно знает остатки на складе и может предоставить всю нужную информацию о продукции.

Языковая модель способна сама выбирать API для обращения, получать историю переписки и заказов пользователя.

Для разработки проекта мы использовали экосистему Microsoft Azure. Развернули защищенный выделенный сервер, подключили и обучили GPT 4, настроили модули для работы с векторной базой данных с помощью Azure AI search, подключили СУБД и провели интеграцию с API заказчика — данные с сайта о работе колл-центров и их контакты. Для выбора источника информации провели оркестрацию языковой модели с помощью LangChain.

В векторной базе данных хранятся типовые сценарии взаимодействия с пользователем. Таким образом, мы добились типизированного формата ответов и предоставили языковой модели необходимый для ответа контекст. В реляционной базе данных хранится история переписки с пользователем и информация, которая обновляется с установленной периодичностью (например, время работы торговых точек).

Контроль качества и соблюдение стандартов коммуникации с пользователями оценивается дискриминатором (GPT-агентом). Для вывода аналитических данных, отладки чат бота и общения с пользователями предусмотрена административная панель. Оценка качества ответов чат-бота реализована с помощью системы обратной связи.

1. Пользователь обращается к UI чат-бота и оставляет запрос.

2. Запрос обрабатывается бэкендом сервиса: Запрос пользователя и история переписки пользователя поступают в языковую модель.

3. Языковая модель выбирает API и/или обращается к Embedding модели на основе тематики запроса пользователя и первичной классификации.

4. Языковая модель получает необходимую информацию из источников и генерирует ответ.

5. Запрос пользователя фильтруется GPT агентом на момент законности и/или на предмет некорректности вопроса (вопросы о конкурентах и ценах).

6. Ответ возвращается в бэкенд и записывается в базу данных для сохранения пользовательской переписки.

7. Ответ передается пользователю.

8. Пользователь оставляет обратную связь, которая записывается в реляционную базу данных и выводится в админ. панель

Служит для взаимодействия пользователя с сервисом. Интегрирован в сайт заказчика в виде веб-виджета и обеспечивает возможность обращения к сервису поддержки и оценки работы. Разработан на React, HTML 5, CSS 3. Для связи с бэкендом используются webhooks.

Бэкенд хранит в себе основную логику сервиса. Интегрирован с базой пользовательских переписок и заказов, а также языковой моделью. Служит для обработки запросов пользователей, обработки истории пользовательской переписки, связи с языковой моделью.

Также мы использовали лоадбалансер и репликацию инстансов — бэкенд реализован таким образом, чтобы была возможность поднять реплику существующего инстанса и через лоадбалансер перераспределить нагрузку. Это обеспечивает стабильную работу чат-бота на сайте в прайм-тайм.

1. Возможность реализовать транзакции ACID и откаты. Вся история взаимодействия пользователя сохраняется даже при обрыве связи с ним.

2. Масштабируемость: Postgres легко распределяется на несколько серверов для обработки больших объемов данных.

3. Безопасность: Postgres обеспечивает высокий уровень безопасности благодаря гибкому управлению правами доступа, средствам аутентификации и шифрования, криптографии, аудиту и резервному копированию.

Для разработки чат-бота есть два варианта языковой модели:

1. Использование коммерческого API GPT-4 Turbo.
2. Развертывание модели GPT 4 на приватном сервере Azure.

У первого варианта есть ряд недостатков:

• Для оплаты GPT-4 Turbo нужна иностранная карта. Оплата производится только с включенным VPN.
• GPT API не гарантирует 100% аптайма и может ограничиваться в доступе при перегрузках, в отличие от выделенной GPT модели.
• У GPT-4 есть лимит ежедневных запросов. Лимит повышается со временем использования, то есть первое время у чат-бота будет ограниченное количество обращений.

Мы выбрали второй вариант с локальной моделью, так как он имеет ряд преимуществ:

• Обеспечивает бОльшую стабильность работы чат-бота, поскольку модель развернута на собственном сервере. Исключает риски, связанные с изменением условий использования сторонним API.
• Предоставляет полный контроль над вычислительными ресурсами и производительностью.
• У GPT-4 есть лимит ежедневных запросов. Лимит повышается со временем использования, то есть первое время у чат-бота будет ограниченное количество обращений.
• Дает большую гибкость в настройке и масштабировании архитектуры модели под требования проекта.

Данная модель переводит запросы на естественном языке в векторное представление. Напрямую интегрирована с движком семантического поиска для использования векторной базы данных. В качестве embedding модели мы использовали Azure OpenAI Embeddings Ada.

Для осуществления семантического поиска мы использовали Azure AI search. Сервис является ведущей информационно-поисковой платформой для создания RAG моделей.

Кроме настройки семантического поиска, сервис позволяет интегрировать между собой LLM, embedding модель, движок семантического поиска и векторную базу данных внутри одной экосистемы Microsoft Azure.

Векторная база данных наполнена стандартными сценариями общений и общей информацией о проектных решениях, а также регламентами использования продукции. Чат-бот обращается к векторной БД через движок семантического поиска Azure AI search.

Для того, чтобы модель могла автоматически определять, какой API использовать, мы использовали LangСhain-оркестрацию.

1. При получении запроса пользователя первая LLM (intent classifier) определяет тематику вопроса — технические характеристики электромонтажной продукции или коммерческая информация.
2. В зависимости от темы вторая LLM (router) выбирает соответствующий API из доступных (например, API ERP или API сайта).
3. Третья LLM (response generator) формирует конечный ответ, обратившись к выбранному ранее API и используя полученные данные.
4. Ответ возвращается пользователю.

Исполняет роль дискриминатора - обрабатывает конечный ответ языковой модели непосредственно перед выводом ответа пользователю. Дискриминатор проверяет, что модель не включила в свой ответ информацию о ценах и конкурентах.

Пользователи мгновенно получают нужную информацию о продукции компании. Чат-бот закрывает запросы 80% покупателей. Лишь в 1 из 5 случаев пользователи запрашивают помощь оператора.