Разработка ИИ чат-бота — помощника специалистов по ремонту банкоматов

Даже лучший эксперт по ремонту банкоматов не может удержать в голове все ситуации, которые могут возникнуть при поломке ATM. Поэтому сотрудники компании постоянно обращаются за помощью к специалистам технической поддержки.

Эти сотрудники, в свою очередь, помогают найти нужную информацию среди множества гайдлайнов и сориентироваться в кодах разнообразных ошибок, которые выдают банкоматы. Однако, каждый ответ такого специалиста — это время, а значит, и расходы для бизнеса.

Поэтому заказчик решил разработать чат-бот для помощи инженерам: чтобы сократить расходы, снизить трудозатраты поддержки и ускорить поиск ответов.

Чат-бот работает в Telegram, и вся коммуникация сотрудников с ним проходит внутри мессенджера.

Инженер задает вопрос или просто отправляет код ошибки банкомата. В ответ бот присылает расшифровку кода ошибки, технический гайд по ремонту и, в некоторых случаях — видео.

Используем OpenAI Embeddings, чтобы сокращать время ответа и делать запросы менее дорогими. Эта технология позволяет осуществлять поиск не по всей базе данных, а только по самым релевантным документам и их фрагментам.

Проект построен по принципам «чистой архитектуры», которая позволяет легко поддерживать работу чат-бота и вносить изменения в продукт.

Заказчик прислал нам огромный массив данных для дообучения нейросети. Датасет включал 200 Мб текстовой информации в форматах DOCS, XLS и PDF, а также 30 Гб коротких видеоинструкций.

Чтобы превратить видео в пригодный для обучения LLM материал, мы перевели ролики в текстовый формат. Развернули на собственном сервере Whisper AI, нейросеть для транскрибации, и расшифровали все видео.

LLM «из коробки» не всегда хорошо работают с форматом XLS. Поэтому мы конвертировали все таблицы в JSON.

Затем перевели все тексты в векторный формат, подходящий для дообучения большой языковой модели. Использовали для этого OpenAI Embeddings.

Нейросеть плохо понимала запросы пользователей, содержащие код ошибки банкомата. Для решения этой проблемы мы ввели поиск кодов через SQL.

Также бот неохотно высылал пользователю ссылки на видео и документы, даже если они были максимально релевантны запросу. Чтобы решить эту проблему, мы сделали для каждого файла и ролика короткие описания — бот начал исправно высылать нужные ссылки.

Конечно, здесь мы тоже автоматизировали процесс — описания для документов и видео были составлены и добавлены через нейросеть.

Уже сейчас тысячи инженеров по всей России пользуются нашим ИИ чат-ботом. Благодаря этому трудозатраты специалистов поддержки сократились в четыре раза. Бот помогает решить любую типовую проблему, а операторы подключаются к решению лишь самых сложных, нестандартных ситуаций.

В будущем планируем дообучить embedding модель с открытым исходным кодом и развернуть ее на собственном сервере. Это позволит сделать поиск ответов на запросы пользователей еще быстрее, а его результаты — еще более качественными.