ВТБ совместно с Центром искусственного интеллекта (ИИ) МГУ создали систему контроля ответов ИИ-агентов. В рамках партнёрства разработаны два детектора для проверки ошибок виртуальных моделей: на предмет их токсичности и галлюцинаций.
Детектор токсичности проверяет запросы пользователей на содержание запрещённых тем, нарушения законодательства, наличие взрослого контента 18+ и т. п. Если сообщение или текст будут неэтичными, система заблокирует запрос и не будет его обрабатывать.
Детектор галлюцинаций в уже сформированных ответах цифровых помощников распознаёт несоответствия и противоречия и подсвечивает, в какой части ответа они расположены. Затем специалисты ВТБ могут отправить такой ответ на повторную проверку или заблокировать его.
Галлюцинации — одна из самых распространённых проблем генеративного ИИ. В таких случаях языковая модель выдаёт уверенный, но полностью вымышленный ответ.
Решения планируется внедрить в те сервисы розничного бизнеса ВТБ, в которых для общения с физическими лицами используются цифровые помощники.
«ВТБ продолжает совершенствовать качество цифровых помощников, которые напрямую общаются с клиентами. Такой ИИ-агент не должен поддаваться на провокационные формулировки, отвечать недостоверно или рекомендовать не соответствующие запросу финансовые продукты или услуги. Готовых решений, которые отвечали бы требованиям банка, на рынке не нашлось, поэтому ВТБ разработал собственные детекторы вместе с экспертами МГУ. Внедрение моделей проверки — необходимая мера, чтобы сохранять высокий уровень обслуживания клиентов при активном использовании ИИ», — пояснил Сергей Путятинский.
