Статьи / Из грязи в князи: как Rasa помогла трансформировать крупную финансовую организацию

14.02.2024 г., перевод статьи из блога Rasa

Недавно технический директор и соучредитель Rasa Алан Никол (Alan Nichol) провел беседу с Кейном Симмсом (Kane Simms), генеральным директором VUX World, о том, как Rasa помогла одному из крупнейших финансовых учреждений в США превратить своего чат-бота в успешного и чрезвычайно эффективного виртуального помощника

В этом материале мы хотим отметить некоторые из лучших моментов вебинара, проанализировать закономерности, которые зачастую приводят к неэффективной работе помощников на основе ИИ, а также рассмотреть различные механизмы, которые делают чат-бота более эффективным, и обязательные советы по созданию разговорного ИИ, отвечающего требованиям компании и клиентов

Проблемы, возникающие с ИИ-помощниками

Распространенная ситуация: мама купила вам в подарок какой-то бытовой кухонный прибор на Рождество, а он не работает.

Вы открываете веб-сайт компании, чтобы узнать, как обменять его на исправный, переходите в справку — там вас встречает виртуальный помощник, предназначенный для решения подобных вопросов. Но все попытки правильно сформулировать вопрос и получить ответ раз за разом возвращают вас в главное меню. Обычная процедура по возврату бракованного товара выливается в длительный, сложный и запутанный процесс.

Такая проблема обычно возникает по причине того, что компании перед запуском в работу недостаточно или совсем не тестируют своих ИИ-помощников на данных реальных покупателей и их поведении. В результате клиенты раздражены, команды разработчиков находятся в растерянности, а предприятия сталкиваются с еще большей головной болью при работе с клиентами, чем раньше

Виртуальный помощник вашей компании должен всегда быть на высоте. Для этого и существует Rasa.

Тематическое исследование

Известное финансовое учреждение разработало помощника на основе искусственного интеллекта, который, как они ожидали, значительно повысит эффективность и качество обслуживания клиентов. Компания была уверена, что помощник будет работать хорошо — он был тщательно протестирован и показывал превосходные результаты.

Однако, сразу после запуска виртуального помощника пользователи начали сообщать о его отвратительной работе с клиентами и общей неудовлетворенности этим нововведением. Почему так произошло?

Проблема сводится к тому, как команда тестировала понимание естественного языка (NLU). NLU — это подраздел обработки естественного языка в искусственном интеллекте, отвечающий за интерпретацию того, что говорят люди. Эта технология преобразует человеческий язык в формат, который компьютеры могут использовать для выполнения запроса пользователя, используя намерения (цель пользователя), сущности (данные в речи) и обучающие данные (примеры того, как пользователи выражают свои намерения, используемые для обучения модели NLU).

При анализе эффективности NLU баллы F-1 (F-score) показывают, насколько точно модель NLU классифицирует данные обучения в соответствии с заданными целями. Для получения надежной оценки F-1 необходимы качественные данные, но многие компании пропускают сбор разнообразных данных, основанных на том, как люди говорят в реальности.

В этом случае компания использовала для обучения своей модели NLU синтезированные обучающие данные, основанные на предположениях команды разработчиков о том, как пользователи будут делать запросы. Когда они протестировали эти данные — они получили высокий балл F-1 и решили, что запуск разработанного ими ИИ-помощника будет успешным. Однако, вместо этого они создали для своего бота ветки диалогов, непонятные для большинства обычных людей.

Разница между обучающими данными и поведением простых людей вводит компании в заблуждение, заставляя думать, что они улучшают своих виртуальных ИИ-ассистентов, когда на самом деле они делают их неэффективными. Как же предотвратить это?

Шаблоны, которых следует избегать при создании цифрового помощника:

Навязывание организационной структуры компании клиентам. Если при поиске решения клиента переключают от специалиста к специалисту, переводят с одного отдела на другой — это только расстраивает его и усложняет ситуацию больше, чем это необходимо.
Проработка диалогов, опираясь на свое видение. Собственный опыт не раскрывает всех особенностей человеческого общения при построении моделей NLU. Эффективное обучение NLU может быть достигнуто только через данные, основанные на реальном взаимодействие с людьми.
Перекрестная проверка данных для обучения вместо измерения фактической производительности. Оценка F-1 улучшится, если исключить из тестирования мусорные или неточные данные, но это не улучшит продукт! Чтобы ассистент был готов к успешному взаимодействию с клиентами, его необходимо познакомить с широким спектром реальных примеров.

Разработка, основанная на диалогах, как решение

Вместо того чтобы самостоятельно создавать пользовательские намерения, заполнять их синтетическими обучающими данными и тестировать производительность модели NLU с помощью этих данных, Rasa предлагает разработку на основе диалогов как наилучший подход к обучению и тестированию NLU. Вы получите реальные данные, слушая своих пользователей и обучая ИИ-помощника на разговорах, которые люди ведут ежедневно.

Все просто: если вы прислушиваетесь к своим клиентам и обучаете языковую модель на основе того, как и что они говорят, вы сможете лучше приспособить виртуального ассистента к их потребностям. Эта тактика позволит создать более цельный и постоянно развивающийся продукт.

Влияние активного цикла обратной связи

После того, как компания начала использовать разработку, основанную на диалогах, она смогла улучшать, отслеживать и масштабировать свой продукт. Команды сосредоточили рабочий процесс на цикле обратной связи, включающем проверку ключевых показателей эффективности по целям пользователей, определяя, где и как можно улучшить пользовательский опыт.

Цикл обратной связи также привел к более широким изменениям, реализованным командой:

Оценка NLU, отражающая реальные показатели;
Более эффективный процесс анализа разговоров;
Более тщательная проработка диалогов, включающая больше взаимодействия с тестирующими пользователями;
Более активное межфункциональное взаимодействие;
Улучшенная таксономия намерений.

Четыре заключительных совета по улучшению ИИ-помощника

Используйте реальные данные.Данные для обучения можно брать из чатов, записей разговоров, стенограмм звонков, электронных писем, сообщений в социальных сетях, поисковых запросов и других каналов взаимодействия с клиентами — это допускается.
Не приводите данные в порядок.Убедитесь, что вы сохраняете исходные данные. Даже если какие-то слова или фразы кажутся вам семантически сложными или неуместными, это не значит, что другие люди их не используют. В реальном мире люди не говорят исключительно правильно и грамотно, поэтому познакомьте помощника со всеми возможными вариантами обращения.
Не обрезайте данные.Не удаляйте обучающие данные, вы всегда должны стремиться к тому, чтобы NLU соответствовал потребностям клиентов. Пополнение NLU новыми данными заставит его улучшить классификацию, а значит, и качество обслуживания клиентов в целом.
Определите свою Полярную звезду (North Star Metric, NSM).Устанавливайте цели и показатели и регулярно проверяйте их, чтобы иметь возможность отслеживать улучшения.

Нащупать баланс между исследованием, разработкой и итерацией ассистента на основе искусственного интеллекта может быть трудно, но именно это сочетание обеспечивает успешный продукт, который приносит результаты. В Rasa мы понимаем, что человеческий язык сложен, он постоянно меняется, и нам повезло сыграть небольшую, но важную роль в миссии по обеспечению доступности, безопасности и надежности разговорного искусственного интеллекта в обычной жизни.