Алиса AI в режиме «Авто» сама выбирает модель под сложность запроса

В режиме «Авто» Алиса AI теперь сама оценивает сложность запроса и выбирает подходящую модель. Об изменении сообщил Яндекс.

Как объясняет Яндекс, языковая модель получает текст и постепенно строит его продолжение — например, формирует ответ на вопрос. Но для некоторых задач ей также нужны свежие сведения из интернета, расчёты, документы или информация из прошлых разговоров с пользователем.

Эти данные и инструменты подключает отдельная система, которую разработчики называют харнессом, или обвязкой. Если для ответа нужен поиск, она запускает его, извлекает текст из найденных страниц и передаёт модели. Благодаря этому модель может работать с актуальной информацией и выполнять задачу в несколько этапов.

По данным Яндекса, в Алисе AI эта система также решает, какую модель использовать. Специальный механизм анализирует задачу и оценивает, сколько ресурсов потребуется для ответа. Простые запросы направляются быстрой модели, а для работы с большим числом условий, документами, расчётами или подробными планами может быть подключён экспертный режим.

В режиме «Авто» выбор происходит без участия пользователя. Также в Алисе AI остаётся режим «Эксперт»: в нём запрос всегда направляется в модель, которую система считает наиболее подходящей для задачи.

Источник: Яндекс