Оценка качества ответов базы знаний

Измерение качества ответов базы знаний позволяет решить несколько ключевых задач:

• Оценить, насколько эффективно база знаний удовлетворяет типичные запросы пользователей.
• Добиться максимально возможного качества ответа путем корректировки настроек и анализа результатов.
• Отслеживать изменения в качестве ответов с течением времени, по мере обновления источников данных.

Как проводится измерение

Для измерения используется тест-сет, который состоит из вопросов к базе знаний и ожидаемых ответов. Каждый вопрос отправляется в базу знаний, а полученный ответ вместе с вопросом и ожидаемым ответом передается в LLM. LLM оценивает качество фактического ответа по шкале от 1 до 10. Результат измерения — среднее значение по всем вопросам тест-сета.

Чем больше вопросов в тест-сете, тем достовернее результат измерения.

Качество ответа можно оценивать по нескольким тест-сетам. Измерения по разным тест-сетам проводятся независимо.

Подготовка тест-сета

Вы можете составить тест-сет самостоятельно или сгенерировать с помощью LLM.

Самостоятельно

1. Перейдите в раздел Оценка качества.
2. Скачайте шаблон тест-сета: в блоке Тест-сеты нажмите Загрузить, затем в окне загрузки нажмите Скачать шаблон в XLSX.
3. Внесите в файл вопросы к базе знаний и ожидаемые ответы.
4. В окне загрузки укажите название тест-сета, которое будет отображаться в списке тест-сетов, и прикрепите заполненный файл.
5. Нажмите Создать.

В блоке Тест-сеты вы можете скачать загруженный тест-сет.

С помощью LLM

1. Перейдите в раздел Оценка качества.

2. В блоке Тест-сеты нажмите Сгенерировать.

3. Укажите параметры тест-сета:

   • название тест-сета, которое будет отображаться в списке;
   • языковую модель для генерации вопросов и ответов;
   • максимальное количество вопросов по каждому документу-источнику и общее количество вопросов в тест-сете.

4. Нажмите Создать.

Генерация тест-сета с помощью LLM может занять длительное время, до нескольких часов, в зависимости от требуемого количества вопросов.

В блоке Тест-сеты вы можете:

• отслеживать статус генерации;

• прервать генерацию в случае необходимости;

• скачать сгенерированный тест-сет.

  

Запуск измерения

Чтобы указать модель для оценки качества ответов, в строке с тест-сетом нажмите . Выберите модель из списка и нажмите Сохранить и запустить.

Если модель уже была выбрана, в строке с тест-сетом нажмите Запустить измерение.

Измерение может занять длительное время, до нескольких часов, в зависимости от количества вопросов в тест-сете.

Просмотр результатов измерения

Чтобы скачать подробный отчет с оценками по каждому вопросу из тест-сета, нажмите в строке с тест-сетом, а затем нажмите Результаты для интересующего вас измерения.

Настройка расписания

Чтобы запускать измерение с определенной периодичностью:

1. В строке с тест-сетом нажмите Расписание.

2. Укажите периодичность и время запуска.

3. Чтобы пропускать очередное измерение по расписанию, если в базе знаний не было обновлений с предыдущего измерения, используйте опции в блоке Измерять только при обновлениях:

   • В источниках — запускать измерение по расписанию, только если были обновлены данные в базе знаний.
   • В настройках — запускать измерение по расписанию, только если были обновлены настройки проекта.
   • Включите обе опции, чтобы запускать измерение по расписанию при наличии любых обновлений.

Просмотр истории измерений

История оценок доступна по каждому тест-сету отдельно.

Чтобы посмотреть график, в блоке История оценок выберите нужный период и тест-сет.

Чтобы посмотреть список измерений, в строке с тест-сетом нажмите .