Перейти к основному содержимому

Оценка качества ответов базы знаний

Измерение качества ответов базы знаний позволяет решить несколько ключевых задач:

  • Оценить, насколько эффективно база знаний удовлетворяет типичные запросы пользователей.
  • Добиться максимально возможного качества ответа путем корректировки настроек и анализа результатов.
  • Отслеживать изменения в качестве ответов с течением времени, по мере обновления источников данных.

Как проводится измерение​

Для измерения используется тест-сет, который состоит из вопросов к базе знаний и ожидаемых ответов. Каждый вопрос отправляется в базу знаний, а полученный ответ вместе с вопросом и ожидаемым ответом передается в LLM. LLM оценивает качество фактического ответа по шкале от 1 до 10. Результат измерения — среднее значение по всем вопросам тест-сета.

Чем больше вопросов в тест-сете, тем достовернее результат измерения.

Качество ответа можно оценивать по нескольким тест-сетам. Измерения по разным тест-сетам проводятся независимо.

Подготовка тест-сета​

Вы можете составить тест-сет самостоятельно или сгенерировать с помощью LLM.

Создание тест-сета

  1. Перейдите в раздел Оценка качества.

  2. Скачайте шаблон тест-сета: в блоке Тест-сеты нажмите Загрузить, затем в окне загрузки нажмите Скачать шаблон в XLSX.

  3. Внесите в файл вопросы к базе знаний и ожидаемые ответы.

  4. Чтобы оценить качество ответов по отдельным сегментам базы знаний, добавьте столбец Segments:

    • Если для ответа на вопрос нужно искать информацию в определенных сегментах, укажите их через запятую.
    • Для поиска по источникам, которые не относятся ни к одному сегменту, укажите include_without_segments.
    • Для поиска по всей базе знаний оставьте поле пустым.

    Пример значения: Контроль качества,include_without_segments.

  5. В окне загрузки укажите название тест-сета, которое будет отображаться в списке тест-сетов, и прикрепите заполненный файл.

  6. Нажмите Создать.

В блоке Тест-сеты вы можете скачать загруженный тест-сет.

Скачать тест-сет

Запуск измерения​

Чтобы изменить настройки перед запуском измерения:

  1. В строке с тест-сетом нажмите .

  2. Выберите модель из списка.

  3. В промте для измерения можно изменить шкалу оценки, уточнить критерии — за что снижать оценку, добавить примеры.

    Возможность редактирования промта доступна по запросу. Если она вам необходима, обратитесь в поддержку: support@just-ai.com.

    предупреждение

    Промт содержит структуру ответа, который система ожидает от модели. Случайное изменение структуры (например, удаление поля) приведет к сбою измерения, так как система не сможет обработать ответ. Вносите изменения с осторожностью.

  4. Нажмите Сохранить и запустить.

Чтобы запустить измерение с текущими настройками, нажмите Запустить измерение в строке с тест-сетом.

Измерение может занять длительное время, до нескольких часов, в зависимости от количества вопросов в тест-сете.

Просмотр результатов измерения​

Чтобы скачать подробный отчет с оценками по каждому вопросу из тест-сета, нажмите в строке с тест-сетом, а затем нажмите Результаты для интересующего вас измерения.

Список измерений

Настройка расписания​

Чтобы запускать измерение с определенной периодичностью:

  1. В строке с тест-сетом нажмите Расписание.

  2. Укажите периодичность и время запуска.

  3. Чтобы пропускать очередное измерение по расписанию, если в базе знаний не было обновлений с предыдущего измерения, используйте опции в блоке Измерять только при обновлениях:

    • В источниках — запускать измерение по расписанию, только если были обновлены данные в базе знаний.
    • В настройках — запускать измерение по расписанию, только если были обновлены настройки проекта.
    • Включите обе опции, чтобы запускать измерение по расписанию при наличии любых обновлений.

Просмотр истории измерений​

История оценок доступна по каждому тест-сету отдельно.

Чтобы посмотреть график, в блоке История оценок выберите нужный период и тест-сет.

История оценок

Чтобы посмотреть список измерений, в строке с тест-сетом нажмите .