Доступные модели

В Jay Knowledge Hub можно ограничить использование языковых моделей в аккаунте. Ограничения действуют во всех проектах аккаунта: в настройках проектов, в тестовом диалоге, в тест-сетах, при проверке на противоречия и в запросах к API.

к сведению

Для управления доступом к моделям необходима роль KHUB_SYSTEM_ADMIN.

Задачи моделей

Вы можете ограничить использование моделей для каждой из задач:

• Обогащение чанков — подготовка данных с помощью LLM при индексации и суммаризация документов;
• Описание изображений — генерация описаний изображений при индексации;
• Генерация — генерация ответов на вопросы к базе знаний, а также генерация тест-сетов для измерения качества;
• Оценка качества — оценка ответов на вопросы из тест-сета;
• Поиск противоречий — проверка источников на противоречия.

Настройка доступных моделей

По умолчанию в аккаунте доступны все модели, предусмотренные конфигурацией Jay Knowledge Hub. Модель можно ограничить для отдельных задач или отключить целиком.

1. Перейдите в Личный кабинет → Модели.

2. Нажмите Изменить выбор.

   Если в поле поиска введен текст, кнопка не отображается. Очистите поле.

3. Укажите, для каких задач доступна каждая модель:

   • чтобы модель не использовалась для отдельной задачи, снимите отметку в столбце этой задачи;
   • чтобы модель не использовалась в аккаунте, выключите ее в столбце Доступность.

   Прочерк в столбце задачи означает, что модель задачу не поддерживает.

4. Нажмите Сохранить.

примечание

В каждом столбце задач, кроме столбца Описание изображений, должна быть отмечена хотя бы одна модель. Пока это условие не выполнено, кнопка Сохранить недоступна.

Что меняется после сохранения

• В списках моделей в интерфейсе остаются только доступные модели для соответствующей задачи.
• Если ранее была выбрана модель, которая теперь недоступна, Jay Knowledge Hub заменяет ее первой доступной моделью для той же задачи.
• Если ранее для описания изображений была выбрана модель, которая теперь недоступна, Jay Knowledge Hub использует модель по умолчанию. Ее же Jay Knowledge Hub использует, если в столбце Описание изображений не отмечена ни одна модель, а в настройках индексации проекта включена опция Генерировать описания изображений.
• Если в запросе к API указана недоступная модель, Jay Knowledge Hub возвращает ошибку.