Настройки генерации ответов

Чтобы перейти к параметрам генерации ответов на запросы пользователей, выберите в меню Настройки проекта → Генерация.

• Для просмотра настроек проекта необходима роль не ниже KHUB_EDITOR.
• Для редактирования настроек проекта необходима роль KHUB_OWNER или KHUB_ADMIN.

Системный промт

Системный промт используется при генерации ответа на запрос пользователя. В системном промте можно предоставить модели дополнительную информацию — например, описать сферу деятельности вашей компании; указать требования к стилю, тону и форматированию ответа, а также варианты ответа в особых случаях — например, если в базе знаний нет нужной информации.

предупреждение

• Для просмотра и редактирования системного промта необходима роль KHUB_ADMIN.
• Некорректный промт может серьезно повлиять на качество ответов. Пожалуйста, вносите изменения с осторожностью и тщательно тестируйте результат. Всегда сохраняйте резервную копию работающей версии промта.

Настройки LLM

Настройки LLM будут применяться:

• для генерации ответа на запрос пользователя;
• для поиска чанков, если выбран агентский пайплайн;
• для перефразирования запроса и учета истории, если выбран семантический пайплайн.

Основные настройки:

• Модель — выберите одну из доступных языковых моделей. Для агентского пайплайна доступны только модели, которые поддерживают function calling — он позволяет модели запрашивать чанки.
• Максимальное количество токенов в запросе — ограничивает количество токенов, которое может быть отправлено в LLM.
• Максимальное количество токенов в ответе — ограничивает количество токенов, которое может быть сгенерировано LLM за одну итерацию.
• Температура — регулирует креативность ответов. При более высоких значениях результаты будут более творческими и менее предсказуемыми. Рекомендуем менять или температуру, или Top P, но не оба параметра одновременно.

Расширенные настройки:

• Top P — регулирует разнообразность ответов. При низких значениях нейросеть выбирает из меньшего количества вероятных слов, но при высоких — ответ может получиться разнообразнее. Рекомендуем менять или Top P, или температуру, но не оба параметра одновременно.

• Presence penalty — штраф за повторное появление токенов. Чем выше значение, тем меньше вероятность повторения слов или фраз в ответе.

  Все повторы штрафуются одинаково, независимо от частоты. Например, появление токена во второй раз будет оштрафовано так же, как в 10-й.

• Frequency penalty — штраф за частоту появления токенов. Чем выше значение, тем меньше вероятность появления слов или фраз, которые уже встречались в ответе несколько раз.

  Влияние Frequency penalty возрастает в зависимости от того, сколько раз токен уже появился в тексте.

Показывать документы-источники в ответе бота

Если включено, ответ базы знаний будет дополнен списком источников — файлов или страниц, на основе которых он сгенерирован.

Как представлены источники в ответе

Список источников содержит их названия и ссылки. В API Jay Knowledge Hub список источников возвращается в виде массива relevantSources.

• Если источник загружен из интеграции, выдается ссылка на оригинал, например на страницу или вложенный файл в Confluence.
• Если источник загружен вручную в виде файла, в каналах и в API выдается временная ссылка для скачивания. Срок действия таких ссылок ограничен. В тестовом диалоге отображается ссылка на раздел Источники и кнопка для скачивания.

Если источник — аудио или видео, в тестовом диалоге доступен плеер, а воспроизведение начинается с временной метки самого релевантного чанка.

Дополнительно в API доступен метод для выгрузки источника из базы знаний: GET /sources/{sourceId}/download.

Кэширование

Если включено, ответы LLM (кроме вызовов функций) будут сохраняться для повторного использования. Кэширование ответов позволяет сократить расходы и уменьшить время ожидания ответа на запросы, похожие по смыслу.

Выберите время хранения ответов в кэше.

Если в кэш попали устаревшие данные, очистите его вручную. Очистка кэша временно увеличит расходы и замедлит отклик базы знаний на похожие вопросы.

Уточнение к промту для табличного пайплайна

Если в базе знаний есть файлы CSV или XLSX, для извлечения данных из них выполняется специальный табличный пайплайн. На основе запроса пользователя AI-агент определяет, есть ли в таблицах подходящие данные, выбирает нужную таблицу, формирует SQL-запрос, выполняет его и представляет результат в ответе.

Табличный пайплайн использует отдельный системный промт. Этот промт недоступен для просмотра и редактирования. Однако можно добавить к нему уточнение — например, описать требования к форматированию ответа.

к сведению

Для редактирования уточнения к промту необходима роль KHUB_ADMIN.