Настройки генерации ответов

Чтобы перейти к параметрам генерации ответов на запросы пользователей, выберите в меню Настройки → Генерация.

Системный промт

Если требуется, вы можете отредактировать системный промт, который LLM будет использовать при генерации ответа на запрос пользователя.

Настройки LLM будут применяться:

для генерации ответа на запрос пользователя;
для поиска чанков, если выбран поиск с помощью LLM;
для перефразирования запроса и учета истории, если выбран поиск по сходству эмбеддингов.

Основные настройки:

Модель — выберите одну из доступных языковых моделей. При поиске чанков с помощью LLM доступны только модели, которые поддерживают function calling — он позволяет модели запрашивать чанки.
Максимальное количество токенов в запросе — ограничивает количество токенов, которое может быть отправлено в LLM.
Максимальное количество токенов в ответе — ограничивает количество токенов, которое может быть сгенерировано LLM за одну итерацию.
Температура — регулирует креативность ответов. При более высоких значениях результаты будут более творческими и менее предсказуемыми. Рекомендуем менять или температуру, или Top P, но не оба параметра одновременно.

Расширенные настройки:

Top P — регулирует разнообразность ответов. При низких значениях нейросеть выбирает из меньшего количества вероятных слов, но при высоких — ответ может получиться разнообразнее. Рекомендуем менять или Top P, или температуру, но не оба параметра одновременно.
Presence penalty — штраф за повторное появление токенов. Чем выше значение, тем меньше вероятность повторения слов или фраз в ответе.

Все повторы штрафуются одинаково, независимо от частоты. Например, появление токена во второй раз будет оштрафовано так же, как в 10-й.
Frequency penalty — штраф за частоту появления токенов. Чем выше значение, тем меньше вероятность появления слов или фраз, которые уже встречались в ответе несколько раз.

Влияние Frequency penalty возрастает в зависимости от того, сколько раз токен уже появился в тексте.

Если включено, ответ базы знаний будет дополнен списком источников — файлов или страниц, на основе которых он сгенерирован.

Как представлены источники в ответе

Список источников содержит их названия и ссылки. В API базы знаний список источников возвращается в виде массива relevantSources.

Если источник загружен из интеграции, выдается ссылка на оригинал, например на страницу в Confluence.
Если источник загружен вручную в виде файла, в каналах и в API выдается временная ссылка для скачивания. Срок действия таких ссылок ограничен. В тестовом диалоге отображается ссылка на раздел Источники и кнопка для скачивания.

Дополнительно в API доступен метод для выгрузки источника из базы знаний: GET /sources/{sourceId}/download.