Температура и параметры генерации

За каждым ответом языковой модели стоят числа — вероятности для каждого следующего токена. Параметры генерации — это настройки, которые определяют, как модель выбирает токены из этого распределения вероятностей.

Главный из них — температура. Представьте: вы кидаете взвешенный кубик, где одни числа выпадают чаще. Температура меняет "взвешенность" — делает его более или менее предсказуемым.