Толковый словарь по нейросетям и искусственному интеллекту
Температура генерации
Категория термина
Температура генерации (Temperature) — это гиперпараметр, используемый в языковых моделях и других генеративных моделях, который управляет степенью случайности и разнообразия при создании текста или последовательностей. Он влияет на то, насколько «креативными» или предсказуемыми будут ответы модели.
Температура используется при выборе следующего токена на основе вероятностного распределения модели. Высокая температура делает распределение более плоским, увеличивая шанс выбора менее вероятных токенов, а низкая — концентрирует выбор на наиболее вероятных токенах, делая текст более детерминированным.
🔍 Математическое объяснение:
Если pip_i — вероятность выбора токена ii из модели, то с температурой TT новая вероятность вычисляется как:
pi(T)=exp(logpiT)∑jexp(logpjT)p_i^{(T)} = \frac{\exp(\frac{\log p_i}{T})}{\sum_j \exp(\frac{\log p_j}{T})}- T = 1 — стандартное распределение вероятностей.
- T < 1 — распределение «острее», модель более консервативна и предсказуема.
- T > 1 — распределение «плоское», модель выбирает токены более случайно.
🧪 Примеры использования:
- T = 0.2–0.5: формальные ответы, точные инструкции, технические объяснения.
- T = 0.7–1.0: креативный текст, генерация идей, художественное письмо.
- T > 1.0: высокая креативность, нестандартные формулировки, эксперименты с языком.
📌 Практическое применение:
- Чат-боты и виртуальные ассистенты: низкая температура для точных ответов, высокая — для более живого диалога.
- Генерация текстов и историй: средняя или высокая температура повышает разнообразие сюжета.
- Сценарии программирования и AI coding assistants: низкая температура уменьшает шанс некорректного кода.
- Образовательные приложения: варьирование температуры помогает находить баланс между объяснением и стимулированием критического мышления.
⚠️ Важные моменты:
- Высокая температура может привести к неправдоподобным или бессмысленным результатам.
- Низкая температура делает текст меньше разнообразным, но более безопасным и предсказуемым.
- Температуру часто комбинируют с другими параметрами генерации, такими как top-k и top-p (nucleus sampling), для тонкой настройки качества вывода.
✅ Заключение:
Температура генерации — ключевой инструмент управления креативностью и предсказуемостью модели. Настройка этого параметра позволяет балансировать между безопасностью и разнообразием при генерации текста, создавая как строго структурированные ответы, так и творческие, оригинальные результаты.
