Как рождается ответ
02 / 14
Как из токенов получается ответ
Выбор следующего токена повторяется снова и снова, пока не получится реплика.
01Правило выбора токена называют . Жадная стратегия (greedy) всегда берёт лидера, а случайная выборка (sampling) чаще берёт вероятные варианты, но иногда выбирает альтернативу.
02 меняет форму распределения: низкая усиливает лидеров, высокая даёт больше шансов альтернативам. Сразу попробуйте изменить температуру в калькуляторе и несколько раз выбрать токен. Важно, что не добавляет модели новых знаний — она просто делает ответы более разнообразными
03После выбора токен возвращается в контекст, и вся модель вычисляет следующее распределение. Так ответ растёт по одному фрагменту.
«Сегодня небо особенно…»
Нажмите кнопку, чтобы выполнить выбор токена.