НЕЙРО
ЛАБ
СЕРИЯ «ПОД КАПОТОМ»

УРОК 01 • 3 МИН

Оглавление
01

Как рождается ответ

01 / 14

Как модель генерирует текст

LLM не достаёт готовый ответ за раз: вместо этого она шаг за шагом выстраивает текст, каждый раз находя наиболее подходящее продолжение. На каждом шаге модель оценивает возможные продолжения и выбирает один .

01LLM — это большая языковая модель. Вы пишете сообщение, и она получает — весь текст, доступный ей на этом шаге. Модель разбивает его на : слова, части слов и знаки. Подробно разберём оба понятия дальше.

02Модель строит ответ шаг за шагом, выбирая подходящие и выставляя им оценку. Оценки превращаются в вероятности. Каждая вероятность показывает, насколько уместным продолжением он кажется модели в этом контексте.

03Далее модель выбирает один из токенов и добавляет его к ответу. Как именно выбирать — всегда брать лидера или иногда пробовать другие варианты — разберём дальше.

Один шаг генерации
Доступный текстконтекст: «Сегодня небо особенно…»
оценки → вероятности
ясноеоценка 2.459%
тихоеоценка 1.832%
синееоценка 0.37%
быстрооценка -12%