Как рождается ответ
01 / 14
Как модель генерирует текст
LLM не достаёт готовый ответ за раз: вместо этого она шаг за шагом выстраивает текст, каждый раз находя наиболее подходящее продолжение. На каждом шаге модель оценивает возможные продолжения и выбирает один .
01LLM — это большая языковая модель. Вы пишете сообщение, и она получает — весь текст, доступный ей на этом шаге. Модель разбивает его на : слова, части слов и знаки. Подробно разберём оба понятия дальше.
02Модель строит ответ шаг за шагом, выбирая подходящие и выставляя им оценку. Оценки превращаются в вероятности. Каждая вероятность показывает, насколько уместным продолжением он кажется модели в этом контексте.
03Далее модель выбирает один из токенов и добавляет его к ответу. Как именно выбирать — всегда брать лидера или иногда пробовать другие варианты — разберём дальше.