Как нейросеть «думает»: токены и предсказаниеКак нейросеть «думает»: токены и предсказание

Заглядываем внутрь нейросети: как она училась, что такое токены и как рождается ответ слово за словом. Без формул, на примере с чашкой кофе.

В центре любого агента стоит нейросеть. Чтобы понимать агента, нужно понять, как она устроена.

Что такое LLM

• Нейросеть — это много слоёв простых вычислений. Каждый нейрон умножает числа на свои коэффициенты, складывает и передаёт дальше. Никакой магии, только числа.
• Нейросети для текста называют языковыми моделями, а самые большие из них — LLM, большими языковыми моделями. Внутри ChatGPT, Claude, Gemini, DeepSeek и GigaChat работает LLM.
• Модель — это огромный файл с числами и программа, которая прогоняет через него ваш текст. Принцип у всех одинаковый, отличаются данные для обучения, размер и дополнительные функции.

Как она училась

Модели показывают огромные объёмы текста и раз за разом просят угадать следующее слово. Ошиблась, и настройки чуть подкручиваются. Эти «крутилки», которых миллиарды, называют параметрами. Чтобы хорошо угадывать продолжение, приходится выучить знания о мире. Потом модель дообучают быть помощником.

Обучение заканчивается в какой-то день. Что случилось позже, модель не знает, пока ей не дадут поиск в интернете.

Токены

• Модель видит текст не буквами, а кусочками — токенами. Токен бывает целым словом, частью слова или знаком препинания.
• Сервисы считают лимиты и деньги в токенах. По-русски одна и та же мысль обычно занимает больше токенов, чем по-английски.
• Из-за токенов модель плохо считает буквы в словах: она видит не буквы, а кусочки.

Как рождается ответ

Модель пишет ответ по одному токену. Она прикидывает вероятность каждого продолжения, выбирает одно, дописывает и прикидывает снова.

Пример: «Утром я выпил чашку…» Кофе очень вероятно, чая чуть менее, борща почти никогда.

Настройка «температура» влияет на выбор. На нуле модель почти всегда берёт самое вероятное слово, чем выше, тем чаще неочевидное. Поэтому ответы на один вопрос немного различаются.

Модель учили писать правдоподобно, а не правдиво. Когда она чего-то не знает, она всё равно пишет то, что звучит как ответ. Так появляются уверенные выдумки.

Что это значит для агента

Когда агент решает, что делать, модель просто пишет продолжение, только вместо ответа — команду, например «открой сайт».

Попробуйте сами

Посмотрите, как нейросеть выбирает следующее слово и что меняет температура.

Запомнить

• Каждый шаг агента стоит токенов, а значит, денег и времени.
• Модель видит только тот текст, который ей показали.
• Модель может уверенно ошибиться, а у агента ошибка превращается в действие.
• Поэтому хорошему агенту нужна проверка своих шагов.