Артём Исламов
Содержание
Токен, эмбеддинг, контекстное окно, агент: этими словами сейчас сыплют все, кто пишет про ИИ. Я собрал 19 главных и для каждого сделал маленькую игрушку, которую можно потрогать руками. Термины выстроены в историю о том, как нейросеть читает ваш запрос, думает и отвечает, поэтому по порядку читать интереснее.
Чтобы всё было связано, через всю статью проходит одна фраза: «Мы гуляли у моря и увидели старый замок». Модель разрежет её на токены, превратит в числа, решит, о каком замке речь, и в конце допишет продолжение. Следите за ней.
Идея и часть визуальных приёмов взяты из интерактивного глоссария AI Glossary Жюльена Тибо (Julien Thibeaut). Тексты и демки я сделал заново: хотелось, чтобы каждую штуку можно было покрутить и после этого правда понять термин.
Источник идеи: ibelick.com/ai-glossary
Часть 1. Как модель читает. Прежде чем что-то понять, нейросеть должна превратить ваш текст в то, с чем умеет работать компьютер. А компьютер умеет работать только с числами.
Токен это кусочек текста, с которым работает модель: целое слово, часть слова, знак препинания или пробел вместе с буквами.
Нейросеть не видит букв. У неё есть словарь примерно на 200 тысяч кусочков, и у каждого свой номер. Ваш запрос для неё выглядит как ряд чисел: 65313, 175642, 1418… Дальше она работает только с ними. Наведите на карточки или нажмите на них: под каждым кусочком нашей фразы спрятан его настоящий номер в словаре GPT-4o.
12 токенов · 39 символов · точка это пробел, он входит в токен
Где вы это встречаете: в тарифах. ChatGPT, Claude и любые API считают деньги и лимиты в токенах, а не в словах и не в символах.
Токенизация это разрезание текста на токены. Первое, что происходит с любым вашим запросом, ещё до всякого «мышления».
Резать можно по-разному, и у каждой модели свой нож. Частые слова остаются целыми, редкие разваливаются на части. Заметьте, что «замок» модель видит как два куска: «зам» и «ок». Ниже настоящий токенизатор GPT-4o. Сотрите фразу и напишите что-нибудь своё, а потом нажмите «По-английски» и сравните счётчики.
Настоящий токенизатор GPT-4o. Под каждым кусочком его номер в словаре.
Где вы это встречаете: когда русский запрос съедает лимит быстрее английского. Одна и та же мысль по-русски занимает больше токенов, поэтому стоит дороже и быстрее заполняет память модели. Сравнить словари разных моделей можно в OpenAI Tokenizer.
Эмбеддинг это список чисел, которым модель описывает смысл токена. По-научному вектор.
Номер токена ничего не говорит о смысле: 15240 и 15241 могут означать что угодно. Поэтому каждый токен превращается в длинный список чисел, у больших моделей их тысячи. Фокус в том, что у слов с похожим смыслом и списки похожи: «волна» и «пляж» получают близкие числа, «волна» и «ключ» далёкие. Нажмите кнопку и посмотрите, как слова разъезжаются по смыслу, а потом выберите два слова и сравните их «штрихкоды».
Где вы это встречаете: в умном поиске. Когда сервис находит документ по смыслу, а не по точному совпадению слов, под капотом почти всегда эмбеддинги. Подробнее о векторах: статья «Векторное пространство» в Википедии.
Латентное пространство это внутренняя карта смыслов, на которой модель раскладывает всё, что знает.
Эмбеддинги из прошлого раздела и есть координаты точек на этой карте. Похожие понятия лежат рядом, а направления тоже что-то значат. Самый известный пример: если от «короля» сделать такой же шаг, каким «женщина» отличается от «мужчины», попадёшь примерно в «королеву». Это правило никто не прописывал, оно само сложилось из текстов. Выберите пример и посмотрите, как работает такая арифметика смыслов.
Где вы это встречаете: в генераторах картинок. Когда вы понемногу меняете промпт и картинка плавно перетекает из одной в другую, это движение по латентному пространству.
Контекстное окно это сколько текста модель видит за один раз. Меряется в токенах.
У модели нет памяти в человеческом смысле. Каждый раз она заново читает всю переписку, но только ту часть, что влезает в окно. Всё, что выше, для неё просто не существует. Поэтому в очень длинном чате ИИ вдруг «забывает», о чём договорились в начале. Познакомьтесь с ботом, понажимайте «Написать ещё», а потом спросите, как вас зовут.
Где вы это встречаете: в характеристиках моделей: «окно 200 тысяч токенов» это примерно толстая книга за раз. И в совете начинать новый чат, когда старый слишком разросся.
Часть 2. Что у неё внутри. Текст превратился в числа. Теперь посмотрим на машину, которая эти числа перемалывает.
Нейронная сеть это много слоёв простых вычислений, которые учатся на примерах.
Каждый «нейрон» берёт числа на входе, умножает их на свои коэффициенты, складывает и передаёт дальше. По отдельности это примитив, но сотни слоёв подряд умеют узнавать лица, переводить тексты и отвечать на вопросы. Выберите вопрос и посмотрите, как сигнал проходит слой за слоем и на выходе превращается в ответ.
Яркие нейроны это те, что «сработали» на этот вопрос. У другого вопроса путь другой.
Где вы это встречаете: везде, где написано «ИИ»: распознавание голоса, фильтр спама, рекомендации, чат-боты. Как сеть учится, можно потрогать в TensorFlow Playground.
Параметры это числа внутри нейросети, которые она подбирает во время обучения. Те самые коэффициенты из прошлого раздела.
Представьте пульт с миллиардами крутилок. Обучение подкручивает каждую, пока ответы не станут хорошими. Количество крутилок и есть размер модели: буква B в названии вроде «Llama 3 70B» означает миллиарды (billions). Больше параметров обычно значит умнее, но и тяжелее. Подвигайте ползунок и посмотрите, сколько весит модель и на чём её вообще можно запустить.
Каждый штрих это одна настройка. Нажмите на поле, чтобы рассмотреть их вблизи.
Где вы это встречаете: в названиях открытых моделей (8B, 70B, 405B) и в вечном вопросе «а пойдёт ли она на моём ноутбуке».
Трансформер это устройство нейросети, на котором построены почти все современные языковые модели. Буква T в GPT означает именно его.
Старые модели читали текст, как человек водит пальцем по строчке: слово за словом, и к концу длинной фразы начало уже расплывалось. Трансформер смотрит на всю фразу сразу и для каждой пары слов прикидывает, как они связаны. Это и быстрее, и намного умнее. Нажмите «Прочитать» и сравните.
Слева слова обрабатываются по очереди, справа каждое слово связано со всеми остальными за один такт.
Где вы это встречаете: в ChatGPT, Claude, Gemini, DeepSeek и в большинстве генераторов картинок и видео. Архитектуру описали в 2017 году в статье «Attention Is All You Need».
Внимание это механизм внутри трансформера, которым каждое слово решает, на какие другие слова ему смотреть.
Вот где решается судьба нашего «замка». Само по себе слово неоднозначное: то ли крепость, то ли то, что вешают на дверь. Модель смотрит на соседей: «увидели старый» тянет к крепости, «открыли ржавый» к дверному замку. Переключите контекст и посмотрите, как перестраиваются связи. Нажмите на любое другое слово, чтобы увидеть, куда смотрит оно.
Толщина линии это сколько внимания «замок» отдаёт слову. Переключите контекст сверху.
Где вы это встречаете: когда ИИ правильно понимает, к чему относятся «он» и «это» в длинном письме, или переводит многозначное слово по смыслу, а не по словарю.
Модель это обученная нейросеть, готовая к работе.
Если совсем приземлённо, модель это два предмета: огромный файл с параметрами, которые получились после обучения, и программа, которая прогоняет через этот файл ваш текст. Всё. Никакого волшебства внутри коробки нет, только очень много чисел. Откройте коробку и проверьте.
Слева входят вопросы, справа выходят ответы. А что внутри?
Где вы это встречаете: в списке моделей в ChatGPT или Claude: каждая строчка там это отдельный файл с параметрами. Каталог моделей и их характеристик: models.dev.
Часть 3. Как её учат. Откуда берутся правильные значения миллиардов параметров? Руками их никто не прописывает. Модель учится в три этапа.
Предобучение это первый и самый дорогой этап: модель читает огромную часть интернета и учится угадывать следующее слово.
Задача звучит глупо: вот начало текста, угадай, что дальше. Но чтобы хорошо продолжать «Столица Франции это…», нужно знать географию. Чтобы продолжать код, нужно понимать программирование. Так из простой игры вырастают знания о мире. Подвигайте ползунок и посмотрите, как догадки становятся точнее по мере чтения.
Где вы это встречаете: в «дате среза знаний». Модель знает мир только до момента, когда закончилось предобучение, поэтому без поиска она не в курсе вчерашних новостей.
Дообучение это когда готовую модель доучивают на небольшом наборе своих примеров.
После предобучения модель знает много, но говорит как справочник. Дообучение на сотнях или тысячах примеров учит её нужному тону, формату или узкой задаче, и при этом остальные знания никуда не деваются. Переключите на модель, дообученную на моих постах, и сравните ответы на одну и ту же просьбу.
Где вы это встречаете: в ботах поддержки, которые отвечают в стиле компании, и в моделях «для кода» или «для медицины».
Обучение с подкреплением это обучение через оценки: модель пробует, получает плюс или минус и сдвигается к тому, что хвалят.
Для языковых моделей самый известный вариант называется RLHF, обучение на обратной связи от людей. Модели показывают два ответа, человек выбирает лучший, и она понемногу учится отвечать так, как нравится людям: полезно, вежливо и по делу. Сейчас этим человеком будете вы. Выберите лучший ответ три раза и посмотрите, чему научится модель.
Нажмите на ответ, который кажется лучше.
Где вы это встречаете: в кнопках с пальцем вверх и вниз под ответами ChatGPT: ваши оценки как раз идут на такое обучение. Как этот подход применили к языковым моделям: статья OpenAI 2022 года.
Часть 4. Как она отвечает и работает. Модель обучена. Осталось понять, что происходит, когда вы нажимаете «Отправить», и как из одной модели собирают умные системы.
Инференс это работа уже обученной модели: момент, когда она пишет ответ на ваш запрос.
Ответ не появляется целиком. Модель выдаёт его по одному токену: смотрит на всё, что уже написано, оценивает вероятность каждого возможного продолжения, выбирает одно и повторяет. Насколько смело брать не самый вероятный вариант, решает температура. На нуле модель всегда берёт фаворита и пишет предсказуемо, на высоких значениях начинает фантазировать. Покрутите ползунок и сгенерируйте продолжение нашей фразы несколько раз.
0: всегда самый вероятный · 1: как обычно · 1,5: фантазия
Где вы это встречаете: в том, что ответ «печатается» у вас на глазах, и в том, что на один и тот же вопрос ИИ каждый раз отвечает немного по-разному.
Цепочка рассуждений это когда модель сначала расписывает решение по шагам и только потом отвечает.
Помните, что ответ рождается по одному токену? Если сразу писать ответ, у модели нет места подумать, и она выдаёт первое правдоподобное. Если сначала расписать шаги, каждый следующий токен опирается на уже сделанные выводы. Попробуйте классическую задачку, на которой ошибаются и люди.
Где вы это встречаете: в «думающих» режимах ChatGPT, Claude и DeepSeek, и в старом трюке дописать к промпту «подумай по шагам». Первоисточник: Wei et al., 2022.
RAG, генерация с поиском, это когда модель перед ответом находит нужные документы и отвечает по ним.
Модель знает только то, что прочитала на предобучении. Про цены вашей компании или вчерашние новости она не знает и на вопрос о них уверенно что-нибудь придумает. RAG решает это просто: сначала поиск по базе документов, найденные куски кладутся в контекстное окно, и только потом модель отвечает, опираясь на них. Сравните ответ без поиска и с поиском.
Где вы это встречаете: когда ChatGPT или Perplexity ищет в интернете и ставит сноски на источники, и в ботах, которые отвечают по базе знаний компании. Первоисточник метода: Lewis et al., 2020.
Воркфлоу это заранее заданная цепочка шагов, где каждый шаг берёт результат предыдущего.
Например: собрать отзывы, разложить их на жалобы и похвалу, написать ответ, отправить письмо. Модель может работать на любом шаге, но порядок придумал человек, и он не меняется. Это скучно и именно поэтому надёжно: вы точно знаете, что произойдёт.
Посылка стоит на старте. Нажмите «Запустить» и смотрите, как меняется её содержимое.
Где вы это встречаете: в n8n, Make и Zapier, где сценарии собирают из блоков, и в большинстве «ИИ-автоматизаций» для бизнеса.
Агент это модель, которая сама решает, что делать дальше, и пользуется инструментами, чтобы добиться цели.
Вместо готового маршрута у агента есть цель и набор инструментов: поиск, браузер, календарь, код. Он строит план, делает шаг, смотрит на результат и решает, что дальше. Если что-то сломалось, меняет план. Запустите агента и посмотрите, что он сделает, когда в первой кофейне не окажется мест.
- планНайду кофейни рядом, потом забронирую
- инструментПоиск по карте
- результатНашлось 3 кафе
- инструментБронь в «Зерно»
- результатОшибка: нет мест
- планМеняю план: попробую второе кафе
- инструментБронь в «Лист»
- результатСтолик на 19:00 есть
- цельГотово: столик забронирован
Нажмите «Запустить агента»: маршрут заранее не задан, агент выбирает шаги сам.
Где вы это встречаете: в Claude Code и Cursor, которые сами пишут и запускают код, и в режиме агента в ChatGPT. Хороший разбор, когда нужен агент, а когда хватит воркфлоу: Building effective agents от Anthropic.
LLM, большая языковая модель, это трансформер с миллиардами параметров, предобученный на огромном количестве текста и доученный разговаривать с людьми.
Вот и всё, что было выше, в одном предмете. Токены и эмбеддинги на входе, внимание внутри, параметры из предобучения и дообучения, ответ по одному токену на выходе. А вокруг неё уже собирают RAG, воркфлоу и агентов. Нажмите кнопку и соберите всё вместе. Заодно узнаете, чем закончилась наша прогулка у моря.
Где вы это встречаете: ChatGPT, Claude, Gemini, DeepSeek, GigaChat и YandexGPT: всё это LLM.