Глоссарий ИИ: 19 базовых терминов простыми словами
Что такое токен, эмбеддинг, контекстное окно, трансформер, RAG и агент. Перевод интерактивного глоссария Жюльена Тибо (ibelick.com) с объяснением каждого понятия простыми словами.
Токены, эмбеддинги, трансформеры, агенты: 19 базовых понятий, на которых держится весь современный ИИ, объяснены простыми словами. Этот словарь поможет понять, что на самом деле происходит внутри нейросетей, которыми мы пользуемся каждый день.
Это перевод статьи AI Glossary Жюльена Тибо (Julien Thibeaut, ibelick.com). Оригинал на английском, и он интерактивный: каждый термин там сопровождается живой анимированной демонстрацией. Очень рекомендую открыть его хотя бы ради визуализаций.
Источник: ibelick.com/ai-glossary
Там, где в оригинале интерактивные демо, я кратко описал, что они показывают, и оставил ссылки на инструменты и научные статьи, на которые ссылается автор.
Содержание
- Токен (Token)
- Токенизация (Tokenization)
- Эмбеддинг (Embedding)
- Контекстное окно (Context window)
- Латентное пространство (Latent space)
- Нейронная сеть (Neural network)
- Параметр (Parameter)
- Модель (Model)
- Трансформер (Transformer)
- Внимание (Attention)
- Предобучение (Pre-training)
- Дообучение (Fine-tuning)
- Обучение с подкреплением (Reinforcement learning)
- Цепочка рассуждений (Chain of thought)
- Инференс (Inference)
- RAG (Retrieval-Augmented Generation)
- Агент (Agent)
- Воркфлоу (Workflow)
- LLM (Large Language Model)
Наименьшая единица текста, с которой работает модель. Это может быть слово, часть слова или даже отдельный символ. Каждому токену соответствует свой числовой идентификатор, что-то вроде личного ID.
Текст разбивается на маленькие кусочки, и каждый кусочек получает свой номер. Например, фраза «The dragon rests in agony» превращается в цепочку токенов с ID вида #12345, #67890 и так далее.
Процесс разбиения текста на токены, которые модель способна воспринять. Токеном может стать слово, часть слова или символ.
Это самый первый шаг: когда вы отправляете модели текст, сначала он превращается в токены, и только потом происходит всё остальное.
Поиграть с разбиением текста на токены можно в интерактивном инструменте OpenAI Tokenizer.
Превращение токена в набор чисел (вектор), который отражает его смысл. Токены с похожими значениями получают векторы, расположенные рядом друг с другом в пространстве.
Проще говоря, слова становятся точками на карте и группируются по смыслу. Это происходит сразу после токенизации.
Подробнее о векторных пространствах: статья «Векторное пространство» в Википедии.
Предел того, сколько текста модель может учитывать одновременно. Она «читает» и рассуждает только внутри этого окна, а его размер измеряется в токенах.
В оригинале статьи это показано наглядно: длинное интервью просто не помещается в маленькое окно целиком. Размер окна сильно отличается от модели к модели.
Внутренняя «карта», на которой модель раскладывает всё, чему научилась. Каждая точка на этой карте представляет какое-то понятие, а похожие идеи собираются в группы рядом друг с другом.
Каждая точка здесь и есть эмбеддинг, размещённый рядом с близкими по смыслу. Так модель организует понятия, чтобы быстро находить связи между ними.
Сеть из связанных между собой слоёв, которые учатся на примерах. Каждый слой понемногу преобразует данные, и вместе они выучивают закономерности, позволяющие распознавать изображения, понимать язык или обрабатывать звук.
Каждый слой чуть-чуть трансформирует информацию, выделяя паттерны и смысл. К концу цепочки сеть способна превратить вопрос в правильный ответ.
Наглядная демонстрация того, как нейросеть учится слой за слоем: TensorFlow Playground.
Значения, которые модель выучивает во время обучения. Они определяют, насколько сильно связаны разные части сети и как она реагирует на данные. Вместе параметры задают то, как модель понимает и генерирует информацию.
Каждый параметр можно представить как точку, влияющую на понимание данных. Чем больше параметров, тем обычно умнее и гибче модель, хотя это правило работает не всегда.
Система, которая обучилась на данных и теперь может применять эти знания: предсказывать, генерировать или понимать новую информацию.
По сути это нейросеть, натренированная на огромном количестве примеров. Один и тот же принцип позволяет ей отвечать на вопросы, описывать картинки, переводить и суммировать тексты.
Каталог существующих моделей и их характеристик: models.dev.
Тип нейронной сети, который смотрит на все слова последовательности сразу. В отличие от ранних моделей, читавших текст шаг за шагом, трансформер выучивает связи между словами по всему тексту и поэтому гораздо лучше понимает контекст.
Он понимает отношения между словами в целом предложении. Как очень быстрый читатель, который видит всю страницу целиком.
Архитектура описана в знаменитой научной статье «Attention Is All You Need» (Vaswani et al., 2017).
Механизм внутри трансформеров, который решает, на каких словах сосредоточиться при обработке предложения. Каждое слово «смотрит» на остальные и придаёт больший вес тем, что важнее всего для понимания.
Благодаря вниманию модель не воспринимает все слова как равнозначные, а выделяет то, что действительно имеет значение для смысла.
Первый этап обучения, на котором модель тренируется на гигантских объёмах текста и усваивает закономерности языка, контекст и общие знания о мире.
Этот фундамент помогает модели затем быстрее и эффективнее адаптироваться к конкретным задачам, не начиная каждый раз с нуля.
Обучение уже готовой (предобученной) модели на новых, специализированных данных, чтобы она приспособилась к конкретной задаче или тону. Модель сохраняет то, что уже знает, но учится применять знания более прицельно.
Модель осваивает новый навык, не забывая старые. В примере из оригинала она адаптируется к словарю дизайнеров.
Метод обучения, при котором модель совершенствуется через обратную связь. Она пробует разные действия, получает награды или штрафы от людей либо от другой модели и со временем учится принимать более удачные решения.
Схема простая: модель отвечает, получает обратную связь, становится лучше. И так по кругу, пока результат не станет достойным.
Как этот подход применили к языковым моделям: «Training language models to follow instructions with human feedback» (Ouyang et al., 2022).
Пошаговое рассуждение, которое модель записывает на пути к ответу. Оно помогает разбивать сложные задачи на маленькие, посильные шаги.
В оригинале это показано на задаче «какой ширины должен быть постер с золотым сечением при высоте 60 см»: модель сначала вспоминает пропорцию, потом применяет формулу и лишь затем даёт ответ.
Подробнее: «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models» (Wei et al., 2022).
Этап, на котором обученная модель использует свои знания для генерации ответа. Она предсказывает следующий токен шаг за шагом, пока ответ не будет закончен.
Это ровно то, что происходит «за кулисами» каждый раз, когда вы пользуетесь любым ИИ-продуктом.
Метод, который позволяет модели сначала найти информацию, а потом отвечать. Модель извлекает подходящие данные из внешних источников и использует их как контекст для более полного ответа.
Схема: запрос → документы → модель → ответ. Когда ИИ-сервис умеет искать в интернете перед тем, как написать ответ, это и есть RAG.
Первоисточник метода: «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» (Lewis et al., 2020).
Автономная система, которая использует инструменты и петли обратной связи, чтобы выполнять задачи. Агент сам выбирает свои действия для достижения цели.
У агента есть цель, план и действия, а вокруг него окружение, инструменты и память. В отличие от простого чата, он действует самостоятельно.
Отличный разбор от инженеров Anthropic: Building effective agents.
Заранее заданная последовательность шагов, где каждый этап использует результат предыдущего и продвигает задачу к финальному результату.
Например: собрать данные → обработать → сгенерировать → выдать результат. Шаги соединяются в понятный и предсказуемый маршрут.
Очень большая нейронная сеть, обученная на огромных объёмах текста, чтобы понимать, предсказывать и генерировать человеческий язык.
Именно LLM стоят за привычными чат-ботами: они принимают текст, вопрос или код и возвращают ответ, идею, перевод или историю, причём на десятках языков сразу.
Что почитать дальше
Автор оригинала советует эти ресурсы для более глубокого погружения:
Оригинал глоссария с интерактивными демонстрациями: ibelick.com/ai-glossary. Автор: Julien Thibeaut.