Современные большие языковые модели (LLM) — ChatGPT, Gemini, DeepSeek, Qwen — из экзотического инструмента превратились в повседневную рабочую среду для многих специалистов. Мы используем их для написания кода, анализа данных и генерации текстов, часто подходя к процессу по наитию: подбираем промпты (запросы к GPT), меняем формулировки и сохраняем удачные как рецепты.
Но как перейти от подбора к проектированию? Как не просто находить удачные инструкции, а конструировать их самостоятельно, понимая сильные и слабые стороны модели? Почему, например, разумнее открыть новую сессию с исправленным запросом, чем в старой стараться переубедить GPT? Иначе говоря, как подойти к "промптингу" ИИ-GPT более инженерно, более научно, более осознанно?
Давайте разбираться. Все эти модели основываются на архитектуре GPT (Generative Pre-trained Transformer), и чтобы перейти от промптинга по наитию к продвинутым запросам, нужно понимать принципы работы этой архитектуры. Цель этой серии статей — последовательно разобрать эти принципы, от математики и семантики, от архитектуры и свойств GPT до продвинутых техник промптинга.
Нас ждёт следующий цикл статей:
Глава 1. Математика смыслов (эта статья, вы сейчас её читаете). Прежде чем говорить о нейросетях, мы заложим фундамент. Разберёмся, как можно «оцифровать» смысл, что такое семантические векторы, почему контекст решает всё и как связанные понятия можно представить в виде графа. Это азбука языка, на котором думает GPT.
Глава 2. Архитектура GPT. Заглянем «под капот» трансформера. Мы разберем, как текст превращается в векторы (токенизация и эмбеддинги), как работает ключевой механизм — внимание (attention), и как слои нейросети последовательно обрабатывают информацию, чтобы сгенерировать осмысленный ответ. Это основа понимания фундаментальных свойств и ограничений моделей класса GPT.
Глава 3. Свойства, вытекающие из архитектуры. Понимание устройства GPT позволяет увидеть его свойства: казуальное чтение (модель не может заглядывать вперед), влияние KV Cache, суперпозиция смыслов и решений, семантические графы и другое. На этих фундаментальных свойствах основываются техники промптинга.
Глава 4. От свойств к техникам промптинга. Наконец, мы научимся конструировать запросы, которые эффективно используют потенциал GPT. Мы разберем такие техники промптинга как семантические разметки, XML-подобные графы, Waterfall 2.0 и другие. Рассмотрим примеры применения и вопросы этики.
В конечном итоге, благодаря фундаментальному пониманию работы ИИ-GPT, можно с гораздо большей осознанностью проектировать промпты и даже мета-промпты для ИИ-агентов.
Сегодня мы начинаем с первого, самого важного шага. В этой главе мы сознательно не будем говорить о нейронных сетях. Наша цель — освоить тот язык понятий, на котором построена вся современная работа с текстом в искусственном интеллекте.
Математика смыслов
Чтобы ответить на вопрос, почему одни запросы работают лучше других, нужно заглянуть «под капот» и понять, как GPT «видит» наш язык. В его основе лежит не магия, а элегантная система — математика смыслов. В этой главе мы сознательно не будем говорить о нейросетях. Наша цель — заложить фундамент, освоить тот язык понятий, на котором построена вся современная работа с текстом в искусственном интеллекте.
Представьте разницу между человеком, который готовит строго по кулинарной книге, и профессиональным шеф-поваром. Первый может приготовить отличное блюдо, но если чего-то нет под рукой или что-то пошло не так, он растеряется. Шеф-повар же, понимая химию и физику процессов — как карамелизуется сахар, почему сворачивается белок, — может импровизировать, создавать новые рецепты и исправлять ошибки на лету. Так же и с промптингом. Эта глава даст вам понимание «химии смыслов». Освоив его, вы перейдете от простого «следования рецептам» к осознанному «кулинарному творчеству» — конструированию точных и мощных запросов для решения именно ваших задач.
Из этой главы вы узнаете:
Как математика помогает кодировать и измерять «смысл».
Что такое семантический вектор и как с ним работать.
Почему контекст решает всё.
Что такое граф и как он помогает структурировать знания.
Приступим.
Семантика: как измерить смысл?
Семантика — это наука о смыслах. Слово «семантика» происходит от греческого sēmantikos (обозначающий) и означает как саму науку, так и смысл чего-либо. Например, у слов «преподаватель» и «учитель» очень близкая семантика. У слов «предприниматель» и «бизнесмен» — тоже. А вот «морковь» и «демократия» семантически далеки друг от друга. Вы даже можете почувствовать, как эти понятия активируют совершенно разные области вашего разума. Слова — это лишь указатели на смыслы.
Но как компьютеру, который понимает только числа, работать с такой абстрактной вещью, как смысл? Ответ: нужно превратить смысл в математический объект. Взгляните на эту визуализацию так называемого семантического пространства.
Каждая синяя точка здесь — это английское слово. Идея в том, что слова с похожим значением или из одной тематической области оказываются рядом в этом многомерном пространстве. Если вы найдете точку "dog" (собака), рядом с ней окажутся "dogs" (собаки), "cat" (кошка), "pet" (питомец) и "puppy" (щенок).
Как это работает? Краткая справка о проекте Word2Vec.
Откуда берется такая карта смыслов? Как компьютер «узнает», что «кошка» и «собака» должны быть рядом? Это не ручная работа, а результат автоматического анализа.
Основной принцип прост: значение слова определяется его окружением (контекстом). Специальные алгоритмы «прочитывают» гигантские объемы текста (например, всю Википедию и сотни тысяч книг) и методично записывают, какие слова чаще всего встречаются рядом друг с другом. Например, алгоритм замечает, что слова «король» и «королева» часто появляются в схожих контекстах, рядом со словами «трон», «дворец», «правит». А слово «морковь» — рядом со словами «огород», «суп», «витамин».
На основе этой статистики алгоритм подбирает для каждого слова такой вектор (набор координат), чтобы слова с похожим окружением оказались соседями в этом многомерном пространстве. Одним из первых прорывных методов, который реализовал эту идею, стал алгоритм Word2Vec (буквально «слово в вектор»), разработанный в Google в 2013 году. В результате получается математическая модель языка, где геометрическая близость векторов соответствует семантической близости слов.
Векторы: Алгебра, геометрия и семантика
Каждая точка в этом пространстве, по сути, является концом вектора — стрелки, идущей из центра координат. С точки зрения геометрии, вектор — это направление и длина. С точки зрения алгебры — просто упорядоченный набор чисел.
Давайте разберемся на простом примере. Представьте, что у нас есть «травяная аптека» с фиксированным набором баночек на полке. Порядок важен, и мы всегда перечисляем ингредиенты строго в нём:
Ромашка (в граммах)
Мята (в граммах)
Липа (в граммах)
Имбирь (в граммах)
Рецепт нашего фирменного «Успокаивающего сбора» — это просто набор чисел. Этот набор и есть вектор:
Вектор "Спокойствие" = (10, 5, 5, 0)
Это означает: 10г ромашки, 5г мяты, 5г липы и 0г имбиря. Это чистое, алгебраическое описание нашего чая.
Умножение вектора на число (изменение интенсивности): Хотите приготовить сбор на всю семью? Умножаем вектор на 3:
3 * (10, 5, 5, 0) = (30, 15, 15, 0)
Смысл чая («успокаивающий») не изменился, но изменилась его «интенсивность».Сложение векторов (создание нового смысла): Наступила осень, и нужен противопростудный эффект. У нас есть рецепт «Иммунный бустер»:
Вектор "Иммунитет" = (0, 0, 5, 10)
Чтобы создать новый, комплексный чай, мы просто складываем эти два вектора:
"Спокойствие" + "Иммунитет" = (10, 5, 5, 0) + (0, 0, 5, 10) = (10, 5, 10, 10)
Мы математически объединили два смысла и получили новый — «Согревающий вечерний чай».
Теперь вернемся к словам. Вектор, описывающий смысл слова, называется семантическим вектором. И с ними можно проводить такие же операции!
Знаменитый пример: Вектор("Король") - Вектор("Мужчина") + Вектор("Женщина") ≈ Вектор("Королева").
Мы «вычитаем» из «Короля» семантику мужского пола и «добавляем» семантику женского, получаем «Королеву». Эти примеры показывают главное: смысл можно измерять, складывать и вычитать. Иначе говоря, над смыслом можно совершать арифметические операции.
Сила этого подхода в его универсальности. Взгляните, как через векторные операции проявляются самые разные типы отношений (далее для удобства мы будем опускать формальное Вектор()):
Россия - Москва + Париж ≈ Франция(отношение «страна ↔ её столица»)Плавал - плавать + бежать ≈ Бежал(отношение «настоящее время ↔ прошедшее»)стакан - вода + еда ≈ Тарелка(отношение «объект ↔ его содержимое»)
Если рассмотреть семантическую разницу стакан и вода, то получим семантический вектор, который примерно означает «ёмкость».
стакан - вода ≈ ёмкость
Важно понимать, что эти равенства — не абсолютная математическая истина, а скорее демонстрация принципа. Результат Король - Мужчина + Женщина не даст нам в точности тот же вектор, что и у слова «Королева», но он окажется в семантическом пространстве невероятно близко к нему.
Главный вывод: смыслы можно измерять, сравнивать и преобразовывать с помощью математических операций. Мы можем «вычесть» из понятия его атрибут или «добавить» новый. Мы можем измерить «расстояние» между двумя идеями. Это и есть та самая математика смыслов, фундамент, на котором построен любая нейросеть на базе GPT.
Значение слова — только в контексте
Что значит слово «ключ»? Что вы видите в своем уме? Гаечный? Музыкальный? Родник? От двери? Большой, маленький? Железный, золотой? В отрыве от других слов «ключ» — это не одно понятие, а суперпозиция всех возможных смыслов. Это как размытое облако вероятностей, где все значения существуют одновременно. Смысл кристаллизуется, «схлопывается» в нечто конкретное, только когда появляется контекст.
«Он нашел ключ и открыл дверь». — Слово «дверь» притягивает к себе «замочный» смысл ключа и отталкивает все остальные.
«Он нашел ключ в лесу, и вода в нем была чистая». — Слова «лес» и «вода» мгновенно активируют смысл «родник».
«Басовый ключ стоял в начале нотного стана». — Контекст «нотного стана» не оставляет сомнений.
Контекст работает как фильтр или система весов. Он усиливает релевантные аспекты смысла слова и ослабляет нерелевантные. Чтобы понять истинное значение слова «ключ», наш ум обращает внимание на слова «дверь», «лес», «нотный стан».
Запомните это слово — внимание. Это не просто красивая метафора. Это название центрального математического механизма в работе GPT, который мы разберем в следующих главах.
Граф: карта связей
Мы научились представлять отдельные смыслы в виде векторов. Но как представить связи между ними? Для этого в математике существует элегантный инструмент — граф.
Представьте карту дорог. Города — это точки. Дороги, которые их соединяют, — это линии. Это и есть граф. В математике точки называют узлами (или вершинами), а линии — ребрами.
На рисунке выше вы видите пример графа. Пусть у нас есть города: A, B, C, D, E, F. По рисунку можно заметить, что из города A идет дорога в B, C, F. Из города B в C, и так далее.
Но графы описывают не только географические карты. Давайте рассмотрим более жизненный пример — социальную сеть.
В этой модели каждый узел (или вершина) — это пользователь, человек со своей страницей. А ребро, линия, соединяющая двух пользователей, — это отношение между ними, например, «дружба» или «подписка».
Такое представление позволяет алгоритмам легко отвечать на вопросы: «Кто наши общие друзья?», «Каких людей порекомендовать в качестве новых знакомых?», «Какие группы по интересам существуют в этой сети?». Алгоритмы анализируют структуру связей, находят самые влиятельные узлы (инфлюенсеров) или плотные скопления (сообщества).
Граф — это универсальный способ описать любые связи:
Социальная сеть: Узлы — это люди, ребра — отношения «дружбы» между ними.
Молекула воды: Узлы — это атомы (два водорода, один кислород), ребра — химические связи.
План проекта: Узлы — это задачи, ребра — зависимости («нельзя начать задачу Б, пока не сделана А»).
Интересно, что узлы и ребра могут иметь свои свойства (атрибуты). На ребре «дорога» можно написать ее длину в километрах. На узле «город» — его население и название.
Граф знаний
А теперь представьте, что узлы — это не города и не страницы в соц.сетях, а понятия: «GPT», «Вектор», «Нейросеть». А ребра — это связи между ними: «GPT использует Векторы», «GPT — это тип Нейросети». Мы получили граф знаний — карту смыслов и отношений между ними.
Любой связный текст, будь то научная статья или эта методичка, можно представить в виде такого графа.
Самое интересное, что прямо сейчас, читая эти строки, вы путешествуете по такому графу. Понятия, которые мы обсуждаем — «семантика», «вектор», «контекст» — это узлы. А логика нашего повествования — это ребра, соединяющие их. Чтобы сделать эту идею еще нагляднее, я превратил эту главу в настоящий граф знаний в виде диаграммы. Вы можете изучить его в ниже.
Кстати эта диаграмма была сгенерирована автоматически с помощью Gemini 2.5 Pro. Я отправил свою статью в Gemini Pro и попросил построить по статье граф, чтобы я мог его завизуализировать.
Как записать граф? Есть два основных способа:
Список ребер: Просто перечисляем все связи парами. Для графа дорог это будет:
(A, B), (A, C), (A, F), (B, C), ...Матрица смежности: Это таблица, где по строкам и столбцам стоят все узлы. На пересечении ставится 1, если связь есть, и 0, если ее нет.
Подпись: граф можно записать 1) как набор ребер 2) и как таблицу.
Заключение главы
Давайте остановимся и подведем итог. В этой главе мы сознательно избегали разговоров о нейросетях класса GPT, но при этом изучили четыре фундаментальные концепции, которые лежат в их основе:
Смыслы можно оцифровать. Любое слово, фразу или идею можно представить в виде вектора — набора чисел в многомерном пространстве.
Контекст придает смыслу точность. Слово в отрыве от окружения — лишь суперпозиция значений. Именно контекст позволяет «схлопнуть» эту неопределенность до конкретного, нужного нам смысла.
Смыслы подчиняются законам математики. Мы можем складывать, вычитать и сравнивать векторы, тем самым создавая новые смыслы или анализируя отношения между существующими.
Смыслы и их связи образуют структуру. Отношения между понятиями можно наглядно представить в виде графа, создавая карту знаний.
Эти четыре идеи — векторы, контекст, математические операции и графы — и есть та самая «азбука», на которой говорит GPT. Мир языка для него — это не набор букв, а гигантское, сложно устроенное семантическое пространство, где каждое понятие имеет свои координаты (вектор), уточняемые контекстом, а логика повествования — это маршрут, проложенный по графу связей.
Теперь, когда у нас есть этот фундамент, мы готовы заглянуть «под капот». В следующей главе мы увидим, как эти математические абстракции оживают внутри архитектуры GPT, как текст превращается в векторы, как механизм «внимания» использует контекст и как из всей этой сложной математики рождается осмысленный ответ.
А пока — закрепите полученные знания с помощью упражнений.
Упражнения
Задача на составление вектора. Какой вектор получится, если смешать половину порции «Спокойствия» и двойную порцию «Иммунитета» в примере «травяная аптека»?
Определите, какой смысл будет у следующих семантических векторов:
рубль - Россия + Европа ≈ ?стол - столы + стул ≈ ?больница - врач + учитель ≈ ?рыба - вода + воздух ≈ ?забивать - молоток + пила ≈ ?
Определите семантическую разницу у следующих выражений:
королева - король ≈ ?теплее - тёплый ≈ ?Берлин - Германия ≈ ?
Что означает слово «замок»? Нарисуйте, просто и схематично, возможные варианты. Придумайте предложения со словом «замок», в которых уточняется одно из возможных значений.
Петя дружит с Мишей, Миша дружит с Колей и Ваней, Коля дружит с Ваней и Сашей, Саша дружит с Никитой. Нарисуйте граф дружбы ребят. Представьте этот граф в виде списка пар и в виде матрицы смежности (таблицы).
Эта серия статей формирует методичку — структурированный фундамент. Если вам было интересно и хочется продолжения, анонсы новых статей и короткие заметки на эту тему я публикую в своём телеграм канале «Семантический архитектор». Подписывайтесь.
Ps: премного благодарен специалисту Владимиру Иванову за его труд, за щедрое распространение знаний о GPT.
