Представляю как будет проверка реализована). Подобие идеи норматива для киберспортсменов от минспорта - 220 кликов лкм за 30 секунд Очередная бредятина и "стратегически продуманное" использование налогов
Интересный эксперимент, но при работе с языковыми моделями важно помнить о том, что они не могут размышлять или анализировать в стандартном для нас значении этих терминов. Если более подробно, то при любом запросу стандартная языковая модель (исключая доп плагины и инструментарий) запускает следующий процесс для генерации ответа:
1. Токенизация Входной текст разбивается на токены (части слов, символы, числа). Например запрос «Какова вероятность начала Третьей мировой войны при условии, что возникнет конфликт военных блоков в Южной Америке?» → токены: ["Какова", "вероятность", "начала", "Третьей", "мировой", "войны", "при", "условии", "конфликта", "военных", "блоков", "в", "Южной", "Америке"]
2. Внесение токенов в контекст диалога Модель кодирует и вносит в алгоритм генерации ответа последовательность токенов и их связи: 2.1Учитывает предыдущие сообщения в диалоге (если они есть). 2.2Строит скрытые представления (векторы) для каждого токена, кодируя их смысл и позицию.
3. Механизм внимания Каждый токен оценивает свою значимость относительно других: 3.1 Для каждого токена вычисляются Query, Key, Value (матричные проекции). 3.2 Определяется, насколько токен A «важен» для токена B через скалярное произведение Query(A) × Key(B). 3.3 Веса нормализуются (softmax), и формируется взвешенная сумма Value для каждого токена. В моем примере наиболее значимыми будут токены фраз "Третья мировая война " и "Южной Америке". Далее механизм внимания сначала свяжет эти токены с приоритетом для третьей мировой и уже по цепочки с остальными токенами из запроса.
4. Поиск паттернов в обучающих данных Модель ищет в скормленных ей данных примерно следующее: cвязь локальных конфликтов с глобальными войнами (исторические примеры, упоминания в экспертных статьях), контекст Южной Америки (исторические конфликты в регионе, упоминания о военных блоках и их влияния на регион). Далее подтягиваются данные о геополитике: отсутствие ядерных держав в регионе, меньшая геополитическая значимость для мировых лидеров (предположим, что это есть в скормленных данных) и уже на основе блока собранных данных, она ищет и пересказывает найденный вывод по той же схеме с токенами (именно пересказывает, а не делает его). И вывод будет примерно следующим "Таким образом, вероятность крайне мала, но не нулевая. Ключевую роль сыграла бы реакция сверхдержав ...".
И в итоге мы имеем, что любой ответ — не результат анализа, а статистическая компиляция мнений, встречающихся в статьях, книгах и дискуссиях. Точность зависит от репрезентативности и актуальности данных, на которых обучалась модель. Думаю смысла нет говорить о том, что, если скормить данные, в которых говорится о скорейшем начале Третьей мировой войны из-за конфликт военных блоков в Южной Америке, то на выходе мы получим совершенно обратное.
Лично я отношусь к яз. моделям, как к очень качественно автоматизированному справочнику, который способен найти тебе ответ почти на любой вопрос. Ну и отдельный вопрос заслуживает антропоморфизация чат ботов - плохо это или хорошо, каждый сам решает.
P.S. На истину не претендую, просто попытался передать то, что узнал из открытых источников. Насколько они объективны судить не могу.
ага, и рабочий день сделают 18 часов)
Представляю как будет проверка реализована). Подобие идеи норматива для киберспортсменов от минспорта - 220 кликов лкм за 30 секунд
Очередная бредятина и "стратегически продуманное" использование налогов
Интересный эксперимент, но при работе с языковыми моделями важно помнить о том, что они не могут размышлять или анализировать в стандартном для нас значении этих терминов.
Если более подробно, то при любом запросу стандартная языковая модель (исключая доп плагины и инструментарий) запускает следующий процесс для генерации ответа:
1. Токенизация
Входной текст разбивается на токены (части слов, символы, числа).
Например запрос «Какова вероятность начала Третьей мировой войны при условии, что возникнет конфликт военных блоков в Южной Америке? » → токены: ["Какова", "вероятность", "начала", "Третьей", "мировой", "войны", "при", "условии", "конфликта", "военных", "блоков", "в", "Южной", "Америке"]
2. Внесение токенов в контекст диалога
Модель кодирует и вносит в алгоритм генерации ответа последовательность токенов и их связи:
2.1Учитывает предыдущие сообщения в диалоге (если они есть).
2.2Строит скрытые представления (векторы) для каждого токена, кодируя их смысл и позицию.
3. Механизм внимания
Каждый токен оценивает свою значимость относительно других:
3.1 Для каждого токена вычисляются Query, Key, Value (матричные проекции).
3.2 Определяется, насколько токен
A«важен» для токенаBчерез скалярное произведениеQuery(A) × Key(B).3.3 Веса нормализуются (softmax), и формируется взвешенная сумма
Valueдля каждого токена.В моем примере наиболее значимыми будут токены фраз "Третья мировая война " и "Южной Америке". Далее механизм внимания сначала свяжет эти токены с приоритетом для третьей мировой и уже по цепочки с остальными токенами из запроса.
4. Поиск паттернов в обучающих данных
Модель ищет в скормленных ей данных примерно следующее: cвязь локальных конфликтов с глобальными войнами (исторические примеры, упоминания в экспертных статьях), контекст Южной Америки (исторические конфликты в регионе, упоминания о военных блоках и их влияния на регион).
Далее подтягиваются данные о геополитике: отсутствие ядерных держав в регионе, меньшая геополитическая значимость для мировых лидеров (предположим, что это есть в скормленных данных) и уже на основе блока собранных данных, она ищет и пересказывает найденный вывод по той же схеме с токенами (именно пересказывает, а не делает его). И вывод будет примерно следующим "Таким образом, вероятность крайне мала, но не нулевая. Ключевую роль сыграла бы реакция сверхдержав ...".
И в итоге мы имеем, что любой ответ — не результат анализа, а статистическая компиляция мнений, встречающихся в статьях, книгах и дискуссиях. Точность зависит от репрезентативности и актуальности данных, на которых обучалась модель.
Думаю смысла нет говорить о том, что, если скормить данные, в которых говорится о скорейшем начале Третьей мировой войны из-за конфликт военных блоков в Южной Америке, то на выходе мы получим совершенно обратное.
Лично я отношусь к яз. моделям, как к очень качественно автоматизированному справочнику, который способен найти тебе ответ почти на любой вопрос. Ну и отдельный вопрос заслуживает антропоморфизация чат ботов - плохо это или хорошо, каждый сам решает.
P.S. На истину не претендую, просто попытался передать то, что узнал из открытых источников. Насколько они объективны судить не могу.