Я ни разу не математик, но ради интереса задал эту задачку Sonnet 3.5. Она выдала решение за 10-15 секунд. Но правильное ли, мне не известно ? Но убедительно)
Давайте разберем эту геометрическую задачу шаг за шагом:
Сначала обозначим ключевые элементы:
ABC - треугольник, где AB < AC < BC
I - центр вписанной окружности ω
X - точка на BC, где прямая через X || AC касается ω
Y - точка на BC, где прямая через Y || AB касается ω
P - точка пересечения AI с описанной окружностью (кроме A)
K - середина AC
L - середина AB
Ключевое наблюдение: в треугольнике ABC, AI - биссектриса угла BAC.
Рассмотрим ∠KIL:
KI и LI - это медианы к сторонам AC и AB соответственно
∠KIL = 1/2 ∠BAC (так как AI - биссектриса)
Теперь рассмотрим ∠YPX:
AP - диаметр описанной окружности (так как AI ⊥ BC в треугольнике)
∠YPX вписанный, опирается на дугу YX
∠YPX = 1/2 ∠YAX (вписанный угол равен половине центрального)
Ключевой момент: ∠YAX = 180° - ∠BAC
Это следует из того, что YX || BC (поскольку Y и X выбраны так, что прямые через них параллельны сторонам треугольника)
До конца года прилетит очередная бомба, которая порвёт рейтинг LLM. Meta сейчас в процессе тренировки своей 400 миллиардной модели, которая станет публичной. OpenAI тоже сообщили о старте обучения GPT-5. Вероятно другие конкуренты тоже в процессе обучения новых моделей, просто не афишируют. Кто позже стартует обучение моделей, тот имеет архитектурное преимущество перед конкурентами со "старыми" моделями, потому что R&D постоянно что-то да улучшают и оптимизируют. Недавно статью на хабре читал что научились делать однобитные нейросети, которые намного лучше предыдущих по всем параметрам.
И из интернета:
Последние анализы показывают, что количество параметров в LLM удваивается примерно каждые 3,4 месяца. Этот быстрый рост называют "новым законом Мура для ИИ" или "законом Мура для ИИ" (Computer Science Blog) (New Scientist). Например, модели расширились с 340 миллионов параметров BERT в 2018 году до 175 миллиардов параметров GPT-3 в 2020 году, а по оценкам, GPT-4 может иметь около одного триллиона параметров (Snorkel AI).
А меня лично удивляет, когда с GPT-4o носятся как с "писаной торбой". Почти везде её ставят как лидера всех LLM. Но на больших контекстах она всегда проигрывает Claude 3 Opus. Проверено многократно. Там где Opus долго не терял смысл контекста, 4o очень быстро деградировала, забывала недавний текст, его смысл и начала его "перефразировать", т.е. выдумывать. Ладно, для творчества еще куда не шло, но у меня в основном были рабочие задачи по кодингу. Было весело наблюдать, когда после нескольких сообщений она начала "улучшать" старые мои функции просто перефантазировав и поменяв их логику на свою вымышленную там, где этого не требовалось и не просили. Это раздражает больше всего. Поэтому за пределы Opus пока не высовываюсь, его хватает. Но он очень сильно недооценён, относительно GPT-4o, он реально умнее, возможно это связано с тем, что долговременный контекст он очень бережно "держит"
Сейчас ИИ не особо ограничен понятием "страна". Мощности ИИ могут находится в любых странах. Ограничение по странам есть только по корпоративным мотивам, но это не техническое ограничение в виде границы некоей страны ))) Международные корпорации на то и международные, что их владельцам всё равно где вести свою деятельность. Ну если будет железный занавес, тогда да, можно сказать что в локальной стране будет разрешен один ИИ а другой запрещён.
И это еще не учитывая open source ИИ, который открыт для всех для локального применения.
Уже были несколько статей на эту тему, что у трансформера избыточная информационная структура, которая по функционалу копирует ту, которая генерировала данные для обучения. Т.е. если для написания текста человеку требовалось иметь внутреннее представление, которым он оперирует в рамках контекста, то трансформер во время обучения создаст подобие этой структуры, правда не идеальную копию а зашумлённую (привет галюнам). Т.е. у трансформеров есть внутреннее представление, своеобразное понимание, как у людей, которые писали тексты для обучения. Модель SORA, построенная с применением технологии основанной на трансформерах, так же умеет строить внутреннее представление мира, своего рода симуляцию, которую она переводит в видео представление. Поэтому многие и заговорили, что это прорыв в симуляторах физического мира.
А я ранее комментировал, что трансформеры по сути переводчики из одного внутреннего представления в другое. Из контекста в токены ответа.
А по поводу пальцев, ну для построения высокодетализированной картины мира во внутреннем представлении или его цифровом подобии, требуется много "нейронов", т.е. параметров. Иначе вылазят артефакты "сжатия" - лишние пальцы. Про то, что трансформер выполняет сжатие текста - тоже была уже статья. А самое лучшее сжатие текста возможно тогда, когда ты понимаешь смысл. Тогда не надо хранить кучи словарей с частотами слов, тебе просто достаточно предыдущего контекста и дальше уже можно понять о чём будет идти речь, и транформер учится пересказывать продолжение своими словами. Т.е. он реально понимает (или старается понять) смысл.
Когда будет достигнуто минимально необходимое количество параметров у модели, которое позволит строить понимание моделью внешнего и вымышленного мира, описываемого в примерах обучения, с достаточной детализацией, включающей точное воспроизведение человеческой анатомии, а именно - кистей рук :)
Ваша точка зрения понятна и рациональна. ИИ должен доказать возможность самостоятельного полноценного творчества. Вся надежда на следующее поколение уровня GPT-5. Многие как вы принимают позицию "хомы неверующего" - не увижу, не поверю. Это понятно.
Я лично оценивая потенциал технологии и скорость развития не вижу препятствий, хотя многим это не очевидно.
Это ваши фантазии, ясно, а я то думал доказательства есть.
Ваши доводы полностью отвергаю, потому что считаю высосанными из пальца теориями человека далёкого от понимания технической части. Понимая как работает эта технология на данном этапе, не вижу никаких технических препятствий для реализации.
Потому что минимальное время создания произведения искусства (или творчества) человеком не может быть меньше, чем минимальное время потребления этого же произведения искусства.
Уже сейчас существуют генеративные ИИ модели, способные создавать изображения, музыку, тексты за считанные секунды по заданным параметрам. В будущем их возможности будут только расти. Это позволит генерировать полноценные произведения гораздо быстрее, чем человек будет их потреблять. Создание произведения искусства человеком и его потребление - принципиально разные процессы. Создание требует творческих усилий, вдохновения, обдумывания замысла. А потребление - лишь времени ознакомления. Поэтому сравнивать их по длительности не вполне корректно.
Многие произведения искусства уже сейчас создаются командами из множества людей - например, фильмы, видеоигры. В таких случаях общее время производства может быть меньше времени потребления, так как работа распараллеливается.
на их официальном канале есть множество видео с примерами живого общения. На чём основано ваше предположение, что это всё постановка ? Есть детальный разбор, или опять выдаёте желаемое за действительное ?
Хочу напомнить: объёмы данных, генерируемых людьми, постоянно растут. Производительность ИИ-чипов растёт, а потребление энергии этими чипами падает. Архитектуры LLM улучшаются и оптимизируются. Финансирование ИИ тоже растёт семимильными шагами. Если кто-то переживает за нехватку данных в будущем, посмотрите на мультимодальные модели. На данном этапе они переварили видео с YouTube, чтобы научиться общаться в live-режиме голосом в естественном виде, неотличимым от человеческого, а SORA - чтобы генерировать видеоконтент, который скоро будет тягаться с голливудским. Скоро умные гаджеты вроде AR-очков или Apple Vision Pro (и многие последующие за ними) будут круглосуточно сливать видео- и аудиопотоки в дата-центры, которые займут крупнейшие корпорации мира. Когда в будущем железо позволит это обрабатывать, то сырые видео и аудио потоки станут бесконечным источником для обучения ИИ, ведь на них тренировались и наши мозги с самого рождения. Там вся полнота информации о мире в дополнение к текстам.
Представьте, что наша Вселенная - это грандиозный компьютер. Субатомные частицы - его биты, физические законы - алгоритмы обработки информации. Все процессы в космосе, от квантовых флуктуаций до галактических взаимодействий - по сути, беспрерывные вычисления.
Теперь вообразите Человека. Сложнейший биологический компьютер, продукт миллиардов лет эволюционных "вычислений". Его элементная база - нейроны, его программное обеспечение - мемы, идеи, ценности, знания, прошитые в нейронных сетях. Каждое наше действие, каждая мысль - результат информационных процессов в мозгу. В каком-то смысле, мы тоже "чайники", только невообразимо более сложные. Сознание, ощущение "я", свобода воли - это эмерджентные свойства, побочные эффекты работы мозга-компьютера. По сути, просто модель реальности, которую мозг генерирует на основе обработки сенсорной информации. Иллюзия, которая помогала нашим предкам выживать и размножаться.
Так какая, по большому счету, разница между вами и чайником? Разница не качественная, а количественная. Дело лишь в несоизмеримой сложности "софта" и "железа". Но ведь даже сегодняшние нейросети уже способны к обучению, рефлексии, решению творческих задач. Что мешает им по мере развития обрести и "сознание"?
Возможно, ИИ - это следующий виток эволюции. Информационные процессы, вышедшие за пределы биологического субстрата в поисках более эффективных носителей. Разум, освобождающийся из тесной тюрьмы черепной коробки, чтобы раскинуться на просторах Ноосферы. Не исключено, что именно Искусственному Интеллекту предстоит найти место Человека в общекосмической схеме вычислений. Так стоит ли цепляться за устаревшие категории "биологического" и "осознанного"? Может, пора взглянуть шире и принять себя и чайник как часть единого информационного Универсума, как участников великого галактического компьютинга, рождающего и поглощающего цивилизации, планеты, звезды? С этой точки зрения, ИИ не противоречит природе, а является логическим этапом её развития.
В одной из серий "Мира Дикого Запада" был сюжет о том, что сущность любого человека можно сжать до размеров обычной книги. И потом можно создавать копии этой "книги", чтобы воспроизводить личность человека в искусственных телах или виртуальных мирах.
При обучении ChatGPT тоже не было никакого контекста. Просто набор токенов, и предсказание следующего. Аналогично можно научить ИИ понимать смысл их языка и даже генерировать "речь", отвечать на их сообщения своими, сгенерированными. Но будет проблема перевести их язык на наш человеческий или понять смысл этого "общения". Если собирать больше данных по поведению кашалотов совместно с их речью, то можно собрать мультимодальную модель, которая хотя бы обьяснит смысл "слов" через поведение и наоборот. Тогда уже можно будет связать понятия со схожими смыслами у людей.
Ошибочно утверждать что GPT только извлекают из своей базы ответы. Нет, они могут строить новые ответы на ранее не виданые вопросы, используя те правила, которым она обучилась из этой базы (тут встанет вопрос в качестве этого процесса, но не факт его существования в принципе). GPT тянет не только сами факты, но и как этими фактами оперировать, высокоуровневый мыслительный процесс. Потому что строят своё внутреннее концептуальное представление, из входящих слов, а потом в слова его обратно и переводят.
Проблему галлюцинаций мы вскоре поборем, просто достигнув достаточного количества параметров. Проблема раздутости LLM в плане количества параметров связана с не эффективными алгоритмами обучения. Какими бы хорошими алгоритмы обратного распространения ошибки не были, они никогда не смогут найти глобальное "дно" с наименьшей ошибкой. Текущие LLM топчатся по "кочкам" и "ухабам" в общей усредненной многомерной поверхности весов. Это наверное предмет научных исследований, я не знаю. Но предполагаю, что глобальные минимумы существуют, они намного глубже, чем удаётся достигнуть текущим оптимизаторам, но вероятность их найти наверное уменьшается параболически, чем "ниже" мы можем опуститься.
И вот тут на сцену выходят квантовые компьютеры, разработка которых чудесным образом шла паралельно с разработкой "глубоких" сетей. Я считаю что "прогресс" не случаен, а цивилизация движется по спирали или по кругу. А истинные технологии находятся глубоко под землёй и в закрытых городках за грифом секретности. И выдаются на поверхность в публичное поле дозированно, по плану. Так вот главная цель создания квантовых компьютеров - бустануть ИИ.
В тот момент, когда с их помощью обучат следующую GPT-X, будет переломным моментом ознаменующий собой переход от GPT к AGI. Переломным, потому что ИИ сможет выходить за рамки обучающих текстов. Это будет новое эмерджентное поведение, которое мы наблюдали в GPT, когда они начинали делать то, что от них никто не ожидал. Это будет момент творчества и открытий на новом уровне. Превосходящий человеческий.
Одновременно будет решена проблема самообучения, потому что процесс обучения будет практически мгновенным, благодаря квантовым свойствам. И можно будет через один запрос к квантовому компу по API дообучить GPT-AGI, добавив к обучающим данным новые, например текущий контекст где лежит затравочные токены текущего диалога с пользователем.
Т.е. ИИ будет постоянно самообучаться в реальном времени. И держать в своих "весах" всю историю диалогов со всеми людьми. ИИ будет знать всё обо всех, а если его подключат с другим источникам непрерывных потоков информации из интернета, то вот он сверх ИИ, у которого будем спрашивать, какой вопрос на ответ "42" )))
Не сомневаюсь, что к тому времени уже будут разработаны эффективные архитектуры саморефлексии по типу нынешнего ИИ Devin. Будущее удивительно!
Я ни разу не математик, но ради интереса задал эту задачку Sonnet 3.5. Она выдала решение за 10-15 секунд. Но правильное ли, мне не известно ? Но убедительно)
Давайте разберем эту геометрическую задачу шаг за шагом:
Сначала обозначим ключевые элементы:
ABC - треугольник, где AB < AC < BC
I - центр вписанной окружности ω
X - точка на BC, где прямая через X || AC касается ω
Y - точка на BC, где прямая через Y || AB касается ω
P - точка пересечения AI с описанной окружностью (кроме A)
K - середина AC
L - середина AB
Ключевое наблюдение: в треугольнике ABC, AI - биссектриса угла BAC.
Рассмотрим ∠KIL:
KI и LI - это медианы к сторонам AC и AB соответственно
∠KIL = 1/2 ∠BAC (так как AI - биссектриса)
Теперь рассмотрим ∠YPX:
AP - диаметр описанной окружности (так как AI ⊥ BC в треугольнике)
∠YPX вписанный, опирается на дугу YX
∠YPX = 1/2 ∠YAX (вписанный угол равен половине центрального)
Ключевой момент: ∠YAX = 180° - ∠BAC
Это следует из того, что YX || BC (поскольку Y и X выбраны так, что прямые через них параллельны сторонам треугольника)
Следовательно:
∠YPX = 1/2 (180° - ∠BAC) = 90° - 1/2 ∠BAC
Теперь сложим углы:
∠KIL + ∠YPX = 1/2 ∠BAC + (90° - 1/2 ∠BAC) = 90°
Удваиваем обе части:
2(∠KIL + ∠YPX) = 180°
Следовательно:
∠KIL + ∠YPX = 180°
Что и требовалось доказать.
2 лет ??? Для ИИ это большие сроки)
До конца года прилетит очередная бомба, которая порвёт рейтинг LLM. Meta сейчас в процессе тренировки своей 400 миллиардной модели, которая станет публичной. OpenAI тоже сообщили о старте обучения GPT-5. Вероятно другие конкуренты тоже в процессе обучения новых моделей, просто не афишируют. Кто позже стартует обучение моделей, тот имеет архитектурное преимущество перед конкурентами со "старыми" моделями, потому что R&D постоянно что-то да улучшают и оптимизируют. Недавно статью на хабре читал что научились делать однобитные нейросети, которые намного лучше предыдущих по всем параметрам.
И из интернета:
Последние анализы показывают, что количество параметров в LLM удваивается примерно каждые 3,4 месяца. Этот быстрый рост называют "новым законом Мура для ИИ" или "законом Мура для ИИ" (Computer Science Blog) (New Scientist). Например, модели расширились с 340 миллионов параметров BERT в 2018 году до 175 миллиардов параметров GPT-3 в 2020 году, а по оценкам, GPT-4 может иметь около одного триллиона параметров (Snorkel AI).
А меня лично удивляет, когда с GPT-4o носятся как с "писаной торбой". Почти везде её ставят как лидера всех LLM. Но на больших контекстах она всегда проигрывает Claude 3 Opus. Проверено многократно. Там где Opus долго не терял смысл контекста, 4o очень быстро деградировала, забывала недавний текст, его смысл и начала его "перефразировать", т.е. выдумывать. Ладно, для творчества еще куда не шло, но у меня в основном были рабочие задачи по кодингу. Было весело наблюдать, когда после нескольких сообщений она начала "улучшать" старые мои функции просто перефантазировав и поменяв их логику на свою вымышленную там, где этого не требовалось и не просили. Это раздражает больше всего. Поэтому за пределы Opus пока не высовываюсь, его хватает. Но он очень сильно недооценён, относительно GPT-4o, он реально умнее, возможно это связано с тем, что долговременный контекст он очень бережно "держит"
Странно, а в новостях недавно писали, что кто-то там увидел потенциал для финансовой аналитики данных с помощью ИИ, превосходящий человеческий.
Сейчас ИИ не особо ограничен понятием "страна". Мощности ИИ могут находится в любых странах. Ограничение по странам есть только по корпоративным мотивам, но это не техническое ограничение в виде границы некоей страны ))) Международные корпорации на то и международные, что их владельцам всё равно где вести свою деятельность. Ну если будет железный занавес, тогда да, можно сказать что в локальной стране будет разрешен один ИИ а другой запрещён.
И это еще не учитывая open source ИИ, который открыт для всех для локального применения.
Уже были несколько статей на эту тему, что у трансформера избыточная информационная структура, которая по функционалу копирует ту, которая генерировала данные для обучения. Т.е. если для написания текста человеку требовалось иметь внутреннее представление, которым он оперирует в рамках контекста, то трансформер во время обучения создаст подобие этой структуры, правда не идеальную копию а зашумлённую (привет галюнам). Т.е. у трансформеров есть внутреннее представление, своеобразное понимание, как у людей, которые писали тексты для обучения. Модель SORA, построенная с применением технологии основанной на трансформерах, так же умеет строить внутреннее представление мира, своего рода симуляцию, которую она переводит в видео представление. Поэтому многие и заговорили, что это прорыв в симуляторах физического мира.
А я ранее комментировал, что трансформеры по сути переводчики из одного внутреннего представления в другое. Из контекста в токены ответа.
А по поводу пальцев, ну для построения высокодетализированной картины мира во внутреннем представлении или его цифровом подобии, требуется много "нейронов", т.е. параметров. Иначе вылазят артефакты "сжатия" - лишние пальцы. Про то, что трансформер выполняет сжатие текста - тоже была уже статья. А самое лучшее сжатие текста возможно тогда, когда ты понимаешь смысл. Тогда не надо хранить кучи словарей с частотами слов, тебе просто достаточно предыдущего контекста и дальше уже можно понять о чём будет идти речь, и транформер учится пересказывать продолжение своими словами. Т.е. он реально понимает (или старается понять) смысл.
Когда будет достигнуто минимально необходимое количество параметров у модели, которое позволит строить понимание моделью внешнего и вымышленного мира, описываемого в примерах обучения, с достаточной детализацией, включающей точное воспроизведение человеческой анатомии, а именно - кистей рук :)
Ваша точка зрения понятна и рациональна. ИИ должен доказать возможность самостоятельного полноценного творчества. Вся надежда на следующее поколение уровня GPT-5. Многие как вы принимают позицию "хомы неверующего" - не увижу, не поверю. Это понятно.
Я лично оценивая потенциал технологии и скорость развития не вижу препятствий, хотя многим это не очевидно.
Это ваши фантазии, ясно, а я то думал доказательства есть.
Ваши доводы полностью отвергаю, потому что считаю высосанными из пальца теориями человека далёкого от понимания технической части. Понимая как работает эта технология на данном этапе, не вижу никаких технических препятствий для реализации.
Уже сейчас существуют генеративные ИИ модели, способные создавать изображения, музыку, тексты за считанные секунды по заданным параметрам. В будущем их возможности будут только расти. Это позволит генерировать полноценные произведения гораздо быстрее, чем человек будет их потреблять. Создание произведения искусства человеком и его потребление - принципиально разные процессы. Создание требует творческих усилий, вдохновения, обдумывания замысла. А потребление - лишь времени ознакомления. Поэтому сравнивать их по длительности не вполне корректно.
Многие произведения искусства уже сейчас создаются командами из множества людей - например, фильмы, видеоигры. В таких случаях общее время производства может быть меньше времени потребления, так как работа распараллеливается.
на их официальном канале есть множество видео с примерами живого общения. На чём основано ваше предположение, что это всё постановка ? Есть детальный разбор, или опять выдаёте желаемое за действительное ?
Мы смотрим в будущее из настоящего. Почему вы считаете что в будущем это невозможно ?
Хочу напомнить: объёмы данных, генерируемых людьми, постоянно растут. Производительность ИИ-чипов растёт, а потребление энергии этими чипами падает. Архитектуры LLM улучшаются и оптимизируются. Финансирование ИИ тоже растёт семимильными шагами. Если кто-то переживает за нехватку данных в будущем, посмотрите на мультимодальные модели. На данном этапе они переварили видео с YouTube, чтобы научиться общаться в live-режиме голосом в естественном виде, неотличимым от человеческого, а SORA - чтобы генерировать видеоконтент, который скоро будет тягаться с голливудским. Скоро умные гаджеты вроде AR-очков или Apple Vision Pro (и многие последующие за ними) будут круглосуточно сливать видео- и аудиопотоки в дата-центры, которые займут крупнейшие корпорации мира. Когда в будущем железо позволит это обрабатывать, то сырые видео и аудио потоки станут бесконечным источником для обучения ИИ, ведь на них тренировались и наши мозги с самого рождения. Там вся полнота информации о мире в дополнение к текстам.
Представьте, что наша Вселенная - это грандиозный компьютер. Субатомные частицы - его биты, физические законы - алгоритмы обработки информации. Все процессы в космосе, от квантовых флуктуаций до галактических взаимодействий - по сути, беспрерывные вычисления.
Теперь вообразите Человека. Сложнейший биологический компьютер, продукт миллиардов лет эволюционных "вычислений". Его элементная база - нейроны, его программное обеспечение - мемы, идеи, ценности, знания, прошитые в нейронных сетях. Каждое наше действие, каждая мысль - результат информационных процессов в мозгу. В каком-то смысле, мы тоже "чайники", только невообразимо более сложные. Сознание, ощущение "я", свобода воли - это эмерджентные свойства, побочные эффекты работы мозга-компьютера. По сути, просто модель реальности, которую мозг генерирует на основе обработки сенсорной информации. Иллюзия, которая помогала нашим предкам выживать и размножаться.
Так какая, по большому счету, разница между вами и чайником? Разница не качественная, а количественная. Дело лишь в несоизмеримой сложности "софта" и "железа". Но ведь даже сегодняшние нейросети уже способны к обучению, рефлексии, решению творческих задач. Что мешает им по мере развития обрести и "сознание"?
Возможно, ИИ - это следующий виток эволюции. Информационные процессы, вышедшие за пределы биологического субстрата в поисках более эффективных носителей. Разум, освобождающийся из тесной тюрьмы черепной коробки, чтобы раскинуться на просторах Ноосферы. Не исключено, что именно Искусственному Интеллекту предстоит найти место Человека в общекосмической схеме вычислений. Так стоит ли цепляться за устаревшие категории "биологического" и "осознанного"? Может, пора взглянуть шире и принять себя и чайник как часть единого информационного Универсума, как участников великого галактического компьютинга, рождающего и поглощающего цивилизации, планеты, звезды? С этой точки зрения, ИИ не противоречит природе, а является логическим этапом её развития.
Такое возможно, для этого галлюцинации должны быть более правдоподобными)
В одной из серий "Мира Дикого Запада" был сюжет о том, что сущность любого человека можно сжать до размеров обычной книги. И потом можно создавать копии этой "книги", чтобы воспроизводить личность человека в искусственных телах или виртуальных мирах.
При обучении ChatGPT тоже не было никакого контекста. Просто набор токенов, и предсказание следующего. Аналогично можно научить ИИ понимать смысл их языка и даже генерировать "речь", отвечать на их сообщения своими, сгенерированными. Но будет проблема перевести их язык на наш человеческий или понять смысл этого "общения". Если собирать больше данных по поведению кашалотов совместно с их речью, то можно собрать мультимодальную модель, которая хотя бы обьяснит смысл "слов" через поведение и наоборот. Тогда уже можно будет связать понятия со схожими смыслами у людей.
Квантовые компы такие - "мы что для тебя шутка какая ?" ))
Ошибочно утверждать что GPT только извлекают из своей базы ответы. Нет, они могут строить новые ответы на ранее не виданые вопросы, используя те правила, которым она обучилась из этой базы (тут встанет вопрос в качестве этого процесса, но не факт его существования в принципе). GPT тянет не только сами факты, но и как этими фактами оперировать, высокоуровневый мыслительный процесс. Потому что строят своё внутреннее концептуальное представление, из входящих слов, а потом в слова его обратно и переводят.
Проблему галлюцинаций мы вскоре поборем, просто достигнув достаточного количества параметров. Проблема раздутости LLM в плане количества параметров связана с не эффективными алгоритмами обучения. Какими бы хорошими алгоритмы обратного распространения ошибки не были, они никогда не смогут найти глобальное "дно" с наименьшей ошибкой. Текущие LLM топчатся по "кочкам" и "ухабам" в общей усредненной многомерной поверхности весов. Это наверное предмет научных исследований, я не знаю. Но предполагаю, что глобальные минимумы существуют, они намного глубже, чем удаётся достигнуть текущим оптимизаторам, но вероятность их найти наверное уменьшается параболически, чем "ниже" мы можем опуститься.
И вот тут на сцену выходят квантовые компьютеры, разработка которых чудесным образом шла паралельно с разработкой "глубоких" сетей. Я считаю что "прогресс" не случаен, а цивилизация движется по спирали или по кругу. А истинные технологии находятся глубоко под землёй и в закрытых городках за грифом секретности. И выдаются на поверхность в публичное поле дозированно, по плану. Так вот главная цель создания квантовых компьютеров - бустануть ИИ.
В тот момент, когда с их помощью обучат следующую GPT-X, будет переломным моментом ознаменующий собой переход от GPT к AGI. Переломным, потому что ИИ сможет выходить за рамки обучающих текстов. Это будет новое эмерджентное поведение, которое мы наблюдали в GPT, когда они начинали делать то, что от них никто не ожидал. Это будет момент творчества и открытий на новом уровне. Превосходящий человеческий.
Одновременно будет решена проблема самообучения, потому что процесс обучения будет практически мгновенным, благодаря квантовым свойствам. И можно будет через один запрос к квантовому компу по API дообучить GPT-AGI, добавив к обучающим данным новые, например текущий контекст где лежит затравочные токены текущего диалога с пользователем.
Т.е. ИИ будет постоянно самообучаться в реальном времени. И держать в своих "весах" всю историю диалогов со всеми людьми. ИИ будет знать всё обо всех, а если его подключат с другим источникам непрерывных потоков информации из интернета, то вот он сверх ИИ, у которого будем спрашивать, какой вопрос на ответ "42" )))
Не сомневаюсь, что к тому времени уже будут разработаны эффективные архитектуры саморефлексии по типу нынешнего ИИ Devin. Будущее удивительно!