Comments 34
Все ваши аргументы в стиле "сова на глобус". Но прежде чем какие либо аргументы приводить, нужно хотя дать само определение, что же такое "интеллект"? (кстати, у вас ошибка в заголовке)
За указание на ошибку спасибо, исправил
Что касается совы на глобус - это Ваше мнение. Пока больше похоже на пердение в воздух.
Там приведены конкретные проблемы, если есть обоснование почему нет, то приводите.
Согласен насчет "совы на глобус", непонятно почему автор сравнивает человеческий мозг и несовершенные LLM модели которые с ним схожи только некоторыми концепциями, и на основе этого делает какие-то выводы в будущем. Так же не понял что такое "сильный ИИ" и "слабый ИИ". Непонятно почему автор говорит в стиле что "АААА, нам нужно больше данных для обучения" (как и огромное кол-во людей), но вот в чем дилемма, в основном человек за всю жизнь обучается на меньшем количестве разнообразной текстовой инфы чем chatgpt тот же, и не всегда качественной в том числе, так может дело не только в количестве и качестве этой инфы?
Но самое забавное, что даже на Википедии описание ИИ ну немного мутное. Это как говорить, что число е это константа приблизительно равна 2,71, как бы верно, но не проясняет детали. Но оно проясняет то, что на данном этапе нашего развития мы не способны корректно провести черту после которой можно что-то назвать ИИ, ну правда маркетологов это не касается :)
Благодарю.
Вы очень верно подметили, что человек обучается на объемах данных, которые на порядок меньше, нежели нужны для текущих поколений ИИ.
Примеры в виде LLM приведены исключительно по причине наиболее понятного инструмента. И весь разговор о сильном ИИ сейчас идет в контексте LLM (что ошибочно).
Поэтому проблема действительно не в количестве и качестве инфы, а в том, что текущие ИИ-модели достигают предела и нужны иные подходы к его проектированию. Единственное из того, что сейчас попадается в изучениях этого вопроса - квантовые и нейроморфные вычисления. Но там технология настолько незрелая, что говорить о чем-то серьезном слишком рано.
Относительно определения ИИ - действительно, все они размытые. По сути это любой инструмент имитации умственной деятельности. Даже эксель с формулами можно так обозвать. Именно поэтому я в статье привел определение и критерии сильного ИИ.
Вы очень верно подметили, что человек обучается на объемах данных, которые на порядок меньше, нежели нужны для текущих поколений ИИ.
Тогда зачем хомячить и повторять за маркетологами слова от которых нужно отнять 100, поделить на 1000 и умножить на 0, потому что вы явно заявляете в статье, что нужно больше инфы для моделей.
И вы уже с первого абзаца начинаете подтверждать мои слова вот этой фразой: "И все чаще от разных компаний мы слышим про сильный ИИ. Но что это и стоит ли ждать его создания в ближайшее время?"
Суть в том, что вы около "научно" рассуждаете об крайне спорных маркетинговых заявлениях, поэтому тут и есть недовольство в комментариях.
Ну я так и не услышал ответ на это: "непонятно почему автор сравнивает человеческий мозг и несовершенные LLM модели которые с ним схожи только некоторыми концепциями, и на основе этого делает какие-то выводы в будущем"
" Гогда зачем хомячить и повторять за маркетологами слова от которых нужно отнять 100, поделить на 1000 и умножить на 0, потому что вы явно заявляете в статье, что нужно больше инфы для моделей. "
Где я писал, что нужно идти по такому пути? Я написал, что это проблема. И если посмотрите заключение, то я прямо указываю, что есть другой путь - использование локальных моделей со специализацией :) Не надо мне приписывать додумываний :)
"И вы уже с первого абзаца начинаете подтверждать мои слова вот этой фразой: "И все чаще от разных компаний мы слышим про сильный ИИ. Но что это и стоит ли ждать его создания в ближайшее время?"
Суть в том, что вы около "научно" рассуждаете об крайне спорных маркетинговых заявлениях, поэтому тут и есть недовольство в комментариях."
Так, позвольте, уточнить. А в чем претензия? У нас нет шумихи вокруг ИИ и терминов с сильным ИИ? Есть шумиха, я дал определение что же такое сильный ИИ и далее в статье разобрал, почему же его в ближайшее время не будет. Соответственно у статьи есть тег "Мнение", и если Вы прочитаете не один абзац, а всю статью, то увидите и ответ, что же я вижу в развитии.
Так что же именно Вас смущает?
"Ну я так и не услышал ответ на это: "непонятно почему автор сравнивает человеческий мозг и несовершенные LLM модели которые с ним схожи только некоторыми концепциями, и на основе этого делает какие-то выводы в будущем"
Возможно я не увидел вопроса. LLM были приведены как один из примеров, особенно в контексте того, что именно с LLM связывают текущие проекты сильного ИИ. Опять же, принципиально LLM не отличаются от других ИИ, у них специфика в том, что они обучались на естественном языке и нам проще с ними взаимодействовать. А архитектура, глобально, не отличается. Единственные большие отличия начинаются если мы идем в нейроморфные и квантовые вычисления.
Вы абсолютно правы.
Наибольшая проблема - предварительное обучение. Дальше можно конечно оптимизировать модель по специальность. Но если мы говорим про AGI, то объем данных для предварительного обучения на текущих решениях трудно представить. Как описали тут некоторые комментаторы, у людей уже данные закончились.
И мне очень приятно Ваше видение про агентные системы. Я сам сторонник этой гипотезы. Но реализовывать их крайне трудно. Я с одним человеком пробую такой проект, но это несерьезно. Там как-только начинаешь использовать 2-3 агента для решения отдельных задач, начинаются огромные проблемы. Поэтому в своих статьях я ранее и писал, что в целом в развитии ИИ важно направление ИИ-оркестраторов, которые и будут распределять задачи между разными моделями / агентами
Спасибо большое за развернутый комментарий :)
1. «Экспоненциальный рост сложности разработки и деградация сложных моделей.»
Этот не очевидный тезис требует серьезного обоснования. И это можно не делать, так как практика это опровергает. Никакой экспоненциальной сложности при правильном выборе архитектуры нет. И о каких моделях именно идёт речь в контексте деградации?
То есть, Вы утверждаете, что создание сильного ИИ станет возможно на архитектуре и с количеством параметров равным той же GPT-3? Или эволюция от GPT-3 к GPT-4 не сопровождается ростом количества "нейронов", а рост количества нейронов не приводит к увеличению взаимосвязей? Верно я Вас понял?
2. «Недостаток данных для обучения.»
То, что вы слышали, что GPT-5 испытывает нехватку данных, вами неверно интерпретируется. LLM – это один из видов ИИ, решающий по сути ту же задачу, что и затылочная ассоциативная кора человеческого мозга – это система понятий. То, что кончились понятия, которыми оперирует человеческое познание – вполне нормально и ожидаемо. Кто говорил, что их количество бесконечно? Словарь любого языка не превышает 100 тыс. слов. Количество понятий – меньше, чем число параметров GPT-5.
То есть, мое утверждение о том, что данных недостаточно Вы опровергаете тем, что данных недостаточно? Или в чем смысл? В чем именно мой тезис неверен?
«Стоимость создания и эксплуатации. »
Стоимость создания. Пока все в рамках стандартного объема инвестиций. Эксплуатации – зависит от отрасли или сферы работы AGI. Но как правило, кожаные мешки обходятся дороже.
Интересное мнение. Тогда почему, согласно исследованиям, почти все ИИ -проекты убыточны? И та же Open AI отчитывается об убытках?
«Привязанность к ЦОДам и требовательность к вычислительным ресурсам. »
И что? Новая технология требует своей инфраструктуры. Проблема-то в чем,?
Проблема в том, что это ограниченный и уязвимый сильный ИИ. Собственно об этом и речь в статье :)
«Низкая эффективность текущих моделей по сравнению с человеческим мозгом. »
Терминологию уточните, плз. Эффективность – количество правильных результатов к совокупным издержкам. Может разговор о результативности? И как вы делаете заключение о более низкой результативности AGI, наблюдая за слабым ИИ? Странно, не находите ли?
Разговор об эффективности: количество данных и энергии на вход, для получения сопоставимого результата. Эффективность - относительная величина затрат на результат.
Если говорим о данных, то для обучения решения одной и той же задачи (условно распознавание кошки от собаки) ИИ надо "скормить" на порядки больше данных, чем для обучения.
Тоже самое для энергии. ИИ-модели текущего поколения требуют для обработки данных кратно больше энергии. На обработку 1 запроса тот же GPT-4 (который как мы с Вам уже выяснили не сильный ии) уходит до 0,5л воды на охлаждение.
Благодарю :)
То есть, Вы утверждаете, что создание сильного ИИ станет возможно на архитектуре и с количеством параметров равным той же GPT-3?
Вы меня, конечно же простите, но не процитируете, а где я такое утверждал? И чего вы так привязались к транформерам? Это архитектура, которая позволила создать определенный не плохо функционирующий элемент. Но это совсем не означает, что весь AGI должен строиться на этой технологии.
Я ответил Вам на Ваш тезис о том, что мое заявление о росте возможностей связан с ростом сложности этой системы. А трансформеры в данном случае пример. Вы говорили про разные архитектуры для решения разных задач. Да, совершенно верно, но в любом случае AGI будет задачей иного порядка, и никакая текущая архитектура не будет способна решить эту задачу простой системой.
Поясню на примере. Ок LLM — это затылочная ассоциативная кора, сделанная по технологии транформеров. Затылочная зрительная кора — машинное зрение — это свёрточные сети. Более того, ну нельзя, например, от затолченной ассоциативной коры требовать поддержания температуры тела. И тем более когнитивных действий!
Когда вы говорите об AGI то разговор идет о сложной системе, где LLM может быть лишь ее частью, и разговор может идти о разных «участках», и для каждого их них может примется своя технология. И при этом число параметров совершено не информативно. Например, в нашем проекте центр эмоциональной оценки — это вообще прямой алгоритм, то есть 0 параметров. А кто-то для своих задач модет сделать это иначе, например, применяя даже не GPT-3, а GPT-2 или иное, например TextBlob или spaCy.
Вот, собственно Вы и приводите те же аргументы, что и я. Комбинирование различных моделей приводит к усложнению системы. Мы с Вами приходим к тому, что нужен оркестр моделей на разных архитектурах. Теперь возвращаемся к исходному тезису в статье о росте сложности и росте количества точек отказа. Разве мы не об одном и том же говорим?
"Во-первых, данных недостаточно для чего?! Обязательно нужно указывать для чего именно недостаточно! Для понятийного аппарата - это нормально. Для базового обучения AGI (создания "инстинктов"; не путать с обучением его ассоциативной коры) нужны иные знания в предметной области за рамками понятийного аппарата. Например, в нашем проекте - это модели бизнес-процессов, иерархии объектов управления, и так далее. Для AGI типа Доктор Хаус - модели заболеваний и модели организма.
Более того, для AGI более важным становиться создание собственных знаний, извлекаемых из внешней среды и опыта. Это про другое!!! Это не про то, что учить LLM."
Интересный комментарий. Но опять же, ключевая задача AGI - умение ориентироваться в неопределенных ситуациях и переключаться между ними. Вы в описании начинаете уходить в специализации, что уже противоречит концепции AGI. AGI Доктор Хаус это не AGI, это уже специализированное решение, как Eliza в 1960-х.
При этом, для решения бизнес-задач Ваш подход абсолютно оправдан. Я сам сторонник такого подхода - специализированные решения, которые не будут иметь ограничений от регуляторов и экономически оправданы.
Но еще раз, это не AGI
И та же Open AI отчитывается об убытках?
А ничего, что это ограниченно коммерческая компания? То есть цель ее не заработать денег, а создать AGI. То цели быть прибыльным нет!
Совершенно верно, и об этом написано далее. Что все такие проекты не про коммерцию и финансируются из других соображений. А значит и все другие это понимают и будут ставить ограничения на развитии технологии.
По поводу всего дальнейшего. Воспримите это тоже как от приятеля с улыбкой: "Перечитайте и вникните". Одна из бед "экспертов" - снисхождение и любовь делать заключение по обрывочной информации, тех триггерах, которые их зацепили :)
Это примерно также, как я заявлю о том, что Вы ничего не поняли, на обрывке Вашего комментария о AGI Доктор Хаус. AGI в чистом не может иметь специализации, и об этом написано в начале статье. Но заметьте, я с Вами дискутирую и подсвечиваю это, спокойно разбираю, не спускаясь до снисхождения и не обесценивая Ваш опыт. Так прекрасно понимаю, что письменная коммуникация имеет ряд барьеров, а для разбора наших тезисов нужна площадка и живое общение.
Спасибо за дискуссию.
Выша трактовка AGI схожа с супер‑ИИ. Так или иначе, до супер‑ИИ разговор идет об определенной области, где данная система будет работать. И о том, как она будет работать.
AI — это узкоспециализированные задачи. AGI — общие задачи, но в определенной области. Универсальный и всеобщий AI — это уже про супер‑ ИИ. Это как с человеком. Он врач, но это не означает что с ним нельзя поговорить о бейсболе. Я рад, хоть вы не съехали в искусственное сознание.
Тимур, ну вот еще раз мы и приходим к статье.
Я поэтому в статье и указал, что я прячу под трактовкой AGI, а что под супер AI (ASI).
В остальном, мы с Вами говорим по сути об одном и том же. И Ваш подход к созданию мне Импонирует. Именно такой я и продвигаю (в тех же статьях про цифровые советники). И проблемы у нас с Вами идентичные. У нас с Вам различаются отдельные слова, но не суть :)
Было бы интересно это все обсудить вживую, так как практиков в этом направлении единицы, а стоящих материалов еще меньше. А уж материалов, которые хотелось бы обсудить и поспорить...
1870-е: Этот ваш телефон никогда не заменит посыльных.
1940-е: Это ваше телевидение никогда не заменит театр.
2020-е: Этот ваш ИИ никогда не заменит специалистов.
Интересная аллегория. Но в статье не идет речи о замене работников.
Речь о проблемах сильного ИИ.
Для замены нишевых специалистов сильный ИИ не нужен. Особенно для замены менеджеров и специалистов отделов в аппаратах управления и узких "интеллектуальных" специальностей. Там специалистов легко заменит слабый ИИ + выстраивание процессов.
Какими качествами должен обладать такой ИИ?
По опыту, далеко не все люди обладают в достаточной степени этими качествами ?
Давайте, минусуйте, кожаные мешки ?
Вопросы поднимаются актуальные, конечно, но не совсем корректные оценки по-моему. Мне это напомнило две истории.
Первая, когда в середине 19-го века дворники не справлялись с конским навозом, заполняющим улицы и кто-то очень ушлый подсчитал, что к концу века при текущем росте повозок улицы им будут завалены слоем в несколько метров. Но потом произошла смена парадигмы - появился автотранспорт и все расчёты оказались бессмысленны. Та самая сингулярность, когда люди не могут предсказать, что будет за ней.
Другой пример - из личного опыта. Где-то в конце 90-[ годов очень строгий преподаватель по конструированию ЭВМ нам очень убедительно пояснял, что текущий техпроцесс в 450 нм это уже практически предел, потому что приближается к размерам атомов, возникают всякие явления, наводки. При том, что уже тогда он был преодолён, но преподаватель, видимо, читал новости с задержкой в год или около того. Спорить с ним не стал, но запомнилось как плохо люди предсказывают возможности развития.
Нейросети и их понимание сейчас очень ограничен. Мы элементарно не знаем где хранятся абстракции. Только-только появляются такие работы. Буквально слуачно обнаружилась возможность размышлений прямо в чате и это улучшило результат. Можно утверждать, что технологии упрутся в тупик, но при таком слабом понимании процессов, помимо технологических прорывов будет масса архитектурных. Напомню, наш мозг умудряется добиваться впечатляющих результатов с временем передачи сигналов между нейронами в чудовищные миллисекунды и десятки миллисекунд! Да, в мозгу порядка 86 триллионов нейронов и если уж сравнивать с числом параметров, то нужно сравнивать число синапсов, которых в 10 тысяч раз больше. Именно они обладают силой и схожи с весом. Хотя, в биологии всё сложнее, конечно. Нейросети рано или поздно станут настолько же сложными, оставаясь на порядки более быстрыми. Да, энергоэффективность плохая, но есть исследования подключения органоидов с зачатками мозговой ткани,
Насчёт недостатка данных Сэм Альтман упоминал, что активно используются синтетические данные. В конце концов, если мы уже загрузили весь корпус знаний человека туда, то что ещё загружать? Нужно думать как более эффективно использовать то, что есть.
Экспоненциальный рост скорее воодушевляет производителей микросхем последние десятилетия. Но я бы не стал связывать рост интеллекта моделей только с ростом числа вычислений за единицу времени. Как только появится такая возможность, сами модели и будут использоваться для оптимизации как технологий, так и архитектуры, что может обеспечить экспоненциальный рост эффективности. Мы просто не можем с текущего уровня представить какие произойдут изменения, а они по сути неизбежны.
Я абсолютно с Вами согласен.
Поэтому в статье и говорю, что на текущем уровне развития. Поэтому все ожидания по ближайшему развитию AGI очень "натянуты", как мне кажется.
Нужно дождаться развития новых архитектур: которым нужно меньше данных, меньше энергии и т.д.
То что есть сейчас - разработки 30-40 летней давности и мы наблюдаем их развитие, прикладное применение. Поэтому сейчас будет временный тупик.
К сожалению эта статья хорошо ложится в понимание в контексте других статей и книги (это одна из глав). Но именно такие же тезисы в итоге привожу я, в том числе разбивая маркетинговые ожидания чуда.
Тема синтетических данных интересна. Но тут возникает вопрос:
- нет ли ошибки в них, не будет ли модель отравлена
а кто будет давать ИИ-модели обратную связь? Или мы используем обучение без подкрепления, но тогда нужна разрабатывать алгоритмы генерации синтетических данных.
Не совсем, сейчас разработки 2017-го года, когда появилась архитектура Трансформера, обеспечившая прорыв вместе с ростом вычислительных возможностей и ростом числа данных. Я как раз не думаю, что будет тупик, думаю будет ряд мощных прорывов в течение 5 лет. Сейчас производители сотни миллиардов в это вбухивают, а разговоры о триллионах идут даже. Какой может быть тупик? Даже чисто за счёт экстенсивного роста будут результаты.
Вы правы, сами трансформеры с 2010-х, сейчас появляется SSM, как конкурент трансформерам.
Но это все продолжение текущих технологий и методов обработки данных. Из того, что я знаю, радикально новое будет в квантовых и нейроморфных вычислениях.
Опять же, любая новая технология займет 10-15 лет на освоение. И как Вы правильно заметили (и я в статье написал), в ближайшие годы потребуется до триллиона долларов. Это огромные деньги, с учетом того, что пока в реальном бизнес-секторе ИИ на базе LLM не оправдывает надежд. Основное применение - машинное зрение и видеоналатика. Опять же, это мое мнение :)
Опять же, экстенсивный рост не возможен бесконечно. Текущие технологии не энергоэффективны и требуют огромного количества данных. Даже не LLM, а обычные решения. Из-за этого страдает стоимость внедрения и сроки.
Но конечно все рассудит история. В статье мое мнение :)
Сильный ИИ для меня звучит как ASI. Сверхинтеллект. AGI это просто уровень человека, но во всех областях. И GPT4 его уже достигла, а вернее его изначальная нецензурированная версия: https://arxiv.org/abs/2303.12712
Это разработчики Bing.
Самая необходимая деталь сильного ИИ - эмоции.
Если от ИИ требуется ставить цели, надо научить его хотеть
Куда пропали интереснейшие комментарии? Вернулся, чтобы перечитать, а их нет! "НЛО прилетело и опубликовало эту надпись здесь"
Сильный искусственный интеллект (AGI). Быть или не быть?