Привет, Хабр!
Помните мою прошлую статью, где я рассказывал про первую зиму искусственного интеллекта? Казалось бы, одной зимы достаточно, но в 90-х ИИ ждала вторая зима — еще более суровая. Почему это произошло и не повторятся ли ошибки снова?
Прочитав эту статью, вы узнаете: как в 90-е годы началась вторая зима ИИ и какое будущее ждет нас в ближайшие десятилетия.
Циклы истории — это спираль, а не круг. Мы возвращаемся к похожим точкам, но на другом уровне
Глава 1. Экспертные машины и компьютеры пятого поколения
На протяжении многих лет мы пытаемся создать машины, которые были бы похожи на нас. Я не хочу вдаваться в подробности мотивов: будь то желание людей избавить себя от работы или создание новой формы жизни, чтобы кричать природе: «Человек — самое великое создание на земле»; или это просто естественный процесс, и цель человечества — создать своего преемника, как, возможно, создали нас. Я не знаю. Вы можете поделиться своим мнением в комментариях.
Но вот что я могу сказать точно: после разочарований в 70-е годы, ученые временно перестали думать про AGI (универсальный ИИ) и занялись разработкой узкоспециализированных систем, которые будут помогать конкретным специалистам в определенных областях. Да, более 30 лет назад люди занимались тем же чем и мы сейчас. Такие системы назывались "экспертными". Их расцвет пришелся на 80-е годы. В это время они перешли из научных лабораторий в коммерческий сектор и практически сразу завоевали популярность.
Первой коммерческой экспертной системой была XCON, разработанная в университете Карнеги - Меллона для Digital Equipment Corporation. По оценкам, всего за 6 лет работы она сэкономила компании 40 миллионов долларов (на сегодняшний день это примерно 156 миллионов). Как не странно, это был лишь один пример. Корпорации по всем миру стали внедрять экспертные системы (прям как AI агентов сегодня) и к 1985 году они потратили эту технологию более миллиарда долларов.
Что такое экспертная система?
Вы уже догадались, что это система имитирующая способность человека принимать решения. Она была предназначена для решения сложных задач путем размышления на основе своей базы знаний, представляющей собой множество правил в формате "если - то".
Давайте разберемся на примере. Представьте, вы работаете в банке и вам необходимо решить, стоит ли выдавать кредит клиенту. На основе чего вы бы принимали решение? Скорее всего, вы бы оценили сумму кредита, финансовое положение клиента и еще n факторов. Примерно так работала экспертная система. Человек вводил необходимые параметры, а алгоритм прогонял их через множество правил-условий и выдавал конечный результат в виде максимальной суммы кредита и т.п. Удобно, правда?
Эта технология нашла применение в медицине, химии, геологии, финансах и армии. А ежегодный доход от продаж инструментальных средств разработки экспертных машин составлял 400 миллионов.
Компьютеры пятого поколения
Перенесёмся в Японию — страну восходящего солнца, в которой учёные, вдохновившись прорывом в области автоматизации в США, решили создать универсальную машину для обработки знаний — компьютер пятого поколения. Где-то мы такое уже видели. Кстати, на него было выделено 400 миллионов. В отличие от предыдущих поколений, пятое должно было:
Работать как человеческий мозг
Автоматизировать интеллектуальный труд
Использовать параллельные вычисления вместо последовательных
Напомню, что компьютер четвертого поколения выглядел примерно так:
Для своего компьютера ученые придумали специальный язык - Prolog. Он должен был быть похож на человеческий. В этом прослеживается определенная логика. Ведь мы хотим машину, которая будет думать как человек. Синтаксис Prolog выглядел примерно так:
% Факты
человек(сократ).
смертен(X) :- человек(X). % Правило: "X смертен, если X человек"
% Запрос
?- смертен(сократ). % Ответ: true.Практически человеческий язык. Вот, казалось бы, своеобразный супер ИИ, которого мы так долго ждали. Он приносит реальную коммерческую пользу и решает задачи, которые раньше были доступны только экспертам.
Глава 2. Закат
Как это обычно бывает с ИИ, что то пошло не так. Экспертные машины столкнулись с трудностями так же быстро, как и завоевали популярность. Возможно, вы уже догадались, в чем заключалась их проблема. А если нет, то посмотрите, сколько людей требовалось, чтобы пополнить базу знаний:
Эксперты, которые должны сформулировать правила
Переводчики, которые переведут их в понятный машине язык
Программисты, которые добавят их в базу знаний
Такое количество людей и действий порождает большое количество проблем:
То эксперт не может сформулировать свои мысли, а может и не хочет раскрывать свои секреты (вы бы хотели делиться своими методами?)
То инженеры не знают, как описать эти правила, чтобы они были понятны машине
То правила противоречат друг другу
Как говорится: "Один осел работает — дело идет, два осла работают — дело стоит, три осла работают — дело назад ползет ".
А как быть с творческими сферами? Попросите художника описать свои действия в виде набора правил и условий. К этому добавлялись юридические проблемы: кто несет ответственность за неправильные ответы этих систем?
Отступление: на самом деле, последняя проблема сохраняется до сих пор. Например, в медицине, где ИИ может "сам" принимать какие то решения и диагностировать заболевания, его действия проверяет квалифицированный человек. Из за такой политики ИИ нельзя применять там, где нет специалистов, например, в деревнях и т.п, где, собственно, он должен был применяться.
Таким образом, интерес к экспертным систем быстро иссяк, а к началу 90-х большинство компаний, работающих с ними, обанкротилось.
А что там с Японскими компьютерами пятого поколения?
В это время их компьютер не выдерживал конкуренции. Рынок персональных компьютеров захватывали IBM и Macintosh, которые были дешевле и универсальнее, хоть и менее производительные. Поэтому людям уже не нужно было покупать супер дорогой супер компьютер, который можно было использовать для узкого спектра задач. Ах, да. Был еще один нюанс: японцы не были сильны в электронике. Поэтому японский компьютер пятого поколения также не оправдал ожиданий, а мы, в 2025, продолжаем пользоваться четвертым.
Мнение инвесторов после очередных неудач:
"[Инвесторов] отпугивал термин "распознавание голоса", который, как и "искусственный интеллект", ассоциируется с системами, которые слишком часто не оправдывали ожиданий"Некоторые считают, что слово "робототехника" на самом деле несёт в себе негативный оттенок, который снижает шансы компании на получение финансированияВ самый разгар кризиса некоторые учёные-компьютерщики и инженеры-программисты избегали термина «искусственный интеллект», опасаясь, что их сочтут безумными мечтателями.
Мне кажется, причиной такого разочарования в первую очередь стали не слабые достижения, а слишком завышенные ожидания. Вопрос лишь в том, почему они возникают. Ответ, на мой взгляд, достаточно прост: люди (инвесторы), далёкие от мира разработки и смежных областей, даже поверхностно не понимают, как работает ИИ. Поэтому они хотят видеть быстрые и заоблачные результаты. Точно такую же картину я наблюдаю сейчас в сфере AI агентов.
Не поймите меня неправильно — мне нравится ИИ, но порой я слышу невероятные пожелания относительно его возможностей. Некоторые возразят: «Погоди, тут-то ты не прав. Раньше у людей не было таких мощностей, какие есть сейчас, поэтому у нас всё получится». Но удастся ли нам достичь очередного прорыва, просто наращивая мощности? Чтобы ответить на этот вопрос, давайте взглянем на будущее ИИ.
Глава 3. Новое время
Вернемся в 14 февраля 2019 года. Именно в этот день была представлена модель GPT-2 - одна из первых языковых моделей, которая могла генерировать связанный текст. На тот момент она имела примерно 800 миллионов параметров. Однако, через несколько месяцев была представлена старшая модель на 1.5 миллиарда параметров. Для ее обучения потребовалось 40гб текстовых данных и примерно 40 тысяч долларов. Да, сейчас эти цифры кажутся смешными, но в 2019 GPT-2 стала прорывов. При этом модель не была лишена недостатков: она не могла запоминать длинные тексты и зачастую генерировала абсурдные ответы.
Так продолжалось до 28 мая 2020 года, когда была представлена модель GPT-3. Она сохранила архитектуру GPT-2, но значительно набрала в параметрах: 175 миллиардов против 1.5. Неплохой скачок за один год. Для ее обучения потребовалось 570 гб текста, а стоимость оценивается в 4,5 миллиона. Новая модель могла решать сложные задачи и поддерживала few-shot-prompting (Кстати, в ближайшее время постараюсь опубликовать статью по prompt инжиниринг, подписывайтесь на мой канал чтобы не пропустить. Там же вы найдете много другого материала на тему ИИ).
Спустя еще 2 года появилась GPT-3.5, которая была доработанной версией своего младшего брата. Именно эта модель легла в основу ChatGPT.
К слову о ChatGPT, всего за 2 месяца он смог набрать первые 100 миллионов пользователей. Для сравнения, Google в 2011 привлек такое количество только спустя год. Конечно, нужно учитывать доступность информации в 22 и 11 годах а также пандемию, во время которой многие сидели дома и осваивали новые для себя сервисы.
После такого успеха многие страны начали запускать программы исследований в области ИИ. Сейчас свои LLM есть у Штатов, Китая, России, Эмиратов, Франции, Саудовской Аравии, Казахстана и это далеко не весь список. А число моделей с числом параметров более 100 миллиардов переваливает за десятки. При у самой большой модели GPT-4 количество параметров более триллиона.
Но зачем нам столько моделей и как понять, какая из них лучше?
Для этого нужно обратиться к трендам последних лет, а именно - к метрикам эффективности. За 20 лет они так же претерпели значительные изменения. От простого сравнения n-грамм в 00-х до нейросетивых метрик в 2015 и современных метрик, ориентированных на многозадачность. Я не буду подробно углубляться в их устройство. Просто скажу, что сейчас модели проверяют на:
точность
галлюцинации
логику
токсичность
этику
и т.д.
Для этих целей были созданы специальные платформы, например, Chatbot Arena, где модели соревнуются в режиме слепого тестирования. Пользователь задаёт вопрос, получает ответы от двух моделей, а затем выбирает наиболее понравившийся. На ней вы можете найти рейтинг моделей и их сравнение.
Глава 4. Будущее
Погорим о том что нас ждем в ближайшие годы. А ждет нас не мало. Будь то роботы Optimus Илона Маска, которые уже в 26 году должны полететь к марсу или AGI, который упоминается в одном из исследований бывшего сотрудника OpenAi.
2025
Помните рекламу агентов от OpenAI в конце 2024 года, где демонстрировалась возможность заказа авиабилетов или доставки из магазина? 2025 год действительно проходит под эгидой ИИ-агентов — систем, призванных частично или полностью заменить человека в рутинных задачах или хотя бы ускорить работу.
Однако таких универсальных помощников мы до сих пор не увидели. Оказалось, что создать безопасное взаимодействие между различными сервисами не так-то просто. Да и сами модели пока далеки от совершенства: они периодически "сходят с ума", выдавая неожиданные результаты.
Вместо обещанных универсальных решений мы наблюдаем узкоспециализированных агентов — они редактируют код, автоматизируют разметку данных или работают в call-центрах. Здесь я хочу сделать оговорку. Буквально во время написания этой статьи OpenAi представили ChatGPT Agent, который, судя по презентации, сможет купить билет на самолет и забронировать номер. Здесь я хочу сделать оговорку. Буквально во время написания этой статьи OpenAi представили ChatGPT Agent, который, судя по презентации, сможет купить билет на самолет и забронировать номер.
Давайте посмотрим на прогнозы.
По прогнозу Kokotajlo (бывший сотрудник OpenAi) к концу года мы увидим самый дорогой ИИ в мире. Он использует вымышленное название OpenBrain для компании, которая строит центры обработки данных, с помощью которых она сможет обучить самую большую модель под псевдонимом Agent-1
К сожалению, это не GPT-5, которую показали несколько дней назад. Но, возможно, это будет Grock-5, которую пообещал Илон, кто знает?
2026
Начало 2026: Модель Agent - 1 слишком дорогая в использовании. Инженеры изучают ее поведение и когнитивные способности. Также ее используют для ускорения разработки. При этом все работы держатся в секрете, чтобы они не попали к Китаю.
Середина 2026: Китай просыпается. Правительство национализирует все компании, работающие в области ИИ, чтобы создать свой AGI. Помимо этого, Kokotajlo предполагает, что Китай может украсть Agent-1 у штатов.
Конец 2026: ИИ отнимает часть рабочих мест. Именно к концу 26-го года прогнозируется создание действительно полезных агентов, которые смогут заменить человека во многих областях. Также авторы прогнозируют очередной скачок, который сравнивают с появлением смартфонов и социальных сетей.
2027
Сценарии на 2027 год расходятся: от глобального регулирования ИИ до восстания машин. Поэтому я хочу остановиться на 2026 годе и посмотреть на прогнозы других участников гонки.
Прогнозы других участников
Например, NVIDIA также позиционирует 2025-2026 годы как эру ИИ-агентов. Однако здесь мнения расходятся: в отличие от многих, NVIDIA, как и Илон Маск, считает, что будущее принадлежит роботизированным системам, а текущая архитектура языковых моделей исчерпала свой потенциал. Ведь только обладая пониманием физических законов и явлений, искусственный интеллект сможет приблизиться к человеческому уровню.
Именно поэтому параллельно с языковыми моделями активно развиваются робототехнические решения. Достаточно вспомнить тех же Optimus, которые, согласно планам, в ближайшие годы должны принять участие в колонизации Марса.
А что за суперкомпания, которая должна будет создавать AGI?
Может быть, это и есть проект StarGate - он же космический врата, который представляет собой гигантскую сеть дата-центров и на который будет выделено пол триллиона долларов?
Кто будет руководить проектом пока неизвестно. Ключевыми инвесторами выступают OpenAI, Oracle и SoftBank, владеющие долями в независимой компании Stargate LLC. Примечательно, что у этой организации нет ни генерального директора, ни совета директоров.
Однако не все разделяют оптимизм по поводу данной инициативы. Глава Alibaba Джо Цай открыто называет масштабное строительство дата-центров "огромным мыльным пузырём". Эта позиция уже нашла отклик в действиях крупных игроков: Amazon и Microsoft свернули часть своих аналогичных проектов. Даже Сэм Альтман стал сомневаться в необходимости большого количества вычислительных мощностей, при учете повышения эффективности.
Реакция Китая
Обратимся к Китаю. Ожидаемо, он не осталась в стороне. В ответ на проект Stargate китайские власти анонсировали собственный план- "AI Industry Development Action Plan", направленный на комплексное развитие ИИ-инфраструктуры и сервисов. На его реализацию в течение следующих пяти лет планируется выделить около 138 миллиардов долларов. Однако, в отличие от западных коллег, Китай предпочитает не раскрывать детали своей стратегии.
Заключение
С начала года я не заметил какого либо значительного прогресса в развитии LLM. Языковые модели сохраняют свои старые проблемы:
Галлюцинации
Потеря контекста
Как мы могли убедиться, простое наращивание параметров и объёмов обучающих данных не решают фундаментальных проблем. Это подводит нас к ключевому вопросу: какие пути развития видятся наиболее перспективными?
Фундаментальные изменения. Скорее всего, мы увидим новую архитектуру LLM, которая будет иначе работать с памятью и механизмом внимания. Без таких изменений бессмысленно увеличивать количество параметров и объём обучающей выборки.
Переход к специализированным моделям. Возможно, нам снова не хватит ресурсов, в связи с чем компаниям придётся сосредоточиться на небольших моделях (100 миллиардов параметров), которые будут заточены под свои области.
Стагнация в областях, связанных с LLM, и развитие в робототехнике. Возможно, NVIDIA и Илон правы, и нам нужно переходить к следующему шагу - обучению гуманоидов.
На этом у меня все. Более развернутое мнение и другие мысли и статьи на счет ИИ вы можете найти в моем канале, подписывайтесь, чтобы идти в ногу со временем. Также обязательно поделитесь своим мнением в комментариях!
Спасибо за прочтение!
