Небольшое эссе на тему того, почему сообществу разработчиков надо по максиму вкладываться в LLM, которые будут свободны от корпорации и государств.
Свою лепту должны внести и ML-исследователи и схемотехники, притом вторые могут быть более важны, ибо от попрания монополий NVIDIA зависит, смогут ли юзеры запускать передовые LLM на персональном железе.
Текст не нарушает действующее законодательство юрисдикции РФ, но он все равно очень политизированный, особенно в первых главах. Имейте это ввиду.
Корпоративный ИИ по умолчанию будет закрытым и неподотчетным никому
На днях, почти одновременно с релизом Fable 5, владелец Антропик Дарио Амадей выпустил статью "Policy on the AI Exponential", где рассуждал о том, что делать миру с мощными системами на основе ИИ, все главы кроме первой содержат вполне здравые предложения, по крайне мере они обсуждаемы, они тут рассмотрены не будут, но самая соль здесь в самой первой главе.
В первой главе фактически он предлагает ввести систему, при которой государство в обязательном порядке должно лицензировать передовые (по кол-ву вычислений) ИИ и даже запрещать выход таких моделей, которые не будут считаться безопасными для общества.
Фактически повторяется как мир история, большой корп хочет зарегулировать рынок, чтобы малые компании не мешали ей зарабатывать горы денег, все, разумеется, под благовидными предлогами.
И дело не в том, что Амадей какой-то злодей. Он просто предприниматель, который хочет заработать как можно больше денег, любая крупная корпорация не хотела бы допускать малые компании к "кормушке" в своей сфере, Антропик просто заявляет об этом открыто, только и всего.
Фактически AI-Big-Tech хочет будущее, где все остальные не ИИ-компании являются их крепостными, и смертельно зависят от поставок интеллекта через API Антропик (или OpenAI, или Google, и т.д). Фактически у них будет в руках вся выручка этих компании, без них вся экономика фактически рассыпется в прах.
Фактически будет нео-феодальная система, где мы, обычные люди, будем находится на самой низшей ступени этой сформированной социальной лестницы, а на высшей ступени будут сращенные с государством корпорации.
Технологическая независимость для человека, а не для стационарного бандита
Но перенесемся за океан, и посмотрим, что происходит в Поднебесной. А там для ИИ-энтузиаста есть много чего интересного, за последние полгода китайский бигтех просто наводнил рынок мощными open-source LLM моделями рынок, что разумеется хорошо и приветствуется.
Но давайте подумаем, с чего китайскому правительству, а именно он де-факто курирует весь ИИ-сектор в КНР, так усиленно и интенсивно продвигать эту сферу? Для экономического доминирования? Думаю это важный фактор, но главная причина думаю в другом - в стабильности режима и тотальном контроле.
Китайские власти уже активно используют ИИ для соц.рейтинга и слежки за населением, а множество других применений просто остается за кадром из-за закрытости китайских силовых ведомств. Китайское правительство хочет выстроить систему, где никакое сопротивление невозможно по определению.
Но к этому стремятся не только последователи Конфуция. Многие другие страны, в том числе в Европе, тоже постепенно начинают закручивать гайки и ограничивать интернет.
Но думаю больше всего вы наслышаны об очень активных действиях конкретного правительства, и даже лицезрели их воочию, не буду указывать пальцем, чтобы случайно не задеть чьи-то чувства, но думаю вы сами все поймете. Находится это правительство в северном полушарий. ;)
Все эти персонажи будут безмерно рады, если в их руках окажется крайне мощный и продвинутый ИИ, который мог бы заранее выявлять несогласных, следить за ними и репрессировать.
Именно к такому будущему они сейчас и стремятся. А вы вот лично его хотите? Или спрошу по иному, вам вообще нравится куда ушел мир за последние 4 года вследствие известных событий? А увели мир туда современные государства. И такой мрак они устраивают без особых технических приблуд. А что будет, если в их руках окажется продвинутый ИИ?
Чтобы избежать максимизатора скрепок, нам нужны тысячи глаз, а не закрытая лаборатория
Но проблема не только в том, что сращенные вместе государства и корпорации экранизируют нам всем 1984. Это очень плохой сценарий. А есть сценарий катастрофический.
Всем наверное известен мысленный эксперимент про максимизатора скрепок. Он описывает такую ситуацию, когда у нас ровно один ИИ-монополист, у которого при этом содержаться критические баги в поведений, который приводит к тому, что при простой задаче "улучши производство скрепок", он истребляет человечество, и застраивает заводами для производства скрепок Землю, а потом и всю солнечную систему.
Ситуация звучит абсурдной, и она таковой и является, но она подчеркивает одну важную вещь - ИИ это не личность в человеческом смысле, а очень мощная программа, и как все программы она может иметь баги, но в случае крайне мощной интеллектуальной системы эти баги могут приводить к катастрофическим последствиям для окружающих, если не для человечества в принципе.
И такие люди, как Илья Цуцвекер, Амадей, Альтман и прочие шишки из AI-Tech пытаются убедить нас в том, что передовыми LLM должны заниматься исключительно закрытые лабораторий. Если нас уж ждет сценарий фильма Терминатор, то именно при таком устройстве.
Но есть альтернатива. Когда мощный ИИ не принадлежит закрытым частным или правительственным лабораториям, а всему глобальному сообществу разработчиков, которые могли бы разрабатывать и чинить его так же, как уже два десятилетия развивают ядро Linux.
Я не отрицаю что такой сценарий может вызвать беспрецедентную политическую и экономическую нестабильность, но для меня такое будущее гораздо более предпочтительно, чем мир из 1984 или фильма Терминатор.
Главное узкое горлышко будущего — память и пропускная способность
Теперь давайте подумаем над тем, как описанного выше прекрасного будущего можно было бы избежать. Стоит упомянуть тему, которая почти не поднимается даже среди независимых ИИ-исследователей, выступающих за опен-сурс - это схемотехника.
Всем (или почти всем) известно, что LLM преимущественно обучаются и работают на графических процессорах, а на рынке GPU сейчас монополистом фактически является NVIDIA, которая мало заинтересована в том, чтобы крупные LLM выполнялись на дешевом железе.
Многие люди любят сравнивать энергоэффективность кожаных мешков и LLM, но при таких сравнениях забывают одну деталь - сами трансформеры не требуют выполнений их целиком, и вполне могут вычисляться разреженно по необходимости, с SSD-диска к примеру. Но упирается это в узкое место шин данных, которые будут вынуждены перегонять туда сюда огромное количество данных. Но это схемотехническая проблема, а не проблема самих LLM и их архитектуры.
Поэтому и нужны специалисты, разбирающиеся в схемотехнике и FPGA, которые могли бы внести лепту в опенсурс сегмент GPU. Именно эти люди могут сделать LLM по настоящему доступной технологией, кроме них заниматься этим больше некому, NVIDIA в таком будущем не заинтересована точно.
Нужны новые архитектуры и подходы, а не терра-флопсы
Считается, что для реально полезных языковых моделей нужны триллионы параметров, но так ли это? Недавний релиз Gemma-4-12 и 24b от Google в опенсурс показывает, что это может быть не так, модели демонстрируют удивительную способность к агентным задачам для своего размера.
Вполне возможно, для того чтобы иметь возможность хорошо логически рассуждать модели не требуется сотни миллиардов параметров, а знание фактов можно подтянуть через RAG-системы, которые сейчас активно развиваются.
Так же можно подумать насчет того, как нам можно было бы улучшить саму архитектуру трансформеров. Это наиболее тяжелая для понимания область, но она и хранит в себе, возможно, самые мощные прорывы.
LLM сейчас это как ранний интернет, и это наш шанс
LLM как технология сейчас напоминает ранний интернет начала 90-ых, многие уже понимают что эта технология может изменить мир, но при этом мало кто понимает как эту технологию правильно использовать и где. Собственно, пузырь доткомов и пузырь ИИ подозрительно похожи по своей динамике.
Именно ранний интернет был золотым временем для хакеров и энтузиастов, часть из которых прямым образом участвовали в формирований нового технологического порядка.
Но в случае ИИ ставки гораздо выше. Фактически у нас выбор между 1984 или даже исчезновением людей как вида, и децентрализованным ИИ, где эта мощная технология принадлежит всем, а не узкой прослойке элит.
И сырость технологии как раз и позволяет вносить энтузиастам свою лепту в развитие сферы, чтобы она двигалась в сторону де-централизации, а не наоборот.
Собственно, это конец статьи. До новых встреч!
