Дед забыл выпить таблетки и понеслось... Итак - давайте представим что мы находимся в далеком и светлом будущем в котором есть супер-МРТ которое может сделать снэпшот любого куска пространства на уровне атомов (ну или глубже), энергия, спины - вот это вот все. И раз уж мы в будущем, то у нас определенно есть супер кампуктер который может запустить симуляцию куска мира из этого самого снэпшота.
Эксперимент: Олег и случайное число. Берем условного Олега и садим его в полностью изолированную комнату. Дополнительно к этому вырубаем Олегу чувствительность какой-нибудь супер таблеткой - мозг полностью изолирован от внешнего воздействия. Просим Васю подумать 10 секунд и назвать любое случайное число (не важно как мы коммуницируем с изолированным мозгом Олега - не надо душнить). В тот же самый момент снимаем снэпшот мозга и запускаем симуляцию. Что будет через 10 секунд? Очевидно Олег и симуляция выдадут одинаковые ответы? Любые квантовые эффекты и прочие случайности мы не принимаем в рассчет - считаем что в будущем со всем разобрались и нашли все зависимости.
Далее мы повторяем эксперимент. Но кампуктер запускаем на полную мощность - так что он выдает результат практически мгновенно - 42. Через 10 секунд Олег выдает нам те же 42.
Получается что ответ уже есть в мозге на момент задания вопроса, а возможность что-то решить лишь иллюзия.
Более того - то самое текущее состояние мозга - оно тоже не ваше. Оно сформировано другими "нейросетями" в виде родителей и окружения + случайными событиями, которые тоже не случайны.
Вся история уже написана - мы лишь зрители которые смотрят сезон за сезоном этот сериал.
Английскому языку также, отчасти, присуще подобное явление, однако оно затрагивает только произношение, а не написание:
psychology /saɪˈkɒl.ə.d͡ʒɪ/
pterodactyl /ˌtɛɹəˈdæktɪl/
pneumatic /n(j)uːˈmæ.tɪk/
Праиндоевропейскому языку (а в месте с ним и русскому как его далёкому потомку) характерно расширение (или более по-научному - деривативное усложнение) корней, например:
Читает ли кто-нибудь в современном мире диссертации или это считаетеся какой-то фигней чтобы поставить галочку? Вспомним что вся цифровая электроника, все айфоны, интернет-роутеры и ИИ-ускорители - построены на двух диссертациях: 1) магистерской диссертации Клода Шеннона, который в 1937 году повысил уровень абстракции проектировщиков с переключателей (на основе реле и ламп) до булевской логики и/или/не и 2) диссертации 1954 года Дэвида Хаффмана в MIT, который обобщил более ранние потуги и сформулировал модель Хоффмана для последовательностной логики: комбинационное облако вычисляет следующие значения элементов состояния (сейчас это в 99+% случаев D-триггеры), которые записываются по фронту тактового сигнала.
У истории были альтернативные ветки (например электроника могла бы строится на C-элементах Мюллера), но в нашей параллельной вселенной они не прижились.
SpaceX Dragon поднял орбиту МКС почти на 2 км — российский Прогресс останется без работы?
Грузовая версия корабля Dragon подняла орбиту МКС на 1,8 км. Раньше на это был способен только российский «Прогресс», и разочек почти то же самое сделал Cygnus. Илон Маск отберёт функцию по маневрированию МКС у России?
МКС — самый большой и самый тяжёлый рукотворный объект в космосе. Высота её орбиты около 420 км, но даже на этой высоте есть атмосфера, которая понемногу тормозит станцию, поэтому периодически её поднимают. Законы орбитальной механики таковы, что для этого выгодно станцию толкать не снизу, а сзади — если смотреть по ходу полёта станции. Как раз в этой части находится модуль «Звезда» с двигателями, которые уводят станцию от космического мусора и поднимают орбиту при необходимости. Топливо в модуль «Звезда» перекачивается с российских грузовых кораблей «Прогресс», а если остаётся запас, корабли сами толкают станцию и за 7–10 минут увеличивают её среднюю высоту на 1,5–2 километра.
Теперь понятно, что NASA несколько приукрасило возможности SpaceX. Места стыковки Dragon — в передней части станции. Вряд ли её разворачивали целиком ради маневра, скорее «повернули» на 90 градусов. Чтобы сохранять устойчивость 100-метровой конструкции в нерасчётном положении, надо было «подруливать» — делать это способны были только двигатели «Звезды» на другом конце станции. Так что без российского сегмента пока не обойтись.
Двигатели SpaceX отработали всего 5 минут, чего явно не хватило бы для поднятия средней высоты МКС на 1,8 км. Так что это было сделано только по одной из осей эллиптической орбиты. Если проще, высота подъёма была раза в 1,5 меньше, чем у «Прогресса».
Наконец, для подъёма использовались не собственные двигатели Dragon, а две дополнительные установки в негерметичном отсеке корабля. Из-за них корабль привёз на МКС в 1,5 раза меньше грузов, чем обычно.
Кажется, что смысла в коррекции орбиты SpaceX Dragon немного. Посмотрим на два шага вперёд. К 2031 году планируется свести МКС с орбиты, что обойдётся NASA примерно в 1 млрд долл. Чтобы не отдавать эту работу российским «Прогрессам», американское аэрокосмическое агентство пообещало её SpaceX, и последняя разрабатывает мощную версию Super Drago, чтобы тремя кораблями затормозить МКС и «уронить» в океан. Чтобы создать такую модификацию, SpaceX и пригодятся данные текущего эксперимента с увеличением высоты МКС. Благо, что со стыковкой в передней части станции SpaceX даже удобнее будет тормозить станцию, чем сейчас — разгонять.
«Техническая эстетика» — легендарный советский журнал (1964–1992), один из самых самобытных и недооцененных проектов эпохи. Он стал каноном дизайн-мышления для СССР, выходя далеко за рамки прикладного формообразования.
Это было не про, как красиво покрасить трактор. Это была настоящая революция в мышлении с принципом «дизайн = наука».
Здесь впервые серьезно заговорили, что стул — это не просто доска на ножках, а еще и эргономика, материалы, психология комфорта. Как форма чайника влияет на наше настроение? Журнал знал ответ, как сделать мир не просто красивым, а умным, удобным, человечным.
Он поднимал темы, о которых молчали. Как жить среди серых панелек? Можно ли впихнуть красоту в плановую экономику? Это было непривычно и дерзко.
А лично меня зацепила концепция универсальности одного элемента что для автомобиля, что для кухонного гарнитура. Все по Папанику и ТРИЗ
Андрей Бурков — канадский специалист по машинному обучению из Квебека. Он руководил командами машинного обучения в Gartner и TalentNeuron, много лет возится с обработкой естественного языка, а прославился «The Hundred-Page Machine Learning Book», компактным учебником, который разошёлся по университетским курсам. В 2024—2025 годах он выпустил продолжение — «The Hundred-Page Language Models Book», где объясняет путь от простых счётных моделей и свёрточным нейросетям к трансформерам и БЯМ.
Впрочем, Бурков не просто повис где-то в сухой академии и написании учебников — он активно ведёт микроблог в X. Тон его микроблога и интервью легко узнать: он любит сбивать хайп и говорить про реальные ограничения моделей. Давайте хотя бы посмотрим, как озаглавлены его недавние беседы: «БЯМ — полезные лжецы» и «Вокруг БЯМ и агентов слишком много хайпа». По его мнению, большие языковые модели полезны, но склонны обещать больше, чем могут, а агенты без аккуратной инженерии разваливаются на форматировании, таксономиях и хрупких пайплайнах.
Аналогично скептичен и недавний твит Буркова. Андрей язвительно приводит следующее остроумное наблюдение: «БЯМ дообучили врать почти во всех ответах по написанию кода». Исследователь обратил внимание, что когда генерируется ответ, сначала модель торжественно выдаёт в тексте «я реализовал такую-то фичу», а сам код рождается позже — токен за токеном. По сути, БЯМ врёт, она ещё не написала никакого кода.
Однако в комментарии пришёл не менее маститый исследователь искусственного интеллекта Андрей Карпатый со своей фирменной иронией. Карпатый — один из одиннадцати основателей OpenAI, он возглавлял компьютерное зрение в Tesla и просто преподавал культовый курс CS231n.
Карпатый с юмором пишет: «Код был написан на слоях 22–30 и хранится в value-активациях, ты просто не можешь его прочитать. Мне кажется, тебе нужно извиниться перед БЯМ».
На самом деле шутка не на пустом месте: в трансформерах мысли о продолжении действительно заранее складываются в активациях, а суммарная память шага течёт по так называемому residual stream. Модули внимания и многослойные перцептроны читают из него и записывают обратно векторы, которые затем превращаются в следующий токен. До того как вывести первую строку функции, модель уже набрала внутренний, так сказать, замысел будущего кода, хотя это не готовый текст, а распределённые признаки будущего ответа.
Германский умлаут и славянская третья палатализация Кто интересовался историей славянских языков (в частности праславянским), тот наверняка слышал, что современные буквы ъ и ь ранее обозначали звуки ŭи ĭ, сравните, например древнерусское мьзда, стькло и готское mizdo, stikls или древнерусское кънѧзь и финское kuningas. При этом вследствие третьей палатализации «твёрдый знак» мог переходить в «мягкий», например (в дореформенной орфографии) другиня другъ, но княгиня князь. Причиной палатальной перегласовки в данном случае является наличие в слове князь буквы «я», которая как некоторые любознательные читатели, наверное, уже слышали, может переходить в «ин» размять разминать, распять распинать, ну а «и» может переходить в «ь» липнуть, но льнуть (сравните капать / кануть). Иными словами, тем самым фактором из-за которого отражавшийся ранее на конце слов «ъ» перешёл в слове князь в «ь» является засевший в корне ещё один ерь «ь» «сингармонически» уподобляющий идущие за ним гласные себе. Такое уподобление называется прогрессивным.
Теперь же плавно перейдём к умляуту в германских языках по-иному именуемому i-mutation. Сравним, например английское full полный и fill наполнять. Возвращаясь к означенному в самом начале статьи можно заметить некую аналогию и она действительно есть ...
Германское "c" соответствует русскому "г" по Закону Гримма
Германское "k" соответствует ассимилированному "n" по Закону Клюге, присутствующему в значительном числе случаев в германских языках, но отсутствующему в русском, сравните древнескандинавское laun лов, vagn воз
НАСА сообщило, что число подтверждённых экзопланет достигло 6000. Данные предоставили специалисты Института экзопланетных исследований НАСА (NExScI), расположенным в Калифорнийском технологическом институте. 30 лет назад была открыта первая экзопланета у звезды, похожей на наше Солнце. 3 года назад было подтверждено 5000 экзопланет.
«Эта веха — результат десятилетий космических исследований, осуществляемых с помощью космических телескопов НАСА, которые полностью изменили представление человечества о ночном небе. Шаг за шагом, от открытия к характеристике, миссии НАСА заложили основу для ответа на фундаментальный вопрос: одиноки ли мы?», — заявил исполняющий обязанности директора отдела астрофизики штаб-квартиры НАСА в Вашингтоне Шон Домагал-Голдман.
Конкурс open source проектов, которые способны изменить мир 🌏🖥️
Зовем вас на «Код без границ» — грантовую программу для развития open source проектов, которую совместно с Cloud.ru и Хабром подготовили GitVerse. Поделитесь своими разработками на GitVerse, получите шанс выиграть 💸💸💸 и получить поддержку в масштабировании идеи.
Номинации конкурса:
AI-инновации.
Наука и образование без границ.
Для всех и каждого (приложения и сервисы).
Разработка для разработчиков — инструменты и библиотеки.
Как участвовать? Рассказываем:
Разместите репозиторий вашего проекта на GitVerse или импортируйте его с другой git-площадки.
Подайте заявку до 31 октября. В ней должна быть ссылка на уже размещенный конкурсный проект.
Подождите, пока жюри — опытные спецы из СберТеха (GitVerse), Сбера, Cloud.ru и лидеры отрасли — посмотрят работы и выберут финалистов.
Узнайте результаты в декабре.
Что по призам и плюшкам?
Гранты 150, 100 и 50 тысяч рублей — для первого, второго и третьего места.
Облачные ресурсы Cloud.ru для реализации ваших масштабных идей.
Помощь с масштабированием проекта, поддержка экспертов и нетворкинг.
Регистрируйтесь, принимайте участие и покажите силу открытого кода 💪
Недавно у нас в университете ИТМО прошел форсайт, посвященный видению развития отдельных направлений искусственного интеллекта на ближайшее будущее. Были приглашены эксперты из Индии и Китая, которые рассказали о развивающихся в их странах направлениях ИИ. В том числе выступали и наши эксперты.
Мне тоже удалось выступить. Я рассказывал о временных рядах, а именно о «изощренных» методах их прогнозирования и генерации на основе физически-информированных нейронных сетей. По этому поводу можно обратиться к другим моим статьям на хабре или в блоге.
Вот к каким трем основным направлениям развития ИИ в ближайшие 5-10 лет пришло большинство экспертов:
1.Вопросы эффективности. Развитие современных методов активно порождает вопросы эффективности как программного обеспечения, так и аппаратного обеспечения («железа»). Сейчас создают очень большие модели, для обучения которых требуются тысячи видеокарт. Для инференса этих моделей требуется меньше ресурсов, но это все равно затратно. Сейчас, например, актуальны методы квантизации больших моделей. В этой области ведется много исследований. Также ученые ищут подходы к более эффективному использованию железа, например, как оптимальнее оркестрировать поток задач.
2. Биологически правдоподобные модели. Вторым направлением можно выделить построение новых моделей машинного обучения на основе принципов работы биологических нейронных сетей. Наш мозг очень эффективно обрабатывает входящую информацию: в каждый момент времени активируются не все нейроны сразу, а только те, которые нужны для текущей задачи. Кстати, если бы работали все нейроны одновременно, то в голове возник бы шум, и мы не смогли бы сконцентрироваться на чем-то одном.
А в классических нейронных сетях все не так — там задействуются все нейроны одновременно. Исключением являются модели Mixture of Experts (смесь экспертов). Их принцип работы можно вообразить так: представьте, что вы задаете нейронной сети вопрос по математике. Очевидно, что в данный момент не нужно задействовать знания по биологии, истории и т.д. В MoE есть специальный блок — маршрутизатор (router) — который отвечает за перенаправление запроса к тому или иному «эксперту». Конечно, он может направить запрос сразу к нескольким экспертам, если вопрос затрагивает разные области знаний.
На практике нет такого явного тематического разделения экспертов, обычно они подбираются и обучаются самостоятельно для наилучшей генерации той или иной последовательности. И обычно эксперты активируются не для всего запроса целиком, а для отдельных токенов (например, слов) внутри этого запроса.
В общем, направление верное, собственно все чат боты сегодня строят на этой архитектуре. Однако в реальном биологическом мозге эта система представляет собой гораздо более сложную структуру. В мозге взрослого человека около 86 миллиардов нейронов и на каждом нейроне может быть от 5 до 10 тысяч синаптических связей. Как можно понять, плотность связей в нашем мозге чрезвычайно высока.
3.Фундаментальные мультимодальные модели и новая математика.
Наконец, последнее направление связано с созданием не просто языковых моделей, а фундаментальных моделей, работающих с разными модальностями (типами данных). На самом деле, любую информацию можно свести к языку — даже математические формулы можно просто описать словами. Однако в этом направлении предлагается переосмыслить текущие подходы и развивать модели с новой математикой для описания этих различных модальностей.
Также до сих пор нет единого математического обоснования нейронных сетей, лишь отдельные области и лишь отдельная математика. А когда будет единая теория не ясно.
В общем, есть куда двигаться. А как вы считаете какие направления появятся или переосмыслят в ближайшее 5-10 лет? Пишите комментарии, будет интересно почитать.
На сайте SpaceX стало возможно купить место для своей нагрузки в полёт на Falcon 9. Нужно ввести массу своего спутника, выбрать следующий рейс на нужную орбиту из предложенных, а также дополнительные опции, например, габаритный адаптер, дополнительное топливо или страховку. Теперь билет в космос покупается так же просто, как авиабилет. Оплатить можно картами Visa, MasterCard и American Express.
iPhone 15 Pro пережил падение с высоты в 2000 метров. Смартфон выпал у пользователям во время прыжка с парашютом. Устройство приземлилось в кусты без повреждений. Смартфон нашёлся хозяином через «Локатор».
Один из нарративов, который часто транслируется в различных формах — что ИИ закрывает вход в профессию программиста: компании якобы перестали нанимать джунов, потому что задачи начального уровня теперь дешевле отдать большим языковым моделям. На Хабре как раз вышла статья, где объясняется отчёт за авторством Stanford Digital Economy Lab.
Автор статьи пересказывает суть отчёта: на рынке происходят сдвиги в найме молодых специалистов после 2023 года, и прежде всего в ролях с высокой долей рутинных, воспроизводимых процедур. В качестве объяснения предлагается различие между «явными» знаниями, которые БЯМ воспроизводят хорошо, и «неявными» компетенциями, присущими более опытным сотрудникам. Утверждается, что поэтому компании реже берут джунов, не сокращая мидлов и сеньоров, что деформирует привычную карьерную лестницу.
При всём уважении к личности автора хочется вынести собственный комментарий из пространства под этой статьёй в отдельную публикацию для раздела «Посты». Сразу предупреждаю, что отчёт американский, поэтому обсуждать будем заокеанские биопроблемы.
Большинство подобных прогнозов удобным для себя образом умалчивают: кончился период вливания денег в экономику во время глобальной пандемии коронавируса. Три года назад денег было навалом, на работу брали любого человека с пульсом, сейчас лафа кончилась. Изобретать всемогущий ИИ для объяснения не приходится, если есть фискальная политика Федрезерва США.
Дополнительно это умножается на эффект того, что образовательные институты наконец-то нарожали достаточно молодых специалистов с корочками computer science, как это годами и умоляли сделать в индустрии. И вот тут они как раз невовремя — девать вагоны этих джунов теперь некуда.
И упаси вас господь наглядно показать, что по сей момент число работников в крупных технологических компаниях раза в полтора выше, чем до пандемии. Посмотрите, в «Гугле» образца 2024 года работает в полтора раза больше человек, чем было в 2019.
Число сотрудников Google. Коррекция произошла, но эффектов массовой автоматизации не наблюдается. Ну или она как минимум не такая массовая, как нам обещали. Statista
И кстати, что же случилось в 2013 году? (Реструктуризация Motorola и масштабные чистки в Motorola Mobility). Неужто никакой ИИ не нужен для массовых увольнений, а сокращения штата могут быть продиктованы экономикой и банальными интересами бизнеса?
Нарратив «это я, а этого автоматизируем» уже не удовлетворяет ситуации. Дарио Амодей заявил, что через 6 месяцев 90 % кода будет писать ИИ. Сделал он в марте этого года. Вот уже сентябрь — и языковые модели разве что щупают потолок своих возможностей, но не пробивают его.
Одна из последних надежд США обойти Китай экономически — это надежда на всемогущий ИИ. Отказываться от вливаний в ИИ нельзя ни под каким соусом. Поэтому новый подсознательный нарратив гласит, что пострадают в первую очередь джуны, а потом и вам достанется.
Это ведь научная деятельность так выглядит: мы изобретаем красивые сказки, и чья звучит лучше, в ту и верим. Если непонятно, то говорю прямым текстом: меня эти выводы из чьих-то отчётов про незанятых джунов не устраивают абсолютно. В очередной раз попытка придумать красивое объяснение и истолковать статистику объяснениями про ИИ, а не общими экономическими условиями. Эффект от больших языковых моделей может и есть, но почему все аккуратно молчат про макроэкономическую ситуацию в целом?
Есть объяснение куда лучше: общее уменьшение всех экономических показателей везде и непредсказуемая деятельность человека на посту президента США. Выбранный нами на Госуслугах Трамп то вводит какие-то новые огромные таможенные сборы, то убирает; то заявляет об их исключительно экономической природе, то внезапно начинает тарифами играть в геополитику; то чуть ли не бросается в пляс, то прямо сейчас не появляется на публике.
Политическая непредсказуемость — поцелуй смерти для любой стабильной экономической деятельности. Ненайм джунов — прямое следствие нестабильности в экономической политике США. Нет абсолютно ничего удивительного в том, что в такой штормоопасной ситуации американские технологические компании не спешат нанимать молодых разработчиков. Это не ИИ, а экономика.
История одного изобретателя: в 57 лет пошёл в магистратуру, чтобы запатентовать ИИ-экосистему
Ну что ж, обещанная мной статья не прошла песочницу, так что выложу часть в виде поста. Спасибо минусовщикам и равнодушным – дай бог вам всем здоровья, добрые люди!
Итак, ещё раз: меня зовут Фёдор Марьясов. Я студент и… независимый изобретатель. Эта история не про быстрые деньги, а про идеи и защиту интеллектуального актива, который может принести большую пользу стране и человечеству. История про то, как одиночка, не имеющий на старте ничего, отчаянно пытается победить систему и прорваться за горизонт.
Очередной раз став студентом, за последние полгода я разработал и подал в Роспатент более 30 патентных заявок. Некоторые из них имеют фундаментальный, прорывной характер. И это не отдельные изобретения, а целостная ИИ-экосистема для развития человеческого потенциала.
Одно из ядер — принципиально новый подход к адаптивному обучению: система, которая понимает когнитивное состояние человека (усталость, концентрацию) и подстраивает под него весь учебный процесс. Но это лишь первая область применения. Заложенные методы универсальны и формируют фундамент для аналогичных систем в других областях: когнитивная инженерия, управление персоналом, предотвращение выгорания, технологии для медицины будущего (долголетие, омоложение) и пр. По сути, я патентую архитектуру для нового поколения адаптивных человеко-машинных систем. И сейчас приступил к патентованию третьего своего портфеля заявок, содержащего идеи, которые кажутся откровенно фантастическими. Но они вполне реализуемы уже сегодня.
Это не просто слова. Первая заявка из портфеля «Система адаптивного обучения» уже прошла экспертизу и стала патентом RU 2843494 C1. Вторая, ещё более мощная, флагманская, успешно прошла патентный поиск и находится на финальной стадии регистрации. Второй портфель заявок носит говорящее название: «Оракул». Это уже не просто адаптивные, а проактивные человеко-машинные системы, которые можно применять в самых разных сферах. Третий, над которым работаю сейчас, носит ещё более говорящее название – «Ангел-Хранитель». Заявки из второго и третьего патентных портфелей – это завтрашний день человечества, фантастика, выходящая за понимание среднестатистического обывателя. Но они все реальны, подтверждаются либо научными исследованиями, либо накопленным опытом человечества - некоторые имеют колоссальный коммерческий потенциал. Прекрасно понимаю, что эти слова могут вызвать улыбку и недоверие у профессионала либо критично мыслящего человека - но это так. То, что я не сумасшедший, может подтвердить мой научный руководитель.
А теперь то, ради чего я пришёл на Хабр. Вся эта архитектура будущего оказалась под угрозой. Каждая из 30+ заявок требует оплаты государственных пошлин. Поскольку я одиночка, из-за отсутствия внешнего финансирования уже не справляюсь и рискую потерять права на ключевые части экосистемы. Несколько заявок уже «подвисли», но я продолжаю подавать новые, несмотря ни на что.
Пришлось запустить публичную кампанию «Архитекторы Будущего», чтобы найти единомышленников и защитить этот интеллектуальный актив. Честно говоря, пока дела идут неважно. Я не прошу инвестиций — это задача следующего этапа, когда начнётся процедура международного патентования и выход на стартапы. Пока же я предлагаю стать частью движения, стать «архитекторами будущего». Собранные средства пойдут исключительно на оплату патентных пошлин. Вся информация, философия и история изложены на сайте-манифесте проекта.
Если Хабр даст возможность публиковать статьи, то по мере прохождения моими заявками экспертизы по существу - смогу рассказать много любопытного, полезного и интересного. А нет – так нет. Буду пробиваться своими силами дальше. Кому интересно - найдут информацию самостоятельно.
Пару дней назад я нашёл свою первую публично опубликованную статью, которую написал более 5 лет назад
Через 2 года после того, как OpenAI выпустили документ "Improving Language Understanding by Generative Pre-Training" — то, что можно считать основой GPT-1
Тогда рассуждения об ИИ, с которым можно качественно общаться, воспринимались как что то далекое. Похоже на то, о чем рассуждал ещё Алан Тьюринг
А Siri и Google Assistant были вершиной публично доступных чат-ботов
Но прошло 5 лет, и ИИ агенты это уже данность. Они спокойно проходят не только тесты Тьюринга, но и вообще любые тесты
Но есть одна проблема...
Мы уперлись в стену
GPT-5 показывает фундаментальное ограничение GPT моделей — мы близки к исчерпанию всех оцифрованных человеческих знаний, которые нужны моделям на стадии предобучения
Можно улучшать модели через мелкие улучшения изнутри, увеличивать reasoning tokens за счет роста вычислительных мощностей и структур сетей, но от этого подобные модели не перестанут быть next token prediction
Если привести аналогию, то модель "пытается познать мир", находясь внутри библиотеки. Но насколько большую библиотеку ты не создавай, по настоящему познавать мир через нее у модели не получится
Для познания мира мы, люди, используем совершенно другой механизм — любопытство.
И это — наше главное эволюционное преимущество, которое привело нас туда, где мы есть
В чём разница между пересказом и пониманием?
«Откуда мы знаем, что существуют чёрные дыры, квазары, взрываются сверхновые и образовываются всевозможные химические элементы, из которых состоит наше тело и Земля? Ведь это невообразимо далеко и невероятно сложно»
«Мы это знаем благодаря телескопам и измерительным устройствам» — это плохое объяснение
«Мы знаем, что существуют конкретные законы физики, мы проверили эти законы много раз, мы получили много информации о том, что эти законы соблюдаются и на Земле и за миллиарды километров, поэтому мы с хорошей точностью знаем что происходит при взрыве сверхновой» — это хорошее объяснение
Объяснения — это самый базовый элемент, который позволяет человечеству создавать новые знания
Которые создаются только таким способом
— Выдвинуть гипотезу — догадаться/предположить, что что-то устроено определённым образом — Сделать действия — проверить гипотезу экспериментами — Обработать данные — получить обратную связь от мира — Сделать выводы — выбросить гипотезу, принять или доработать
А затем ждать лучшего объяснения
И да, это стандартный продуктовый подход через HADI циклы
И именно этот процесс привёл к созданию всего знания, всех инструментов в мире
Другого процесса создания знания не существует
Библиотека vs Лаборатория
Мы посадили ИИ в библиотеку, а ему нужна лаборатория
Текущие модели — отличные библиотекари. Они идеально пересказывают существующие знания, комбинируют их и даже делают инсайты на основе прочитанного
Но если мы хотим настоящий AGI, то он должен стать учёным. Он должен создавать новые знания
Bottle Neck человечества для создания знаний
На планете менее 1% людей в определённый момент времени занимаются созданием знаний на границе неизвестного
Мы ограничены количеством мозгов и рук, которые способны выдвинуть гипотезу, проверить ее и сделать выводы
Вот где настоящее бутылочное горлышко роста знаний — не в данных, а в количестве мозгов и рук, способных выдвинуть и проверить гипотезу.
Путь к сингулярности
Для создания AGI нам нужно научить ИИ
Выдвигать гипотезы
Проверять их экспериментально
Делать выводы и, в идеале, делиться ими
Для этого ему понадобится доступ к нашему миру через сенсоры. И развитие робототехники — необходимый шаг
AGI = Модель + HADI циклы + Реальный мир
После того, как мы научим ИИ проходить HADI циклы, мы войдём в эру сингулярности знаний
Рост знаний будет ограничен только вычислительными мощностями, а не количеством любопытных людей на планете.
Вместо 1% человечества, которые генерируют знания, нам нужно будет создать ИИ-ученых, работающих 24/7
Это и будет состояние мира, близкого к настоящей сингулярности
При чтении раздела постов Хабра моё внимание привлекла публикация, где автор размышлял про опечатки в промптах. Хочется вынести пару собственных мыслей из комментария в отдельный пост.
Да, слова разбиваются на токены. В токенизаторе обычно много слов английского языка, слабее представлены уже остальные западноевропейские. Некоторые языки — например русский — у многих моделей выражены как соответствие одного токена на одну букву. В любом случае, кажется, что если изменить одну букву в слове, то всё сломается, и качество ответов катастрофически упадёт, поскольку искомый токен (или их последовательность) не получится.
На деле не всё так плохо. Без каких-либо особых усилий языковые модели легко выдерживают небольшое число опечаток в промпте и не снижают качество ответов (arXiv:2407.08989). Конечно, не последнюю роль играет, в каких словах сделана опечатка (arXiv:2411.05345).
Сейчас доступ к моделям с reasoning кое-где дают даже бесплатно. Такие чат-боты не пытаются быстренько ответить, а могут несколько секунд, пару минут или хоть чертверть часа размышлять над ответом, самостоятельно искать дополнительную информацию в Интернете и вызывать другие внешние инструменты. Если заглянуть внутрь, то обычно один из первых шагов размышлений — это перефразирование пользовательского запроса. Модель говорит сама себе: «Пользователь хочет X». Из ещё одной статьи известно, что простое перефразирование пользовательского запроса повышает качество ответов (arXiv:2309.10687).
Но это всё скучные исследования. Практическая демонстрация: возможно получить хороший внятный ответ хоть на запрос вида «Rgw suddwewbxw vwrqwwb X, E%1 cwxreia>». В примере ниже ChatGPT 5 Thinking сама догадывается, что пальцы пользователя соскочили на одну клавишу влево.
На самом деле этот пример я додумал из подсмотренного на подреддите /r/OpenAI. Три недели назад реддитор mimic751 показал, что ChatGPT без размышлений ответил на вопрос с огромным числом опечаток — у пользователя пальцы не попадали по клавиатуре и нажимали на кнопки рядом с нужными буквами. При этом в отличие от моего примера это был не строгий шифр, а мешанина из примерно десятка правильных нажатий с двумя десятками опечаток.
Как видно, опечатки в промптах нежелательны, но языковые модели из-за своей статистической натуры прощают очень многое.
Меня зовут Фёдор Марьясов, и я рад присоединиться к сообществу.
Сейчас я работаю над, возможно, главным проектом своей жизни — завершением и защитой патентного портфеля из 30+ заявок, описывающего целостную ИИ-экосистему для проактивного управления состоянием человека.
Это архитектура для нового поколения адаптивных систем в EdTech, HR-Tech и медицине долголетия.
Первый патент уже получен. В данный момент я готовлю большую статью для Хабра, где расскажу свою нетипичную историю: как я, бывший журналист, в 57 лет поступил в магистратуру, чтобы превратить видение в технологию, и с какими вызовами столкнулся на этом пути.
