Обратите внимание, я не говорил, что выкладок не существует. Я говорил что в данной статье их нет.
В вашей статье они есть, но это мало меняет вывод. По сути статья выделяет проблемы: Масса, Охлаждение, Связь, Срок службы, Экономика
Отдельно можно вынести связь - статья по сути включает вариант названный C2, когда датацентр на орбите использует для связи существующую инфраструктуру орбитальной сети, только не делает логичное продолжение. Очевидно что уже имея Starlink на орбите датацентры будут в первую очередь встраиваться в эту систему становясь ИИ составляющей этот системы. Т.е. ставя на первое место другие варианты, такие как отдельная система "заземления" трафика и подсчитывая их экономику - автор решая проблему как попасть в дом первым делом предлагает разобрать крышу, а потом упоминает что еще есть незапертая дверь.
Остальные проблемы - по сути сводятся к экономике, главная статья расходов в которой - доставка груза на орбиту. И по текущим коммерческим ценам автор приходит к росту себестоимости в 3 раза (по минимальной его оценке). Что уже выглядит не фантастикой, а если взять себестоимость доставка старшипом (а даже Маск говорит что это необходимое условие) - то все может стать очень сильно реальнее.
если вы осилите
Попрошу на личности не переходить.
если Маск доделает Starship - ему нужны грузы, чтобы обеспечить рентабельность
Как ни парадоксально - но в логике Маска - так и есть.
Еще раз. Я не говорю, что это так. Я говорю что это так в логике заявлений и действий Маска.
Логика такая. Маск хочет колонизировать Марс (или построить базу на Луне, сделать ИИ к в космосе или еще что-то глобальное в космосе, не суть). Это его желание не зависит от того можно ли на этом заработать. Вот просто цель такая у человека. Неважно чем она вызвана, болезнью, безумием, жаждой славы или еще чем то, но он этого хочет и опыт показывает, что он возможно может этого добиться.
С этим можно спорить, но "за" работают два аргумента: 1 - он вложил все в ракеты имея минимальные шансы на успех, что являлось едва ли не худшей инвестицией из возможных (а он не похож на круглого идиота). 2 - имея сейчас больше всех денег он мог бы тупо расслабиться, он все равно их не потратит, но он продолжает действовать.
Таким образом, Маск по-любому хочет отправлять тысячи Starship в космос. Но если 90% деятельности SpaceX будет обслуживать тупо хотелки одного человека - что будет с его акциями? Кто поставит на долгосрочное выживание проекта если он завязан на не сильно рациональные желания одного человека? Поэтому Маску нужны коммерческие проекты связанные с доставкой больших объемов грузов в космос. пусть даже по себестоимости, но ему это нужно чтобы была поддержка, чтобы были разрешения, чтобы был политический вес и пр. Отправлять спутники по себестоимости, и даже ниже - рентабельно, если учесть косвенные бенефиты, а не тупо цифру в счете.
Кроме того, нужно учитывать, что датацентр на земле и датацентр в космосе могут иметь ооочень разную стоимость. Космический датацентр может за один день поменять "гражданство" - оказаться собственностью компании в другой стране где ограничений ИИ меньше. В такой датацентр не придут дяди и не конфискуют серверы если ты будешь себя не так вести. И так далее.
это тот самый Маск? который недавно сообщил, что антропоморфные роботы все будут делать вместо людей и деньги отменят, да?
А вы имеете доказательства противоположного? У него есть свое мнение, как у любого.
Пока "доказательства" звучат в стиле "потому что так всегда было" - это скорее напоминает список "вы находитесь здесь".
если он что-то говорит, то это не значит, что он "стремится".
Вы возможно не знаете, но упомянутое мной IMHO - это In My Humble Opinion вы же не откажите мне в этом праве?
что человек делает, а не говорит
А вот это ключевое. Предлагаю на это и опираться - не смотреть, что он говорит, а смотреть, что уже сделал, и подумать может это что-то да значит?:
Сделал многоразовые орбитальные ракеты практической нормой
Резко ускорил переход автопрома к электромобилям
Построил крупнейшую спутниковую интернет-сеть в истории
Вернул США собственные пилотируемые запуски и сделал их коммерческими
Довёл нейроинтерфейсы Neuralink до испытаний на людях
Вопрос только в том стоит ли давать почитать такую поверхностную статью? Автор никаких конкретных выкладок не привел, вся статья - только повторяет известные штампы, без попытки из осмыслить и хотя бы попытаться опровергнуть. Может автор и прав, но как он об этом узнал если не попробует себя оспорить?
Практически все его "непреодолимые" преграды имеют очевидные пути обхода или минимизации:
Охлаждение требует больших рассеивателей? - за солнечной батареей можно спрятать рассеиватель в десятки раз больше по площади - этого хватит за глаза.
Ошибки от излучения? - ИИ модели это не софт управления спутником, требования по надежности несопоставимы. А ошибки в отдельных ячейках памяти в абсолютном большинстве случаев фактически не повлияют на результат...
Требования по массе/площади/числу спутников - все это преграды из прошлого ну и частично настоящего, но если Маск доделает Starship - ему нужны грузы, чтобы обеспечить рентабельность...
И самый важные момент на мой взгляд вообще не из области техники или даже экономики. Он из области бюрократии. По моему мнению, Маск реально рассчитывает стоить бизнес в условиях приближения к технологической сингулярности (а может и после). Он понимает, для выполнения своих планов - он должен наращивать мощности с такой скоростью которую ему никогда не достичь если он будет от кого-то зависеть. Он просто не хочет бегать по штатам и выпрашивать электростанции, или строить датацентры в других странах, а потом натыкаться на "экологические риски" когда очередному "всенародноизбранному" захочется "справедливойкомпенсации"... У него есть шанс оказаться за пределами досягаемости всех мелких царьков - в космосе, на Луне, на Марсе... И глубоко неважно насколько это все экономически оправдано, если это вообще возможно - IMHO, он будет к этому стремиться.
"Заказать столик в ресторане" - это уже какая-то навязчивая идея, она буквально в каждой статье о пользе ИИ... Я фанат прогресса в области LLM, но неужели это единственное, что приходит в голову авторам? Насколько часто среднему человеку на планете вообще нужно заказать столик? Так вообще хоть кто-то делает? Я вот ни разу в жизни не бронировал столик, мне ИИ-смартфон не положен, да?
300-400 млн в год, это же значит они должны быть буквально везде!.. Может стоит вначале выйти на улицу и посмотреть как люди используют смартфоны? А вдруг окажется, что сказать своему телефону чтобы он забронировал столик, чтобы телефон сказал менеджеру ресторана чтобы тот забронировал столик - не единственная их функция?? Ну а вдруг, а?..
Тут атака вообще может быть распределенной: состоять из множества отдельных блоков которые кажутся несвязанными между собой, а в памяти агента могут сложиться в полную инструкцию. Такие фрагменты можно даже тупо через рекламные баннеры распространять, по отдельности они будут выглядеть безобидно, как рекламные слоганы, игровые заставки и пр., а когда критическая масса накопиться - наделать делов.
С этим даже не совсем ясно как бороться? Должен быть какой-то ИИ-агент который понимает намерения пользователя и фильтрует информацию сообразно... Но звучит это все крайне сомнительно.
При том, что подобные системы, если не в виде анализа экрана, то в виде разных умных очков и прочих "компаньонов" уже на пороге...
приземленные объяснения для других абстрактных вещей в ML
Часто объясняю векторы в ML через цвета. В любом граф. редакторе цвет — это буквально трёхмерный вектор RGB.
Например: есть токены I am cat их эмбеддинги размерности 3 можно изобразить как три прямоугольника разных цветов. Отдельно — позиционные векторы, тоже как три прямоугольника. Потом показываю сложение эмбеддинга и позиции: просто накладываю один цвет на другой с небольшой прозрачностью.
Так удобно наглядно объяснять свёртки, смещения, коррекции и другие преобразования. А если нужно, всегда можно взять “пипетку” и показать конкретные значения вектора. Обычно это воспринимается гораздо легче, чем набор колонок с числами.
Скажите, а перед публикацией этой статьи, вы тоже использовали NLM для анализа целевой аудитории и стиля подачи? Почему-то мне кажется, что ваш инструмент дал вам не лучший совет.
"Успех оказался не таким оглушительным, как рассчитывали" - фраза просто шикарная. Т.е. успех оглушительный, но рассчитывали что все просто умрут, а они не умерли.
Веду курс по ИИ, разрабатываю продукт на основе ИИ в образовании, использую ИИ в бизнесе. Каждый день чувствую новые палки в колесах по каждому пункту обозначенного списка.
Вопроса только два: из какой альтернативной вселенной это новости и как туда попасть?
Тайна черной материи раскрыта! Это инопланетяне скрывают свет от большей части звезд чтобы генерить картинки с котиками из-за чего есть расхождение видимой и гравитационной массы.
Спасибо за честный ответ. Думаю следующий важный шаг — не просто выложить код, а показать валидность режима применения на уровне экспериментов. В частности, было бы очень полезно увидеть:
не только обычную CV, но и валидацию в условиях distribution shift — например, разбиение по типам звёзд, metallicity, brightness или хотя бы leave-group-out;
ablation study: как ведёт себя модель без clip, с clip, и насколько итог вообще определяется ML-частью, а насколько — жёстко зашитым prior;
проверку калибровки uncertainty, потому что в OOD-сценариях 95% интервалы легко становятся декоративными;
явную формулировку domain of applicability, чтобы было понятно, где это ещё эвристика, а где уже натяжка.
Тогда это будет выглядеть не как “ML нашёл железную планету”, а как аккуратный probabilistic ranking pipeline с честно обозначенными границами применимости. И вот в таком виде это уже действительно интересно.
Здесь, по-моему, смешаны три разные вещи: статистическая интерполяция по смещенной выборке, ручные физические ограничения и довольно смелая интерпретация результата как свойства конкретной планеты. L2, CV и 95% интервалы не решают проблему dataset shift — потому что они работают внутри доступного распределения данных и не устраняют сам selection bias обучающей выборки. Если модель обучена в основном на объектах у ярких, удобных для RV-измерений, часто metal-rich звёзд, то при переносе на другой класс систем она может остаться формально “устойчивой” по метрикам, но давать систематически смещённые предсказания.
А np.clip по эмпирическим законам — это не “модель сама поняла физику”, а способ не выпустить ответ за пределы заранее разрешённого коридора. Проблема в том, что в таком pipeline итоговое предсказание уже частично определяется не данными, а вручную зашитым inductive bias: модель не столько выявляет новую зависимость, сколько проецируется в заранее допустимое семейство решений. Поэтому такой pipeline можно обсуждать как инструмент приоритизации целей для follow-up, но делать из него выводы уровня “железное ядро” и “сюда точно не стоит тратить JWST-time” — это, мягко говоря, сильнее, чем позволяет такая валидация.
Есть простой опыт который легко провести и наглядно показать ограничения.
Откройте диалог выбора цвета и попробуйте создать изумрудный цвет.
Вначале представьте его себе и потом попробуйте создать. Настоящий, не яркий светящийся, а довольно темный, но при этом очень насыщенный, "густой" оттенок зеленого с примесью синевы... как гуашь в детстве...
И ничего не получится. В голове цвет есть, а на мониторе получается "болото".
Не надо мешать все в одну кучу, этим вы только нивелируете их достоверность. Телеграм - в силу своей архитектуры, гораздо меньше подвержен сливам, нежели закрытый whatsapp. Макс - в принципе создавался под участие "товарища майора". В соц. сетях очевидно крайне много ботов (не факт, что 85%, они просто активнее людей), но утверждать что 85% принадлежат самой площадке - минимум странно, куда тогда относить ботов очевидно сторонних?
В общем, не на пользу конструктивному общению такие обобщения. IMHO
Ваше впечатление не безосновательно: аргументация Дарио Амодея действительно строится вокруг очень сильной веры в экстраполяцию текущих графиков. По сути, его позиция сводится к тому, что «магия» не требуется — нужно просто продолжать делать то, что они делают, но в больших масштабах и с новыми методами обучения.
Вот как именно он обосновывает свою уверенность, опираясь на факты из интервью:
1. Гипотеза «Большого комка вычислений» (The Big Blob of Compute)
Дарио прямо говорит, что придерживается той же гипотезы, которую сформулировал еще в 2017 году. Её суть: хитрые архитектурные ухищрения не важны. Он утверждает, что работают только несколько базовых вещей:
Количество «сырых» вычислений (compute).
Объем и качество данных.
Время обучения.
Целевая функция, которая может масштабироваться бесконечно (scale to the moon).
Он заявляет: «Я не видел ничего, что противоречило бы этой гипотезе». Для него успех GPT-1, GPT-2 и далее — это просто подтверждение того, что график работает.
2. Новый драйвер: Масштабирование RL (Reinforcement Learning)
Это ключевое обновление его позиции за последние три года. Раньше мы видели, как масштабируется pre-training (начитка текстов). Теперь, утверждает Амодей, они видят те же самые законы масштабирования (scaling laws) в обучении с подкреплением (RL).
Логика: Если раньше модель просто училась предсказывать следующее слово, то теперь она учится решать задачи (например, математические или кодинг) через RL.
Наблюдение: Эффективность выполнения задач растет логарифмически-линейно в зависимости от времени, потраченного на RL-тренировку. Он видит в этом доказательство того, что модель не просто запоминает, а начинает обобщать навыки.
3. Ответ на критику про «неэффективность» (Sample Efficiency)
Вы справедливо заметили проблему: модели требуют миллиарды примеров, чтобы выучить то, что человек учит быстро. Амодей парирует это интересной аналогией:
Pre-training = Эволюция. Он предлагает считать этап предварительного обучения не аналогом обучения ребенка в школе, а аналогом миллионов лет эволюции, которая формировала структуру мозга. Модель начинает как «чистый лист» (случайные веса), поэтому ей нужно так много данных.
In-context learning = Обучение человека. А вот когда модель уже обучена, её способность учиться в контексте (через промпт) становится аналогом человеческого обучения «на лету».
Аргумент: С огромными контекстными окнами (миллионы токенов) модель может загрузить в «оперативную память» целую кодовую базу или книгу и работать с ней. Амодей считает, что этого механизма (pre-training + context) уже достаточно для создания «страны гениев», даже без изобретения новых парадигм.
4. Отношение к бенчмаркам и реальности
Касательно вашего сомнения о том, что результаты на бумаге расходятся с практикой:
Амодей признает, что бенчмарки — это «несовершенные измерители».
Он объясняет разрыв между мощностью модели и её полезностью термином «экономическая диффузия». Даже если модель умная (как Нобелевский лауреат), внедрить её в реальный рабочий процесс сложно из-за бюрократии, необходимости интеграций и инерции людей.
Однако он утверждает, что внутри Anthropic они видят реальный рост продуктивности программистов, когда те используют свои же модели (Claude Code), что для него является лучшим доказательством, чем публичные бенчмарки.
Итог: Дарио действительно ставит всё на карту скейлинга (теперь включая RL). Он считает, что если графики обучения и RL продолжат расти так же, как последние 5 лет (а он не видит причин для остановки), то модели неизбежно достигнут уровня, когда смогут выполнять задачи автономно «от и до». Его уверенность базируется не на качественном скачке, который должен случиться, а на статистической закономерности, которая уже происходит.
Обратите внимание, я не говорил, что выкладок не существует. Я говорил что в данной статье их нет.
В вашей статье они есть, но это мало меняет вывод. По сути статья выделяет проблемы: Масса, Охлаждение, Связь, Срок службы, Экономика
Отдельно можно вынести связь - статья по сути включает вариант названный C2, когда датацентр на орбите использует для связи существующую инфраструктуру орбитальной сети, только не делает логичное продолжение. Очевидно что уже имея Starlink на орбите датацентры будут в первую очередь встраиваться в эту систему становясь ИИ составляющей этот системы. Т.е. ставя на первое место другие варианты, такие как отдельная система "заземления" трафика и подсчитывая их экономику - автор решая проблему как попасть в дом первым делом предлагает разобрать крышу, а потом упоминает что еще есть незапертая дверь.
Остальные проблемы - по сути сводятся к экономике, главная статья расходов в которой - доставка груза на орбиту. И по текущим коммерческим ценам автор приходит к росту себестоимости в 3 раза (по минимальной его оценке). Что уже выглядит не фантастикой, а если взять себестоимость доставка старшипом (а даже Маск говорит что это необходимое условие) - то все может стать очень сильно реальнее.
Попрошу на личности не переходить.
Как ни парадоксально - но в логике Маска - так и есть.
Еще раз. Я не говорю, что это так. Я говорю что это так в логике заявлений и действий Маска.
Логика такая. Маск хочет колонизировать Марс (или построить базу на Луне, сделать ИИ к в космосе или еще что-то глобальное в космосе, не суть). Это его желание не зависит от того можно ли на этом заработать. Вот просто цель такая у человека. Неважно чем она вызвана, болезнью, безумием, жаждой славы или еще чем то, но он этого хочет и опыт показывает, что он возможно может этого добиться.
С этим можно спорить, но "за" работают два аргумента: 1 - он вложил все в ракеты имея минимальные шансы на успех, что являлось едва ли не худшей инвестицией из возможных (а он не похож на круглого идиота). 2 - имея сейчас больше всех денег он мог бы тупо расслабиться, он все равно их не потратит, но он продолжает действовать.
Таким образом, Маск по-любому хочет отправлять тысячи Starship в космос. Но если 90% деятельности SpaceX будет обслуживать тупо хотелки одного человека - что будет с его акциями? Кто поставит на долгосрочное выживание проекта если он завязан на не сильно рациональные желания одного человека? Поэтому Маску нужны коммерческие проекты связанные с доставкой больших объемов грузов в космос. пусть даже по себестоимости, но ему это нужно чтобы была поддержка, чтобы были разрешения, чтобы был политический вес и пр. Отправлять спутники по себестоимости, и даже ниже - рентабельно, если учесть косвенные бенефиты, а не тупо цифру в счете.
Кроме того, нужно учитывать, что датацентр на земле и датацентр в космосе могут иметь ооочень разную стоимость. Космический датацентр может за один день поменять "гражданство" - оказаться собственностью компании в другой стране где ограничений ИИ меньше. В такой датацентр не придут дяди и не конфискуют серверы если ты будешь себя не так вести. И так далее.
А вы имеете доказательства противоположного? У него есть свое мнение, как у любого.
Пока "доказательства" звучат в стиле "потому что так всегда было" - это скорее напоминает список "вы находитесь здесь".
Вы возможно не знаете, но упомянутое мной IMHO - это In My Humble Opinion вы же не откажите мне в этом праве?
А вот это ключевое. Предлагаю на это и опираться - не смотреть, что он говорит, а смотреть, что уже сделал, и подумать может это что-то да значит?:
Сделал многоразовые орбитальные ракеты практической нормой
Резко ускорил переход автопрома к электромобилям
Построил крупнейшую спутниковую интернет-сеть в истории
Вернул США собственные пилотируемые запуски и сделал их коммерческими
Довёл нейроинтерфейсы Neuralink до испытаний на людях
Вопрос только в том стоит ли давать почитать такую поверхностную статью? Автор никаких конкретных выкладок не привел, вся статья - только повторяет известные штампы, без попытки из осмыслить и хотя бы попытаться опровергнуть. Может автор и прав, но как он об этом узнал если не попробует себя оспорить?
Практически все его "непреодолимые" преграды имеют очевидные пути обхода или минимизации:
Охлаждение требует больших рассеивателей? - за солнечной батареей можно спрятать рассеиватель в десятки раз больше по площади - этого хватит за глаза.
Ошибки от излучения? - ИИ модели это не софт управления спутником, требования по надежности несопоставимы. А ошибки в отдельных ячейках памяти в абсолютном большинстве случаев фактически не повлияют на результат...
Требования по массе/площади/числу спутников - все это преграды из прошлого ну и частично настоящего, но если Маск доделает Starship - ему нужны грузы, чтобы обеспечить рентабельность...
И самый важные момент на мой взгляд вообще не из области техники или даже экономики. Он из области бюрократии. По моему мнению, Маск реально рассчитывает стоить бизнес в условиях приближения к технологической сингулярности (а может и после). Он понимает, для выполнения своих планов - он должен наращивать мощности с такой скоростью которую ему никогда не достичь если он будет от кого-то зависеть. Он просто не хочет бегать по штатам и выпрашивать электростанции, или строить датацентры в других странах, а потом натыкаться на "экологические риски" когда очередному "всенародноизбранному" захочется "справедливойкомпенсации"... У него есть шанс оказаться за пределами досягаемости всех мелких царьков - в космосе, на Луне, на Марсе... И глубоко неважно насколько это все экономически оправдано, если это вообще возможно - IMHO, он будет к этому стремиться.
ИИ выдал афоризм, не могу не поделиться:
"Заказать столик в ресторане" - это уже какая-то навязчивая идея, она буквально в каждой статье о пользе ИИ... Я фанат прогресса в области LLM, но неужели это единственное, что приходит в голову авторам? Насколько часто среднему человеку на планете вообще нужно заказать столик? Так вообще хоть кто-то делает? Я вот ни разу в жизни не бронировал столик, мне ИИ-смартфон не положен, да?
300-400 млн в год, это же значит они должны быть буквально везде!.. Может стоит вначале выйти на улицу и посмотреть как люди используют смартфоны? А вдруг окажется, что сказать своему телефону чтобы он забронировал столик, чтобы телефон сказал менеджеру ресторана чтобы тот забронировал столик - не единственная их функция?? Ну а вдруг, а?..
Задал пример чему равно: "десять на четыре" и "десять на-два"
Большинство отвечает, что первый пример 40 а второй 5 :)
Тут атака вообще может быть распределенной: состоять из множества отдельных блоков которые кажутся несвязанными между собой, а в памяти агента могут сложиться в полную инструкцию. Такие фрагменты можно даже тупо через рекламные баннеры распространять, по отдельности они будут выглядеть безобидно, как рекламные слоганы, игровые заставки и пр., а когда критическая масса накопиться - наделать делов.
С этим даже не совсем ясно как бороться? Должен быть какой-то ИИ-агент который понимает намерения пользователя и фильтрует информацию сообразно... Но звучит это все крайне сомнительно.
При том, что подобные системы, если не в виде анализа экрана, то в виде разных умных очков и прочих "компаньонов" уже на пороге...
Часто объясняю векторы в ML через цвета. В любом граф. редакторе цвет — это буквально трёхмерный вектор RGB.
Например: есть токены
I am catих эмбеддинги размерности 3 можно изобразить как три прямоугольника разных цветов. Отдельно — позиционные векторы, тоже как три прямоугольника. Потом показываю сложение эмбеддинга и позиции: просто накладываю один цвет на другой с небольшой прозрачностью.Так удобно наглядно объяснять свёртки, смещения, коррекции и другие преобразования. А если нужно, всегда можно взять “пипетку” и показать конкретные значения вектора. Обычно это воспринимается гораздо легче, чем набор колонок с числами.
Скажите, а перед публикацией этой статьи, вы тоже использовали NLM для анализа целевой аудитории и стиля подачи? Почему-то мне кажется, что ваш инструмент дал вам не лучший совет.
По вашему заказу, причем в традициях лучших исполнителей, буквально вчера Google выпустила десктопное приложение Gemini для macOS :)
Дроном с автоматическим выбором
целейракурса съемки?"Успех оказался не таким оглушительным, как рассчитывали" - фраза просто шикарная. Т.е. успех оглушительный, но рассчитывали что все просто умрут, а они не умерли.
Веду курс по ИИ, разрабатываю продукт на основе ИИ в образовании, использую ИИ в бизнесе. Каждый день чувствую новые палки в колесах по каждому пункту обозначенного списка.
Вопроса только два: из какой альтернативной вселенной это новости и как туда попасть?
Тайна черной материи раскрыта! Это инопланетяне скрывают свет от большей части звезд
чтобы генерить картинки с котикамииз-за чего есть расхождение видимой и гравитационной массы.Спасибо за честный ответ. Думаю следующий важный шаг — не просто выложить код, а показать валидность режима применения на уровне экспериментов. В частности, было бы очень полезно увидеть:
не только обычную CV, но и валидацию в условиях distribution shift — например, разбиение по типам звёзд, metallicity, brightness или хотя бы leave-group-out;
ablation study: как ведёт себя модель без clip, с clip, и насколько итог вообще определяется ML-частью, а насколько — жёстко зашитым prior;
проверку калибровки uncertainty, потому что в OOD-сценариях 95% интервалы легко становятся декоративными;
явную формулировку domain of applicability, чтобы было понятно, где это ещё эвристика, а где уже натяжка.
Тогда это будет выглядеть не как “ML нашёл железную планету”, а как аккуратный probabilistic ranking pipeline с честно обозначенными границами применимости. И вот в таком виде это уже действительно интересно.
Зовите, загляну непременно)
Здесь, по-моему, смешаны три разные вещи: статистическая интерполяция по смещенной выборке, ручные физические ограничения и довольно смелая интерпретация результата как свойства конкретной планеты. L2, CV и 95% интервалы не решают проблему dataset shift — потому что они работают внутри доступного распределения данных и не устраняют сам selection bias обучающей выборки. Если модель обучена в основном на объектах у ярких, удобных для RV-измерений, часто metal-rich звёзд, то при переносе на другой класс систем она может остаться формально “устойчивой” по метрикам, но давать систематически смещённые предсказания.
А np.clip по эмпирическим законам — это не “модель сама поняла физику”, а способ не выпустить ответ за пределы заранее разрешённого коридора. Проблема в том, что в таком pipeline итоговое предсказание уже частично определяется не данными, а вручную зашитым inductive bias: модель не столько выявляет новую зависимость, сколько проецируется в заранее допустимое семейство решений. Поэтому такой pipeline можно обсуждать как инструмент приоритизации целей для follow-up, но делать из него выводы уровня “железное ядро” и “сюда точно не стоит тратить JWST-time” — это, мягко говоря, сильнее, чем позволяет такая валидация.
Есть простой опыт который легко провести и наглядно показать ограничения.
Откройте диалог выбора цвета и попробуйте создать изумрудный цвет.
Вначале представьте его себе и потом попробуйте создать. Настоящий, не яркий светящийся, а довольно темный, но при этом очень насыщенный, "густой" оттенок зеленого с примесью синевы... как гуашь в детстве...
И ничего не получится. В голове цвет есть, а на мониторе получается "болото".
Вот такие пироги.
Имитация цифрового развития в РФ в одну строку
: > null
Не надо мешать все в одну кучу, этим вы только нивелируете их достоверность. Телеграм - в силу своей архитектуры, гораздо меньше подвержен сливам, нежели закрытый whatsapp. Макс - в принципе создавался под участие "товарища майора". В соц. сетях очевидно крайне много ботов (не факт, что 85%, они просто активнее людей), но утверждать что 85% принадлежат самой площадке - минимум странно, куда тогда относить ботов очевидно сторонних?
В общем, не на пользу конструктивному общению такие обобщения. IMHO
Вряд-ли я смогу ответить лучше
Ваше впечатление не безосновательно: аргументация Дарио Амодея действительно строится вокруг очень сильной веры в экстраполяцию текущих графиков. По сути, его позиция сводится к тому, что «магия» не требуется — нужно просто продолжать делать то, что они делают, но в больших масштабах и с новыми методами обучения.
Вот как именно он обосновывает свою уверенность, опираясь на факты из интервью:
1. Гипотеза «Большого комка вычислений» (The Big Blob of Compute)
Дарио прямо говорит, что придерживается той же гипотезы, которую сформулировал еще в 2017 году. Её суть: хитрые архитектурные ухищрения не важны. Он утверждает, что работают только несколько базовых вещей:
Количество «сырых» вычислений (compute).
Объем и качество данных.
Время обучения.
Целевая функция, которая может масштабироваться бесконечно (scale to the moon).
Он заявляет: «Я не видел ничего, что противоречило бы этой гипотезе». Для него успех GPT-1, GPT-2 и далее — это просто подтверждение того, что график работает.
2. Новый драйвер: Масштабирование RL (Reinforcement Learning)
Это ключевое обновление его позиции за последние три года. Раньше мы видели, как масштабируется pre-training (начитка текстов). Теперь, утверждает Амодей, они видят те же самые законы масштабирования (scaling laws) в обучении с подкреплением (RL).
Логика: Если раньше модель просто училась предсказывать следующее слово, то теперь она учится решать задачи (например, математические или кодинг) через RL.
Наблюдение: Эффективность выполнения задач растет логарифмически-линейно в зависимости от времени, потраченного на RL-тренировку. Он видит в этом доказательство того, что модель не просто запоминает, а начинает обобщать навыки.
3. Ответ на критику про «неэффективность» (Sample Efficiency)
Вы справедливо заметили проблему: модели требуют миллиарды примеров, чтобы выучить то, что человек учит быстро. Амодей парирует это интересной аналогией:
Pre-training = Эволюция. Он предлагает считать этап предварительного обучения не аналогом обучения ребенка в школе, а аналогом миллионов лет эволюции, которая формировала структуру мозга. Модель начинает как «чистый лист» (случайные веса), поэтому ей нужно так много данных.
In-context learning = Обучение человека. А вот когда модель уже обучена, её способность учиться в контексте (через промпт) становится аналогом человеческого обучения «на лету».
Аргумент: С огромными контекстными окнами (миллионы токенов) модель может загрузить в «оперативную память» целую кодовую базу или книгу и работать с ней. Амодей считает, что этого механизма (pre-training + context) уже достаточно для создания «страны гениев», даже без изобретения новых парадигм.
4. Отношение к бенчмаркам и реальности
Касательно вашего сомнения о том, что результаты на бумаге расходятся с практикой:
Амодей признает, что бенчмарки — это «несовершенные измерители».
Он объясняет разрыв между мощностью модели и её полезностью термином «экономическая диффузия». Даже если модель умная (как Нобелевский лауреат), внедрить её в реальный рабочий процесс сложно из-за бюрократии, необходимости интеграций и инерции людей.
Однако он утверждает, что внутри Anthropic они видят реальный рост продуктивности программистов, когда те используют свои же модели (Claude Code), что для него является лучшим доказательством, чем публичные бенчмарки.
Итог: Дарио действительно ставит всё на карту скейлинга (теперь включая RL). Он считает, что если графики обучения и RL продолжат расти так же, как последние 5 лет (а он не видит причин для остановки), то модели неизбежно достигнут уровня, когда смогут выполнять задачи автономно «от и до». Его уверенность базируется не на качественном скачке, который должен случиться, а на статистической закономерности, которая уже происходит.
Прочитайте интервью, в статье просто перевод искажает смысл. Посыл Амадеи такой как я написал