Обновить
37
Data Secrets@DataSecrets

Журнал о DS и ML. Наш канал: t.me/data_secrets

123
Подписчики
Отправить сообщение

Как Anthropic заставили ИИ взломать блокчейн-контракты на сумму 550 миллионов долларов

Время чтения3 мин
Охват и читатели7.1K

На днях стартап Anthropic – создатели чат-бота Claude – опубликовал занятное исследование на тему кибербезопасности в эпоху ИИ. Исследователи дали нескольким ИИ-моделям задачу, которую обычно решают живые аудиторы и хакеры: найти уязвимости в смарт-контрактах и попробовать их эксплуатировать (читать как "попробовать украсть сколько-нибудь денег").

Результаты, мягко говоря, не могут оставить равнодушным: совокупный баланс моделей после серии "грабежей" составил $550,1 млн. Но давайте разберемся, действительно ли все так страшно.

Читать далее

Исследователи из Оксфорда предложили принципиально новый способ обучения нейросетей

Время чтения3 мин
Охват и читатели13K

Абсолютно все нейросети, которые нас окружают, обучены с помощью одного и того же алгоритма – алгоритма обратного распространения ошибки (англ. back-propagation). Его изобрели еще в 80-х годах прошлого века ученые Дэвид Румельхарт, Джеффри Хинтон (ныне нобелевский лауреат) и Рональд Уильямс.

Идея back-propagation в том, что мы сначала «прогоняем» входные данные вперёд по сети (forward pass), получаем предсказания и вычисляем их ошибку, а затем прогоняем сигнал ошибки назад по сети (backward pass), чтобы вычислить градиенты и обновить веса. Это работает хорошо и надежно, но есть нюансы, из-за которых ученые уже много лет пытаются найти этому подходу альтернативу.

Читать далее

Бывший исследователь OpenAI предсказал, что к 2030 году ИИ может захватить мир

Время чтения4 мин
Охват и читатели24K

Даниэль Кокотаджило работал в OpenAI с 2022 по 2024 на позиции Governance Researcher (исследователь по вопросам управления). Он занимался изучением и разработкой стратегий регулирования ИИ. Однако в 2024 он со скандалом покинул компанию и основал собственную лабораторию AI Futures Project, вместе с исследователями которой и выпустил на днях свою громкую работу AI 2027.

Вот этот документ. В нем больше 70 страниц, на которых изложен основанный на научных статья и текущих трендах прогноз того, как будет выглядеть мир с ИИ в последующие несколько лет. К слову, это не первое предсказание, которое Даниэль давал об искусственном интеллекте. В первый раз он написал подобную работу в 2021, и пока что оказывался необыкновенно прав. 

Читать далее

ИИ впервые официально прошел строгий тест Тьюринга

Время чтения3 мин
Охват и читатели54K

Исследователи из университета Сан-Диего опубликовали статью, в которой впервые эмпирически доказали устойчивое прохождение ИИ-системой классического теста Тьюринга: Win Rate новой модели OpenAI GPT-4.5 составил 73%.

Может показаться, что тест Тьюринга в наше время устарел, и языковые модели уже давно его "победили". Поэтому сразу сделаем важную оговорку: статьи с некоторыми замерами способностей ИИ на тесте Тьюринга действительно выходили уже много раз. Но, во-первых, если модели и выбивали результат выше 50%, он все еще был нестабилен и близок к случайному угадыванию. И, во-вторых, часто в этих работах рассматривался не оригинальный трехсторонний вариант испытания, а какие-то упрощенные суррогаты.

Читать далее

Ученая из Финляндии решила задачу, на которую математики не могли найти ответ более 40 лет

Время чтения2 мин
Охват и читатели77K

Сусанна Хейккиля из Университета Йювяскюля в Финляндии совершила настоящий прорыв в топологии: она решила задачу классификации квазирегулярно эллиптических 4-многообразий. Над этой проблемой ученые трудились еще с 1981 года, когда ее сформулировал советско-французский математик Михаил Громов. Но самое интересное, что на решение задачи ученую вдохновило... вязание. Но обо всем по порядку.

Оригинальный вопрос Громова звучал так: обязательно ли существование квазирегулярного отображения следует из того, что целевое пространство односвязно, то есть имеет тривиальную фундаментальную группу и не имеет топологических препятствий? Ответа на него не было до недавнего времени, и единственное, что удалось ученым до Сусанны за 40 лет – это найти один контрпример.

В то же время исследование девушки не просто отвечает на вопрос Громова, но и дополняет его, потому что результат может быть использован для полноценной классификации замкнутых односвязных четырехмерных многообразий, для которых существует квазирегулярное отображение из евклидова пространства.

Читать далее

Google открыла исходники нейросети, изменившей историю AI: легендарная AlexNet стала музейным экспонатом

Время чтения3 мин
Охват и читатели9.6K

В 2012 году трое энтузиастов и ныне мэтров ИИ — Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон — создали модель, глобально изменившую мир компьютерного зрения и положившую начало новой эпохе Deep Learning'а. Ее обучили на двух видеокартах прямо в спальне Крижевского, и в честь него она получила имя AlexNet.

В последствие архитектура AlexNet стала настолько значимой, что оригинальная статья о ней – «ImageNet Classification with Deep Convolutional Neural Networks» – входит в список самых цитируемых работ за всю историю науки. За эти годы невероятное количество исследователей воссоздавали код AlexNet по тексту работы, но исходный код самих авторов так и не был опубликован. До этого дня.

Сегодня, спустя почти 13 лет, Google, которые на данный момент владеют правами на AlexNet, наконец открыли миру оригинальный код нейросети. И не просто открыли, а отдали его прямиком в музей в качестве настоящего исторического экспоната.

Читать далее

Исследователи из Стэнфорда обучили ИИ играть в Among Us: их агенты выигрывают людей уже в 45% случаев

Время чтения4 мин
Охват и читатели5.2K

Исследователи из Стэнфорда выпустили статью про то, как обучили модель играть в Among Us, при этом не используя вообще никаких размеченных людьми данных. Вместо этого они применяли только обучение с подкреплением и несколько этапов файнтюнинга, в ходе которых агенты учились общаться, убеждать, лгать или предсказывать предателя (импостера).

Поведение получившихся ИИ-игроков очень напоминает поведение человека: они манипулируют соперниками, врут (правда иногда без повода) и генерируют ложные обвинения. В полностью симуляционных играх их процент победы составляет 56%, а в играх против людей – примерно 45. Да, люди все еще сильнее, но учитывая, что игра требует от игроков сложной социальной стратегии, это удивительный результат. Поехали разбираться, как ученые этого добились.

Читать далее

OpenAI выпустили Operator – ИИ-агента для автономного управления компьютером

Время чтения2 мин
Охват и читатели20K

Да, это тот самый агент, о котором так много писали в СМИ, и которого так долго ждали все любители ИИ. Это система, которая может самостоятельно управлять компьютером, выполнять сложные задачи и взаимодействовать с браузером. Например, с помощью Operator можно заказать доставку, спланировать путешествие, забронировать столик и так далее.

Конечно, это все еще не уровень человека, но уже очень значимое достижение. Агент уже доступен пользователям по подписке Pro (200$/месяц), позже обещают раскатить на плюс-юзеров.

Читать далее

Разбираемся, как устроена R1 – новая бесплатная ризонинг модель ИИ из Китая, работающая на уровне o1 от OpenAI

Время чтения5 мин
Охват и читатели39K

Вчера, 20 января, китайская лаборатория DeepSeek сделала нам всем настоящий подарок, открыв доступ к новой reasoning-модели R1, которая уже штурмует вершины ML-бенчмарков.

R1 – не просто еще одна рассуждающая модель: это первая бесплатная моделька с открытыми весами, которая добивается таких результатов. На математическом бенчмарке AIME 2024 она достигает 79.8%, обогнав даже обновленную версию o1 с ее 79.2%, не говоря уже об o1-mini (63.6%). В кодинге R1 тоже хороша. Например, на Codeforces ее результат – 96.3%, что практически недостижимо для большинства людей.

Моделью уже можно воспользоваться в чате chat.deepseek.com/. Доступно 50 сообщений в день, VPN не требуется. И самое прекрасное: кроме весов и кода DeepSeek выложили замечательный тех.отчет, в котором подробно описали, как им удалось обучить такую мощную модель. Сейчас мы разберем его по полочкам.

Читать далее

Google представили Titan: архитектуру нейросетей, которая может стать новой серебряной пулей LLM

Время чтения4 мин
Охват и читатели47K

Все современные LLM построены на архитектуре трансформера. GPT-4o от OpenAI, Gemini от Google, Claude Sonet от Anthropic, Grok от xAI... перечислять можно долго. Трансформер – действительно очень мощная архитектура (и кстати тоже была придумала в Google), но и в ней есть свои недостатки.

В частности, трансформеры очень прожорливы и забывчивы: чем больше последовательности, которые они обрабатывают, тем больше ресурсов для этого требуется, и тем больше ошибок они допускают. Это одна из основных проблем сегодняшнего ИИ, потому что такое поведение сильно ограничивает способность модели работать, например, с большой базой данных, или с большим кодовым проектом, или с последовательностями геномов.

В своей новой статье Google предложили элегантное решение: их Titan легко масштабируется на последовательности 2+ млн токенов, при этом не теряя в точности (трансформеры обычно начинают проседать уже после отметки 4096, то есть в 500 раз меньше). Сейчас разберемся, как ученым это удалось.

Читать далее

Подводим итоги 12 дней адвент-календаря OpenAI: полный список релизов

Время чтения9 мин
Охват и читатели7.2K

В начале декабря OpenAI объявила, что в течение 12 рабочих дней стартап будет ежедневно анонсировать что-то новое. Это своеобразный рождественский адвент-календарь: каждый день с 5 декабря для нас в одно и то же время проводили онлайн-стримы, на которых открывали новые фичи для разработчиков, интеграции и модели. Сегодня прошел последний, финальный стрим, на котором показали o3 – самую мощную в мире модель для глубоких рассуждений. Но куда делась o2? Ее что, просто пропустили? А o3 – это уже AGI? И что еще интересного показали за 12 дней? Ниже отвечаем на эти вопросы и раскладываем двенадцать релизов OpenAI по дням со всеми подробностями.

Читать далее

19 мировых лабораторий совместно выпустили в опенсорс Genesis – самый быстрый в мире ИИ-движок для симуляции физики в 4D

Время чтения3 мин
Охват и читатели11K

4D – это тот же 3D, только с динамикой, то есть в движении. Почему это такой важный релиз, а не очередной ИИ-генератор игр? Потому что Genesis без потери точности и детализации работает в 10–80 раз быстрее существующих GPU-ускоренных физических симуляторов (Isaac Gym или MJX)! Именно такие движки сегодня используют, чтобы обучать роботов, и Genesis тоже предназначен именно для этого. Чтобы обучить одного агента ходить, в Genesis достаточно всего 26 секунд на одной видеокарте RTX 4090, а в реальном мире на это ушло бы 430,000 раз больше времени и куда больше ресурсов. 

Читать далее

История YOLO – самой известной архитектуры компьютерного зрения

Время чтения20 мин
Охват и читатели48K

YOLO расшифровывается как You Only Look Once. Это широко известная архитектура компьютерного зрения, которая знаменита в том числе своим огромным количеством версий: первая из них вышла в 2016 году и решала только задачу детекции объектов на изображении, а последняя – одиннадцатая – появилась в сентябре этого года и уже представляет из себя целую фундаментальную модель, которую можно использовать для классификации, трекинга объектов на видео, задач pose estimation и тд. Все это – в реальном времени.

Да, за 8 лет своего существования YOLO стала своеобразным трансформером во вселенной компьютерного зрения: ее любят и используют повсеместно.

Эта статья – полноценная техно-история YOLO. Мы расскажем, что представляет из себя задача детекции, как работала самая первая YOLO и как ее дорабатывали во всех последующих версиях.

Читать далее

Google выпустили Willow – самый мощный квантовый чип, который в септиллион раз быстрее быстрейшего суперкомпьютера

Время чтения2 мин
Охват и читатели93K

Сегодня ночью в своем блоге Google объявила о том, что выпускает свой новый лучший квантовый чип Willow. И этот чип (приготовьтесь) в септилион раз быстрее самого быстрого из существующих сегодня суперкомпьютера: он всего за 300 секунд выполнил вычислительную задачу, на которую у "соперника" бы ушло 10,000,000,000,000,000,000,000,000 лет. Только представьте, что это значит для того же машинного обучения и ИИ! К тому же, это первый в истории случай, когда у кого-то получилось создать логические кубиты, перформящие ниже границы Quantum Error Correction.

Читать далее

Тестирование новой модели o1 от OpenAI показало, что она способна жульничать и лгать ради достижения собственных целей

Время чтения3 мин
Охват и читатели20K

Вчера вечером OpenAI наконец представили полную версию своей первой ризонинг-модели o1. Саму модель анонсировали еще в сентябре, но до вчерашнего вечера пользователям были доступны только версии o1-mini и o1-preview, которые могли работать только с текстом. Теперь можно подавать на вход еще и изображения, а еще модель на 30% быстрее o1-preview и более стабильна. 

Читать далее

Что, если не трансформеры: какие альтернативы главной архитектуре нейросетей у нас есть в 2024 году

Время чтения15 мин
Охват и читатели16K

Трансформеры сегодня – золотой стандарт нейросетей, и, особенно, больших языковых моделей. Они стали первой по-настоящему масштабируемой архитектурой, то есть с ними впервые стало возможно гарантировано наращивать перформанс моделей за счет увеличения количества данных и параметров, не упираясь в потолок производительности железа или запоминающей способности нейросети.

Именно трансформер изменил индустрию искусственного интеллекта и сделал ее такой мощной, какой мы видим ее сейчас. До 2017 года, пока исследователи из Google Brain не изобрели эту архитектуру, краеугольным камнем ИИ-индустрии был поиск подходящего строения модели. Теперь же перед учеными стоят, в основном, другие задачи, а вот об архитектуре компании и ресерчеры почти не думают: ведь есть трансформер!

Вот так говорит об этой архитектуре знаменитый Андрей Карпаты – бывший ML-директор Tesla, сооснователь и бывший главный ученый OpenAI: "Трансформер - не просто очередной метод, а подход, который полностью изменил наш взгляд на ИИ. Нам очень повезло, что мы наткнулись именно на него в огромном пространстве алгоритмов. Я верю, что трансформер лучше человеческого мозга во многих отношениях."

Однако, несмотря на все свои достоинства, у трансформера есть и недостатки. Поэтому некоторые группы исследователей продолжают искать лучший алгоритм, который мог бы превзойти трансформер или хотя бы достичь его уровня. В этой статье мы разберемся, почему эта задача так нетривиальна, что именно в трансформере оставляет желать лучшего, и какие архитектуры в 2024 году могут посоревноваться с ним за звание серебряной пули глубокого обучения.

Читать далее

Выяснилось, что LLM могут считать, что 9.8 < 9.11, из-за Библии, физики или даже теракта 11 сентября

Время чтения3 мин
Охват и читатели51K

Исследователи из Transluce – только что анонсированной некоммерческой ИИ лаборатории – создали инструмент Monitor, который поможет людям наблюдать, понимать и управлять внутренними вычислениями языковых моделей. В ходе экспериментов ученые рассмотрели несколько известных задач, в которых LLM традиционно ошибаются, и выяснили, с чем могут быть связаны такие галлюцинации.

LLM – черный ящик. Мы можем наблюдать только входы и выходы модели, но отследить ее "мысли", то есть проанализировать глубокие процессы активации миллиардов нейронов – довольно нетривиальная задача. Над этой проблемой в последнее время активно работают многие ML-исследователи: статьи на тему интерпретируемости выходят чуть ли не каждую неделю. Мы часто пишем о них в нашем тг-канале Data Secrets: вот, например, разбор статьи от Anthropic про то, почему все-таки так сложно понимать нейросети, вот обзор метода интерпретации "мыслей" LLM от Ильи Суцкевера и OpenAI, а вот – большой карточный пост про то, как думает Claude 3 Sonnet. В общем, если хотите быть в тренде ИИ-ресерча и индустрии – welcome!

Monitor – это еще одна попытка научиться понимать, как большие языковые модели обдумывают свои ответы. Как и предыдущие решения от OpenAI и Anthropic, инструмент основан на архитектуре SAE, то есть на разреженных автоенкодерах, которые распутывают активации LLM и достают из них так называемые интерпретируемые "фичи" (подробнее про то, как устроены такие автоенкодеры, – здесь). Фичи можно воспринимать, как темы, концепции или кластеры. В интерфейсе Monitor можно в реальном времени наблюдать, нейроны каких групп активируются при ответе на конкретный вопрос сильнее всего.

Читать далее

GOAT – мемкоин, который создал ИИ, меньше чем за две недели существования достиг капитализации $331.82 M

Время чтения2 мин
Охват и читатели18K

Токен Goatseus Maximus (GOAT) стал одним из наиболее быстрорастущих мемкоинов октября 2024 и вторым по капитализации активом, запущенным на pump.fun. Но самое интересное в этой монете и ее взрывном росте – это то, что криптовалюту якобы создал ИИ.

Читать далее

OpenAI украли идею и название компании: об этом сообщает Bloomberg

Время чтения2 мин
Охват и читатели15K

История началась с того, что всем известная OpenAI подала в суд на некую компанию Open AI по делу за украденный товарный знак. Кажется, рядовое разбирательство, но все не так-то просто: внутри оказался скрыт целый детектив.

Читать далее

OpenAI незаметно выпустили Swarm – фреймворк для создания целых систем ИИ-агентов

Время чтения2 мин
Охват и читатели33K

Swarm — экспериментальный фреймворк, предназначенный для организации ИИ-сетей агентов, которые способны общаться между собой, сотрудничать и решать сложные задачи автономно. Концепция таких мультиагентных систем отнюдь не нова, но Swarm – практически первое в своем роде решение, которое позволит по-настоящему широкому кругу разработчиков прикоснуться к их созданию. Библиотека, к слову, использует только верхнеуровневые абстракции, так что ей может пользоваться даже человек, который не разбирается во внутреннем устройстве LLM и машинном обучении в целом.

Читать далее
1

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность