В кибербезопасности многие уже используют ИИ для поиска известных уязвимостей в средах, где все понятно и предсказуемо. Но в большой промышленной среде все работает совсем не так.

Вот тут и пригодится ИИ, который способен cоставить настоящий план атаки и найти уязвимости. Но встает вопрос: если такому агенту дать реальную боевую среду, способен ли он найти в ней уязвимости? Исследователи из Оксфорда построили инфраструктуру из 8000 машин, посадили десять живых пентестеров, ИИ-агента и стали сравнивать…

В обзоре разберем, как именно ученые устроили безопасный эксперимент и пора ли специалистам по безопасности искать новую работу?

Кодогенераторы стали значительно мощнее, но как только вы просите их сделать репозиторий по научной публикации из одной статьи — они не справляются. В статье много разрозненных деталей. Половина шагов может быть понята только между строк. Файлов много и все они зависят друг от друга. Да, на выходе можно получить сгенерированный репозиторий, который выглядит правдоподобно, но он не будет работать.

DeepCode рассматривает эту проблему как задачу внимания: что держать в контексте и как не потерять контракты между модулями. Работает старый добрый инженерный подход с правильной организацией архитектуры промтов, памятью и проверками.

В полном обзоре мы рассмотрим то, как DeepCode делает из статьи один общий репозиторий с кодом, как в этом помогает память кода (Code Memory) и почему замкнутый цикл тестирования ошибок внезапно решает то, где не справляются даже платные агенты.

Это вроде как интуитивно понятно: если один ИИ-агент способен решить проблему, то пятеро должны решать её в пять раз лучше и быстрее. Именно так сейчас многие и строят всё большее число мультиагентных систем. Само по себе это неплохо, но на практике именно что такая система часто превращается в неразбериху: расходуются бюджеты на токены, не сохраняется контекст и накапливаются ошибки.

И если честно, разница бывает не в процентах, а вот прям в разы: на одних задачах координация даёт огромный буст качества, а на других уверенно утаскивает результат вниз . При этом точно нельзя сказать что в одних задачах координация выстрелит, а в других нет. Но интересно и то что общий уровень ещё кое-как можно уловить: иногда координация всегда в нулях, или наоборот примерно удваивает результат.

Давайте разберём исследование, где мультиагентные системы сравнили честно на одинаковых ресурсах и условиях, по одним и тем же задачам: какие именно архитектуры рабочие, где возникает «налог на координацию» и по каким признакам можно заранее предотвратить напрасные попытки сделать команду из агентов.

Не секрет, что ИИ-агентов часто используют для генерации синтетических данных. Но когда агентам дают одновременно более двух тысяч заданий, агенты сталкиваются с пределом производительности. 

Почему это происходит? Новое исследование предполагает парадоксальный ответ. Проблема не в вычислениях и не в размере моделей. Фактический потолок производительности определяется архитектурой — в частности, централизованным диспетчером, который координирует работу агентов. Как только мы убираем этот диспетчер, узкое место исчезает. И это довольно неожиданно, что запредельную масштабируемость агентных систем можно получить с помощью одного простого изменения. 

Давайте поговорим о том, как замена централизованной архитектуры на одноранговую сеть агентов снимает ограничение масштабируемости и почему это важно.

ИИ-агенты впечатляюще развиваются, однако их потенциал работы с вебом остается ограниченным: агенты кликают на элементы пользовательского интерфейса, но они все еще подвержены сбоям из-за изменения положения кнопки или ее внешнего вида. Это заставляет разработчиков тратить значительное время на поддержку использования веба агентами.

Фреймворк VOIX предлагает простой, но радикальный шаг: что если бы сайты сообщали агентам, что они могут сделать? Это требует всего двух дополнительных html-тегов и делает взаимодействие агентов прозрачным как для пользователя, так и для разработчика. 

Сегодня вы узнаете, почему теперь ИИ-агенты будут бродить по просторам интернета быстрее, точнее, а главное — безопаснее.

ИИ-агенты берут на себя задачи по улучшению кода, исправлению ошибок и даже автоматической отправке pull request’ов. Эти агенты также обещают значительно ускорить рефакторинг. 

Недавнее исследование показало, что современные ИИ-агенты хорошо исправляют код с типовыми улучшениями, но почти не трогают код, требующий улучшения архитектуры или исправления сложного технического долга. Также выяснилось, что ИИ мало дать большое количество данных и простые инструкции для существенного улучшения производительности, ему также нужны механизмы рассуждений и встроенные инструменты. 

В этом обзоре мы обсудим текущие возможности ИИ-агентов для рефакторинга, как их подход отличается от человеческого, и что может привести к следующему скачку производительности. Всё это повлияет на то, как мы будем работать с кодом и распределять задачи между людьми и машинами.

ИИ уже давно обыгрывает людей в сложные игры вроде шахмат и Dota 2. Однако, стоит поместить их в менее структурированные неигровые или даже игровые цифровые миры, как их работоспособность резко снижается. Например, одна и та же модель, которая эффективно работает на фиксированных целях, может казаться совершенно беспомощной, если цели меняются и агенты должны сами понимать, как их достичь.

Недавние исследования показывают, что агенты все еще далеки от идеального поведения в открытых средах, при этом размер модели и архитектурные ухищрения играют меньшую роль, чем считалось ранее. Все большее значение приобретает способность агентов использовать мышление. В этой статье мы рассмотрим Lumine —  агента, который способен выживать в большом мире, продуманно выбирая действия и обучаясь на своем опыте.

В обзоре расскажу, почему для агентного ИИ важно не только копировать действия игроков, но и осваивать  особое гибридное планирование и обучение, а также размышлять только тогда, когда это необходимо.

ИИ-агенты всё лучше справляются с решением тестов на общее развитие, поиском информации, рисованием картинок и даже программированием, но вот с интерфейсами на рабочем столе они пока не очень. Оказывается, реальные пользовательские интерфейсы с сотнями мелких элементов, шумом и похожими иконками — всё ещё сложное испытание. Количество опций на экране слишком велико для тривиального перебора, так что агенту надо понимать, что происходит на экране и где именно тот элемент, который нужен по инструкции пользователя.

Как ни странно, но не большие обезличенные датасеты делают агента умнее, а много человеческой и плотной разметки. Вместо миллионов сгенерированных картинок откуда‑то взятые десятки тысяч реальных сценариев использования с ручным выделением и подписью каждого элемента. Почему это важно и что это меняет для разработки агентов — давайте разбираться на примере нового исследования.

Кажется, что для развития ИИ нам нужно только увеличить объем данных и количество слоев нейросетей, чтобы достичь новых рекордов. Однако часто современные модели все еще сбиваются с толку из-за вещей, которые кажутся нам простыми. Почему это так?

В недавней работе исследователи предложили совершенно новый взгляд на этот вопрос. Они предполагают, что ключ может крыться не только в тексте или изображениях, а в видео. Они показывают, что обучение модели рассуждению с помощью видео помогает увязать вместе язык, логику и геометрию. Некоторые задачи выглядят иначе, когда гипотезы проверяются, а формулы пишутся в реальном времени.

Речь не о генерации привлекательных видеороликов, а об обучении модели рассуждать, действовать и учиться на своем опыте. В этой статье объясняю, почему видеогенератор может стать универсальной моделью мира для ИИ.

Заголовки статей, да и бенчмарки говорят о том, что ИИ становится всё умнее. Но когда дело доходит до реальных научных исследований, на практике многие автономные «ИИ-учёные» всё ещё не справляются с задачей. Их проблемы и решения выглядят расплывчатыми, а эффективность часто ниже, чем у студентов. Но почему?

Новое исследование из Японии предполагает интересный подход: вместо того, чтобы давать волю машине заниматься исследованием отдельной области, авторы попробовали сфокусировать её на одном исследовании - и получили заметный результат. Казалось бы, небольшой сдвиг, но результаты получаются лучше.

Что это значит для будущего ИИ-исследователей? Как машины учатся ориентироваться в реальных задачах и почему им всё ещё нужен человеческий надзор.

ИИ становится всё лучше в обработке текстов и решении задач, требующих обширных размышлений. Но когда речь заходит об изображениях, он начинает страдать. Модели видят тысячи пикселей и могут распознавать объекты, но если попросить их объяснить, что изображено на картинке или почему что-то было нарисовано определённым образом, их ответы часто звучат неубедительно.

В недавнем исследовании эксперты высказали предположение, что мы предоставляем изображения ИИ не в том виде. Они показывают, что формирование изображений на естественных языках, вероятно, не оптимально для обобщающих рассуждений. Вместо этого изображение следует сначала преобразовать в компактный, но осмысленный SVG-код, а уже затем передавать его для рассуждений на естественном языке. Интересно, что такой подход улучшает обобщающую рассуждения способность модели.

Давайте разберёмся, почему так происходит и как преобразование изображения из пикселей в символьный код может помочь моделям лучше рассуждать, используя изображения.

ИИ умеет пользоваться браузером: видеть веб-страницы и решать на какую клавишу нажать. Но может ли ИИ играть в браузерные игры?

ChatGPT Atlas прошёл это испытание. Он быстро справился с судоку, не делая ни одной ошибки. Зато во Flappy Bird он также быстро проиграл, не набрав ни одного очка.

Что мешает браузерным агентам полноценно играть в игры? Разбираемся в новом обзоре.

ИИ становятся все умнее, но когда дело доходит до практического применения, энтузиасты и ученые обнаруживают, что некоторые ИИ-модели не справляются с отдельными задачами. 

Казалось бы, мы все время увеличиваем размеры моделей; посмотрите только на LLM которые сжигают все больше энергии, чтобы получить крошечное улучшение производительности на некоторых задачах, сохраняя при этом уязвимость ко всем видам атак. Однако по мере того, как растет стоимость, растут и требования к их надежности и стабильности.

Вот неожиданный поворот: недавние исследования показывают, что успех ИИ-систем часто определяется не размерами моделей, а тем, как различные модели объединяются или, что еще более важно, как они приходят к консенсусу или «договариваются» между собой. Фактически, небольшой рой разнородных ИИ-моделей, который умеет сравнивать решения между собой, часто может превзойти отдельную большую модель и, как правило, гораздо более устойчив к промт-инъекциям и другим видам атак.

Итак, как устроена эта коллективная мыслительная система и почему организации, стремящиеся создать децентрализованный ИИ, могут обратить на нее внимание?

ИИ уже достаточно давно научился искать симптомы, отвечать на вопросы из учебников и угадывать диагнозы на тестах, кажется, что следующий рубеж уже совсем близко и они смогут заменить врачей-диагностов. Однако, на более сложных и приближённых к реальности задачах, когда нужно самому принимать решения по ходу, многие из существующих ИИ-моделей почему-то оказываются не способны рассуждать на уровне врача-эксперта: они часто не могут понять, когда стоит остановиться, не знают какие анализы назначить или попросту действуют по шаблону.

Новое исследование, наоборот, утверждает, что всё о чём мы думали раньше вообще не важно — и размер модели и количество данных — всё это практически не влияет на итог, а самое главное это то, как именно ИИ учится рассуждать и стратегически мыслить. Авторы помещают ИИ в виртуальную клинику, где каждое действие имеет значение, а решение о неправильном выборе будущего анализа повлияет на конечный диагноз. При этом, ИИ получает обратную связь не только за финальный точный диагноз, но и за всю цепочку принятых решений.

Давайте разберёмся, почему для успеха ИИ недостаточно просто «знать правильный ответ» из учебника и почему обучение на реалистичных медицинских сценариях позволяет делать рассуждения ИИ похожими на врачебные. Всё это меняет не только подход к диагностике, но и то, как вообще следует использовать ИИ в медицине.

ИИ уже давно умеет генерировать код. Однако если попросить его построить интерактивный график или сгенерировать анимацию, он часто не справляется с задачей.

По большому счёту, он игнорирует то, как будет визуализироваться код, и в итоге результат приходится дорабатывать вручную. Почему ИИ-модели для генерации кода плохо справляются с этим?

Свежее исследование показывает, что ключ к решению заключается в создании модели, которая умеет и изучить задачу, и написать код, и посмотреть на результат как на картинку, чтобы доработать его.

Сегодня мы рассмотрим, как обучали такую модель и почему её появление может изменить то, как разработчики создают интерфейсы, аналитики визуализируют данные, а ИИ-агенты начинают по-настоящему понимать, что именно они программируют.

Часто ИИ-агенты не справляются даже с самыми простыми прикладными задачами: не могут забронировать отель на нужную дату или сделать коммит в нужную ветку в гите. В чем же дело и почему столь умные системы не работают там, где человеу понадобится всего пара минут?

Исследователи утверждают: всё дело в том, как модель организует своё мышление. Оказывается, если вместо классического пошагового подхода построить нечто вроде графа размышлений, на которые нужно разбить задачу, то получается гораздо лучше и быстрее.

В этом обзоре мы разберём, как агенты учатся думать над задачами и почему будущее ИИ лежит в умении строить правильную структуру размышлений.

ИИ-агенты становятся все более сложными, но они начинают страдать, когда сталкиваются со слишком большим количеством задач. Они легко забывают, запутываются или оставляют задачи незаконченными. Существует парадокс: использование большего количества памяти и более крупных моделей не дает прироста производительности агентов в реальных сценариях.

Недавнее исследование подчеркивает, что ключевым фактором является не размер модели, а способность агента аккуратно очищать свою память. Агент должен иметь возможность сворачивать прошлое, чтобы не потеряться в длинных задачах или даже поменять стартегию, если он зашел в тупик.

В этой статье рассматриваем фреймворк для такого рода сворачивания. Оказывается, что динамическое управление памятью значительно повышает производительность веб-агентов.

В мире бизнеса сейчас из каждого колодца слышится, как искусственный интеллект готов избавить нас от рутинных задач, сделать аналитику и выявить своевременные идеи, чтобы стимулировать рост компании. Однако на практике существует значительный разрыв между тем, что могут сделать даже самые продвинутые нейросети, и реальными потребностями бизнеса. ИИ-агенты часто функционируют как черные ящики, оставляя организации с туманным представлением о том, как или почему был получен определенный результат.

Исследователи из Salesforce AI переосмыслили способ использования ИИ для поддержки бизнес-исследований. Они утверждают, что дело не только в размерах моделей или скорости генерации, но и в лучшем понимании того, как ИИ формирует свои ответы, и в возможности проверить этот процесс. Их новая мультиагентная система под названием Enterprise Deep Research Framework делает ИИ для глубоких исследований более понятным и контролируемым.

Давайте рассмотрим, как современные ИИ-агенты помогают бизнесу принимать более обоснованные решения.

Почему ИИ-агенты в реальных задачах за пределами академических экспериментов до сих пор часто наступают на хорошо знакомые грабли: путаются в деталях, не удерживают цель при длинных рассуждениях и теряют контекст использования инструментов? 

Неожиданная идея решения проблемы пришла в недавнем исследовании DeepAgent. Кажется, что дело вовсе не в размере модели и не в промтах для ее использования. Ключом к прогрессу явилась связная логика рассуждений на протяжении всей задачи. Агент не просто каждый раз делает привычный сценарий с паузой: «обдумал-предпринял действие» - а ведет мысль по длинному связнму сценарию, сам выбирает какой памятью ему пользоваться и когда применять нужные инструменты. 

В этом обзоре: что меняется в поведении агента, когда у него появляется возможность связанно использовать различные инструменты на протяжении всей задачи, какие методы используются и как это приближает нас к по-настоящему автономному ИИ.

ИИ-агенты становятся все умнее и сообразительнее, но почему, когда собирается команда из агентов, возникает неразбериха и неожиданные ошибки? Если агенты уже умеют рассуждать индивидуально, почему они продолжают спорить по простым вопросам и ошибаться там, где не споткнулся бы человек?

Новое исследование подсказывает неожиданный ответ: проблемы командной работы ИИ могут исходить не только от интеллекта модели, но и от языка, используемого для общения между собой. Оказывается, язык является узким горлышком, из-за которого сообщения теряют часть смысла, что затрудняет понимание ИИ друг друга. Исследование предполагает радикально иное решение: что, если бы ИИ делились своими мыслями напрямую, используя язык, отличный от человеческого?

Далее мы обсудим, почему текстовое общение не позволяет ИИ понять друг друга, как другой язык может помочь и почему этот «язык мыслей» не фантастика, а реальность, которую мы можем реализовать сегодня.