12 марта текущего года компания Cognition Labs представила Devin AI, первого в мире, по словам разработчиков, полностью автономного ИИ-программиста. В своем блоге Cognition написали: «Devin может планировать и выполнять сложные инженерные задачи, вспоминать соответствующий контекст на каждом этапе, учиться со временем и исправлять ошибки». Они также продемонстрировали аудитории способности ИИ на реальном примере с сайта Upwork, из-за чего в начале весны вызвали волну обсуждений и заставили программистов опасаться за свои рабочие места.

Однако, похоже, можно спокойно выдохнуть, поскольку недавно компания была обвинена во лжи. Пользователи сомневаются в работоспособности Devin AI, называя примеры из промо-видео фейками и указывая на то, что выпущенный продукт совсем не соответствует действительности.

Все началось с комментария одного из пользователей на Reddit под постом, где обсуждалась новинка в мире искусственного интеллекта — Devin AI. Сейчас сам пост уже удален, однако комментарий можно найти по ссылке.

Пользователь под ником minegen88 пишет: «Это похоже на скам. Типа на самом деле? Посмотрите на их сайт... разве они не могут использовать Devin, чтобы сделать его лучше???». Также в своем комментарии он приводит ряд доказательств, которые мы проверили и подробно разобрали.

1. Сайт Devin AI

Сайт компании Cognition выглядит, мягко говоря, не очень. Он состоит из двух страниц и на первый взгляд скорее напоминает работу студента, который только изучает основы web-разработки. Но, внешний вид - вещь субъективная, поэтому давайте разберемся, что же находится “под капотом”.

Первое, что бросается в глаза при открытии devtools — все сделано на Webflow, конструкторе для лендингов. А блог, который на сайте компании тоже есть, на самом деле является статичной страничкой. Действительно, имея под рукой ИИ, который заточен именно под разработку, почему Cognition не могли использовать Devin AI и создать с его помощью хорошее web-приложение?

К сайту с самим Devin AI у пользователей тоже появились вопросы. Интерфейс, который изображен в промо-видео не соответствует реальному. Более того, протестировать технологию пока тоже не получится. Можно лишь запросить доступ, оставив свою электронную почту.

Также пользователи Reddit с помощью React Developer Tools успели выяснить, что первое время сайт и вовсе работал в dev-моде. Благодаря dev-моду можно получать сообщения об ошибках и предупреждениях прямо в консоль, однако страдает производительность и размер бандла больше, чем в production-моде. Стоит упомянуть о том, что на сегодняшний день, даже если такая проблема и была в первые дни запуска, разработчики (а может и сам Devin AI) уже все давно пофиксили.

2. Несостыковки в промо-роликах

Раз возможности протестировать Devin AI у простых пользователей пока нет, давайте подробнее разберем видеоролики от Cognition с демонстрацией работы ИИ.

Начнем с промо-ролика, который завирусился больше всего и вызвал в среде разработчиков определенный ажиотаж. В нем Девин решает задание с Upwork и справляется с ним, доказывая, что ИИ вскоре сможет заменить человека даже в комплексных задачах. Однако, внимательный зритель может заметить, что задание для ИИ было выбрано неслучайно (см. на поиск на видео - таймкод 3:48), скорее всего для того, чтобы выставить Девина в самом выгодном свете. Ничего страшного, конечно, это вполне распространенная практика. Однако тогда странно, что ИИ подается пользователю как «AI-программист, способный выполнить любую задачу».

На англоязычном ютубе уже можно найти несколько разоблачений. Одно из них — с канала Internet of Bugs. В нем программист с 35-летним опытом в разработке по имени Карл подробно разбирает промо-видео и находит в нем множество несостыковок и пробелов. Например, оказалось, что Davin AI сначала создает файлы, которых изначально не было в репозитории задания с Upwork, а потом сам же находит в них ошибки и занимается их исправлением. У человека, который не вникал в код, показанный в промо-роликах, создается впечатление, что Девин способен искать ошибки в файлах, которые были ему предоставлены. Однако примеров исправления кода, который бы действительно существовал в репозитории, а не того, что был придуман в процессе самим ИИ, нам так и не показали.

3. Умалчивание неудобных фактов

Давайте посмотрим на то, сколько времени Devin AI понадобилось на то, чтобы выполнить все ту же задачу с Upwork. Первое сообщение для уточнения задачи было отправлено в 15:24. Последнее сообщение с ревью финального результата - в 21:41. Как итог — работа Девина над задачей заняла чуть больше, чем 6 часов. Опытный разработчик, в свою очередь, справился с точно такой же задачей примерно за полчаса (https://youtu.be/tNmgmwEtoWE?t=1095&si=GXy78TXkYl1Lstgz).

Безусловно, технология достаточно новая и ждать от AI идеального результата бессмысленно. Однако ни в одном из роликов не упоминается о том, что генерация значительного объема кода занимает больше времени, чем может показаться обывателю. Создается ощущение, что вся пиар-компания Devin AI — это намеренная попытка шокировать зрителя, убедить всех в том, что искусственный интеллект развивается быстрее, чем это происходит на самом деле.

Точно такие же ошибки и несостыковки встречаются почти в каждом видеоролике, опубликованном Cognition Lab.

Итог. Останутся ли программисты без работы?

Судя по количеству мемов, которые за последнюю неделю опубликовали пользователи в социальных сетях, определенно нет. В ближайшие несколько лет такая участь программистам не грозит. Существование подобных ИИ инструментов сможет лишь ускорить выполнение рутинных задач, искать и объяснять ошибки, местами исключать человеческий фактор. Однако, с этим уже сейчас прекрасно справляются модели, которые давно находятся в открытом доступе — ChatGPT-4 Turbo или Claude-3 Opus, доступ к которым (а еще к многим другим моделям, как например Midjourney, Dalle, Gemini) можно получить через Bothub.

Программирование сейчас — не столько про написание кода, сколько про понимании проблемы заказчика, коммуникацию с клиентом и командой. Этого невозможно достичь, если использовать только искусственный интеллект и полностью исключить вмешательство человека.

Даже если функционал Devin AI в промо-роликах был случайно или намеренно преувеличен, технология может стать отличным помощником для разработчиков. Сомнительно, что в скором времени ИИ сможет самостоятельно решать комплексные проблемы, фиксить баги и писать идеальный код без ошибок, как было заявлено. Живого разработчика виртуальный программист заменить пока не сможет.

Расскажите, используете ли вы AI в разработке? Если да, то как часто и для каких целей?