В первом турнире по вайб-кодингу K Prize победитель смог решить только 7,5% задач

[CBET_TbMbI]

Для мерпориятия K Prize задания именно выбирались среди новых, недавно опубликованных на GitHub проблем, чтобы никто не мог натренировать свои ИИ=алгоритмы заранее.

Хотелось бы конкретных примеров для понимания.

[freeExec]

Я так полагаю, на кагл выложены все эти ишью, но там надо регистрацию, чтобы скачать.
Возможно всё же для конкурса отобрали действительно информативные описание проблем хотя бы с возможностью воспроизведения бага, а не как половина "у меня ничего не работает" или "сделайте грабить корованы".

[geornit25]

Ничего удивительного, честно говоря. Сейчас ИИ - это больше про хайп. Реально можно использовать только в очень ограниченных наборах задач.

[winkyBrain]

да не, никто не обратит внимания) не станут прекращать кричать о том, что программисты скоро/теперь будут не нужны - иначе же денег больше никто не даст, ни инвесторы, ни подписочные хомяки. хотя у вторых вряд ли есть выбор)

[mstr_i]

Вообще, как будто, новости про модели в контексте кодинга начинают принимать эпизодический характер, в сравнении даже с тем что было ещё полгода назад. Рано говорить что хайп проходит, понимаю что и народ привыкает, но что есть то есть

[ExternalWayfarer]

Ну допустим модели не смогли помочь решить эти проблемы. А сами разработчики их решили?

[Bedal]

"Это должна была быть моя реплика!"
Контрольная группа, кожаные мешки - сколько решили за то же время?

[winkyBrain]

жесть, они продолжают цепляться за свои надежды) очевидно, что вряд ли существует в принципе живой разработчик, который решит даже простую задачу за то же время, что и нейросеть - скорость обработки и выдачи информации разная. ключевая же разница в том, что разработчик её всё-таки решит, если вдруг задача оказалась сложной. или же, как в данном случае, не столько сложной, сколько отсутствующей в датасетах: в таком случае можно гонять нейронку хоть 24/7 в течение года - результата не будет. ну элементарнейшие вещи расписываю, до которых не сложно дойти самому. ах да, здесь же не принято самому, есть нейронки) за которые так хочется цепляться, даже когда факты кричат о том, что не всё так радужно

[Bedal]

Во-первых, подавляющее большинство проблем, кажущихся конкретному разработчику сложными и требующими вдохновенного творчества - уже встречались, решались и вполне могут оказаться в нейросети. Так что Вас ещё ждут сюрпризы...

Во-вторых, значительная часть из оставшихся проблем решается не прямым приложением усилий, а прыжком в сторону, разработкой фреймворка, к примеру, где эта проблема просто не существует. Что прекрасно иллюстрирует острую нужду в немногих, эти фреймворки придумывающих - и всё меньшую в тех, кто их использует.

В-третьих, это всё ещё младенческое состояние, и одержав яркую разгромную победу над тупой железкой... стоит задуматься, что Вы будете делать через десять лет. Мне вот проще - я уже на пенсии, но не всем так повезло.

[BobovorTheCommentBeast]

Мимо прошло то, что в тесте использовались только селф-хостед открытые модели.

Тест ни о чем. Вернее он ничего не говорит о реальном положении дел.

Осуждаю автора о сокрытии такой детали. Недостойно.

[Fesseewwql]

96 ГБ видеопамяти правда на этих селф-хостед машинах

[sdramare]

Это много что ли? GPT 4 имеет 1.7 триллионов параметров, это при 4 байтах на float будет примерно 7 терабайт памяти.

[Zalechi]

Хайп на хайпе хайпом погонял, — получается? ;)