Comments 135
Классная статья! Скорее всего, в будущем, большинство IT-специальностей будут еще более тесно связаны с управлением нейросетями и будут активно интегрировать их в свою работу. Но не стоит забывать, что нейросеть - это всего лишь инструмент, а не работник, хотя бы пока что... Нам остается только плыть по течению и смотреть что будет в завтрашнем дне.
Статья говорит о том, что нейросеть уже превосходит большинство людей. И называть ее инструментом мы можем лишь в моменте. Потому что ещё нет критической массы ии-агентов для выполнения всех необходимых задач. Грубо говоря, мозги уже есть (хоть и дорогие очень), "рук и ног" пока не хватает.
Но уже определенно точно можно говорить о том, что пройдет совсем небольшое количество времени, например, лет 5, как мы увидим масштабную трансформацию многих отраслей. Процесс уже идет. Если честно, мне очень тревожно из-за этого. И думаю у многих людей такие чувства.
Если честно, мне очень тревожно из-за этого
На самом деле тревога должна смениться скорее на панику. Это будет самая масштабная перестройка уклада жизни за всю историю человечества. Эта революция приведёт к более глубоким последствиям, чем сельское хозяйство, изобретение электричества и ДВС вместе взятые. Обычная биологическая жизнь подходит к концу, эволюция по Дарвину завершена. Случайные мутации ДНК уступают место целенаправленному разуму.
Позвольте поинтересоваться, а в чем будет крах, революция и на чём основанны такие далеко идущие выводы?
Если ИИ будет делать всё лучше людей, то зачем нужны люди? Вот как пример возможной революции, если что-то вдруг пойдёт не так.
Именно ДЕЛАТЬ. Пока нету инструментов изучения новой физики и разработки новых теорий, а человеческие руки дешевле машинных, даже в потенциальном будущем. (Я имею ввиду универсальных машин, специализированные уже давно всех обогнали)
Так что в текущем укладке мира средний класс должны сожрать, а остальные никуда не денутся.
а человеческие руки дешевле машинных
Стоит немного изменить фразу "пока человеческие руки дешевле машинных"
Автоматизация приводит к снижению трудозатрат, снижение трудозатрат приводит к снижению цен, снижение цен проводит к том, что люди соглашаются работать за меньшие зарплаты, и человеческие руки снова дешевле машинных.
Но и товары в таком мире производятся все более массово и дёшево, поэтому уровень жизни большинства растёт.
Поскольку, по определению, прибавочная стоимость создаётся из присвоенного труда, то если людей заменят машины, не будет прибавочной стоимости. А значит, не будет прибыли.
С другой стороны, образуется товарная инфляция (когда количество товара превышает количество денег) и возникает затоваривание. Следствием последнего является закрытие производств, так как работать «на склад» неинтересно.
А так как автоматизация слишком привлекательна, чтобы от неё отказаться, то система будет колебаться, пока не сбалансируется на каком-то уровне, дающим а) извлекать прибыль, б) поддерживать низкую себестоимость, в) не терять платёжеспособный спрос.
То есть, автоматизированы будут либо какие-то отдельные сегменты рынка, либо определённый процент производства. Например, в химпроме автоматизировано около 20% производства, и эта цифра не растёт.
Плюс, прогресс ведёт к усложнению производства, то есть, создаёт новые профессии. Так что не стоит паниковать, работы хватит на всех.
Поскольку, по определению, прибавочная стоимость создаётся из присвоенного труда, то если людей заменят машины, не будет прибавочной стоимости. А значит, не будет прибыли.
А вам никогда не приходило в голову что тут просто определение кривое?
Приходило. Но потом ушло.
«Демократия — наихудшая форма правления, если не считать всех остальных» (Уинстон Черчилль)
Как бы... согласен.
Я в целом за то, что есть некоторый класс работ который требует некоторой специфический когнитивной нагрузки и при этом не являющаяся квалифицированной. Для выполнения такой работы потребуется сложные машины, для которых нужно будет нанимать персонал для его обслуживания а он будет стоить дороже чем "кучка аборигенов" которые сделают это за минимальную зарплату.
Придумаем мега утрированный пример. Мы можем поставить супер быстрый сортировщик товаров который требует штат людей которые его обслуживает. Но этот сортированный товар надо потом погрузить в машины, а это уже проблематично, ибо товары бывают разного размера и надо тогда делать упаковщик который догадается "как сложить доминошку" что сложно для машины. В итоге решение это нанять ещё больше персонала чтоб успевать обслуживать машину и в итоге вроде бы мы сделали это больше/дешевле но по деньгам как-то не сильно выиграли. На автоматизации заработали сортировки заработали +15%, хотя хочется же увидеть цифры в 10 раз больше(((
Насколько дешевле придется работать людям? На еду хотя бы хватит?
Если, например брать производство программ, хотите сказать, что собстевнники бизнеса будут с удовольствием разбираться как выбрать подходящую модель под нужную ситуацию, как правильно составить достаточно детальную спецификацию для ИИ, как ее корректировать, чтобы не сломалось что-то другое, как проверять итоговую систему, как дебажить и в целом, как оценить качество получившейся системы?
Подозреваю, что просто снова делегируют это инженерам.
Это больше похоже на переход с условного ассемблера на условный питон.
Да, с учетом того, что на питоне и его библиотеках написание кода для обработка условного датасета занимает 4 часа, а на ассемблере это была бы задача на недели.
Так и здесь - ИИ набросает тебе код, дальше вы будете его шлифовать, и задача вместо 4 часов займёт полтора.
То есть эффект от ИИ будет, но не такой масштабный в относительном сокращении человеко-часов, как от вычислений на бумаге к ассемблеру и от ассемблера к питону.
Ага, эволюция, а не революция
Зависит от конкретной отрасли и ниши, но, скорее всего, да.
Сто лет назад вычисление любого выражения занимало минуты, часы и дни, сейчас любая арифметика делается за долю секунды, слово "компьютер" стало означать недорогой офисный инструмент, а не профессию (ровно как исчезли, кажется, машинистки, и исчезают стенографы и переводчики), но роль аналитика, секретаря и издателя изменилась не так заметно
Отлично, я сейчас занимаюсь анализом речи животных. Современные LLM могут лишь анализировать мои решения чтобы указать на слабые места в их анализе. Но сами по себе, они не смогли родить ни одной новой идеи в сложной области. Только личный анализ, который опирается множество вещей.
Таким образом, накидать код построения графика он может быстрее хотя и допустить ошибки в логике.
А вот несмотря на огромный массив обученных данных, абстрагировать на уровень выше чтоб найти взаимосвязи не может. Только когда указываешь ему на них.
Если вы спросите его как к примеру распознать слова и речь дельфинов и всю цепочку почему именно так. То он просто выдаст тоже, что модно найти в поисковике, но более лаконично. Предложит общий подход, но подход без понимания почему так делаем, откуда такая гипотеза, ни абстрагирования.
Современные llm лишь инструмент и наличие агентов будет улучшать его и усложнять. Но это не перевод мышления на новый уровень абстрагирования накопленных знаний из одной области в другую.
Вы про какую модель говорите? Вы использовали хотя бы o1? Статья же вообще про o3. Которую пока никто не потрогал даже. Известны лишь результаты тестов по ней - и значительный шаг вперед по сравнению с o1.
Относительно речи дельфинов - вы сначала скормите такой модели (хотя бы o1) массив данных. Звуки "речи" дельфинов, существующие интерпретации, наработки, наблюдения. Научные работы и т.п. А потом уже работайте с ней.
Также - нейросеть это не всеведующая штука. И с ней тоже надо уметь работать. Например, промптинг. Хотите чтобы нейросеть помогла вам задавать правильные вопросы? Попросите ее задавать вам вопросы, если она посчитает, что ей не хватает данных.
Не верите, что нейросеть может явления и знания из одной области переносить в другую? А вы попробуйте, дайте ей такую установку в промте. Я когда в учебе использую нейросеть, иногда использую следующий прием - прошу нейросеть объяснить мне интересующий вопрос "как для школьника", "как для студента", "как для домохозяйки" и т.д. Это позволяет упростить сложное определение, найти аналогию в других явлениях.
Ничто не мешает вам сделать также.
Только не надо бесплатные и устаревшие нейросети использовать. Последние поколения ушли далеко вперед. Хотя они тоже умеют в "асбтракцию", просто значительно хуже.
А наличие агентов - очень сильно влияет на возможности нейросетей. Они могут распределить нагрузку по расчету "типовых" вещей. Например, андроид может перемещаться за счет одной нейросети, а общаться за счет другой, а третья нейросеть будет управляющей, четвертая нейросеть будет отвечать за руки, пятая за зрение, шестая за звук и т.д. Это так называемые ансамбли из нейросетей.
Аналогично можно сделать и для вашей работы по анализу речи животных. Например, для обработки видео со звуком. Сначала обучить одну нейросеть на звуки дельфинчиков. Чтобы впоследствии она могла искать патерны в любом звуковом файле (распознавание слов). Пока не нужна интепретация. Просто шаблоны. Другая нейросеть разбирает видеоряд для распознавания движений дельфина. Третья нейросеть распознает объекты (один дельфин, два, косяк рыбы, акула, водоросли и т.п). Четвертая нейросеть работает с расстояниями и положением объектов относительно друг друга. Пятая нейросеть сопоставляет распознанные движения, объекты и т.п. с русскими словами. Шестая нейросеть сопоставляет по таймкоду звуки и данные всех других нейросетей. Чтобы определить, что после вот этого звука другой дельфин приблизился. А вот от этого звука он отдалился. А вот от этого звука его положение в пространстве опять изменилось. А вот на этот звук произошло дрожание плавников, другой дельфин ответил тем же. И т.д. Кароче, это сложнейшая задача для ИИ-разработчиков и ученных. Но вполне решаемая, скорее всего уже в ближайшие годы.
Оффтоп, но можете про речь животных побольше рассказать? Откуда берете сэмплы и их сопоставления со значениями, например.
Для начала это приведет к 3й мировой, если и когда весь этот ИИ окажется в руках запада. Потому что вся эта наука прежде всего попадет там в руки военных, а реальная власть, несмотря на возвращение Трампа, на западе пока принадлежит военным корпорациям, которые с радостью используют науку для расширения своего жизненного пространства и уничтожения неугодных. Вот о чем надо паниковать для начала. Но тут конечно о таких "мелочах", понятно, не думают от слова вообще.
Статья говорит о том, что нейросеть уже превосходит большинство людей.
Калькулятор тоже. Разве из-за этого калькулятор перестаёт быть инструментом?
нейросеть уже превосходит большинство людей
Без способности к целеполаганию и самостоятельной деятельности всё их превосходство ничего не стоит в контексте замещения людей.
уже определенно точно можно говорить о том, что пройдет совсем небольшое количество времени, например, лет 5, как мы увидим
Вас самих ещё не тошнит от этого буллшитного штампа из едва ли не каждой аналитической статьи на любую тему?
Рассуждающим про революции и замещение людей нейросетями предлагаю простой мысленный эксперимент. Вы владелец/директор IT-компании, перед вами стоит выбор, кого нанять.
Первый кандидат - середнячок, не шибко смыслит в глубокой математике и кишках ОС и компиляторов, но инициативен и упорен, постоянно учится и активно добывает знания, в решении проблем пробует разные варианты, чувствует аудиторию и баланс между техническими и потребительскими качествами продукта.
Второй кандидат - гений информатики, быстро ловит глубоко запрятанные баги, досконально знает устройство ОС и компиляторов, может выдавать люто оптимизированный код... но абсолютно несамостоятелен и безынициативен, без подробного указания неспособен написать даже простейшую функцию - попросту ничего не делает без указаний, постоянно выпадает из контекста и сбивается на чистые абстракции, а потребительские качества вашего продукта и потребности бизнеса, особенно плохо формализуемые, для него вообще тёмный лес.
Вот второй кандидат - это нейронка. Возьмёте её на работу вместо первого кандидата?
постоянно выпадает из контекста и сбивается на чистые абстракции
А по подробнее? А то не сталкивался за последний год с таким. Не, если написать криво промт, то можно узнать как космические корабли бороздят просторы Большого. Но это проблема того, кто запрос составил, как говорится с дуру можно и ... сломать
Вы владелец/директор IT-компании, перед вами стоит выбор, кого нанять.
Это что за IT-компания из одного середнячка, который и архитектор и QA и тд?).
Для большинства бизнесов смысла в джунах или "середнячок, не шибко смыслит в глубокой математике и кишках ОС" нет. На джуна нужно потратить время, а после он захочет больше деняг или свалит в закат. Лучше взять сразу мидла и ИИ
Анализ вакансий как бы на это намекает, что джуны особенно и не нужны.
Но это проблема того, кто запрос составил, как говорится с дуру можно и ... сломать
А люди, которые умеют правильно составить запрос и определить, что ответ не представляет собой рассказ о космических кораблях, бороздящих Большой Театр, бесплатно прилагаются к нейросетям? Или их надо отдельно искать и платить им зарплату?
Какой код вы пишите? У меня все llm люта начинают глючить при конвертации больших sql процедур, причем порой зацикленно.
Да даже элементарно, недавно для доп анализа решил вместо praat дополнительно проанализировать данные просто lpc из librosa. Скормил ей функцию выполняющую эти действия в praat и попросил аналогичную на lpc. Так она выкинула часть данных, вместо массива вернула единичные значения. Ладно я понимаю в чем ошибки и могу исправить или указать (в итоге сам исправил ее код), но что если это рабочая программа?
А что за дичь она мне выдавала, когда я писал функции сдвига частоты или усиления ее.
Да, код для игры на unity простой для обработки действия, или сохранения данных в pandas делает. Но что то сложное и все, тупая как пробка.
Как раз нейросети будут ускорять написание некритичных (но трудоемких) кусков кода и обработку данных. Например, я закидываю таблицу в pdf и прошу выбрать данные в хитро структурированный json. Руками это часы нудной работы. А потом из него в датафрейм с определёнными полями - раз, готово. И вот у меня уже готовые к обработке данные, которые раньше и мысли не возникало перенести в датафрейм - ибо трудоёмкость и нуднота.
Давайте немного изменим вводные данные: У вас компания с 10 мидлами, кого вы наймете им в помощь из этих двух вариантов при том, что второй дешевле на порядок, а то и два?
согласен ... только кармы не хватает
и как я говорил на одном форуме - ключ к сильному ИИ - обучение с подкревлением, но я не думал что оно придет к языковым моделям с скорее к ОО(п)
Эх, если бы еще на груминги эти модели можно было звать :)
А так ждем новых и более удобных плагинов для популярных IDE c элементами ИИ. Кстати если у кого есть список плагинов для VS, VS Code, intellij idea и прочих, то буду признателен на ссылку
o1 preview и так решает 99% задач встречающихся в реальной работе. На практике больше бы пригодилась возможность индексации больших проектов (дообучение) чтобы модель сама находила куда именно дописывать фичу
Со всем этим развитием генеративных моделек, у меня всё больше развивается паранойя, что некоторые статьи и некоторые камменты пишутся АИ ботами чисто для рейтинга....
Скоро придем к тому, что только боты будут комментить статьи написанные ботами.... И найти что-то адекватное в этом потоке "контента" станет нереально. Пичалько, короче.
Пойду причиню вред человеку, чтобы доказать, что я не робот
Мертвый интернет всё ближе
У меня на сайтах уже комментарии пишет модуль с ии, опираясь на текст и заданные промпты
У меня другая параноя развивается. А точно ли все люди обладают интеллектом, что даже в таких глюченных llm они увидели равный интеллект. /sarcasm
В части комментов это давно уже так, в т.ч. и на Хабре
Вы немного отстали) небольшие программы уже пишет. И вполне годные. У меня джуны хуже пишут и тратят в разы (во много-много раз больше времени). Да, большой проект она не напишет, но если сделать нормальную декомпозицию и потом немного доработать напильником, то получается достаточно сносно. И это я говорю про о1.
Конечно это зависти от задач, но в данный момент более перспективно использовать о1 вместо джунов. Часто LLM дает решения на уровне хорошего мидла.
Забавно получается, джуны не выгодны и не нужны, но если не будет джунов, то спустя некоторое время не будет ни мидлов, ни сеньоров.
Если о1 это джун, о3 наверное уже мидл. И дальше всё? Развития ИИ не будет и о3 (мидл) будет ждать джуна несколько лет пока у нее новый сеньор появится?
Если не врут и AGI будет не позднее 2030, то на ближайшие 5 лет еще точно есть сеньоры. Ну а потом и человеки не особенно то нужны будут
Есть подозрения что намного быстрее чем в 2030. (Если брать текущие темпы). о3 ещё не заменит полностью а вот какая то о5 очень вероятно.
С учётом темпа в потреблении энергоресурсов, какая-то о5 будет потреблять энергии (а значит, денег) существенно больше, чем соответствующего уровня специалисты. Где-то будет достигнут баланс. Думаете, почему даже в самых развитых странах до сих пор существуют такие чисто механические профессии, как дворник, например?
Сначала заменит джунов, потом мидлов, а потом уже и за сеньоров возмётся :)
За это время, пока джуны становятся мидлами или сеньорами ИИ тоже обучается
Сфера IT не растёт, только скукоживается. Я думаю, они и в будущем нужны не будут
Некоторое, это сколько? Пока все миддлы постареют? Так далеко очень сложно заглянуть.
Ничего она не напишет. Я пересматриваю все что делал за 25 лет назад и не могу найти ни-одной задачи, где AI существенно мог бы мне помочь.
Потому, что типичная задача программиста, это:
- здесь это как-то было сделано, но тот кто это задумал уже уволился, попробуй поспрашивать у ребят в чате;
- мы хотели бы прикрутить этот функционал, мы не уверены что это получится и что игра стоит свеч, но вот есть пару фреймворков на эту тему, которые сделаны конечно не совсем под этот кейз, но попробуй их использовать;
- мы хотим реализовать стриминг видео/IP телефонию/... на этом одноплатном компе с линуксом, есть какие-то либы c++ и пару упоминаний о них на stackoverflow, может быть тебе удастся их собрать и оживить в этом окружении.
- в нашей программе на миллион строк кода и 100 разработчиками мы чего-то поменяли и автотест упал; поэкспериментируй с ней, поищи что не так и потом по истории гит где что меняли и почему накосячили, потом найдешь этих людей, согласуй как пофиксить.
- мы собрали замечательную поддержку ворк-флоу в нашем продукте; давай ты попробуешь добавлять новые json для новых девайсов, используя эти воркфлоу, разберись пожалуйста как проверить что все заработало и по ходу мы разберемся чего еще не хватает в этом нашем коде для воркфлоу.
- мы хотим создать супер интеллектуальный алгоритм для автоматического управления этим процессом, но х.з. какую входную информацию он должен использовать и что должно быть на выходе; зато мы наняли инженера, который работал с этим процессом, он вообще без понятия об IT и у него совершенно не рабочие идеи, но ты с ним поговори и попробуй запрограммировать некий вариант для начала.
- мы хотим создать систему которая будет воспроизводить объявления и показывать анимированные картинки с информацией; нам понадобится встроить в нее красивый удобный редактор для сообщений и картинок c движком для рендеринга и воспроизведения... или х.з., может пускай это просто будет браузер и html...
Любую из этих задач вы можете решать что с AI, что без него, времени уйдет примерно одинаково.
Вот только это задачи не для джуна, ну кроме "поспрашивать у ребят в чате")
IT по своей природе ничем не отличается от других инженерных областей или науки. Джун-конструктор или джун-ученый, это нонсенс, от него всегда будет больше вреда чем пользы. То же самое в IT. Но джуны все равно окупаются, потому что один из них окажется умным, быстро вырастет и не так быстро уйдет в другую компанию. В итоге он отобьет своей работой убыток от остальных.
Тогда зачем нужен AI-джун, который никогда не станет синьором?
Ситуация, когда разработку пытаются превратить в тривиальный процесс, вроде укладки кирпичей, в который можно пристроить любого, она временная и ненормальная. Она была обусловлена только временным избытком денег в отрасли, когда любой пожар пытались тушить деньгами и количеством людей. При отсутствии легких денег никаких других людей, кроме способных решать сложные и неопределенные задачи в отрасли не будет. Т.е. они будут, но только на время обучения, как в исследовательских институтах или конструкторских бюро.
Вы и правы и не правы слегка. Есть целые конторы, которые пилят условные сайты-визитки, и называют себя айти компанией, но чаще там в названии слово студия ещё, и у них даже есть грейды внутри такие же, как у нормальных контор, типа самый быстрый визиткодел - Синьор, самый вдумчивый- мидл, студент, он же сын бухгалтерши - джун. И вот таким ребятам реально кранты ибо это и есть условные кирпичи/пирожки...
Любую из этих задач вы можете решать что с AI, что без него, времени уйдет примерно одинаково.
А как на счёт денег работодателя?)
Времени человека уйдет одинаково. Значит и денег.
Вроде как, время нужно считать для двоих людей - условный джун и условный мидл/синьор?
Так джун в подчинении у синьора работу в целом не ускорит, скорее замедлит, но деньги джун проест. С синьором+AI будет примерно то же самое, но деньги AI не проест. Зато в первом случае мы получаем обучение джуна, который может стать синьором в перспективе. И того, AI никого не заменяет, только облегчает работу всем.
Не логичнее ли с самого начала учить джуна писать правильные промпты, чем учить его вымирающей профессии - писать низкоуровневый код? Это примерно как если бы мы начинали обучение машинистки с уроков каллиграфии, имхо.
Что такое "низкоуровневый код" и где он живет?
Не существует такой профессии - писать код. Превращать в код некие задуманные алгоритмы умеет любой школьник через две недели после первых попыток программирования.
Хороший программист на пике проекта в хорошем случае создает за день 100 строк кода, которые пойдут в продакшн. Физически написать кода он мог бы гораздо больше, но время уходит на обдумывание концепций, изучение лучших практик использования текущих фреймворков и так далее. Обратить все это в код вручную обычно даже проще чем с помощью промптов.
Грубый пример, если я пишу функцию для валидации чего-то, то основное время тратится на то, чтобы осознать что именно нужно проверять в этом приложении, какие ситуации являются неприемлемыми и как они будут обрабатываться в приложении. По ходу как правило выясняется, что эта валидация не нужна вообще, или нужна не здесь или нужна здесь, но надо поправить еще логику вовне, чтобы исключить определенные ситуации. Собственно сам кодинг сводится к тому что пишется несколько "if", и тут если писать промпты типа "функция должна проверять что..." или писать эти if-ы вручную, разницы нет. Второе даже проще. Промптами удобно пользоваться в довольно редких случаях, когда локально в одном месте нужен некий достаточно хитрый алгоритм, над которым лень ломать голову. Но после промпта все равно придется изучать замысел GPT в сгенерированном коде, чтобы убедиться что это то что нужно. Еще промптами удобно пользоваться когда не помнишь синтаксис фреймворка. Но опять таки, проверка и понимание предложенного кода необходима.
правильные промпты
Так они будут избыточней кода в виду неотъемлемых свойств естественных языков.
низкоуровневый код
Так его уже давно почти не пишут.
так рассуждаете, что кажется, как будто бы AI модель способная по запросу работодателя создать продукт, обойдется работодателю бесплатно
возможно для верификации программ AI может оказаться полезным, типа старая идея о доказательстве правильности программы, когда невозможно полностью тестирование выполнить, типа тандемом с человеком - такое было бы интересно сделать
Вам минусы лепят, потому что такие комментарии пугают обычных людей. Я с вами согласен. И от этого не по себе.
Постоянно говрится, что очередная нейронка хорошо пишет программы. Но основная работа программиста - поддерживать ранее написанное. Причём, масштабное и весьма сложное.
Зачем во всех статьях повторяют маркетинговый булшит опенаи про новую модель? о1 о3 - все те же самые старые модели с небольшим файнтьюном, которые работают точно так же и не показывают ни какого роста перформанса сами по себе, просто поверх них работает простенький скрипт, который в лупе крутит cot промпт. Такую "новую думающую модель" можно сделать из любой другой модели - хоть из селфхостед лламы, запустив ее с тем же скриптом.
Что само по себе кстати натуральный выстрел в ногу со стороны опенаи, так как существенно обесценивает модельки самой опенаи для бизнеса.
Более того, ELO 2727 говорит о том, что o3 находится в пределах 99,7 процентиля всех участников, то есть превосходит примерно 99,7% всех участников Codeforces
Обычный калькулятор обгоняет все 99.999% участников codeforces. Непонятно, какой из этого должен следовать вывод
Ну и, наверное, интересующий многих читателей вопрос, а как удалось достигнуть таких результатов?
Брутфорс. О3 генерит на тестовый вопрос десятки тысяч токенов - то есть сотня-две страниц печатного текста рассуждений. Таких ответов она генерит 1024 штук на задачу и выбирает лучший.
Кстати, обычная 4о (как и другие крупные модели) работающая по такому же сценарию даёт примерно такой же перформанс без "размышлений" и сопутствующих затрат. А месяц-два назад 60% на этом тесте выбили обычной 8б моделькой (на карточку потребительского уровня влезет) при помощи ттт. Без подобного жёсткого брутфорса, к слову. И без файнтьюнинга, который применяли в о3
Инетересно. А как конкретно это сделать? Я был бы рад, если бы у меня был такой скрипт.
Что такое ттт?
TTT (Test-Time Training) или обучение во время тестирования - это метод адаптации языковых моделей, который позволяет настраивать модель непосредственно в момент решения конкретной задачи.
Аббревиатуру ниже расшифровали. Вкратце о том, как это работает - если задача формулируется в виде "есть N примеров, теперь сделай с Х так же, как в этих примерах" (arc agi как раз так и устроен - даются примеры преобразования картинок, и дальше надо так же преобразовать еще одну картинку), то можно вместо того, чтобы просто давать промпт с примерами, сделать финт ушами - использовать данные примеры в качестве обучающей выборки. Т.е. дообучить модель на этих примерах, обновив веса. Дальше, после дообучения, модели с новыми весами предъявляется Х, над которым нужно произвести действия как в примерах - она дает ответ, и после этого веса скидываются обратно, к исходной модели. Берется следующая задача - для нее свой набор примеров, дообучаем модель уже на них... etc.
Такую "новую думающую модель" можно сделать из любой другой модели - хоть из селфхостед лламы, запустив ее с тем же скриптом.
В принципе, можно, наверное, и, скорее сего, над этим уже работают. Тут основная проблема, как я понимаю, в стоимости ответов на запросы. Но оптические чипы рано или поздно должны выйти в серию, а покамест, наилучшим применением о3, на мой взгляд, будет её использование для аннотирования (разметки) сложных данных при обучении более дешёвых в эксплуатации моделей.
Электрон сильно меньше фотона, поэтому плотной интеграции оптических чипов ждать долго, а раз нет плотной интеграции, то и потери большие, то есть энергоэффектиность плохая. Вот "тупые" сильно-параллельные блоки ускорителей, в том числе сеток, на базе голографии и/или квантовых симуляторов -- это пожалуйста. Удивительно, что до сих пор нет коммерческих решений, все никак из лабораторий не выходит. Видимо, пока до конкурентоспособной сложности не доходит.
Собственно, я и не имел в виду полную интеграцию, а именно реализацию архитектуры глубоких сетей на основе оптических чипов. В последнее время на эту тему довольно много публикаций, в том числе, в журналах уровня Nature. Что в итоге выйдет на практике - посмотрим.
А их просто не заменить быстро. Это просто плата, повторяющая уже натренированную сетку. А сколько времени будет актуальна конкретная сетка неизвестно. +ошибки при печати платы хорошо добавляют цены. + ошибки при оцифровке ответов платы (где гарантия что проезжающий на соседней улице автобус не повлияет на результат)
Зато у фотонов массы нет и их можно больше в панамку напихать
Не хрена не понял, но очень интересно. Как мне программеру с 40 летним стажем поможет какая-то нейроматрица с весовыми коэфициенами, которая реализует ту или иную модель? Вот если бы она мне помогала быстро находить ответы на вопросы той или иной сложности? Но и тут как и любой ноукодинг сложный конструктор, требует понимания как он работает, а создовать ноукодинг ИИ консультанта это агрегация всех аспектов конструктора. А если он само развивающийся само обучающийся, то написать ноукодинг конструктор со своeй AI моделью, хотя бы в парадигме ООП это технически возможно. Но уровень оператора который будет ставить задачи АI ИИ должен быть на уровне архитектора или full синьор аналитика. И в итоге я также буду делать новую задачу за то же время что с конструктором, что без используя low code или тот же hard coding что с AI ИИ, что без. Ибо это я уже пробовал. Но используя полноценный фреймворк я буду более гибким, чем какой-то сложный конструктор. Так как я всегда буду стремится создовать свой конструктор для более узкой задачи пытаясь сделать его исходя из временных ограничений более или менее универсальным. И этот процесс будет бесконечным. Так как знания они бесконечны. Исходя из этого ресурсы на создание ИИ с их А I моделями будут пожирателя немеренно. И в итоге мы создадим монстра который будет потреблять всё больше и больше и в момент эволюции его сожрут болле мелкие хищники, и умрут всё ваши ИИ и AI не выдержав давления экосистемы отрасли или ИИ АI генеза.
известно, что o3-mini тратит 17-20 долларов на задачу, в то время как модель o3 – “примерно 172x” от стоимости o3-mini. Иными словами, 2,5-3 тыс. долларов за задачу
Если предположить, что o3-mini находится где-то на уровне o1 (которой явно недостаточно для стабильной работы без постоянного контроля и перепроверки), то получается, что имеет смысл рассматривать только o3. То есть надо ориентироваться на $3k за задачу. И это, насколько можно понять, на синтетических тестах, где задачи явно хорошо сформулированы. По сути, это означает, что требуется деятельное участие аналитика-постановщика задач, а сам ИИ находится где-то на уровне джуна, т.к. самостоятельно не в состоянии уточнить условия задачи, поднять вопрос на совещании и т.д. Далее, условная задача с LeetCode, на которой вероятно и проводили замеры, навряд ли будет требовать более чем 5-8 часов на решение. Получается, что стоить такой ИИ-джун будет $3k за рабочий день, почти $400 в час. Очень дорого, даже для какой-нибудь Кремниевой долины.
так а смысл это сейчас считать?
первый звонок с первого мобильного телефона тоже золотым вышел, если учесть стоимость его сборки, и стоимость обслуживания первой в мире базовой станции
очевидно, что первая задача - понять, а что оно может в лабораторных условиях, задать бенчмарк, а потом уже, поняв, что оно что-то может, что кому-то нужно, оптимизировать, находя оптимум, который опимизирует две переменные - отставание от бенчмарка, и цену. Возможно, таких оптимумов будет много (один для кастомизации сайтов визиток с $0.1 за задачу, второй - для интеграций корпоративных систем за $25 за задачу, а третий - для написания драйверов и оптимизации наносекунд в биржевых роботах, за $10K за задачу, ибо, в отличии от литкода, еще и придется по многу раз тесты гонять)
да и вообще, опенаи все правильно делает. Прямо сейчас доводить цену до приемлимой зачем? Чтобы денежный поток получить (который все равно не сравнится с рекламными потоками меты и гугла)? А это зачем? Как это приближает к абсолютной победе в новом мире?
Смысл в том, что даже первый золотой мобильный телефон был ориентирован на тех, кто это мог себе позволить, и генерировал производителю и оператору прибыль. Напротив, OpenAI тратит примерно в 2.5 раза больше, чем зарабатывает, и кроме общих рассуждений вроде тех, что вы предлагаете ("продукт станет лучше, цена ниже"), никаких конкретных идей о том, как изменить траекторию, нет.
Понятно, что в OpenAI заинтересованы "продать корову", но мы же можем смотреть не вещи несколько более рационально. У них уже давно есть продукт, который по разным меркам обходит то выпускников, то джунов, то ещё кого. Однако же им до сих пор не удалось его прилично монетизировать с учётом текущих цен и текущих возможностей этого продукта. Как так, что должно измениться? Цена ещё понизиться или продукт стать круче? Пока мы видим, что крутизна обходится очень дорого, а мы не знаем, сколько потребители за неё готовы платить реально.
Таким образом, подобные статьи действительно подхватывают рекламный нарратив OpenAI, но при всём оптимизме можно всё-таки хотя бы мелким шрифтом добавить дисклеймер: мы не знаем, что оно на практике будет уметь, сколько это будет стоит, сколько клиенты за эти навыки будут готовы заплатить, и получится ли при этом выйти на прибыль.
У меня, честно говоря, вообще есть сомнения, а сможет ли это стать в принципе полноценной заменой программисту, в том случае, если экстенсивно разивать текущие технологии ИИ. По ощущениям, уже где-то близко видится некий "стеклянный потолок", выше которого на текущей архитектуре нейросетей не подняться. Ближайший пример - казалось бы безудержный рост частоты процессоров в конце 90-х - начале 2000-х. По факту, выше 10 GHz так ничего и не вышло сделать.
Так а чего не хватает?
К примеру, вчера, я сам использовал о1, чтобы с 0 написать скрипт, который синзронизирует апи с БД по довольно нетривиальному алгоритму. Дал нейронке схему апи на примере, попросил сделать ddl для бд, потом скрипт, указав, что данные могут быть коррапчены, и надо их заменить на дефолтное значение, потом попросил переписать скрипт под батчи, потом добавить логгирование. И, вот, готовый сервис, где я не написал ни строчки кода.
Да, матерые программисты с опытом корпораций любят напоминать о том, что разовый скрипт то да, но, вот махровый энтерпрайз, где только своих библиотек 100500, и где миллион строк кода в проекте, быстро поставит нейронку на место. Но, и тут тоже проблема выглядит решаемой. Да, вот прямо сейчас взять и втоклкнуть нс в такой проект может и не выйти. Но, как человек, видевший достаточно много смрадного энтерпрайзного кода, могу сказать и то, что он, как правило, переусложнен, и невозможность при помощи НС поддерживать такой проект выходит не из сложности бизнес-логики/сферы/требований, а из-за того, что за 10 лет нагородили инженеры, придумывая себе брейн-тизеры, и внедряя лучшие практики, которые в моде в этом сезоне. Мой прогноз, что, если специальным образом разработать архитектуру и среду разработки под ИИ (например, хранить историю промптов вместе с кодом, иметь возможность перегенерировать фрагменты кода, подобно компиляции, иметь готовые шаблоны архитектуры под конкретные инлустрии, правильно кормить ИИ примерами подобных задач при решении следующей, и так далее), то можно и заменить полностью. То есть, в текущей точке уже не нужны научные прорывы. Скурпулезный инженерный труд позволит заменить программиста на уже сделанных открытиях
Сейчас задачу для ИИ надо детально разжевывать, а это не то, чтобы стандартный подход в индустрии. Обычно задача ставится на бизнес уровне: "нужна фича A в продукте B, за деталями интеграции надо обратиться к команде C". Для сеньора и пожалуй части миддлов этого будет вполне достаточно. Для ИИ, как и для джунов - увы нет. Нужен промежуточный уровень. Возможно, с помощью максимально глубокой интеграции ИИ в среды разработки ПО эту проблему удасться как то смягчить. Чтобы у ИИ был максимально возможный контекст.
Так а чего не хватает?
На мой взгляд - особенно не хватает обратной связи от ИИ. Ты ставишь очевидно неполную задачу, а ИИ бросается её выполнять ничего даже не уточнив. Разумеется на выходе может быть далеко не то, что требуется. И приходится бесконечно уточнять что и как надо сделать. Самостоятельно погружаться в задачу, по итогу. Хотелось бы, чтобы ИИ сначала уточнил все детали, даже те, о которых пользователь даже и не задумывался ранее. И только потом, подготовив по сути ТЗ - начал что-то делать.
Стеклянный потолок видится на каждом этапе. А потом происходит снижение цены.
Вы не правильно считаете. Как я понимаю вы не работали с о1/GPT4. Если правильно поставлены условия (промт) то типичную джуновскую задачу они решают за несколько секунд. Речь не идет о создании сразу полноценной программы. Делается декомпозиция, потом отдается LLM в виде промтов. Получаем код, собираем в кучу, просим LLM покрыть тестами конечную сборку, если вылезает косяк, правим ручками или сообщаем LLM что в ее фрагменте кода проблема. В результате на работу которая занимала неделю у мясных и требовала 2-3 человека, выполняет один мидл/сеньор за пару часов.
Как вы думаете сколько из сокращенных десятков тысяч вакансий связанны с замены части персонала различного рода copilot?
Так я ровно про это и писал, что требуется детально описывать условия задачи, что именно надо сделать. Для o1 зачастую это превращается в постоянный набор уточнений. Можно сказать аналог метапрограммирования в свободной текстовой форме. Причем зачастую ловишь себя на мысли, что быстрее самому сделать, чем постоянно уточнять, что и где надо исправить. На мой взгляд - этого явно недостаточно для чего то в продакшене. Для быстрого прототипирования - наверное да, пойдет. Для o3 же - ожидаю, что этих уточнений потребуется вносить меньше и в итоге системный аналитик сможет самостоятельно ставить задачи нейросети и контролировать их выполнение. Оттуда и расчет стоимости именно для o3.
Как вы думаете сколько из сокращенных десятков тысяч вакансий связанны с замены части персонала различного рода copilot?
Не думаю, что это непосредственно связано с ИИ. Скорее просто спад после предыдущего роста.
Ну да. Оптимизации же не происходит. Алгоритмы не улучшаются, прогресса в чипах нет. 3k$ на задачу теперь вечно будет.
"Привет, Хабр! Меня зовут Владимир Крылов. Я профессор математики, научный консультант Artezio"
А подписана статья Александром Николайчуком. Проделки ИИ?
Извините за офф-топ.
В программирование ИИ очень успешен в саботировании open-source проектов: поток некачественных сообщений об уязвимостях в коде, которые с виду похожи на реальные проблемы и требуют времени на проверку.
Интересно, ИИ уже умеет задавать уточняющие вопросы? Кмк вот в этом направлении должно быть развитие, чтобы могла быть речь о замене.
Хотя как продвинутый синтаксис помощник вполне нормальный инструмент уже сейчас. Я например каждый раз радуюсь (до чегож техника долшла), когда кодеиум угадывает, что я хотел написать
Если допишешь в конце: "задай 5 уточняющих вопросов", то он их и задаст. Сам пользуюсь этим иногда чтобы убедиться что запрос правильно написан.
Да. На lmarena.ai некоторая модель попросила меня скинуть нехватающего класса, чтобы решить задачу. Не помню какая именно была к сожалению, их там больше 80ти
Интересно, ИИ уже умеет задавать уточняющие вопросы?
Там, где не уточняет, хватает сохранения контекста. Например, mistral способен переписать код с использованием другой библиотеки или подхода.
Да, может порой. Я всегда в таких случаях пишу в конце "с чем ты не согласна?". В этом случае модель описывает минусы и временами спрашивает " Как вы планируете решить...? "
Перцентили и accuracy - это всё очень хорошо. Но оно может так, чтобы ты в этот оЗ копируешь текст таски из джиры, а оно тебе в ответ делает пулл-реквест в репу, у которого все пайплайны зелёные и клиент перетаскивает задачу в Done?
Думаю, здесь вопрос не столько про LLM, сколько - инфраструктуру и коммуникации. Как в случае беспилотных автомобилей проблема в том, что все это слишком сильно заточено под людей.
Сейчас разработчики тратят массу времени не на сам кодинг, а на борьбу с инструментами, которыми обвешан SDLC: Confluence, Jira, запуск и оладка локально, git, Gerrit, CI, CD, e2e тесты за которые отвечает отдельная команда и т.п. Здесь на стыках находится масса ручной работы и переписки в каких-то каналах, как в каменном веке).
Автоматизация идёт с двух сторон. Во-первых это генерация текстов - код, статусы, репорты и т.п. Это нужно, чтобы встроить AI-агентов в существующую бюрократию. Во-вторых - классическая автоматизация, где LLM в подходящий момент вызывают инструменты. Здесь ещё масса работы, но прогресс идёт.
Не исключено, что уже довольно скоро сможет. Попытки таких агентов сделать уже есть (Devin, SWE Agent, Amazon Q и т.д.), пока еще не очень работает, но кажется что уже вот-вот может поменяться
Я вообще слаб в теме ИИ, но если я не ошибаюсь, то эти языковые модели обучались на различных текстах из интернета и в том числе на текстах из leetcode и codeforses. Это значит, что в обойму попадали как текст задач, так и десятки-сотни текстов с решениями. Насколько тогда оправдано оценивать модель решением задачи из этих сайтов? У меня есть сомнения.
Очередная новейшая и умнейшая модель, которая заменит вообще всех. Никогда такого не было и вот опять.
Читая комментарии в этой статье, у меня складывается ощущение, что большинство из тех кто пишет "я программист ... ИИ нас не заменит, потому что ..." . Не работали в реальности с тем же о1 и все выводы делают на основании косвенной информации.
Ну конечно. Программисты они люди серые и инертные, ничего нового никогда не попробуют.
В основном у всех куплен за 20$ GPT, даже у джуниоров и первое что используется для любой задачи - это ChatGPT, как раньше был StackOverflow. Но пока количество кейзов в которых можно нагенерировать код оно эпизодическое.
С релиза использую o1. Но не вижу прям прорыва по задачам. Чаще для обычного кода проще и быстрей использовать sonnet. Но для различных ресерчей очень даже круто. Поэтому странно читать, что o3 кого-то там заменит. Мне кажется важнее дождаться, когда запрос к нейронке будет сильно дешевле, быстрее и с неограниченным контекстом, чем собственно качество и точность ответа. Что бы можно было плодить различные агенты и сжигать миллиарды токенов для решения задач.
известно, что o3-mini тратит 17-20 долларов на задачу, в то время как модель o3 – “примерно 172x” от стоимости o3-mini. Иными словами, 2,5-3 тыс. долларов за задачу
Что-то я не понял откуда такие оценки o3-mini?
Насколько помню, на презентации o3 говорилось, что o3-mini удалось сильно оптимизировать и ее использование выходит гораздо дешевле o1. При этом за подписку в 20$ дают 50 запросов в неделю к o1.
Т.е. себестоимость запроса o3-mini точно должна быть меньше 10 центов (понятно, что не каждый выбирает всю квоту, но все же). А вероятно сильно меньше, ведь компания и другие услуги оказывает, налоги платит да и просто зарабатывает. Это же подтверждается и ценами на API, где средний запрос на 1000 токенов к o1 обходится в те же 10 центов.
Конечно сложная задача может включать не один запрос, но ведь не 170 запросов на одну задачу...
В оценке результатов есть "среднее за 64 попытки" - и это уже выглядит более адекватным. Решение задачи 64 раза подряд - может потянуть на 17-20$ хотя вопросы остаются даже так. Но тогда никак нельзя эту цифру масштабировать дальше на другие задачи, модели и условия.
конечно развитие вычислительных мощностей будет изменять кадровый состав, также как развитие любых технологий и подходов в производстве. Кроме рекламы новых моделей ИИ статья не содержит новой информации.
Сэкономит массу человеко-часов на трудоемких, но относительно простых задачах. Как питон с его библиотеками экономит массу времени на самописный код.
Однако, человек, не понимающий в написании кода, не сможет работать с LLM, ибо, получив очередную порцию кода, не сможет оценить, то это и так ли работает и встроится ли корректно в дальнейший код.
Ни и это не всё - теперь программист, намеревающийся оптимизировать скорость работы, будет вынужден становиться ещё и менеджером - давать задания, контролировать, уточнять, корректно формулировать задачу... И это новый пласт знаний, и не все готовы этим заниматься (что видно по комментам - "попросил то-то, получил фигню, больше не буду ". А разъяснить, уточнять, давать примеры пробовали? А если бы вместо LLM был джун - вы после первой написанной им фигни разве говорите - "увольняйте этого, буду сам всё делать"?.."
У меня такое ощущение, что кто то не договаривает и в полную использует AI. Типа я не такой... и ИИ не для меня.
Да камон, с 21 года этот товарищ пишет про ИИ - очевидно же, что есть предвзятость в этом вопросе. Ну и как дела, за 4 года заменили ИИ/нейросети программистов?) тот же вопрос к тем, кто всё это время строчит комменты о том, что вот уж теперь-то точно программисты не нужны)
Обычно я предпочитаю дожидаться реальных результатов тестирования. Однако презентация с последнего дня рождественского мероприятия OpenAI сломала все барьеры.
После подобного можно было дальше и не читать, выводы с презентации - это конечно серьёзный уровень для "профессора математики, научного консультанта". В своих работах и консультациях вы тоже опираетесь на инфу с презентаций, верно? Никто же никогда на презентациях(особенно коммерческих продуктов) нам не врал, так просто не принято в этом мире)
Представьте себе, что вы пришли на прием к врачу, а там сидит этот ИИ.
Сели перед ним, молчите.
И он молчит.
Потом вы начинаете рассказывать, что болит, где болит и сами проводите через набор необходимых анализов и процедур, а в конце просите обобщить ваш диагноз.
Дешево, сердито, эволюционно останутся только те пациенты, которые пригодны под такое лечение от ИИ.
Почему ИИ не может сам начать задавать вопросы точно так же как это делает врач?
Почему анализы и процедуры надо делать самому, а не при помощи медсестёр или просто какого-то персонала? Особенно если самому их делать сложно или даже невозможно?
ИИ не умеет действовать по дереву решений, как это делает врач при постановке диагноза, он умеет имитировать эту деятельность. Другими словами, врач понимает, что нужно спросить перед тем, как задать следующий вопрос, а ИИ дает вам вероятностный расклад, что за этим вопросом вероятно будет какой то конкретный другой.
Даже бесплатный chatgpt без плвгинов уже вполне себе умеет задавать адекватные уточняющие вопросы в контексте обсуждения.
То есть не сказал бы что создать медицинский ИИ, который сможет действовать с учётом "дерева решений" это что-то в принципе невозможное.
Попробуйте поиграть в Акабура с любой языковой моделью и вы поймете, о чем я.
Я не знаю что такое "Акабура" и не особо понимаю что это должно доказывать.
Уже сейчас в отдельных областях медицины ИИ достаточно успешно используются как ассистенты. И таких областей со временем будет становиться только больше.
Ну и на хабре вон как раз недавно постили на эту тему: https://habr.com/ru/news/860986/
То есть я готов спорить на что угодно что я застану "ИИ-врачей", которые будут лучше среднего врача, как мы их сейчас имеем даже в развитых странах. Про страны третьего мира я вообще молчу.
о3 теснит программистов? Как OpenAI снова всех удивила