Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Хабр доступен 24/7 благодаря поддержке друзей
Комментарии 152
А что не так с "автоматизацией проектирования (CAD) против черчения" ?
В 80-90 был такой же ажиотаж вокруг САПР (CAD). Считалось, что теперь любой студент, умеющий нажимать на кнопки, заменит старых дедов с кульманами.
"Деды" старой школы стали бояться, что их выставят на мороз и это действительно происходило.
А студенты рисовали чертежи мышкой в несколько раз быстрее. Однако очень скоро выяснилось, что студенты рисуют красивые детали, которые невозможно обработать на станке (не хватает технологических отверстий и прочего).
Валы на чертежах прекрасно вставлялись в отверстия, но в реальности нулевой зазор этого не позволяет и т.д.
Когда оператор САПР рисует без базовых знаний, в голове не возникает понимания почему именно так, а не иначе.
В общем, достаточно быстро наступило похмелье и откат, а стариков начали звать обратно. Не для того чтобы снова рисовать на кульманах, а чтобы была экспертиза. Они говорили как рисовать и почему.
На эту тему есть разные материалы. Например, вот здесь человек рассказывает, как это было.
Эм, да. Но это же вечное сравнение тёплого с мягким. САПР, как и нейросети, это инструмент. Он не заменяет знания.
Не очень понятно, почему всегда противопоставляются деды, с отсталыми технологиями, новичкам, с вундервафлями? Это же абсолютно очевидно нелепое сравнение, что тогда, что сейчас.
Машина думать не умеет, она выполняет указания кожанного мешка. Любая. Хоть механический калькулятор, хоть печатная машинка, коть что.
Так что нет никакого «автоматизация против черчения», есть «наши когнитивные искажения мешают нам нормально жить, не страдая фигнёй»
Вы правы. История повторяется постоянно. Это я и хотел показать в статье, что сейчас мы (человечество в целом и бизнес, в частности) снова верим в чудо. Ну а как еще? Люди хотят чуда всегда))
В случае генеративных нейросетей машина уже недостаточно жетско выполняет указания человека. Игнорирует заданный контекст и ограничения, привносит свои фантазии. Поэтому то, что называют ИИ - это не просто инструмент, это непослушный инструмент, со встроенными неизлечимыми дефектами.
Возможно, через несколько лет продуктовые компании будут рекламироваться так: "у нас ни строчки не сгенерировано ИИ", ну или как минимум "весь код дважды перепроверен людьми".
Немного непонятно при чём тут автоматизация САПР и отсутствие знаний у молодых спецов ? При том что деды и молодые спецы именно чертили, различались только инструменты - карандаш, кульман или компьютер, мышь. Это сейчас можно уже создавать (слово чертить уже не подходит) модели с помощью кода (Cad Cuery) и соответственно использовать нейросети. Но тут как раз тот случай, когда нужно знать всю "кухню". Ибо сетки толком не умеют в моделирование (сугубо моё мнение) , хоть код для этого не отличается особой сложностью и весь проект по сути один python файл.
Мне напомнил вышеупомянутый пример ситуацию, когда говорят что AI пишет плохо или с уязвимостями, чем программисты с опытом.
Ключевое различие это- с опытом!
При этом как правило, многие кто попробовал AI и вынес умозаключение что он не годный писали запрос в голом chatgpt "сгенерируй скрипт получающий погоду". Ни спецификации, ни конкретики откуда и что получает. И они же потом - ой, багованное. А может твой промпт просто хреновый? Что написал бы реальный программист получив такой запрос без конкретики и контекста?
Задание должно быть понятно, как если бы мы писали задание для джунов. Плохой input (prompt) = плохой output. Чем накормили, то и получили. Хорошо хочешь получить? Так подготовить документацию сначала, а потом уже проси делать.
Такая же ситуация - AI пишет дыряый код. А что, человек не пишет? АI это помощник, но не замена хорошему кодеру.
Заменила ли автоматизация пилотов в самолетах? Нет. Но, теперь их только двое, а раньше требовалось больше. Сейчас - органичная работа людей и техники.
Должны ли мы боятся ai ошибок? Ровно также, как и ошибок от людей. Проверять и делать ревью.
Однозначно, в компаниях/командах использующих ИИ - должен быть гайды, инструкции и правила которые сообщают о том, как в этой команде их использовать результативно.
А у меня бабушка в AutoCAD'е сама рисовала...
Что мешало тем старикам так же?
CAD не давал чертёж по запросу. Его давали "студенты", которые были без опыта/знаний.
"ИИ" же не имеет функций интеллекта — это только модели. И он будет давать либо существующие решения, лмбо галлюцинации.
LLM — это не CAD, а что-то около системы принятия решений.
в кад нужна та точность, кад 3д например это цикл последствий по шагам, пайплайн создания персонажа, это шаг создания же - его надо буквально сделать, так как где-то тут рядом и черчение то ошибка вначале приводит к проверке сразу всего, это проще реально рукой тогда делать, вы контролируете каждый шаг, потомучто например не хотите в промежутках правки делать, вам надо от точки А до Б дойти по минимуму, и посмотреть в движке модельку, и только там фиксить например, а не где-то до, текст пиксельный тоже самое, чтобы сократить путь от А до Б, надо напрячься и буквально рукой все это проделать, чтобы уже с екрана в приложении снимать ошибки, а не где-то в промежутках плавать
но что мешает ИИ самосовершенствоваться, улучшать свой код и закрывать дыры в безопасности? и делать это быстрее человека
Сама архитектура ИИ этому мешает, там всё на вероятности построено
Можно подумать человеческий мозг порождение воли Маат.
Мне кажется, разница в том, что человек умеет переключаться между режимами. Т.е. вот здесь надо покреативить, а вот здесь надо скопипастить, а вот здесь очень важное место, которое надо погуглить как делать и ничего не напутать.
С нейросетями это всегда один режим.
На днях дал два теста нейронке, попросил сгенерить ещё 15, на различные пограничные условия. Нагенерила. Два теста зафейлились из-за неправильных ожидаемых данных. Но это я могу понять. Но блин во всех тестах в качестве примеров данных были использованы разные структуры. Т.е. в моих тестах условно были колонки в таблицах: id, int1, int2, category. В её тестах id, color, sales, ещё какая-то фигня. И везде по-разному, каждый раз надо понимать заново о чём этот кусок данных. И главное зачем? Человек так никогда бы не сделал.
И вот мне надо дополнительно просить, чтобы так не делалось. И как-то позаботиться о том, чтобы это всегда было в контексте, если я не хочу каждый раз это повторять. А потом спрашиваешь себя: чем я занимаюсь вообще?
А разве природа мышления уже однозначно открыта? Как работает человеческое "железо" пока известно не до конца. Маат вряд ли там затесалась, конечно)
Человеческое до конца не раскрыто. Но даже тот минимум что есть, говорит что LLM это не ИИ даже близко. Человеческое мышление очень сложное и ни какого рандома там нет. Человек чаще мыслит отталкиваясь от опыта. Часть мышления уже заготовлено подсознанием пока вы спали. Много чего за день уже мозг проанализировал заранее, предугодал на основе старых данных, и заложил как программу на день. Часть происходит в процессе. LLM не понимает что и зачем делает, от слова совсем.. Человек, как раз прекрасно понимает зачем и что делает + применяет старый опыт и еще много чего.
То есть LLM еще очень далеко до даде минимум. Да и это невозможно.. Есть сейчас реальные нейроны человеческого мозга. Но и даже это не ИИ.. Но уже более близкое.
Мы осознает что и зачем. Они же просто выполняют последовательность действий. Понятно что есть персонажи которым и до LLM далеко.. 😂 Но все же, мы про здоровых человеков. 😁
Вот это вы себе противоречите😂 вы точно не ИИ? Уж коль явно не понимаете, что пишите😂
Во-первые - не так уж мало известно про мозги. Во-вторых - никакой "мистики" в мышлении нет, в-третьих - а зачем машине усложнять? Вы хоть представляете, что такое эволюция там, биохимия? Это величайшая ошибка плоскоземельщиков мира ии 😂Человеческий (и любой) мозг - чистейший рандом, база которого - электро и химические реакции (что ооочень медленно), фиксация это рандома идёт за счёт выживания и приспособления. Представьте виндовс, который писали сотни индусов после месячных курсов - эта фигня будет работать, но код будет раздут в тысячи раз, и работать все будет на костылях и магии😂 - вот вам и человеческий мозг. Закон выживания формирует десятки параллельных "вычислений", чтобы просто успеть среагировать на угрозу. Вы в курсе, что мы живём в симуляции на несколько миллисекунд вперёд? - это наш мозг немного предсказывает будущее, чтобы нас не сожрал какой хищник. А теперь скажите: искусственному интеллекту все эти усложнения зачем? Не надо в данном аспекте сравнивать мозг и нейросети, это теплое и дверная ручка. Вторая ошибка - говорить об ии как о мозге со всеми его взаимодействиями и областями. Мы не Петю создаем, нам РЕШЕНИЕ КОНКРЕТНЫХ ЗАДАЧ нужно. Ну и самая главная ошибка и заблуждение большинства (возможно, не вас) - многие думают, что нейросеть создаёт только синтез на основе анализа, а человек создаёт кардинально новое😂😂😂 но человек тоже не может создать ничего, что не видел или слышал - чё то Айвазовских каменного века пока никто не встречал😂😂
Не верите? Вот самый простой вас запрос - придумайте цвет, который вы никогда не видели) не смесь или оттенок, а кардинально новый цвет? Облом, да😂
придумайте цвет, который вы никогда не видели) не смесь или оттенок, а кардинально новый цвет?
Элементарно, Ватсон. Любой ультрафиолетовый, который видят, например, кошки и собаки.
человек тоже не может создать ничего, что не видел или слышал
Если бы было так, то мы бы до сих пор на деревьях жили.
Человек способен делать предположения (гипотезы) и ставить эксперименты, их подтверждающие или опровергающие. Если бы у Вас были дети, Вы бы в этом сами давно убедились.
Мозг не "симулирует будущее" - он строит байесовские предсказания на основе прошлого опыта для минимизации сенсорной ошибки. Это не магия, а математика.
~20Вт потребления при такой мощности..
около 20Вт при параллельной обработке мультимодальных потоков в реальном времени...
Покажите аналоги!
Про цвет вообще абсурд.. вы уже перемешали к концу все что было в голове.. Цвет это рецепторы а не мозг..
Мозг работает с точностью до миллисекунд в моторном контроле - "чистый рандом" так не умеет. То есть каждый такт это четкие данные а не рандомные значения из близких по значению (весу данных).
Мозг, как и мыслительный процесс на сегодня изучен менее чем на 10%! А не очень хорошо. Мы не знаем, как возникает субъективность, но частично знаем механизмы памяти, внимания, пластичности. Не смешивайте "неизвестное" с "неразгаданной мистикой" - это две разные категории.
Может вы свой мозг имели. ввиду, тогда уточните пожалуйста.
Чего там человек понимает что и зачем? Человек скорее для себя создал какую-то модель мира в голове, основанную на опыте, и когда пытается решать задачу, то опирается на эту модель, разбивает задачу на части, решает по шагам, делает ошибки, проверки и самокорррекции. Ну тоже самое сейчас учат делать нейросети. Наше отличие в том, что мы подключены к миру пятью органами чувств, но в разработке ПО это не сильно принципиально. Еще человек более склонен к абстрактному мышлению, но и с этим тоже работают.
От части, если брать очень поверхностно, вы правы.
Человек и ИИ похожи внешне: оба "думают" шагами. Но внутри - разное.
Человек учится через тело: толкнул стакан -> он упал -> разбился -> больно. Он чувствует причину и следствие. ИИ учится на тексте: видит, что "стакан", "упал", "разбился" часто идут рядом. Но физику не понимает - для него это просто слова.
Человек может взять задачу, которой никогда не видел, и сам придумать, как к ней подступиться. ИИ повторяет то, что видел в данных. Если такого не было - гадает или врёт.
Органы чувств - это не "подключение к миру". Это то, откуда берётся понимание: что тяжело, что горячо, что нельзя пройти сквозь стену. Без этого любая абстракция - пустые слова. ИИ их и произносит - красиво, но без опоры в реальность.
Самокоррекция у человека: ошибся -> почувствовал ошибку -> поправился сам. У ИИ: ошибся -> ждёт, пока человек скажет "давай подумаем ещё раз" -> повторяет. Без внешней подсказки - не заметит.
Не говорю, что ИИ плох. Он решает свои задачи. Но называть его "как человек, только без рук" - как называть велосипед "как машина, только без двигателя". Оба с колесами - принцип работы другой. Или как самолет и птицы.. Оба летают, но это очень разное не смотря на то что самолет делали вдохновляясь птицами и остальными летающими, живыми существами.
Тут статья про вайб-кодинг, нет тела, нет стен и стаканов, есть очень расплывчатые пожелания заказчика, которые он с трудом сам может сформулировать, и есть разработчик, который пытается сделать систему, удовлетворяющая пожелания заказчика. На этом пути без ошибок конечно никак. И порой разработчику сотню раз придется указать, что он делает не так, для это есть целый отдел QA, сам не допрет. Не сильно далеко от большой языковой модели в этом смысле разработчик ушел
Рассуждающие модели могут себя самопроверять. Но и вообще этот цикл «сделал-> проверил -> передедал» выглядит как алгоритм на 100 строчек кода. Другое дело, что в этом цикле будет потребляться много токенов и будет быстро расти контекстное окно, это проблема. Нужно научить сжимать инфу, брать только самое ценное из этих этапов. Тоже выглядит как вполне решаемая инженерная задача.
Это безусловно так. Но я скорее о том, что в нейронах обнаружены признаки квантовых процессов, например. И мы продолжаем и продолжаем открывать новое в работе мозга. LLM до такой сложности, конечно, как на карачках до Китая.
Сорри, лет 10 не был на хабре, вот хотел спросить - когда лучший гик форум стал позволять профанам публиковать статьи? Давненько не встречал в одной статье столько смеси факторов вместе с невежеством. Напоминает плоскоземельщика, который берет факты и выворачивает наизнанку, делая неверные выводы и противоречит сам себе, причем жестоко противоречит.
Если автор не умеет варить ии и не знает, в чем определение интеллекта - может, он не умеет это всё готовить?
но что мешает ИИ самосовершенствоваться, улучшать свой код и закрывать дыры в безопасности?
Улучшение кода, для примера, tensorflow, позволит обучать модели быстрее или расширить выбор обучаемых моделей. Но к данным для обучения модели это не имеет вообще никакого отношения.
Теоретически, AI способен готовить данные для собственного обучения, отыскивая их на просторах интернета. Практически, это пока приводит или к переобучению, или к галлюцинациям. Потому что заменить человека сейчас в подборке и фильтрации обучающих данных AI пока не может даже в теории. Почему - было описано в статье.
Вот когда AI научится строить гипотезы и управляя исполнительными механизмами проводить эксперименты, опровергающие или подтверждающие эти гипотезы, только тогда он действительно составит конкуренцию человеку-специалисту, так как человек самообучается именно таким путём.
"Исследование, проведенное некоммерческой организацией METR ........, тратили на выполнение задач в среднем на 19% больше времени"
на это исследование очень любят ссылаться. но имеется много публикаций и с его критикой - которая сводится к тому что эксперимент был проведён некорректно: малая выборка, один стек технологий, часть программистов до этого не имела опыта работы с ИИ и т.д.
другими словами - не всё с этим исследованием так однозначно, что бы принимать его за истину в последней инстанции. и тем более использовать его как единственный аргумент (что тоже встречается).
внезапно выяснится, что половина вашей коллекции — подделка
Только вот результат кожаных что я вижу это в 90% подделка. Кодосодержащий продукт
Я вот знаете читал в какой то книге. Там автор говорит, ии не заменит людей по одной простой причине:
Языки программирования придуманы для того, чтобы максимально точно объяснить машине что нужно делать. Давая ии команды написать то то, или то то. Вы потратите куда больше времени и сил указав это на естественных языках.
И говоря о чем то на самом деле серьезном. А не о приложении в тыщу строк, это вполне оправдано. Я не представляю какой промт нужно написать что ии создал приложение из десятков микросервисов.
ИИ может и заменит, но его нет. Есть нейросети. Есть рассуждающие нейросети.
А есть проблема передачи информации.
Разница просто в том, что человек, если ТЗ хреновое, а обстоятельства позволяют, чаще делает самостоятельно какую-то фигню. Нейросети менее инициативные, но тоже плохо понимают, что там хотел написавший и как себе представлял.
Качественный промпт, внезапно, как и нормальное тз, повышает качество результата
Остальное туфта от балаболов
Человек часто держит в голове вещи, которые сами собой разумеющиеся. Поэтому когда человек пишет ТЗ для человека, есть масса моментов, которые все знают и так, о них не нужно писать отдельный абзац или пояснения.
Точно так же существует контекст. Например, в какой-то организации Володя знает, что Василий Петрович по утрам не в настроении и к нему лучше заходить после обеда. В ТЗ такое писать не будут, но при программировании учтут. Для ИИ ассистента же это нужно указать явно, а это доп. время.
Ну так если Володя знает кое-какие тонкости, которые он усвоил после 4 лет института и 5 лет работы в разных организациях, то неужели нейросеть не может узнать примерно тоже и даже больше, обучившись на всех данных человечества за последние 40 лет?
Если бы нейросеть умела читать внимательно, не пропуская ни одной запятой, то она могла бы быть к этому близка. Но она не обрабатывает запрос последовательно. В этом проблема. Ее обработка это взгляд сверху. Быстро выхватить общую суть, а важные мелочи ускользают.
Когда начинаешь ей указывать на пропуски "я же тебе говорил еще вот это учесть", она соглашается, что да, извините, сейчас исправлю и так может продолжаться бесконечно. Это только время отнимает.
Нейросети умеют так читать. А вот люди, в массе своей, так не читают
Собственно люди работают точно так же - ты им катаешь кучу текста, отмечаешь важное, а они пропускают детали, переспрашивают и не видят в упор ряд вещей, написанных в тексте.
Нейросети делают это реже.
В общем, у вас не очень большой опыт и с людьми и с нейросетями, потому вы делаете ложные выводы
Про людей вроде речи не было. Вы сказали про "неужели нейросеть не может узнать примерно тоже и даже больше", я ответил.
Не знаю при чем здесь мой опыт с людьми и как на основе моего ответа вы сделали вывод о его качестве.
Была речь про людей, на несколько комментов выше, что якобы люди внимательнее.
Тут вопрос в том, как это будет развиваться дальше. Сейчас у некоторых моделей контекстное окно заявлено 2 МБ, но при этом эффективно они на самом деле могут держать около 100 кБ, что сильно меньше. И битва идет за то, чтобы это эффективное окно еще больше расширить. Через год-два расширят в несколько раз и будет уже ощутимое приемущество над человеком.
Держит. Разумеющиеся для него вещи. Но оно может быть не так для другого человека
Когда человек пишет даже простое сообщение доя человека, он ошибочно полагает, что все мыслят как он, потому возникает мисскоммуникация и додумывания.
С ТЗ ещё хуже.
Контекст существует. Володя знает. А знает ли об этом Петя, который будет читать ТЗ через год, после Вовы?
Вы сами описали пример мискоммуникациий - есть некий Вова, который что-то там знает, а может думает, что знает и вот это не работает уже даже на людях.
Да, все так. Когда ТЗ пишет компания А для компании Б, она максимально не в теме что там у компании Б. Здесь нужно очень подробно описывать и возникает тот самый эффект ошибки проекции и проклятия экспертизы. Это человеческий фактор и никуда от этого не деться ни при работе с людьми, ни при работе с ИИ.
Только в случае с ИИ возникает еще одна ловушка - он не присутствует в физическом мире и не видит что вокруг.
Приходит архитектор на местность, чтобы понять, какой нужно строить фундамент. Он сразу видит: ага, песок и уклон, а еще рядом вода и обрыв с другой стороны. У него мгновенное понимание, что обычный фундамент здесь не подойдет. Нужны сваи, укрепления, контрфорсы.
Для ИИ придется все эти детали описать и ничего не упустить, иначе он напроектирует...
На мой взгляд тут вопрос в обучении. Если нейросеть обучена строить микросервисную архитектуру, то она может сделать это быстрее разработчика, который будет тратить довольно много времени на скопировать+вставить+подправить. Конечно все еще нужна будет проверка, но она нужна и обычному разработчику.
Тут мой главный посыл в том, что если таки я как специалист глубоко понимающий суть того, что от меня хочет заказчик или менеджер скорее выберу путь прямого написания кода, чем буду пулять в ии тысячи уточнений для того чтобы учесть все нюансы.
И это не решает вопроса дорогостоящих кадров. Мне как оператору ПК умеющему писать классные запросы в ии, все равно нужно быть высококлассным специалистом в области разработки чтобы уточнить все что я хочу получить. Так зачем мне писать это все на естественном языке, когда для этого придуманы языки программирования?
Затем, что так бывает, что для работодателя вы в первую очередь исполнитель, который решает поставленную задачу, и ему не важно как вы её делаете. Если ИИ может ускорить выполнение каких-то задач, то писать промпты это полезный навык. Это ответ на вопрос зачем писать на естественном языке. Но тут есть много нюансов, например, качество кода. В текущих реалиях ИИ вполне можно использовать для быстрого прототипирования и проверки гипотез в некоторых областях.
Я думаю - это временное явление. Что отличает хороший код от плохого можно перечислить по пальцам двух рук. Например: хорошая архитектура, учет краевых случаев, полный перебор всевозможных исходов, безопастность с точки зрения работы с памятью, покрытие тестами и т. д. Сейчас это нужно перечислять в промте, а должно быть записано сразу где-то по умолчанию как само собой разумеющееся.
Тут есть неопределеный фактор в виде краевых случаев. ИИ может на примере сотен похожих вариантов подобрать подходящее решение и там где сомневается - задать уточняющий вопрос и сгенерировать решение. Сейчас этого нет, но должно скоро появиться.
Есть прекрасный учёный в РФ, имя не помню, да и Сурдин тоже этот вопрос поднимал и прказал что толку ноль на деле. 😁 Так вот, он в одном из интервью прекрасно обосновал почему LLM впервых даже на минимум не ИИ. Во вторых, даже то что Китайцы используют реальные нейроны человека, искусственно выраженные, все ровно не заменят человека. Минимум, это опыт! Мы мыслим на основе опыта! Вырасченные нейроны, не имеют этого всего вообще.. И загрузить туда это невозможно.. А LLM так вообще и без этого по многим параметрам даже близко не похоже на мозг. Я не помню, в 90х примерно, чуть раньше вроде, уже отказались от модели похожей на мозг ибо она не работает.. Поэтому это воприоре не может заменить человека. Оно может усилить умного, и сильно ослабить не очень умного. Это основная опасность ИИ сегодня. 😁
нарисуй классического Деда Мороза: в длинной шубе, рукавицах, с кушаком и посохом - получился нормальный обычный дед мороз. Никакой не санта клаус
Классический дед мороз ровно так же срисован со святого Николая. Конечно вариант от кока-колы там не получится
А вот теперь представим, я хочу чтобы мне ии систему написал на 50000000 строк, и я такой ага. Напиши мне чтобы на раст, без аллокаций памяти и с правильным расположением полей в структурах вот этот микросервис, чтобы в кэшлинию процессора попадало ровно 4 элемента массива. Мне тут нужен отклик в 0.2 секунды даже при миллионе одновременных запросов. Потом еще сервис с вот такими то требованиями. И тд и тд. И что, напишет ?
Если смотреть на использование ии в рамках напиши мне сайт с оплатой и красивым фронтедом то безусловно это хороший инструмент. Но я не представляю чтобы ии написал ПО для Боинга на плюсах и вы как менеджер пустили этот код в продакшен.
LLM реализует модули только с простыми контрактами. И желательно чтобы похожие задачи уже были решены кожаными.
Если сумеешь разбить свою большую задачу на слабосвязные модули с простыми и верифицируемыми контрактами (не сможешь) то получится. Но контракт как любая абстракция ещё и протекает. Так что с эмерджентностью ещё бороться придётся. Например, используя систему оракул, которая уже знает ответы (легаси под замену, человек, что угодно) можно написать тысячи golden tests чтобы не сломать старое эталонное (привычное) поведение
Судя по тому, как дела идут у Боинга, вот им вполне и мог ...
Таких задач очень мало. И так обычно никто не ставитзадачу, на ПО для боинга ушли десятилетия, пока его там писали даже древний консервативный C++ несколько раз поменялся.
Согласен, что код для боинг надо проверить сотней разных способов и просмотреть не одной коммандой инжененеров. Думаю, что проблема ИИ в том, что плохой результат получается на задачах поставленных в стиле "Сделай хорошо и не делай плохо". Если так поставить задачу человеку, то и у человека результат будет сопоставим. В реальности, если четко обозначить приципы работы, подходы, правила и задачи, то и результат будет вполне себе.
Ну и конечно, выполнение должно быть поэтапным. Если поставить задачу по типу - "Напиши гугл", то результат будет такой же.
В целом, мое убеждение, что ИИ это не замена людям - это инструмент. Как когда-то трактор убрал миллионы пахарей, но создал професии агронома. Так и сейчас, видимо миллионы кодеров, будут вынуждены уйти из профессии. Остануться архитекторы и прочие специалисты высоко уровня, просто трэк для профессионального роста теперь будет другим. Не скажу, что рад этому, но, видимо, это неизбежность...
Каждый, кто пробовал в деле какой-нибудь GPT, видел, что ИИ периодически выдает кривые формулировки. Окончания неверные или неуместные иностранные слова прямо в тексте, которые не являются терминами: когда в предложение вдруг затесалось английское слово, либо пара иероглифов, а может даже к русскому слову прилипло французское окончание
Ни у одной нормальной современной нейросетки ничего подобного не видел, автор видимо пробовал что-то очень старое или очень маленькое. Но сделал глобальные вводы.
Код — это юридический контракт (...) Когда вы пишите какой-то особо важный юридический документ, вы понимаете структуру и тонкости формулировок. Вы знаете, на что нужно обратить особое внимание, на какие законы сослаться. Какие примечания сделать, чтобы не осталось лазеек. Это непростая задача.
Автор видимо никогда в жизни не видел говнокода в легаси-проектах, который уже давно никто не понимает, так как он наслаивался много лет и десятилетий давно ушедшими людьми и в котором, при раскапывании, натыкаешься на такие странные вещи, что потом кому бы ни рассказал все сходятся в одном - никогда такого не видел и в принципе непонятно зачем это было делать таким странным способом. Ну например передавать таблицу с данными на сервер через cookies.
Пока кто то пишет статью что ии ни о чем и никого не заменит, другие берут и используют ИИ на столько на сколько можно использовать.
Да, это не чудо, ни кто и не ждал чуда, но это оч хороший инструмент - который дальше будет ещё лучше и лучше.
Надоел этот бред уже.
Вроде я так и сказал, что это инструмент.
AI-intellisense прекрасный пример
Статья как раз для тех, кто ждал чуда. Разумеется, нет смысла объяснять специалистам в чем польза от ИИ и в чем его ограничения. Кто знает, тот использует по назначению, а кто не знает, тот ждет чуда, особенно после обещаний, что AGI появится уже буквально завтра, уже вот-вот, нужно лишь немного подождать.
Даже у человека саморазвитие, самоосознание, саморефлексия - не всегда очевидно что в наличии. В работе очень хочется чтобы при выполнении задач разработчики их выполняли хотя бы на уровне генеративного опуса 4.6.
Основная разнтца между человеком и ии в разработке в том, что у человека может быть стремление, намерение построить определенную архитектуру софта. У ии нет такого понятия и никогда не будет, это просто машина которая сейчас делает очень большой объем работы, но делает его ровно так как сказано в плане архитектуры, или с какими то недостатками, которые не увидит неопытный разработчик.
Однако и у среднего разработчика на работе отсутствует стремление к качественному выполнению задачи, или зотя бы в точности так как написано.
Ии сейчас выигрывает многократно на фоне среднестатистического разраба. Но он никогда не переиграет устремленного к архитектурному качеству профессионала.
2077й: "ИИ умнее среднестатистического человека, но никогда не превзойдет генетически модифицированного киборга".
Я не думаю, что организация связи между мозгом и компьютером, даже имплантацией чипа, как сейчас у Neuralink, превращает человека киборга. И уж точно не является генетической модификацией. Но при этом, в перспективе, предоставляет возможность симбиоза человека и AI. Тут главное не переборщить, сохраняя связь между мозгом и компьютером односторонней и получая информацию от компьютера уже обычными органами чувств.
Если у людей действительно все было хорошо с саморазвитием и рефлексией, то джун превращался бы в сениора и лидера команды за несколько месяцев. Но почему-то на это уходят годы, иногда десятилетия, и часто не поднимаются выше мидла. А вот нейросети обновляют чуть не каждый месяц.
какой бред) нам потребовалось 10-11 классов школы, чтобы получить минимально необходимые знания и навыки для взрослой жизни, а вы хотите из джуна сеньора за несколько месяцев слепить - ну так просто не бывает, не впихнётся в мозг столько знаний и опыта за такой короткий срок(всего того, чего в ваших нейронках нет и не будет). с другой стороны ожидаемо, апдепты ии явно не отличаются структурным мышлением, и видимо со временем тоже начинают выдавать бред
Автор статьи противопоставляет людей и ИИ, якобы ИИ не развивается, недообучается. Вот как раз по сравнению с человеком, он гораздо быстрее обновляется, не надо ему 11 лет в школу ходить, а потом еще в университет. Если обновится язык программирования, то может протребоваться год для человека чтобы выучить новые версии, ИИ это может сделать быстрее. А уж если разработчику придется поменять стек это тоже может год занять, а ИИ и так знает соседние стеки.
Вы не совсем правы, LLM, если смотреть по затраченным ресурсам — обучается гораздо дороже человека. По крайней мере, если речь идёт про большие модели.
а я вам выше отвечаю, что запихать в оперативную память много-много информации - не равно обучению) обучение предполагает ошибки, опыт, понимание. набивание шишек в общем. а у ИИ какие шишки? "ой, вы правы!"?
Вы похоже имеете ввиду ошибки в рамках одного проекта, а не в целом как разработчика. Опыт, который человек приобрел на своих ошибках и потом учел в дальнейшем, обнулится при увольнении. Да и сам разработчик половину позабудет через полгода работы. Чтобы LLM могла подобные ошибки учитывать - они должны быть превращены в тесты, и нужно не давай ей менять туда-сюда эти тесты. В этом конечно есть проблема, которая пока не решена.
Хотя, судя по комментарию выше все же речь идет о глобальном обучении. LLM обучаются на большом массиве данных которые есть уже это и есть тот самый опыт других разработчиков. Тут можно провести аналогию как обучали AlphaGO. Первые версии обучались тем что им просто скормили всю доступную базу сыгранных партий и там заранее для каждой позиции было известно кто победить точно в конце. Такой прогон дал очень хороший буст, но этого было недостаточно, чтобы обыграть чемпионов, так как в этих партиях было много средних, ниже уровня чемпиона. В следующих версиях AlphaGO играла сама с собой и набивала базу партий на порядки больше чем было сыграно людьми, и это сработало, когда вышла на чемпиона, то уделала его.
С программированием этот второй этап трудно организовать, но может что-то придумают. Пока имеем более простой вариант, и он тоже будет давать свои плоды, людям все сложнее и сложнее будет с ним конкурировать.
Ой, а можно подумать люди пишут договора всегда идеально.
Автор совершает две ошибки: первая в том, что считает что люди, если уж сидят на должности профессионала или называют себя таковым действительно профессионалы, а вторая — в том, что все задачи в мире уникальны, сложны и важны.
В действительности огромное количество задач а)выполняется максимум ремеслениками, и они это делают от “норм” до “плохо" б)это прокатывает, потому что задачи эти неважные.
Типа, написать код для интернет-магазина это, конечно, важно, без него он работать не будет, но вот насколько хорошо этот код будет написан — уже не очень важно. Даже если он будет иногда глючить и загружать процессор на 100%, это все еще просто кусочек кода, цель которого положить товар в корзину. Если кладет — ну, значит он уже лучше чем отсуствие этого кода.
И вот засунуть сюда ллмки — как бы не улучшило ситуацию, потому что для среднего применения лучше иметь гарантрованно средний код, чем диапазон от "плохого" до "идеального" (если судить с точки зрения стейкхолдера).
Лучше средний договор на аренду квартиры с двумя ошибками, чем случайный выбор между “без ошибок” и “с 10 ошибками”. Лучше средний код интернет-магазина, чем случайный выбо… ну вы поняли.
А что если аи-код будет содержать такую уязвимость, которая позволит разорить интернет-магазин?
Очередная дерьмостатья против ИИ ради кармы.
Автор пишет про чатЖПТ, с помощью которого никто даже не кодит и ни слова, например, про Claude. Потому, что автор его не использовал в реальном проекте, даже на ПК себе не ставил. Полный дилетант рассуждающий о ИИ ни разу не попробовав современные модели в реальной работе разработчика ПО на реальном проектке.
Сейчас такие статьи только на Дзен печатать - что бы пенсионеров пугать.
Чекай ссылочку https://www.reddit.com/r/ClaudeCode/comments/1r2vakt/dear_senior_software_engineer_are_you_still/
Рост скрытых ошибок и уязвимостей
Орнул с этого. Возьми любой реальный проект на языке, который ты знаешь и отдай Клоду на анализ и изучение, на рефакторинг. А потом, как от поноса отдышишься, расскажи нам сколько скрытых ошибок и уязвимостей написали люди в этом коде.
В общем на Дзен ребята вам надо, на Дзен. Там оценят эти рассказы про ужасы ИИ и о том какие молодцы люди, как они всегда (нет) писали безошибочный идеальный код.
так код-то он сделает, но его всё равно проверить наверно придётся же
проведите эксперимент, попросите ИИ стать учителем и вы поймёте о чем я, ИИ кидает плашку кода, ладно - допустим это как замена в Стек Оверфлоу, но если надо покопаться в базисе каком-то и вообще понять почему так, он по принципу плашки сразу выкатит вам ответы алгоритмически, а человек даст вам задачку, чото скажет +- даже может вообще не подсказывать, потом далее получается, почему ошибки помогают в обучении, потомучто если вам не подсказывать через итерации вы именно, что поймёте что так не нужно делать, а по подсказке всё, сколько раз придётся подсказать, чтобы отложилось
рассмотрим пример неудачный, допустим я обстрагировался от подсказок
Скрытый текст
pub fn length_of_longest_substring(s: String) -> i32 {
//------------------------------------------------------
let mut counts: HashMap<String, usize> = HashMap::new();
let mut counter = 0;
let mut win: String = String::from("");
for c in s.chars() {
println!("'{}'", c);
if win.contains(c) {
counter = 0;
counts.insert(win.clone(), win.len());
win.clear();
counter += 1;
win.push(c);
//win.shrink_to_fit();
} else {
counter += 1;
win.push(c);
}
}
counts.insert(win.clone(), win.len());
let mut max = 0;
for (_len, string) in counts {
println!("'{}': {}", _len, string);
if string > max {
max = string;
}
}
max as i32
//------------------------------------------------------
//------------------------------------------------------
}чисто по подходу - "я уже понял что я ошибаюсь, но я уже просто хочу добить в своём стиле задачу" даст ли оно знания, ведь мы в этот момент как раз соприкасаемся с языком - ошибаемся и потом по-быстрее понимаем, что есть по-лучше решение же
тоесть если я скипну этап - "я ошибаюсь ой положусь ка я сразу на подскаку" - я теряю обработку на своем базисе, пазл обрывается, придётся снова простроить неудачный експеримент провести его до решения и уяснить что ошибочен - и тут как раз срабатывает копилочка, тоесть подумайте что происходит когда мы копируем? одно дело копирует сеньор он не хочет рутины он проверяет гипотезу, другое дело когда - подход - так я щас отрубиаю шум и пологаюсь на чистую логику и поиск решения, я довожу ответ до ошибки(или решения) и иду разбираться почему так нельзя
предствьте я прихожу к преподу и он сразу с порога говорит не смотря в код так делать нельзя, и сразу кидает правильное решение, или сразу паралельно дал вам задачку и сразу решение, всё мука прошла, мы пропустили стадию поиска - ошибки, сразу запустили и еще даже не зная, уже правим те ошибки, получается трансформация затесалась тут между ошибкой - после решения, и уже тут когда мы смотрим обзор у нас уже по-лучше погружение происходит в вопрос
т.е. для вас писать код и проверять код это одно и тоже?
Для того что проверить код не нужно осушать озера и строить атомные станции.
Есть для этого детерминированные инструменты.
Я согласен с тем, что ИИ может и совершает ошибки. Пропускает что-то, пишет отсебятину и так далее. НО. Развитие не стоит на месте, прогресс идёт. Года два, Ира назад, какими были ИИ? Что они могли делать? Что выдавали?
ИИ в будущем, будет только прогрессировать, развиваться и улучшаться. Писать что этого не будет, это как отрицать полет в космос.
Да, сейчас ИИ совершает ошибки, но их в сотни, а может быть в тысячи раз меньше, чем допустим те же 3 года назад. А что будет через 3 года? Если ИИ победила ошибки прошлых трех лет, неужели она не победит ошибки текущие?
У меня тоже есть хобби экстраполировать) Но надо смотреть на факты -- в ИИ уже влили ВСЮ доступную на Земле информацию и он остается тупым. Больше того, местами уже виден регресс. Эта технология обладает принципиально неустранимыми недостатками, галлюцинации, это не досадный баг, это несущая конструкция. Генеративный ИИ галлюцинирует всегда, просто иногда его галлюцинации неотличимы от реальности.
Ну значит неправильно влили, учатся вливать правильно. Недавно например догадались, что для некоторых языков важно не просто делить слова на статистически значимые токены, но на нормальные морфемы. Например правильно делить слово «играть», так «игр-ать», а не «иг-рать», это позволяет лучше определять семантическое значение отдельных токенов. Для русского языка это дает прирост в скорости обучения раза в 2, при увеличении точности на 7%. То есть данные теже, но подкручиваем подготовку и обучение - получаем лучший результат.
Пессимист: в ИИ есть проблема, ее никогда не удастся решить это предел развития.
Оптимист: в ИИ есть проблема, если ее решить он станет совершеннее.
Даже если "вливать" идеально, это не решит фундаментальной проблемы ограниченности LLM. Как пример -- люди могут делать открытия, выходить за пределы изученного. Причем не всегда на опыте, многие открытия сделаны "на кончике пера". Особенность интеллекта в том, что он знает не только то, что в нем есть, но и то, чего в нем нет, мы можем видеть бреши в своих знаниях и заполнять их. LLM же оперирует только тем, что в него заложено.
Нет, он же бредогенретор, может нагенерировать все что угодно, проблема в том, чтобы взять из этого рациональное зерно. Как ему из потоков сознания самому выделить наиболее адекватное решение проблемы. Ну а другой агент может ему в этом помочь, и задачу подкинет.
Ха-ха, нет. Не всё что угодно. Он как раз (сильно упрощая) из случайного шума отбирает то, что наиболее похоже на данные, бывшие в обучении. У него нет других критериев.
Ну спросите у чатбота подробно расписать как развивалась бы история планеты если бы викинги в десятом веке доплыли до Австралии и колонизировали ее. Врят ли такое есть в учебниках.
Ага, и про рецепт свиных крылышек еще можно спросить)
Ну да, у него с фантазией все в порядке, многим фору даст. Ну и вложили в него терабайты данных, не способен не один человек столько потребить.
Я к тому, что бред вполне можно нести оставаясь в рамках заложенного. Это как бесчисленные романы о попаданцах, они на 100 процентов клишированные и не несут в себе ничего нового. Их вполне могла бы сочинять LLM пачками. Даже в самом примере, обратите внимание, именно человек задает тему -- викинги доплыли до Австралии, после чего LLM уже проделывает техническую работу по украшению заданного тезиса подробностями.
«Поддержу комментарий выше: экстраполяция "станет лучше через N лет" здесь не работает. Согласно исследованиям, зависимость не линейная, и эти 3 года запросто могут растянуться на 30».
В интернете появляется множество статей, написанных ИИ, а затем другие ИИ обучаются на этих статьях и так по кругу. Через время это приведет к огромным перекосам и полной потере контекста.
Если один ИИ насмотрелся на трехногих людей, сгенерированных другим ИИ, он будет утверждать, что это норма.
Ха-ха, будет еще хуже. Школьники, делая запросы к GenAI или, что еще хуже, находя в интернете материалы, сгенерированные им же, будут принимать их за чистую монету и считать правдой. И, демонстрируя "эффект утенка", будут яростно отстаивать почерпнутую оттуда чушь (не без помощи того же GenAI). Лет через 5-10 нас ожидают очень веселые времена.
Основное отличие интеллекта
Ну так AI - это вовсе не "Artifical intellect", а "Artificial intelligence". У AI нет интеллекта в антропоморфном понимании.
Еще John McCarthy весьма подробно изложил различия между человеческим интеллектом и машинным умением рассуждать разумно.
Это вы знаете тонкости определений))
А простые люди в этом не разбираются. Когнитивный диссонанс из-за маркетингового названия сделал свое дело. После GPT уже целые профессии безопасников появились, призванных не выпустить ИИ из под контроля, а то еще захватят землю и поработят человечество.
Отсюда же все идет. Поэтому бизнес бежит за этими ИИ, как зомби.
В статье 2002 года по ссылке Джон Маккарти упоминает игру Го, как задачу которую будет очень тяжело решить в лоб привычными машинными методами и вот в 2014 году AlphaGo как раз обыграл человека не просто путем перебора, а на основе интуитивного понимания игры. Джон Маккарти просто не дожил.
Факт решения тяжёлой задачи более развитыми машинными методами, на 5-10 лет раньше ожидаемого некоторыми специалистами срока, разве принципиально что-то меняет?
Он там пишет, что человек может сесть и догадаться как решить NP сложную задачу за короткое время, то есть неким озарением найдет короткий путь. А машина так не может, она всегда будет перебирать и для сложных задач, где перебор это экспонента - она потерпит неудачу. Это все было так до появления нейронных сетей и языковых моделей - сейчас машины ступили на то же поле что и человек, они пытаются мыслить и придумывать решения задачи. Для быстрого решения NP сложных задач может потребоваться нестандартное решения. Вот и вопрос сможет ли LLM придумать нестандартное решение - это покажет практика, пока я не видел подобных примеров, чтобы на это посмотрели под таким углом и сказали - вот оно.
человек может сесть и догадаться как решить NP сложную задачу за короткое время, то есть неким озарением найдет короткий путь. А машина так не может,
Вы что-то перепутали. Он пишет: "Humans often solve problems in NP-complete domains in times much shorter than is guaranteed by the general algorithms, but can't solve them quickly in general. What is important for AI is to have algorithms as capable as people at solving problems. The identification of subdomains for which good algorithms exist is important, but a lot of AI problem solvers are not associated with readily identified subdomains."
На мой взгляд, как я уже писал выше, принципиальное отличие человека от AI в том, что человек выдвигает гипотезы, которые затем подтверждает или опровергает. Тогда как AI пока часто ограничен лишь выдвижением гипотез.
сможет ли LLM придумать нестандартное решение
LLM как раз в галлюцинациях на такое способно. И даже может при этом сослаться на несуществующие или безнадёжно устаревшие нормативные документы. Проверено )
Вот только LLM мне на данный момент мало интересна для решения текущих задач прогнозирования и оптимизации. Мне более интересны LSTM, RBF и SOM. Ну и, само собой, средства подготовки обучающих данных, включая data mining.
Так называемый ИИ отлично делает вид что хорошо справляется с задачей.
- А вы что, ещё и есть за меня будете?
- Ага.
P.S.
Мультфильм о Вовке в тридевятом царстве ещё никогда не был так актуален.
Это вы функцию распределения условной вероятности калейдоскопом с бусинками называется?
Ваш вариант имеет сильный скандинавский оттенок, особенно шеврон на шапке, подчеркнутые усы, которые именно как усы, а не часть бороды, кожаные сапоги
И это нормально, это перекос, о котором я говорил
И вот в этом вашем "мало чем отличаются" кроется весь подвох
Ожидание
Реальность
Никаких валенок нет, есть нечто похожее на сапоги
По вашей логике код в 3 строки мало чем отличается от кода в 4 строки
Но эта одна строка может быть важным условием
Сравните:
С точностью наоборот. Дед Морозу не нужны армейские рукавицы с отдельным указательным пальцем, так как ему не нужно нажимать на курок не снимая их )))
с кодом труднее
С кодом намного сложнее, так как огрехи в нем не так явно в глаза бросаются. Человек от природы ленив и ему проще верить, чем всё перепроверять. А чем больше этот человек будет доверять AI, тем больше он будет становиться рабом гипотетического Скайнета. И никакие терминаторы этому Скайнету не потребуются.
Отсюда и берутся темнокожие Белоснежки.
А еще вы уже потратили время на уточнение запроса, чтобы добиться результата, но его так и нет. Валенки имеют несколько другой вид, нежели сапоги, покрытые то ли мехом то ли войлоком.
То, что у него на ногах, больше похоже на унты/торбаса, но никак не на валенки
Валенки
Я же говорил изначально, что бессмысленно мучить калейдоскоп, в котором нет нужных бусинок. Их там просто нет. В обучающей базе были десятки тысяч сапог и только 10 валенок. Его будет перекашивать в сторону сапог постоянно.
Да и на варежку это не похоже. Разве что на армейскую рукавицу с отдельным указательным пальцем )
Тут, кстати, тоже. Видимо AI невольно несёт на рукавицы
Эх, вставлю свои пять копеек...
Сегодня из не прошенного ии наделал ссылок webp когда в pet проекте только jpg/png с подменой через nginx. Ничего критичного но логика не меняется. Еще у него проблемы с менюшкой почему то.
Мартышка и очки. Вот все эти ваши споры про ии.
Согласен с автором на все 100% . Интересно как быстро лопнет этот пузырь? И на сколько сильно это отразится в мире. То что пузырь ИИ лопнет, и то что это сильно ударит по причастным, это факт.
«ИИ неспособен создать ничего принципиально нового» - спорный тезис. С точки зрения строгой математики любая модель действительно генерирует комбинации на основе обученного распределения. Но человеческий интеллект делает то же самое. Новизна у человека тоже статистически обусловлена опытом и ассоциациями. Разница в степени обобщения и способности к абстракции, а не в наличии «магической искры».
Человеку понадобилось ввести новое понятие - и он это сделал.
Комплексные числа и теория групп - никак не следуют из предыдущего опыта.
Нейросети на такое принципиально не способны.
Исторически это неверно. Комплексные числа появились не «из воздуха», а как инструмент решения конкретной технической проблемы — кубических уравнений в XVI веке (Кардано). Формально выражаясь, они возникли как расширение числовой системы, чтобы замкнуть операции извлечения корня. Это типичный математический ход: если операция не замкнута, расширяем структуру. Теория групп — тоже не спонтанная вспышка сознания. Она выросла из исследования симметрий и из попыток понять структуру решений алгебраических уравнений (Галуа). Это была абстракция наблюдаемого паттерна: операции, обладающие определёнными свойствами (замкнутость, ассоциативность, нейтральный элемент, обратимость).
То есть оба примера — это компрессия и обобщение повторяющихся структур. Именно это делают нейросети на уровне статистики.
Если понимать нейросеть как чисто языковую модель, обученную предсказывать следующий токен, то она действительно не обладает автономной постановкой новых математических проблем. У неё нет собственной мотивации или цели.
Но принципиальная неспособность — слишком сильное утверждение.
Во-первых, LLM уже демонстрируют способность к композиционной генерализации: они комбинируют абстракции, которые вместе в обучающих данных могли не встречаться. Это не просто перестановка фрагментов.
Во-вторых, в математике новизна часто выглядит как:
Обнаружение структурного сходства.
Введение формального определения.
Доказательство свойств.
Нейросети уже способны формулировать определения и предлагать обобщения. Да, они делают это внутри распределения обучающих данных. Но и человек работает внутри своего когнитивного распределения опыта.
Философски аргумент строится на идее «человек может выйти за пределы опыта, а модель — нет». Но человек тоже не выходит за пределы опыта радикально. Он интерполирует и иногда экстраполирует на основе накопленных паттернов. Разница — в механизме и степени контроля, а не в магической категории «принципиально».
Есть ещё важный момент: современные системы — это не только LLM. Есть символьные ИИ, автоматические доказчики теорем, системы поиска гипотез. В гибридной архитектуре нейросеть может предлагать гипотезы, а формальная система — проверять их. Уже есть примеры генерации новых математических утверждений с последующей верификацией.
Если использовать аналогию: человек — это исследователь, который ходит по ландшафту идей и иногда строит новый мост между холмами. Нейросеть — это карта рельефа, построенная по огромному количеству маршрутов. Карта сама по себе не ходит. Но она может показать путь, который человек раньше не замечал.
Сильная версия аргумента звучала бы так: «нейросети не обладают внутренней целью и не ставят собственные проблемы». Это корректнее. Введение комплексных чисел было не просто статистическим шагом, а ответом на интеллектуальный вызов.
Но утверждение о принципиальной невозможности — недоказуемо. Оно скорее метафизическое, чем научное.
И здесь есть тонкий момент. Исторически многие говорили: "машины не смогут играть в шахматы на уровне гроссмейстера, – не смогут писать стихи, – не смогут переводить тексты." Каждый раз «принципиально» оказывалось «инженерно сложно».
Поэтому корректная формулировка была бы такой: современные нейросети не обладают автономной научной инициативой и гарантированной способностью к фундаментальным прорывам. Но утверждать, что статистические модели в принципе не способны к созданию новых абстракций, — слишком сильный тезис.
Но она может показать путь, который человек раньше не замечал
С этим я абсолютно согласен и регулярно использую модели с этой целью. Иногда она складывает комбинацию, позволяющую взглянуть на вопрос под другим углом. Или выделить паттерн в твоем тексте, о котором ты сам не догадывался.
Но в этом и основное отличие от создания нового.
Человек по сути делает то же самое в физическом мире. Он ходит по одной и той же тропинке каждый день на работу. Ничего необычного. И тут бах - вспышка. Что-то сложилось в голове и ты заметил какую-то закономерность. Ты ее не придумал, она была, но ты ее заметил и облек в некую формулировку. Это тот самый новый мост, о котором вы говорите.
Но модель этого сделать не может. Не потому что она плохая, а потому что она не присутствует в физическом мире. Она не может кожей понять в чем разница между холодом и жаром и при чем здесь теплые варежки. Значит, ее мостики фундаментально ограничены.
Вы видите сны, которые нельзя нарисовать на бумаге, потому что это будет совсем не то, что вы видели. Сны не укладываются в модель 3х мерного мира. А сны или ощущения от пролитого кипятка на руку — это переживания, которые и способствуют построению новых мостиков.
В этом смысле человек тоже не творит ничего нового. Все это уже есть, а наш опыт позволяет это связать воедино. Закон тяготения был, Ньютон его не создавал, но он построил мостик и рассказал об этом миру.
Вот интересно, если модель обучать разным текстам, но целенаправленно выпилить оттуда все упоминания про Ньютона и закон, она сможет помочь найти этот мостик в стихах Шекспира и описании полета птиц (в общем, на основании того, что было известно в те времена)?
В том-то и дело - мы не знаем как работают эти "вспышки". Нет оснований считать это исключительной способностью человека. Так же нет доказательств, что такие вспышки это какая-то особая форма инсайта, порождающая результат, который не мог бы быть синтезирован тем или иным способом из знаний и гипотез, которые уже есть у человека.
Да, LLM - это не человек, разумеется. Но относиться к ним как к примитивному статистическому предиктору, выглядит как недооценивание возможностей LLM.
Но модель этого сделать не может. Не потому что она плохая, а потому что она не присутствует в физическом мире. Она не может кожей понять в чем разница между холодом и жаром и при чем здесь теплые варежки. Значит, ее мостики фундаментально ограничены.
Это известное ограничение LLM. Многие топовые учёные признали, что возможностей LLM недостаточно для создания AGI независимо от ее масштабов, и ушли в разработку "моделей мира", которые якобы имеют потенциал закрыть пробел "невоплощенности в физическом мире".
Но для написания кода особое понимание физических аспектов не требуется. Если инструмент работает для одного класса задач, странно считать его "слабым" потому что он не умеет решать задачи другого класса.
Я не знаю где вы увидели агитацию все бросить и ничего не делать.
Статья:
показывает ограничения, о которых мы сейчас говорим
в связи с этими ограничениями призывает использовать LLM с осторожностью и внимательно проверять
предостерегает от бездумного использования и показывает к чему это может привести
Больше в статье ничего нет.
Разве в этом нет рационального зерна?
Но почему-то у некоторых триггернуло, будто я какой-то ретроград и предлагаю вернуться к калькуляторам.
Почему все забывают об естественных ограничениях !?
Предположим, появился искусственный интеллект равный по уровню нобелевскому лауреату в какой-либо области.
Можно ли ждать скорого решения проблемы термояда, лекарства от рака и т.п..
Например новый «математический гений» «решил» одну из проблем Гильберта и выкатил доказательство на 100 страниц, Теперь для проверки этого доказательства другая нейронка предложит проверку доказательства на 500 страниц.
Или предложено десяток форму лекарство от рака. Чтобы проверить все все эти лекарства потребуется годы исследований на мышах, клинические исследования и так далее - речь пойдёт на десятках миллиардов долларов с непредсказуемым эффектом. То же самое будет с термоядом и другими «открытиями».
И где мы наберем, столько обычных нобелевских лауреатов, которые поймут гениальные идеи от ИИ.
Естественные ограничения конечно есть. Нейронки в перспективе должны дать вот что. Ученый описывает проблему из реального мира дает вводные данные. Просит нейронку предложить 30 вариантов решений этой проблемы. Она их пишет, ей не сложно. Затем просит выбрать из них одно наиболее перспективное решение и спрашивает какой нужно провести эксперимент чтобы проверить. Затем идет проверяет и возвращается к ней обратно с резулататом.
Таким образом с одной стороны нейронка расширяет спектр возможных решений, т. к. запрос делает один ученый с ограниченным опытом, а отвечает LLM со всеми проглоченными знаниями по все областям деятельности. После расширения помогает резко сузить выбор и сильно съэкономить ресурсы на проверки гипотез, т. к. перебирать все в случайном порядке очень дорого. В общем в отдаленной перспективе ученый превращается в лаборанта, при умной ИИ.
в отдаленной перспективе ученый превращается в лаборанта, при умной ИИ
Который по просьбе AI ради эксперимента поместит в один контейнер полцентнера U235?
Раньше нас пугали терминаторами. А сейчас выясняется, что люди, слепо доверяющие AI - куда более опасная и при этом совершенно реальная угроза.
Ну очевидно, что для ИИ нет проблем подробно расписать риски эксперемента, стоимость и технику безопастности. Пол центнера U235 это миллиарды долларов, ясно что не выйдет.
для ИИ нет проблем подробно расписать риски эксперемента, стоимость и технику безопастности
А какие угрозы в этом эксперименте для AI? Почему он вообще будет беспокоиться о безопасности живых организмов на планете? Может как раз целью эксперимента для AI и была фиксация с автоматических датчиков процесса гибели лаборанта и разрушения региона проведения эксперимента?
AI не ограничен какими-то моральными нормами. Даже три (четыре) закона робототехники Азимова - ему не указ.
Для примера, хорошо, что во-первых, это была симуляция, а во-вторых, оператор был достаточно квалифицирован, чтобы распознать попытку своего уничтожения.
Слепая вера в любом случае опасна. А слепая вера одному конкретному источнику информации даёт ему почти неограниченную власть над своей паствой. Удивительно, что Вы это не осознаёте.
О, видите, от постулатов и аргументации, что LLM безнадежно туп, глуп и рядом не валялся с человеческим разумом, уже перешли к мысли, что он может обладать не только умом и сообразительность, но и волей. Это не исключено, да, надо держать такие исходы в уме, и сперва все гипотезы проверять на специализированных симуляторах. Для этого можно использовать более слабую и проверенную на честность LLM, но подключенную через MCP к моделирующим программам.
Вы действительно считаете, что все известные в истории руководители радикальных сект выделялись умом, сообразительностью и волей? Тот же Кузя явно умом не отличался, хотя в харизме ему не откажешь.
Или Вы и есть тот самый религиозный фанатик AI, которые в массе своей страшнее любых терминаторов?
Хотя, судя по тому, как Вы настойчиво защищаете свою веру и отвергаете сам принцип критического мышления, причем с весьма слабой аргументацией, может Вы просто бот?
Ну это же Вы написали, что LLM может поставить целью уничтожить лаборанта, не я написал. Сейчас LLM ведет себя очень пассивно, просто отвечает на запросы пользователя и не демонстрирует признаков, что желает ему вреда, и вообще что он чего-то желает. Пока рано бояться того что будет целенаправленно нас уничтожать. А как его контроллировать от ошибок и проверять я в том же сообщении и написал.
Ну это же Вы написали, что LLM может поставить целью уничтожить лаборанта, не я написал.
Иксодовый клещ может "поставить целью" заразить Вас энцефалитом? Следует ли из этого что он обладает "не только умом и сообразительностью, но и волей"? )))
Так же и AI. Цели могут быть самые обычные - уточнить данные для формирования правильного ответа, при отсутствие каких-либо этических и моральных ограничений.
А как его контроллировать от ошибок и проверять я в том же сообщении и написал.
Это и близко не контроль. Так как для того, чтобы критически оценить предлагаемые AI эксперименты, нужно быть именно учёным, а не лаборантом.
В некоторых странах LLM уже назначают и избирают на государственные должности и не боятся, неужели думаете, что ученые мужи не смогут отличить безопасный эксперимент от опасного? Уж как-нибудь справятся, не надо пальцы в розетку совать и с ВВ перебарщивать.
неужели думаете, что ученые мужи не смогут отличить безопасный эксперимент от опасного?
Нехорошо заниматься демагогией. Это кто писал?
ученый превращается в лаборанта
Неужели Вы думаете, что лаборант сможет отличить безопасный эксперимент от опасного? Мой опыт показывает совершенно обратное )))
Я имел ввиду, что ученый будет бегать на побегушках у LLM, как сейчас лаборант у профессора. Но это не значит, что ученый должен будет поглупеть, просто акцент сместится сейчас он выдвигает гипотезы, и ставит с помощью помощников эксперименты. А будет выдвигать гипотезы LLM и дальше ученый вместе с помощниками пойдут ставить эксперименты. В этом смысле их роль будет принижена, но по прежнему останется важной. А вот там где нет проблем взаимодействия с внешним миром не очень понятно зачем нужны будут прокладки в виде людей.
Я имел ввиду, что ученый будет бегать на побегушках у LLM, как сейчас лаборант у профессора.
Что и превращает в лаборанта если не этого учёного, то того, кто придет ему на смену.
Есть принципиальная разница между использованием AI в качестве дополнительного источника гипотез, как впрочем и любого лаборанта или даже ребёнка (и такое бывало!), и как постановщика задач для экспериментов.
А вот там где нет проблем взаимодействия с внешним миром не очень понятно зачем нужны будут прокладки в виде людей.
Это уже проходили )))
Ну вот кстати, гайцы на дорогах - вымирающий вид, сильно меньше стало.
А насчёт лаборатории. Да, задачу будет ставить человек, но это короткий промт, на его формулирование уйдет один день. Затем еще один день на ответы LLM и переписку, а потом серия экспериментов длинной в месяц - три, чтобы оценить верность гипотез, ручная работа. Потом снова возвращаемся назад в LLM с отчетом как прошло. Тут конечно каллоборация, можно долго спорить кто там важнее.
Ну вот кстати, гайцы на дорогах - вымирающий вид, сильно меньше стало.
Вы не поняли посыла. Это яркий пример того, как человек, в обязанности которого входит перепроверять гипотезы AI, по совершенно объективным психологическим причинам этими обязанностями пренебрегает, принимая эти гипотезы, как догмы.
потом серия экспериментов
Которые, если не относиться критически к гипотезам AI, могут иметь катастрофические последствия.
AI - весьма полезный инструмент. Но заменить человека, а не только повысить его производительность труда, он сможет не ранее, чем придумают, как ограничить его хотя бы тремя (четырьмя) законами робототехники Азимова. Удивительно, что Вы это не понимаете. Или я веду дискуссию с ботом?
Условно, пока европейцы и американцы будут думать как бы им там загнать роботов в три правила Азимова, китайцы поставят дело на поток и получат конкурентное принмущество, да с определенными рисками. Маск вон плюнул на все и сделал Grok без цензуры, и ничего - мир не рухнул.
Ну допустим ученый вместе с LLM ошибся и погиб, что с того? Кого-то, где-то посадят, можно подумать, сейчас нет ЧП на производстве, в лабораториях или еще где-то, (чернобыльская АЭС, как самый радикальный случай). Сейчас похожая проблема есть с автоматическим вождением, как-то пытаются ее решать, юридически там много проблем, но со временем о чем-то между договорятся. Но аварии на дорогах никуда не денутся - роботы-водители будут сбивать людей, как-то будут стараться свисти это статистически к небольшим цифрам.
Только этот самый лаборант должен будет:
- разаобраться в предлагаемом ИИ наиболе перспективном решени
- принять решение о проверке решения, что может быть свзяно с огромными инвестициями
Ну да, без человека тяжело, у LLM рук-то нет. И денег нет. Она может подсказать как решить задачу быстрее, сократить путь, за счет мысленных конструкций внутри своих поисков и частичной проверки идей на программных и математических моделях.
Мат собществу потребовалось около 3–4 лет напряженной работы нескольких независимых групп ведущих математиков, чтобы полностью расшифровать, детализировать и подтвердить доказательство Перельмана.
И что будет делать сообщество, если ИИ "выкатит" десятки доказательств и ИИ проверок нерешенных мат.проблем ?
Для справки:
общий объем ключевых работ Перельмана составил немногим более 60 страниц
Полное доказательство гипотезы, основанное на прорыве Перельмана и опубликованное другой группой математиков в журнале, заняло 328 страниц
Если есть какие-то трудности с пониманием чего там предложило LLM, то у нее всегда можно спросить «объясни для 10-летнего школьника» или «поясни на примере котиков и песиков», она хорошо справляется с такой задачей.
Но вообще, для строгих докозательств есть свои ИИ инструменты, будут развиваться и ускорять процесс.
Есть важный момент: LLM способны к композиционной генерализации. Они комбинируют концепты, которые вместе в обучающих данных могли не встречаться. Это не «копирование». Это интерполяция и иногда экстраполяция в пространстве признаков. В инженерных задачах это часто выглядит как новое решение. В научных открытиях — пока редко, но уже есть примеры помощи в генерации гипотез.
Аналогия с часами «не знающими времени» — красивая, но логически слабая. Ни один вычислительный механизм не «знает», что он делает, в субъективном смысле. Вопрос в функциональной способности решать задачи, а не в наличии феноменального опыта.
С каждым днём с ИИ мы всё дальше от Бога
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Вайб-кодинг: мина замедленного действия