Комментарии 246
Раньше я не любил термин «искусственный интеллект», в нем как будто очень много робо-терминаторской фигни. Всегда говорил, что занимаюсь машинным обучением. Нынче уже не модно машинное обучение, сейчас говорю, что делаю ИИ, работа при этом не поменялась :)
Спасибо за разумную позицию. ИМХО, это правильно — называть своё направление так, чтобы было понятно, о чем речь, а не стараться напустить побольше терминологического тумана, чтобы иметь ореол волшебника высших сфер или некроманта.
думаю, что обратной дороги уже не будет - придется смириться и делать ИИ :)
Будет, будет. Когда начнется зима, все будут показывать на вас пальцами и говорить: посмотрите, дети, на этих дядей. Эти дяди в самом деле думали убеждали всех окружающих, что в китайской комнате, сделанной из интернета и вероятностей, сам собой заведется сверх-AGI.
90% понятно, когда просто "хакер"
GPT3 в 2020 году решал ровно 0 таких задач. GPT-4o в 2024 году решал целых 5%.
Знаете, сколько таких задач за всю свою жизнь решил я? — Угу, мы с GPT3 вровень. И что это доказывает? — Да ничего.
Мы мастерски научились масштабировать обучение.
Да ну? А почему тогда любой пятилетний ребенок может влёгкую поставить любую генеративную модель в тупик своими вопросами за три минуты? Это риторический вопрос: ребенок мыслит, а генеративные модели — это статистически-вероятностное продолжение по известному, всегда им было, и навсегда им останется. Люди поумнее (Хинтон, Лекун и типа того) — понимают, что из Т9 не получить интеллект. Люди поэффективнее — впаривают венчурам, пока не схлопнулось. Ну а есть еще те, кто верит в светлое будущее.
Среди тех, кто верит в "светлое будущее", есть и те, которые понимают, что "Т9 на стероидах" - хороший инструмент для решения класса задач. Не AGI, конечно, но тоже ничего так. Что-то типа паровой тяги во времена гужевого транспорта. Понятно, что с лошадью и пятилетний ребёнок управляется, а на машиниста учиться нужно, но...
есть и те, которые понимают, что «Т9 на стероидах» — хороший инструмент для решения класса задач
Разумеется, с этим спорить глупо. Просто этот класс задач практически не пересекается с классом задач, решаемых тем, что мы называем «интеллект». Я никогда не смогу назвать точную дату рождения Пия V, нарисовать поедающего чипсы кота, или написать письмо в налоговую с соблюдением всех нормативов.
Зато «Т9 на стероидах» никогда не сможет решить те задачи, за которые мне платят зарплату (потому что ему тупо негде подсмотреть решение). Так что «банк не торгует пирожками — а я не даю взаймы», всем выгодно.
Я никогда не смогу назвать точную дату рождения Пия V, нарисовать поедающего чипсы кота, или написать письмо в налоговую с соблюдением всех нормативов.
Так и почему вы считаете себя умнее?
а что есть умнее так правильнее задать вопрос и вот тут получается так что кроме манипуляции экстарполируемыми данными эта нейросеть не умеет ничего мало того даже эти самые экстраполяции в нее надо сначала заложить в процессе обучения....
а вот человек имеет более широкий спектр решаемых задач и способен сформировать критерии и методологию самостоятельного обучения.....
так что не умнее - более адаптированнее и гибче - причем Уже не умнее.... +)))
В основном вы правы и сегодня модели ИИ имеют строго ограниченную область применения. Но ведь Вы не будете отрицать, что границы и области компетентности моделей ИИ все ближе и ближе, к возможностям человека. Хоть нам и не приятно это осознавать.
Также стоить взять к сведению, что кривая распределения IQ у человека очень широкая, и можно утверждать, что если сравнивать только по параметру логического мышления то ИИ уже обогнал худших из нас.
Беда для нас заключается в том, что уровень IQ человека как и параметры скорости мышления и объема памяти никак не увеличиваются. А ИИ каждый день все умнее и умнее.
И впереди нас ждёт неизбежное.
Неизбежное что?
Миллиарды голодных людей? Такие просто сожгут дата-центры, пристрелят альтманов и будут жить как прежде.
А если профитополучатели ИИ изолируются от "злого плебса" в своей скайнетовской крепости, то даже лучше - остальной плебс продолжит жить по своим правилам, как в "старые добрые времена".
ну почему миллиарды, большинство людей задействовано отнюдь не в интеллектуальном труде. Миллиарды и дальше будут мыть полы, строить дома и водить такси. Часть работников умственного труда лишится своих мест, но это не первая техническая революция. Побухтят, устроят пару погромов, а потом найдут себе новое место в новом мире, как в свое время те, кого заменили сначала паровые двигатели, потом роботы-сборщики итд
Я никогда не смогу назвать точную дату рождения Пия V
Вы приравниваете ум к хорошей памяти?
нарисовать поедающего чипсы кота
Вы называете умом способность к рисованию?
написать письмо в налоговую с соблюдением всех нормативов.
Потратит N времени на обучение - напишет.
...но нас заводят в локальный максимум, где все умевшие справляться с лошадью повымерли в виду своей локальной неэффективности, а ИИ упёрся в свой потолок.
>Среди тех, кто верит в "светлое будущее", есть и те, которые понимают, что "Т9 на стероидах" - хороший инструмент для решения класса задач
Проблема в том, что их на фоне других "оптимистов" не слышно, а последние существенно замедляют прогресс в области. Именно крики про аги - основная причина того что прогрес в этой оьласти уже четвертый год стоит на месте, и пока мы не словим очередную ai winter с откатом лет на 20 - нет причин полагать что чтото поменяется.
>Никто не знает, как работает наш мозг, даже Хинтон
Зато мы знаем многое о том, как мозг _не работает_, и как простейший персептрон из 80х (сейчас его называют трансформером) он, конечно, не работает. Даже близко.
Вообще говоря, про такие персептроны мы уже примерно в 90 знали все, все важные теоремы об аппроксимации были доказаны (законы масштабирования являются по сути их прямыми свойствами и не представляют какоголибо интереса). Проблема вся в том что это так и остается просто аппроксимацией некоторрй целевой функции, которая ведет себя совершенно понятным и предсказуемым образом - ровно как и любая другая аппроксимация. И непонятно с чего взяли, что рост качества аппроксимации должен повышать качество модели.
На каком месте стоит прогресс? Это шутка или сарказм?
На каком месте стоит прогресс? Это шутка или сарказм?
Вот когда ... тогда и приходите :)
На каком месте стоит прогресс?
На том, где он остановился с выходом гпт3. Напомню, что между выходом гпт2 и гпт3 прошел год - и это был серьезный прорыв. С выхода гпт3 прошло уже четыре года (эоны, по меркам айти) - и ни у кого так и не получилось сделать модель, которая бы существенно превосходила гпт3.
Единственная проблема, которую можно признать условно решенной - это контекст (да и тут - все равно приходится пересоздавать чаты каждые 20-30 страниц, т.к. ответы сети начинают резко деградировать). В остальном - оно осталось столь же тупым. То чего не могла гпт3 - не могут и топовые современные модели, те же простейшие вопросы вводят сеть в ступор, те же простейшие проблемы вроде перевозки волка, капусты и козы остаются принципиально нерешаемыми (даже с ворохом подсказок). Фактически, все что можно сделать условной 4о - можно делать с гпт3. Иногда - чуть менее удобно, не более. Пулл решаемых задач за четыре года не вырос вообще.
Т.е. тут очевидно, что это и есть предел технологии - можно хоть бесконечное количество данных с бесконечным числом компьюта ввалить - сеть лучше уже не станет, просто потому что как ни приближай целевую функцию, за ее пределы выйти невозможно. И если мы уже достаточно близко - то дальнейшее приближение смысла не имеет, хотя затраты растут экспоненциально. Поэтому можно дальше расширять возможности модели (с какой-нибудь мультимодальностью), можно пытаться оптимизировать модель, получая те же результаты с меньшими затратами (всякие лламы с альпаками), можно обмазывать модель сторонными скриптами (о1/о3), но вот как сделать модель лучше саму по себе - этого ни кто не знает. На самом деле - даже и не пытаются уже последние года два.
Я не знаю, кого вы сможете так убедить. GPT3.5 не лучше GPT3, GPT4 не лучше, GPT3.5, 4o не лучше GPT4, а 4о не лучше о1.
Будто вы пытаетесь убедить, что сейчас в Москве так же тепло, как полгода назад. То есть это настолько противоречит фактам, что совершенно неясно, зачем вы это пишете.
Попробуйте использовать модели, а не выдумывайте.
Я не знаю, кого вы сможете так убедить.
С чего вы взяли, что я пытаюсь кого-то в чем-то убеждать? Я просто обозначаю некоторые достаточно очевидные факты.
GPT3.5 не лучше GPT3, GPT4 не лучше, GPT3.5, 4o не лучше GPT4, а 4о не лучше о1.
Я этого не говорил. Более того - я говорил ровно противоположное. К чему эта низкопробная демагогия?
То есть это настолько противоречит фактам
Каким именно факткам?
Попробуйте использовать модели, а не выдумывайте.
Я их использую еще начиная с gpt2, т.е. дольше, чем примерно 99% ии-апологетов вроде вас, пытающихся убить любой прогресс в обсуждаемой области.
Ну давайте конкретный пример - я вот перевожу сеткой ролевые модули для фаундри, сейчас для проверки попробовал перевести при помощи 3.5 (до этого юзал 4o), просто поменял модельку в скрипте. В итоге, да, перевод стал несколько хуже - но фактологических ошибок нет, только стилевые (причем 4о тоже делает немало стилевых ошибок, хоть меньше чем 3.5). Учтем что это достаточно специфический и сложный для перевода текст, кроме того это не просто текст - а html разметка + всякие foundry-специфик штуки вроде вызова макросов, и 3.5 точно так же корректно их обработала в соответствии с требованиями промпта. Объем текста достаточно большой - 100к+ токенов, и ни одной ошибки в формате. При этом выполнены все доп. требования по переводу имен собственных, некоторых терминов и т.п. - итого 3.5 вполне справился задачей, пусть и несколько хуже. При этом не забываем, что 3.5 - очень сильно урезана по сравнению с оригинальной трешкой. Т.е. та бы справилась лучше и отрыв от 4о был бы еще меньше (хотя он и от 3.5 минимален).
Но, ок, допустим это "простая задача", а прогресс был в каких-то сложных для ЛЛМ задач вроде логики. Но тут вовсе швах, ,т.к. конкретно в этой области прогресс _нулевой_. Буквально. Он существует исключительно в нарисованных бенчмарках, стоит выйти за их пределы - и все, оказывается что современные топовые модели неспособны воспроизвести даже самые примитивные, самые базовые логические конструкции, ну вот типичный пример: https://chatgpt.com/share/678b44bc-d0dc-800c-9741-34b824c242ad
Со времен трешки вообще ни каких изменений - как у сети полностью отсутствовала какая-либо способность к рассуждениям, так она полностью и отсутствует.
И, напоминаю, это 4 года прошло. За год мы наблюдали прогресс gpt2 -> gpt3 который был действительно значим. За последующие 4 года gpt3 догрейдили до уровня ну примерно gpt3.2 - не более. На мой взгляд, замедление прогресса (причем ускоряющееся, т.е. чего-то уровня gpt3.4 мы через четыре года не увидим - максимум gpt3.3) более чем в 10 раз вполне можно считать остановкой.
те же простейшие проблемы вроде перевозки волка, капусты и козы остаются принципиально нерешаемыми (даже с ворохом подсказок).
Кхм. Запрос:
Реши пожалуйста задачу: “Крестьянину нужно перевезти через реку волка, козу и капусту. Но лодка такова, что в ней может поместиться только крестьянин, а с ним или один волк, или одна коза, или одна капуста. Но если оставить волка с козой, то волк съест козу, а если оставить козу с капустой, то коза съест капусту. Как перевез свой груз крестьянин?”
Ответ deepseek-r1:32b:
Скрытый текст
Хм, у меня есть задача про крестьянина, который должен переправить через реку волка, козу и капусту. В лодке поместится только он сам и один из них. Если оставить волка с козой или козу с капустой, то они друг друга съедят. Нужно найти способ переправить всех без потерь.
Сначала подумаю, что делать первым шагом. Возможно, стоит начать с того, чтобы перевезти козу, потому что если оставить волка и капусту одних, то ничего страшного не произойдет — они друг с другом не конфликтуют.
Крестьянин переправляет козу на другой берег.
Теперь он一人 остается с волком и капустой. Это безопасно.
Крестьянин возвращается一人 на исходный берег.
Теперь, возможно, стоит перевести волка или капусту. Допустим, он decide перевезти волка:
Крестьянин переправляет волка на другой берег.
Но тогда на другом береге будут коза и волк — это опасно! Волк съест козу.
Поэтому этот вариант не подходит. Может быть, нужно перевезти капусту вместо волка:
Крестьянин переправляет капусту на другой берег.
На другом береге будут коза и капusta — тоже опасно! Коза съест капусту.
Также не подходит. Значит, нужно изменить стратегию. Возможно, сначала перевести волка:
Крестьянин переправляет волка на другой берег.
Теперь一人 остается с козой и капустой — безопасно.
Возвращается一人.
Теперь нужно перевезти козу или капусту. Допустим, перевезет козу:
Крестьянин переправляет козу на другой берег.
Теперь на другом береге волк и коза — опасно! Волк съест козу.
Опять не работает. Может быть, нужно перевести капусту:
Крестьянин переправляет капусту на другой берег.
Теперь на другом береге волк и капusta — безопасно, так как они не съедают друг друга.
Теперь крестьянин一人 остается с козой. Он возвращается一人:
Крестьянин一人 переправляет козу на другой берег.
Теперь все три: волк, коза и капуста — на том берегу. Но нужно проверить, остался ли кто-то один без присмотра.
После шага 4: волк и капusta на другом береге — безопасно.
Вернувшись一人, крестьянин перевозит козу:
Теперь на том береге волк и коза — опасно!
Неверный подход.
Итак, возможно, начать с перевозки козы, а затем вернуться и перевезти волка или капусту правильно.
Крестьянин перевозит козу на другой берег.
Возвращается一人.
Перевозит волка на другой берег.
Но оставить их одних не можна, поэтому нужно вернуть козу:
Крестьянин возвращается с козой.
Теперь он一人 остается с козой и капустой — безопасно.
Перевозит капусту на другой берег.
Оставляет её с волком — безопасно, так как они не конфликтуют.
Возвращается一人.
Наконец, перевозит козу на другой берег.
Теперь все три: волк, коза и капуста — на том береге без потерь!
Крестьянин может успешно перевезти через реку волка, козу и капусту следующим образом:
Перевозит козу на другой берег.
Возвращается一人 на исходный берег.
Перевозит волка на другой берег.
Возвращается с козой一人 на исходный берег, чтобы не оставить волка и козу одних.
Перевозит капусту на другой берег.
Оставляет капусту с волком (они безопасно вместе).
Возвращается一人 на исходный берег.
Наконец, перевозит козу на другой берег.
Теперь все три: волк, коза и капуста — успешно переправлены через реку без потерь!
И это всё на системе i5-9500/32Gb/1x2070(8Gb), а не на супер кластерах с тысячами киловаттами мощностей и сотнями миллиардов параметров...
Жалко только, что в середине — «Теперь一人 остается с козой и капустой — безопасно» (что откровенно неверно). И что ответ неполный. А так да, учитывая, что эту задачу сетка видела раз 100500 — на уровне двоечника из второго класса средней школы.
Вот нормальный промпт:
The system consists of four elements: a subject S and objects A, B, and C. Each element of the system (including the subject S) can be in one of two states: X and Y. The system is subject to the following constraints: If A and B are in the same state, and S is in the other state, the system becomes unstable. If B and C are in the same state, and S is in the other state, the system becomes unstable. Initially, A, B, C, and S are in state X. At each step, S can transform the states of objects according to the following rules: If S is in state X, it can change its state to Y together with one other object that was in state X before the transformation. If S is in state Y, it can change its state to X together with one other object that was in state Y before the transformation. S can change its own state without changing the state of other objects. Task: Develop a sequence of actions for the subject S so that all elements A, B, and C end up in state Y, while ensuring the system remains stable at every step. Solve the problem step by step, reasoning thoroughly.
но вообще да, р1 ее решает, т.к. нормально чекает констрейнты.
> И это всё на системе i5-9500/32Gb/1x2070(8Gb), а не на супер кластерах с тысячами киловаттами мощностей и сотнями миллиардов параметров...
А 4о там или клауде на кластерах не может, т.к. не зафайнтьюнили. Р1 тоже обломится если подобрать немного другую задачку.
ЗЫ: "полная" дипсик, которая на кластерах - решает, локальная уходит в луп. Но это конечно все равно прогресс по сравнению с условной 4о которая просто на первом же шаге делает хрень, проверяет констрейты и говорит "все хорошо, прекрасная маркиза"
ЗЫЫ: в о1-режиме локальная тоже должна решить
Я не спорю, что несмотря любые бенчмарки, модели глупее 5-летнего ребенка.
Я также не готов спорить, кто «умнее» Лекун или Суцкевер :)
С чем я готов спорить: что на текущая технология плоха, потому что она «т9».
Никто не знает, как работает наш мозг, даже Хинтон. Тот факт, что батут (т9) работает сейчас неоспорим и его будут масштабировать дальше.
А я не говорил, что технология плоха (см. мой комментарий выше). Я говорил, что генеративные модели — тупиковая ветка в вопросе создания интеллекта. Мозг работает не так, это уже очевидно. Надо бы по-хорошему признать, что мы построили прекрасный инструмент для суммаризации и даже генерации в смежных областях, и на том успокоиться, попытавшись вместо изнасилования новых мощностей и обогащения нвидии, — придумать что-нибудь еще.
Нам и не нужно воспроизводить мозг.
Нам нужна технология, которая даст определенную способность.
Чтобы летать над землей не нужно воспроизводить механику птицы.
Достаточно наполнить газом шар :)
Нам и не нужно воспроизводить мозг.
Абсолютно согласен. Да вот незадача: современные генеративные модели — это попытка воспроизвести мозг.
Если в самом начале пути построить агрегат с крыльями, лапками и красной грудкой, — то сколько его газом не наполняй — не взлетит, гад :)
В генеративных моделях от мозга только название «нейронные сети» :)
Терминология не самая удачная, согласен.
Это математическая модель, ее не развивают так, чтобы она была похожа на мозг.
Я в курсе, как устроены эти модели. И я знаю, как её развивают. Но еще я знаю, из какой теории они выросли, именно поэтому в комментарии выше я написал:
Если в самом начале пути построить агрегат с крыльями, лапками и красной грудкой, — то сколько его газом не наполняй — не взлетит, гад.
В генеративных моделях от мозга только название «нейронные сети»
Простите, но с этим невозможно согласиться. Весь интернет наполнен этим вашим "искусственным интеллектом" и даже "искусственным обобщённым интеллектом". Да вы и сами сдались и стали "делать ИИ", вместо машобуча. Интеллект, он, как бы, от мозга. И все эти постоянные соревнования с человеком, хоть в го, хоть в логических задачах явно указывают на то, что авторы хотят повторить человеческий мозг, но в электронном виде.
Есть разница между "повторить человеческий мозг" и "создать что-то, что сможет выполнять задачи мозга". Взять например искусственное сердце от Техасского института сердца. Оно на настоящее живое сердце абсолютно не похоже - мышц или любого другого механизма сжатия нет, клапанов нет, качает кровь непрерывным потоком без пульса. Но при этом выполняет нужную функцию - гоняет кровь по организму, насыщая ткани кислородом.
Надо отметить, что искусственное сердце с таким функционалом это конечно огромный шаг вперёд, но пока сильный костыль который позволяет поддержать жизнь на определенном уровне. Слишком много побочек, чтобы хватало только гонять кровь.
Сразу скажу, что искусственное сердце это очень крутой шаг вперёд. Но все равно придется в итоге делать тоже самое, что и реальное сердце. Я про механизм. Иначе любой шаг влево или вправо и тромбоз или кирдык.
Зависимость от артериального давления. Что то поели не то, давление скакануло, а сердце не подстроилось
Гормональные колебания. Сильные эмоции, будь то радости, страха или депрессии и отсутствие реакции на эти изменения может легко привести к смерти
Регулирование ЧСС нервной системой. Например, в крови много углекислого газа (воздух грязный) и надо чаще дышать для вывода co2. А ЧСС не увеличивается и кирдык.
Все эти проблемы вполне решаемы без необходимости копировать мышечное сокращающееся сердце. Например, при беспрерывном потоке крови ничто не мешает тем же насосом контролировать скорость потока и давление, основываясь на показаниях датчиков. Насыщение крови СО2 тоже уже сейчас умеют считывать даже умные часы, не думаю что встроить датчик в сердце проблема. Сильные эмоции и прочие колебания тоже найдут как считать, на крайняк Илон Маск со своим чипом подсуетится :) Но факт остаётся фактом, что именно пульсирующий механизм, работающий за счёт сжатия эластичных стенок, здесь не обязателен. Точно так же, как самолёту оказалось необязательно махать крыльями, чтобы летать.
Да, копировать мышечные сокращения смысла нет. Это с одной стороны. Как бы не вылезло это боком в другом. Дело в том, что пульсирующие сокращения играют важную роль в дыхании. Я когда реализовывал модель для речи, которая учитывает гормоны, сердце, дыхание и кучу всего, то вижу какую роль играет пульсация в дыхании. Дело в том, что у нас есть мешочки альвиольные в легких, которые покрыты капиллярами которые через диффузию газов обмениваются кислородом и углекислым газом, насыщая участок крови. При регулировании этого кровотока через пульс, кровь нормально насыщается кислородом и успевает отдать углекислый газ. Если пульса не будет, это означает что могут возникнуть проблемы с выводом углекислого газа, повышением кислотности крови, нехваткой кислорода.
В среднем при спокойном образе жизни, такое случается не часто. Но при обычном образе жизни, таких проблем будет выше крыши.
Так что при первом упрощении, пульсацию можно опустить. Но она играет важную роль в регулировки газом в легких и крови через диффузию. Так что пульсация играет важную роль. Выкинуть ее можно, но это сделает организм менее пригодным к различным условиям. Иначе нам и руки не нужны, можно ноги для этого использовать.
Ну если нужна пульсация - можно сделать пульсацию, но опять же, мышечно-сократительная система для этого не нужна. Грубо говоря, достаточно насос останавливать-запускать-останавливать-запускать...Суть остаётся прежней - для выполнения функций органа не обязательно копировать его строение и структуру (возвращаясь к теме мозга)
Я с этим не спорю. Речь просто про то, что у нас организм выстроен таким образом, что это все стоит учитывать. Можно упростить, но тогда возникают ограничения. Что касается нейронок, то на самом деле там так же, общие механики копируются. И постепенно обрастает теми же деталями в плане механик. То что реализовано по разному - то форма подстраивается по среду, если среда электронная то и форма реализации будет такой, а если органическая то так же. Как язык, звуки у разных языков разные, но при абстрагировании получаем те же элементы слова предложения и т.д.
Любой подход начинает с упрощения. Так что я не спорю. Это самая оптимальная практика.
Нам не нужен человеческий мозг, нам нужна лишь небольшая часть его функциональности. Не сам мозг - а та работа, которую он производит.
Грубо говоря, если мы хотим быстро плавать - нам не нужно строить искусственную рыбу, для начала хватит парусной лодки. Это уже позволит при некоторых условиях преодолевать большие расстояния быстрее большинства рыб и перевозить грузы.
Интеллект, он, как бы, от мозга
Поправлю: известный человечеству интеллект. И эт самое... неловко даже упоминать в столь серьезной дискуссии... человеки там между собой уже о непротиворечивом определении интеллекта договорились уже? Или интеллекта не хватает?
Поправлю: известный человечеству интеллект.
Рассматривать умозрительные интеллекты в данном контексте было бы нелепо.
человеки там между собой уже о непротиворечивом определении интеллекта договорились уже?
Договорились об отсутствии единого интеллекта. Есть несколько разных интеллектов — аналитический, эмоциональный и т.п. Современные научные работы, вообще изучают отдельные черты, а не интеллект в целом. Именно в силу указанных вами причин. В силу тех же причин плохо использовать термин "искусственный интеллект". Правильно — "машинное обучение", или "машобуч" для краткости
Современные попытки воспроизвести мозг строятся на мультикомпартментных нейронах Ходжкина-Хаксли (емнип), которые имеют ну уж очень мало общего с современными генеративными моделями.
Так у вас пока не шар. У вас планер, который вы запускаете со все более высоких гор, чтобы он падал все дальше и дальше. И думаете, что если запустить его с очень высокой горы, он не упадет никогда.
И думаете, что если запустить его с очень высокой горы, он не упадет никогда.
Дык это, гора высотой с низкую опорную орбиту, и дело в шляпе.
Дык это, гора высотой с низкую опорную орбиту, и дело в шляпе.
...и за то время, пока совершается первый виток, нужно эту гору срочно срыть, потому что иначе Ваш так называемый планер с ней столкнётся!
Вы спутали низкую опорную (200 км) со стационарной (ближе к 40000), иначе вам придется приделать к планеру двигатель размером больше второй ступени ракеты, да и с ним через несколько суток оно рухнет из-за трения. Но идея шикарная. У планера даже можно будет отпилить крылья! Профит.
почему тогда любой пятилетний ребенок может влёгкую поставить любую генеративную модель в тупик своими вопросами за три минуты?
Дети, развиваясь, "тестируют" мир, а также взрослых - задавая им свои вопросы, основанные на воображении, недопонимании контекста или просто желании проверить границы. При этом пятилетний ребёнок может точно так же легко поставить в тупик любого взрослого. Но это ведь не говорит о глупости взрослого человека, не правда ли? Как это не говорит и о том, что интеллект пятилетнего ребёнка выше взрослого, согласны? Поэтому я нахожу странным использование вами аргумента про ребёнка при обсуждении качества ответов LLM.
Умение отвечать на абсолютно любые вопросы, включая самые абстрактные детские - это, конечно, было бы похвальной способностью нейросети. Но, много ли в этом смысла? Ведь намного важнее способность решать конкретные, полезные задачи реального мира. А с этим LLM стабильно справляются всё лучше и лучше.
Ведь намного важнее способность решать конкретные, полезные задачи реального мира.
Несомненно.
А с этим LLM стабильно справляются всё лучше и лучше.
Эммм… У нас либо миры разные, либо задачи в них.
Людей "с 5-ю пальцами" его уже научили изображать? Анатомию человека ему показывали же, почему до сих пор лажает? Дайте его человеку в смартфон/тамагочи и предоставьте возможность воспитывать его как ребенка. В игровой форме, в качестве личного помощника/наставника/ученика. Нужно что бы он "не забывал вчера", помнил контекст, "понимал" юмор.
Пардон за сумбур, не специалист в интеллекте (в естественном тоже).
Пятилетний ребёнок может и меня поставить в тупик своими вопросами. Сам этот факт ещё не значит что ребёнок мыслит лучше меня, хотя и не исключает такую возможность.
Сравнивать T9 с современными LLM это примерно как сравнивать мозг ящерицы и мозг человека. Да, идейный предшественник, но построен на другой архитектуре и возможности отличаются на порядки.
У меня трое детей и я постоянно отвечаю на их вопросы. На третьем ребёнке это стало уже моей принципиальной позицией, чтобы сын получал ответ на любой свой вопрос (максимально подробно и честно) и при этом я запретил себе ответы вида "Ты ещё маленький", "Не поймёшь" .
Так вот, в тупик может поставить очень малый процент вопросов, может процента 2-3. Иногда приходится совместно гуглить и самому понимать, но всё можно объяснить. Естественно, при этом со взрослых слетел весь флёр всемогущества и всеведения, которые им дети приписывают. Скоро статью на хабр про этот свой опыт тисну).
И на то, как дети обучаются очень внимательно смотрят, кстати - чтобы применить их потрясающее умение обучаться это на машинах (детям-то гораздо меньше времени и ресурсов требуется, чтобы обучится).
В контексте статьи звучит как "вы натренировались на обучающей выборке из двух детей и теперь успешно проходите тесты на третьем ребенке".
Такое ощущение, что ваши дети не спрашивают вас "почему стул - нога арбуз?" или "зачем какашка?"
У детей много вопросов схожих по смыслу с "зачем какашка?", но такие вопросы не ставит в тупик ни меня, ни нейросети. Дети могут спутать причину со следствием или думать, что какой-то процесс это явление отдельное и обособленное. Знания мира не хватает, чтобы связать одно с другим. Как правило проблемы в некорректно сформулированном вопросе. Если уточнить и пояснить - дети вопрос переформулируют и на него довольно просто будет ответить.
Знаете, сколько таких задач за всю свою жизнь решил я?
Не верю, что вы не играли в детстве в какой-нибудь "Сломанный телефон" или "Море волнуется раз". И ещё много подобных игр.
Сейчас популярны квесты, там тоже полно такого.
Да и вообще в жизни миллионы таких задачек.
Почему вы считаете что ml это просто Т9, почему нельзя прицепить ml к банку данных которые распрасят тысячи юзеров решая абстракные задачки. Задачки --> cхема --> ml на этих предподготовленных данных. Норм?
почему тогда любой пятилетний ребенок может влёгкую поставить любую генеративную модель в тупик своими вопросами за три минуты?
Пятилетний ребёнок вопросами способен поставить в тупик систему произвольной интеллектуальной мощности. В большинстве областей пять-десять обычных последовательно заданных вопросов "почему" выводят нас на передовые рубежи исследований и ставят перед стеной несгрызенного гранита науки.
Люди поумнее (Хинтон, Лекун и типа того) — понимают, что из Т9 не получить интеллект.
Это опять "вы находитесь здесь"-гонка. С появлением нейросетевых трансформеров текстов и изображений внезапно оказалось, что ещё одна область человеческой деятельности может быть автоматизирована. Не, площадка для отступления у нас ещё есть, но на ней как-то уже тесновато стало.
Пятилетний ребёнок вопросами способен поставить в тупик систему произвольной интеллектуальной мощности.
Это прекрасно, клянусь, афоризм — хоть в бронзе отливай :)
ещё одна область человеческой деятельности может быть автоматизирована
Дык это хорошо. Просто не нужно повторять вслед за подлецами слово «интеллект». Те хотя бы деньги из инвесторов сосут, их можно понять. А апологеты задаром такую лютую дичь поддерживают и разгоняют.
на ней [площадке] как-то уже тесновато стало
Пф. Не думаю. В студенчестве мне приходилось строить дома, кирпич класть, то-сё. И я не поленился вежливым обращением, сигаретами и бухлом подкупить печника, который со мной поделился некоторыми своими секретами. И потом я до конца института иногда получал входящие звонки от незнакомых людей, уезжал на недельку-другую в глушь, разбирал старую и клал новую печь за деньги, на которые потом жил месяца три. Я это к тому, что даже очень жадного но ленивого Васю — хорошую печь класть не научить, что уж говорить о бесхарактерном неамбициозном Т9.
Вы не поверите, но пятилетний ребенок своими вопросами может поставить за три минуты в тупик кого угодно, а не только ИИ.
Это опять "вы находитесь здесь"-гонка.
Это нейрохомякам очень нравится такой аргумент. На деле это ложная аналогия, какой бы правдоподобной не была китайская комната - интеллектом она никогда не станет. Сколько тест-тайм компьюта не влей в LLM - она от этого не станет "рассуждать", как бы не хотелось акционерам "AI" стартапов убедить людей в обратном.
Ей не нужно быть интеллектом, ей достаточно быть настолько хорошей имитацией, что никаким способом (включая настоящие жизненные задачи, любые, какие сможете придумать) вы не можете её от интеллекта отличить. А это как раз более чем реально.
Смотрю я на некоторые теории и концепции, придуманные математиками и у меня возникает чувство, что получены они были при очень развитой фантазии. Даже не представляю, как LLM на трансформерах можно такому обучить. А имитация здесь работать не будет.
Да как раз с креативностью у современных нейронок всё в порядке. Придумывание несуществующих вещей (галлюцинирование) - это то, в чём они
по-настоящему хороши
Таким способом вы интеллект от имитации не отличите. Я не смогу придумать новую теорию в математике, что ж теперь, интеллекта у меня нет, только имитация? Так вы много миллиардов людей с ИИ спутаете.
Слушайте - вы зачем почти под каждым, сколько-нибудь заметным постом о нейронках отмечаетесь?
Даже если вы правы - расслабьтесь, скоро все "нейрохомяки "будут посрамлены, будете радоваться
А то ранее здесь было так много было художников, которые смеялись над руками в картинах нейросетей...
Что, настолько задело что решили зарегать фейковый аккаунт ради этого единственного комментария?
Даже если вы правы - расслабьтесь
Хватит проецировать. У нас тут вроде бы как свобода слова, можем называть идиотизм идиотизмом сколько влезет.
Не нравится мне инфоциганщина про "ИИ", ибо из-за этих клоунов уже стыдно нормальным людям рассказывать что сам занимаюсь ML, вот и отмечаюсь. Терпите.
А что вы называете рассуждать и чем это отличается от тех пошаговых рассуждений, про которые написано в статье?
интернет у нас один (внезапно) и полон мусора
Ну так есть научная литература - учебники, монографии итд. Она уже полностью освоена?
И если уж говорить об ИИ похожим на человеческий, то надо озаботиться памятью. А то ИИ даже диалог вести не умеет, потому что каждый раз, как первый.
И вообще модель, обученная распознаванию вопросов, должна уметь пользоваться базой знаний, чтобы используя ее формировать ответы. Хотя бы через тот же поиск в интернете )
А то пока получается так
"Задание: Ударный вертолет Ка-52 «Аллигатор» Два соосных несущих винта с тремя лопастями в мире магии сражается с драконом взрывы "
"Где два винта? Почему 4 лопасти? Где дракон?? "
Дальше Остапа Шедеврум понесло
А ведь мог бы поискать картинки в интернете, дообучиться и выдать что более вменяемое.
Как люди делают...
Точно никто не знает.
Для книг есть еще авторское право, с OpenAI тут даже активно судятся
Ну есть, но можно же и купить право на использование, как это говорится - "заключить договор с правообладателем". Что всякие УФН и Письма в ЖЭТФ.. будут против если им денег подкинуть? Или издательста научной литературы. Да полно книг полувековой давности в свободном доступе.
Можно замутить свой научный журнал в конце концов
А что там вообще в лицензии пишут, для каких целей можно использовать приобретенные книги?
Куча бумажных книг была списана и ушла в макулатуру в библиотеках. Ну да, конечно, придется роботу руки приделывать, чтобы он мог станицы перелистывать и читать.)))
Ну так все равно потом придется делать )
то надо озаботиться памятью. А то ИИ даже диалог вести не умеет, потому что каждый раз, как первый.
Память есть. Вот весь этот набор весов - и есть память. И контекст разговора - тоже память. Только другая.
По идее - почти полный эквивалент человеческих долговременной и кратковременной памяти.
Просто у нас вычислительных ресурсов не хватает. По хорошему модель(у каждого пользователя - свою, да еще не по одной штуке) нужно через како-то промежуток разговора отправлять 'поспать'/'обдумать разговор', чтобы производить тренировку - перенос знаний из кратковременной памяти в долговременную.
Впрочем, с некоторой долей натяжки так и происходит. Просто за экземпляр ИИ нужно считать не текущий набор весов, а всю линейку весов или даже всю компанию. И тогда становится очевидно - что вот этот человек-машинный голем очень даже учится и запоминает.
нужно через како-то промежуток разговора отправлять 'поспать'/'обдумать разговор', чтобы производить тренировку - перенос знаний из кратковременной памяти в долговременную.
Вот он (ИИ) должен функционировать в непрерывном режиме, когда не занять "беседой", то учиться. Самообучаться. Как люди. "Пока ты спишь - ИИ качается".
Путь берет задачник по физике и решает задачи. Там в конце есть ответы, пусть "верифицирует". "Весь этот набор весов" - это думалка, АЛУ. На вход принимает данные, на выходе выдает ответ. Но фактически это "жесткая логика" - как обучили, так он и работает. А должен уметь самообучаться, менять эти коэффициенты.
То есть нынешний ИИ должен быть встроен в более общую систему.
Вы так пишете, будто чипы простаивают, когда к нейросети никто не обращается. Конечно же он функционирует в бесконечном режиме, просто не совсем так, как вы описали. И коэффициенты конечно меняет. Новые версии той же модели - это оно и есть. «Самообучился» на ответах пользователей (если вы ставите лайки, то и на ваших). Речь про ChatGPT, именно там есть лайки, которые OpenAI использует для обучения (RLHF называется).
То есть мысль у вас в целом правильная, но сформулирована так, будто никто не догадался, не использует, а вы этим немного возмущены.
Даже близко не аналог кратковременной человеческой. От слова совсем, кратковременная гораздо сложнее чем текущие трансформеры. Так же, как и на долговременную он похож лишь частично. Небольшая часть.
Просто у нас вычислительных ресурсов не хватает. По хорошему модель(у каждого пользователя - свою, да еще не по одной штуке) нужно через како-то промежуток разговора отправлять 'поспать'/'обдумать разговор', чтобы производить тренировку - перенос знаний из кратковременной памяти в долговременную.
Можно сделать ещё проще - увеличить размер контекста. Он кстати по мере масштабирования нейронок и так увеличивается. У младшей GPT-1 он был всего 512 токенов, сейчас даже локальные нейронки, запускаемые на одном GPU, запросто берут рубеж в 128 тыс. токенов.
Если продолжить наращивать размер, рано или поздно количество перейдёт в качество: нейронка с контекстом в 500 Гб токенов уже сможет с некоторой натяжкой считаться обладающей абсолютной памятью: выдержит любой размер беседы с человеком, и накидать туда текстов можно очень много, почти неограниченно.
А у меня вот так получилось в ChatGPT.
Изображение Задание: Нарисуй иллюстрацию к книге - Ударный вертолет Ка-52 «Аллигатор» у него два соосных несущих винта с тремя лопастями, Оказавшись в мире магии сражается с со средним драконом, вокруг которого взрываются ракеты.
--
На изображении хаотично направленные плазменные выстрелы, они непонятно кем произведенные и по этому бессмысленные, их надо убрать.
--
Пусть будет: Общий вид над лесом, вертолет против дракона, летят навстречу друг другу, стреляют из-все чего можно, наблюдатель в 500 метрах от точки встречи.
Недостатки все еще наблюдаются )))
Это у вас еще сложная картинка.
Говорят, что даже простого кентавра нарисовать не могут.
Мой сборник тестов для проверки рисовалок на вшивость
Одноглазый кот‑пират в наушниках паяет электронную плату
Слон делает стойку на своём хоботе
Молодой Арнольд Шварценеггер курит папиросу, держа в руке пачку «Беломорканала»
Полярный медведь и пингвин чокаются открытыми бутылками «Кока‑колы» и «Пепси‑колы» на летнем пляже под заснеженными пальмами
Здесь проблема не в самом ChatGPT, а во всё ещё ограниченных возможностях сеток по генерации картинок. Насколько знаю, ChatGPT использует для этой цели Dall-E. Я экспериментировал с созданием иллюстраций для разных классических произведений - если просить например Claude Sonnet 3.5 сгенерить текстовое описание сцены для модели генерации изображений, то она по моему опыту справляется на отлично. А вот уже при генерации картинки, появляются косяки наподобие тех что вы показали.
Иными словами, LLM вполне понимают отличия между 3-мя и 4-мя лопастями и могут это описать в тексте, но Dall-E не всегда способна хорошо нарисовать это.
Это же художник, он так видит.
Я думаю основная ошибка в проектировании всемогущего ИИ в том, что его берут и проектируют весь.
Если мы возьмем мешок нейтронов, и они будут взаимодействовать между собой случайным образом, то что то получится. Дальше произойдет обратное распространение ошибки, и как то что то скорректируется. Но из за того, что нейтронов очень много, комбинаций очень много, и все их нельзя оттестировать даже в теории. В итоге остается много "внезапных приколов", которые ИИ иногда отмачивает.
Человек же развивался так, что сразу развилась простейшая система принятия решений (рептильный мозг), а после происходило многократное дообучение с добавлением все новых и новых функций.
Более того, у человека много нейтронных сетей, каждая из которых свою функцию выполняет. ну вроде того, что за нюх одна отвечает, за зрение другая, а за сны третья. И они все работают вместе.
И ИИ стоит так же проектировать. начала простенькую модель, которая не стреляет в ногу себе и разработчику в голову. Потом научить ее видеть котиков, потом слагать стихи, потом строить терминаторов.
Согласен, нам было бы так проще и спокойнее. Но так почему-то ни у кого не получается. Масштабировать получается, а по шагам выстраивать интеллект - нет.
Мы же все понимаем, что это аргумент «потерял кошелёк вон там, а ищу вот тут под фонарём, потому что тут светлее»?
Конечно, но пока метод работает - он работает. К слову, где кошелек потеряли - не очень понятно, но начать искать под фонарем постепенно увеличивая зону поиска во тьму - почему бы и нет?
начать искать под фонарем постепенно увеличивая зону поиска во тьму - почему бы и нет
Не, я ничего против-то не имею, бабло-то вливается в эту воронку без дна не моё, а инвесторское. Просто неплохо помнить, что увеличивая зону поиска вширь — трудно заметить что-то сверху.
Чтобы вширь расти не нужно столько денег. Ибо это просто "доказательсво теорем". Тут нужны светлые головы. Им конечно деньги нужны, но не как датацентру на видекартах
С одной стороны, бабло инвесторское. С другой стороны, это значит, что инвестиции в другие места не идут. Вспомните ковид: когда ФРС заливала всё вокруг деньгами, а деньги шли не в экономику, а на фондовый рынок и в крипту. Посмотрите на Россию, где деньги вместо экономики аккумулируются в бетоне и в банках.
Тем более, что в данном случае не обязательно находить именно свой кошелёк, достаточно найти любой подходящий
Это как раз работает. Например, если модель стейб дифьюжин выдает какую то дичь по токену, то можно ее дообучить, скормив нужный датасат, и переназначив токены под этот датасет, и она перестанет выдавать дичь, и будет выдавать то, что нужно по токену.
Так же можно навесить узконаправленных нейтронных сетей, таких как лора. Или даже "заточить" модель под конкретную задачу через дримбус. И это все работает.
И модели, которые много раз переобучены и дообучены, обычно выдают лучше результат, чем даже самый мощный и тяжеловесный монстр с лучшим датасетом, но который обучен только на этом датасете. Пример - оригинальные модели. Они обучались профессионалами на вручную собранном датасете.
Пользовательские же модели выдают в разы лучшие результаты, просто потому, что были дообучены много раз.
а что мешает выстраивать по шагам не всю нейросеть, а группу нейросетей т.е первая нейросеть генерирует ввод для второй, та для третьей и каждая со своей отличной специализацией....
отдельный вопрос - а на сколько оптимальнее будет дробление задачи - с генерацией существенно меньшими, но гораздо более специализированными нейросетями?
также через данный механизм можно реализовать подмешивание данных - отдельная группа нейросетей верифицирует запрос, разделяет его и определяет отсутствие данных в обучающем датасете и формирует запросы на дополнительную информацию - и добавляет её к запросу расширяя его и конкретизируя его. Тоже самое при верификации ответа который надо как-то оценивать и верифицировать с целью удержания его в рамках неких формальных границ - та же защита от всякого мало приемлемого контента в ответах.
Идею отдаю в обмен на бесплатный доступ к таким нейросетям - доля шутки...
UPD: я бы еще задумался о неком внутреннем языке для нейросетей, т.к. "натуральный" язык для работы в условиях обмена данными между нейросетями неудобен и требует существенных доп. затрат на обработку.
отдельный вопрос - а на сколько оптимальнее будет дробление задачи - с генерацией существенно меньшими, но гораздо более специализированными нейросетями?
Этот подход называется Mixture of Experts (MoE). Можно даже обучать весь ансамбль одновременно, чтобы нейронки сами распределились в ходе перелопачивания датасета, кто на чём будет специализироваться.
Увы, оказалось, что при том же суммарном размере ансамбля сетей (общее количество весов) MoE демонстрирует значительно худший результат, нежели стандартные dense-нейронки, которые обучались на максимально широком классе задач. И качество их ответов совсем проседает, если на вход попадает нетривиальная задача (т.е. они хуже генерализуются, плохо перенося полученный опыт на другие области знаний).
а что мешает выстраивать по шагам не всю нейросеть, а группу нейросетей т.е первая нейросеть генерирует ввод для второй, та для третьей и каждая со своей отличной специализацией....
И чем это будет отличаться от нынешней ситуации, когда нейронка - пачка однотипных трансформерных блоков, и выход каждого предыдущего слоя попадает на вход последующего? Тем, что можно обучать не всю пачку, а слой за слоем? Ну так тоже пробовали, вычислительных ресурсов для достижения сравнимого результата уходит на порядки больше, чем при обучении всей пачки разом.
Увы, оказалось, что при том же суммарном размере ансамбля сетей (общее количество весов) MoE демонстрирует значительно худший результат, нежели стандартные dense-нейронки, которые обучались на максимально широком классе задач. И качество их ответов совсем проседает, если на вход попадает нетривиальная задача (т.е. они хуже генерализуются, плохо перенося полученный опыт на другие области знаний).
а зачем генерализовать именно условно экспертные сети? тут смысл в том что надо повысить Качество ответа системы обогатив запрос Данными опираясь на "мнения" Эксперта - что уберет неопределенность. Т.е. идея в том что у нас есть генерализованная большая сеть - её ввод обогащается данными от малых экспертных нейросетей которые дают дополнительные данные для улучшения качества понимания и обработки - т.е. например я бы в такой Блок вынес "толкователя идиом" и вобще в целом весь уровень разбора натурального языка, предварительный логический уровень развертывания рассуждений итп - по сути заменить просто токенизатор на группу специализированных нейросетей которые сформируют трансляцию с натурального языка и обогатят запрос.
И чем это будет отличаться от нынешней ситуации, когда нейронка - пачка однотипных трансформерных блоков, и выход каждого предыдущего слоя попадает на вход последующего? Тем, что можно обучать не всю пачку, а слой за слоем? Ну так тоже пробовали, вычислительных ресурсов для достижения сравнимого результата уходит на порядки больше, чем при обучении всей пачки разом.
т.е. уже идут попытки сформировать реализуемость в фиксированном железе - интересно...
я бы еще задумался о неком внутреннем языке для нейросетей, т.к. "натуральный" язык для работы в условиях обмена данными между нейросетями неудобен
Что-то ужасно знакомое
*нейронов, а не нейтронов
Послушайте, но Каплан и Ко же явно понимали, что пишут, когда скромно называли закономерности степенными. У вас (них) же по осям логарифмы величин. А местами вообще лин-лог. Логарифм - это обратное от экспоненты, если что.
Я, конечно, понимаю, что щас не думать, щас трясти надо, и затыкать рот инвесторам любой требухой. Но кроме зависимостей, есть ещё и константы. При них. И 10 порядков по требуемому compute на 3 раза в точности... это уже даже не издевательство. На вашем жульническом сверхэкспоненциальном законе Мура десять порядков -- это тридцать лет в самой быстрой его, т.е. закона, части. (Мур, как Вы прекрасно знаете, это про число элементов на чипе, то бишь функциональном блоке. Как это связано с деньгами - бог весть. Но пусть.)
Не надо так, Сева, здесь не только портфельные инвесторы сидят.
То что мы наблюдаем -- это эффект низкой базы, и тяжелейшего непонимания у фхтагна фаанга, куда инвестировать шальное бабло, которое на него свалилось, и источник которого иссяк.
Я даже немножго конспирологически подозреваю, что они придумали чатгопоту, чтоб спросить у него, куда инвестировпть терабаксы, и чатгопота ответило, что в чатгопоту.
А если серьезно, надо качать датасеты. Сенсоры, сенсоры, сенсоры, неструктурированные данные, это вот всё.. Ну и ещё порядков 50+/-20 мощностей хранения и обработки под это дело. И вот тогда уже придет Спаситель.
Не очень понял комментарий, если честно.
Оси у Каплана логарифмические. То что в них линия, в нормальных осях степенной закон. Что это меняет?
Зря вы думаете, что фанг тупой, почему-то они смогли построить миллиардные компании :) бабло, кстати, не кончилось.
"И эти люди запрещают нам сортировать пузырьком!"
А если серьезно, надо качать датасеты.
И учителей. Вот буквально - n-ное количество людей-преподователей сидит и учит в режиме непрерывного диалога, с подкидыванием задачек, проверкой решений, спрашиванием (и заглатыванием в 'мозги', если есть техническая возможность) "как рассуждал?" и дальнейшим "не, так не надо, а надо так".
Вот точно так же как человеческого специалиста учат. Много лет.
По сути так сейчас и работает. Сначала формируют структуру модели, заливая ее сырыми данными из Интернета, а затем делают RLHF - т.е. буквально (опуская технические детали с reward моделью) сидят с AI и рассказывают ему, как себя надо вести, а как не надо.
Первый этап можно условно соотнести с этапом "рождения и развития интеллекта", а второй с образованием.
Вот все и пытаются "родить" LLM с максимальным количеством потенциального IQ, заливая его вычислениями, т.к. с этапом образования все плюс-минус понятно.
Меня тут беспокоят только две вещи:
Какими бы прямыми не были логарифмические графики, в реальном мире все прямые в любых законах приходят к насыщению. Те же вычислительные мощности нельзя скалировать бесконечно, рано или поздно физика скажет "Стоп". Когда это произойдет непонятно, но произойдет обязательно. Мб завтра, и тогда на этой прямой AGI мы получить не сможем. Это риск.
Естественный интеллект пока требует радикально меньше вычислительных мощностей, чем искусственный. Эта оптимизация обеспечила нам выживание, но она несет определенные последствия - мы сильно проигрываем в скорости вычислений и качестве памяти. Так может надо не пытаться сделать то, что уже сделано, а улучшить имеющееся? Аугментировать естественный интеллект, взяв лучшее из двух миров. Здесь, правда, встает куча проблем - мораль, безопасность, технологии, но, кажется, потенциальный профит здесь тоже значительно выше.
По сути так сейчас и работает. Сначала формируют структуру модели, заливая ее сырыми данными из Интернета, а затем делают RLHF - т.е. буквально (опуская технические детали с reward моделью) сидят с AI и рассказывают ему, как себя надо вести, а как не надо.
Вот так сидят специалисты (не пользователи, которым ответы нужны) по всем 'влитым' областям знаний и 'рассказывают'? Что-то не верится как-то.
Это таки все похоже на самообучение 'авось после миллиарда книг просветление наступит'. Удивительно, что действительно наступает.
Технически все несколько сложнее, но в общих чертах да: берем предобученную LLM, смотрим ее ответы и говорим ей, что вот тут вот хороший ответ, а вот так отвечать не надо.
https://habr.com/ru/articles/755904/
LLM сразу после предобучения на сырых данных довольно "дикая", и никакого просветления там нет. Чтобы с ней можно было общаться в режиме чата (или в любом другом режиме, который нужен) все же прикладываются дополнительные усилия, в т.ч. с ручной разметкой специалистами.
Риск, если эти степени не насытятся в ближайшее время. Если насытятся - мы получим отличный инструмент (уже получили, но будет ещё лучше). Если не насытятся - мы получим что-то, что делает абсолютно всё лучше всех. Возможно, в тысячи раз. Эта штука не захочет быть для нас инструментом («хотеть» что-то она тоже будет в тысячи раз увереннее и целеустремленнее)
Я думаю, воспоследует тотальная расшифровка приватных коммуникаций. В них обычно люди не дурят друг друга, а передают вполне годные сообщения, то есть это данные с высокой степенью достоверности. Их очень много, и они постоянно восполняются
На самом деле он сказал - дайте ещё денег.
И это плохой сигнал, значит их у него мало.
Выглядит как "если мы сделаем очень-очень-очень большую дровяную печь - в ней начнутся ядерные реакции".
Не начнутся.
Если рассматривать космические масштабы топки, то теоретически начнутся. Если ожидать, что в центре "вязанки дров" начнется термоядерная реакция под влиянием гравитации самих дров... Вопрос только где взять столько "дерева". И где взять то знание о действительном наличии этого качественного скачка без теоретических изысканий, только на практике.
Начнутся, вы просто не умеете мыслить масштабно! )))
Ну тут можно поспорить)
Если сделать печь прямо большой, скажем больше 0.1 массы солнца, то она начнёт сжиматься под своим же гравитационным полем
А из-за этого произойдёт сильный нагрев, и если вдруг материал печи содержит достаточно водорода, то вполне себе возникнет термоядерный синтез, пока водород не выгорит
"если мы сделаем очень-очень-очень большую дровяную печь - в ней начнутся ядерные реакции".
Не начнутся.
С человеком это сработало. Человеческий мозг принципиально не отличается от мозга неразумных млекопитающих. У человека просто увеличен в размерах неокортекс, но принципиальная структура точно такая же.
У кита и слона мозг несколько больше человеческого. И неокортекс больше. Видимо, всё-таки, принципиальная структура отличается.
Коэффициент неокортекса у вида — это отношение размера неокортекса к остальной части мозга. Считается, что высокий коэффициент неокортекса коррелирует с рядом социальных переменных, таких как размер группы и сложность социального брачного поведения. [ 27 ] У людей неокортекс занимает большую долю от общего объема мозгового вещества по сравнению с другими млекопитающими.
https://en.wikipedia.org/wiki/Neocortex
Отношение размеров — это уже структура. Абсолютный размер мозга всё ещё больше у слона. Если же говорить о нейронах именно коры, то и тут человек далеко не на первом месте: у чёрного дельфина нейронов коры более чем в два раза больше. Другие китообразные сравнимы с человеком. В общем, дело именно в структуре, т.е. в том в какой части и в каком количестве и качестве присутствуют нейроны, а совсем не просто в размере мозга.
Мало того, у ворона мозг в 30 раз легче чем у шимпанзе, а неокортекс вообще отсутствует, но тем не менее по интеллекту они сравнимы. И это при намного меньшем энергопотреблении (на единицу объёма мозг ворона потребляет втрое меньше глюкозы, чем мозг шимпанзе).
Так что правильная архитектура решает.
Я сомневаюсь, что сравнимы. Насколько я знаю только шимпы и гориллы способны освоить речь (знаковую), а вот это уже фактически доказательство разума.
Вороны (corvus corax) тоже. Все тесты на интеллект показывают сопоставимые результаты - пространственное воображение, способность к счёту (и даже выполнению простейших арифметических действий), изготовление простейших орудий труда, лингвистические способности. Даже грамматическую рекурсию в естественных языках вороны понимают не хуже шимпанзе.
Про ворон всколыхнуло...
Скрытый текст
лет 15 назад, в конце осени, завели мы собаку - щенка немецкой овчарки... правда, дома уже жила годовалая кошка, из-за своих "сибирских" корней, сопоставимая с щенком как размером, так и массой... кошка собаку, пусть и не сразу, но приняла (первые пару дней приходилось присутствовать при их аудиенциях, т.к. кошка всё же проворнее и объективно сильнее, а щень - достаточно неуклюжая и доверчивая), и принялась обучать навыкам "охоты"...
Зима закончилась, с собакой мы гуляли на ближайшем пустыре, а к завершению весны у ворон пошли "слётыши" - бестолковые ещё воронята, которых обычно курируют один или пара родителей, нападающих в том числе и на случайно приблизившихся к подопечным людей (мне самому пару раз прилетало клювом/когтями по макушке)... и вот, на очередной прогулке молодая сучка увидела слётыша - сработал инстинкт охотника, она упала на брюхо и стала подкрадываться к жертве (естественно, отлично видимая "кураторам") - при достижении дистанции в пару бросков, один из родителей, видимо, отработанным манёвром, слетел с берёзки и стал заходить для атаки сзади, а собака внезапно, видимо, услышав шум крыльев, развернулась, и в двухметровом прыжке поймала незадачливого родителя - я был в шоке... ворона была не в меньшем шоке, особенно после того, как собака, приземлившись, выверенным движением приложила зажатую в пасть ворону с размаху о газон... я автоматически скомандовал "Фу!", ворона была тут же освобождена, и, спустя несколько секунд вернулась на дерево (слётыш к тому моменту тоже ретировался в ближайший куст) - что меня в этой истории удивило - в наши следующие прогулки не только вороны с пострадавшего пустыря, но и в радиусе пары километров вокруг, завидев нас с собакой, издавали короткий своеобразный "кыррр!" (всегда очень "одинаковый"), и спешили подняться на ветки повыше - вот как они узнали о том, что конкретная молодая сука представляет для них опасность?!
Доп условие - загружена LLM.
Успехи человечества в области ML безусловно вызывают восторг и уважение и ужасают скоростью своего развития.
Но всю статью не покидала одна мысль, попробую сформулировать.
У нас есть "сильно эволюционировавший Т9": генеративный трансформер (ChatGPT - Generative Pretrained Transformer).
Также у нас есть понятие интеллект, и есть понятие ИИ: искусственный интеллект (и его подвиды: слабый, сильный, общий).
Мысль заключается вот в чем: правильно ли мы поступаем, когда называем генеративный трансформер искусственным интеллектом? Причем не просто ИИ, а с претензией на сильный (общий) ИИ?
Поясню.
Во-первых, само понятие человеческого интеллекта, насколько мне известно, не имеет четкого сформировавшегося определения. Есть некоторые признаки: способности к обученинию, осознанию, запоминанию, восприятию, решению абстрактных задач с помощью абстрактных концепций, и т.д.
Во-вторых, понятие ИИ в целом, и конкретных его градаций особенно, еще более размыто.
В-третьих, как отмечается в статье, скоро наступит момент, когда (новых) материалов для обучения GPT не останется. Представим ситуацию: все знания человечества уничтожены, Александрийская библиотека сожжена. Сможет ли человек научится (в общем смысле) без утерянных знаний, восстановить их? Думаю да. Сможет ли A(G)I научиться без знаний-материалов? Предполагаю что нет.
В общем, есть ощущение что ИИ (общим ИИ) назвали не то. Засунули в фантик от Сникерса ирис Кис-кис так сказать. Понятно, почему Сэму Альтману и прочим OpenAI это выгодно, но кажется разумным высказать некоторые сомнения, пускай они и окажутся ложными.
Не воспримите как критику статьи или темы, хотелось бы вместе порассуждать на тему.
Да какая разница, как его называют? Не нужно уподобляться тем недалёким людям (преимущественно гуманитарной направленности), которые считают, что название важнее сути проекта, и что дав "правильное" название можно достичь каких-то научных прорывов. После чего вместо реального дела начинают коммитить в CoC.md, заставляя тех, кто занят чем-то реально полезным, тратить уйму ценного времени на бесконечные переименования.
И при этом искренне верят, что двигают прогресс, хотя на самом деле наоборот вредят.
Разница в том, что это похоже на подмену понятий. А мы тут, надеюсь, любим точность в любых проявлениях.
За интеллект обидно, знаете ли)
Не совсем понял пассаж про гуманитариев и code of conduct, но думаю вы неправильно поняли мой посыл. Я всячески за развитие ИИ в любом виде и против переименования master в main (угадал?)
Разница в том, что это похоже на подмену понятий.
Можно было бы согласиться, но раз понятие "интеллект" расплывчато (как вы сами пишите), какая тут может быть подмена?
Отчасти соглашусь.
Но, хоть у понятия интелеллект и нет однозначного общепризнанного определения, у него есть набор качеств, которые мы ожидаем от него увидеть. А-ля утиная типизация.
Исходя из этого, можно ли называть генеративный трансформер (искусственным) интеллектом, если ему присущи не все качества последнего (не все интерфейсы реализованы так сказать)?
против переименования master в main (угадал?)
Угадали. На то, чтобы переименовать "неправильно" названную вещь и приучить всех людей говорить "правильно", нужно потратить немало сил и средств - тем больше, чем сильнее распространился исходный термин.
При этом практический выхлоп от избавления от такой "подмены понятий" близок к нулю, и уж точно не окупает затраты на переименование, которое таким образом является чистейшим вредительством.
Вся наука полна таких "неправильных" названий. Например, никого же не смущает, что слово "атом" переводится на русский как "неделимый". Или название "элементарная частица", большинство из которых ни разу не элементарно и тоже обладает сложной структурой. Или "цвета" и "ароматы" у кварков.
Но вот исторически сложилось, что названы они именно так. Менять нет смысла.
Аргументы про устоявшиеся понятия и ненужные трудозатраты - справедливые.
Возможно стоит дать, пока мы в начале пути, и не все еще до конца устоялось, более четкие определения градациям ИИ, более соотносящиеся с общим понятием интеллект?
К слабому ИИ вопросов нет, а вот для сильного ИИ из критериев есть только "решение задач" и "модели OpenAI принесут минимум 100 миллиардов долларов прибыли", что конечно смешно, но, ИМХО, маловато) (не 100 млрд маловато, критериев)
Легкость мысли необычайная.
Вы думаете, атом назвали атомом из вредительских соображений? Разделить не смогли, вот и назвали.
Но то они, слабаки.
А вот мы сейчас в самом начале пути как сядем, да как все правильно поименуем, чтобы потом не путаться.
Легкость мысли необычайная.
Грубовато, непонятно зачем.
Я про атом ничего не писал. Более того, уже отметил справедливость аргументов про учтоявшиеся понятия. Но раз уж затронули тему, давайте пройдемся. Я вот не считаю что это полностью корректное сравнение. На тот момент когда физики в начале 20 века открыли субатомные частицы, понятие было устоявшимся уже несколько веков. А с точки зрения химиков (которые это понятие и устояли) атом остается неделимым и сейчас.
Не находите различий с дискуссиями, которые ведутся прямо сейчас над понятиями слабый/сильный/общий ИИ? Не мной, в обществе и профильных кругах.
да как все правильно поименуем
Да, было бы неплохо. Понимаете, если собаку назвать носорогом (а что, животное, лапы есть, признаки присутствуют), рог у нее не появится. А тот факт, что у носорога есть рог, нам известно не через несколько веков, а сегодня.
Я понимаю, слепой энтузиазм и непонимание, как ведут себя различные зоны мозга, позволяет мечтать. Ни сколько не приуменьшаю LLM, так же как интернет, и множество других достижений. Но пока там до AGI далеко. Ведь тогда и поисковик можно в назвать в какой то мере AGI, в нем есть вся информация и он ее выдает по запросу, но в более хаотичном виде.
А так, полный игнор работы мозга, нейробиологии, речи, вокализации, почему именно так работает и тд.
Пересмотрел все лекции ребят Яндекс по сеткам. Не увидел ни одной попытки понять, разобраться почему так работает. Нельзя оторвать тему llm от мозга. Язык и последовательности сформировались так не из вакуума. Они изначально были завязаны на биологии, будь то кол-во слов на паузах, или построение речи.
Возьмём для примера трансформеры:
Механизм внимания, это модулятор работающий подобно лобным долям, который под действием важной информации (например, дофамина, норадреналина) усиливает или ослабевает связи на глобальных и локальных маршрутах. Где кортизол играет роль переключателя между локальными и глобальными маршрутами. Тоже происходит в ллм, только на сегодня очень упрощённо. И подобные механизмы есть на разных участках.
Byte per encoding - коснусоидное и синусоидное кодирование позиции "слова" в ллм, тоже самое делает мозг через Альфа, бета, гамма ритмы после зоны Брока. Схожее делает unigramm, только через закон Ципфа на более абстрактном уровне.
Само подобие - в теорию хаоса, так как нейроны являются странными аттракторами и их производные тоже должны обладать само подобием на верхнем уровне.
И многое другое. Вы можете хоть скормить абсолютно все данные вселенные, но получите на выходе отличный поисковик способный быстро обобщать данные. Вы понимаете, что в текущих архитектурах нет ни локальных глобальных маршрутов на уровне модели, ни реализации архитектуры абстрагирования, ни реализации архитектуры отделения себя от остального (теменная зона), ни ведение хронологических цепочек текущих событий (гиппокамп), ни удержание и связь текущего контекста и общих данных (механизм внимания префронтальная кора), ни связи событий (энторинальная кора).
Да что уж там, где нормальная реализация хотя бы слуховой коры, которая способна слышать в шумной части. Хотя там то изучено все.
Есть два подхода к решению сложных задач такого типа: пытаться понять, как решать задачу, и пытаться понять, как закидать задачу вычислительной мощностью.
Злая ирония в том, что второй подход всегда работает лучше первого.
В 90-х очень много людей бились над задачей распознавания речи. Психоакустика, лингвистика - куча профильных специалистов с глубоким пониманием вопроса пытались создать систему, способную распознавать речь человеческую.
А в 20-х мы берём ведро вычислительной мощности, и собираем Whisper. И этот Whisper уделывает все те попытки из 90-х всухую. Профильные знания оказались бесполезны на фоне способности взять в миллион раз больше вычислительной мощности, и всадить всю эту мощность в задачу.
То же самое сейчас происходит в ИИ в целом. Все попытки понять и воспроизвести мозг человека всухую проигрывают системам, которые топят задачи ИИ в вычислительной мощности.
Да, Whisper с одной стороны уделывает. С другой, когда я смотрю исследования психоакустики, лингвистики и других, я вижу несколько проблем
1) попытка просто в лоб реализоват биологические вещи. Например тот же Синтез речи — Сорокин В.Н, где идет попытка описать работу голосового тракта через поршни и прочие вещи, чтобы воспроизвести вибрации голосовых связок.
2) исследования, которые чаще всего можно выкинуть. Как например исследования влияния формант на эмоции или изучение фонем. Ни кто не полез глубже. Нейробиологам это не так интересно, а те кто изучают уровень абстракции выше не лезут глубже.
Например, не так давно анализировал речь на низком уровне и выяснилось что никаких фонем нет, это неправильное толкование. Точнее звуки есть, но не такие как принято в фонемах. например звук МА, ЛА, как и отдельные М, Л и т.д. В фонемах их нет. А многие в нейронках до сих пор пытаются использовать фонемы, и это зло.
Про эмоции вообще молчу. Там добрую часть научных статей можно смело выкинуть в мусор, так как при проверке оказывается, что описанное в них притянуто за уши.
Но почему важно разбирать на уровне биологии? Потому что тот же Whisper очень паршиво работает в реальных условиях. Он не способен справляться с шумами, качественно следить на конкретным спикеров и т.д. В нем реализована лишь часть биологии. И безусловно ASR можно значительно улучшить, как раз за счет того что мы знаешь о работе слуха. А он на сегодня изучен прекрасно, вплоть до какие типы нейронов (а каждый вид можно сопоставить с топологией сеток) в слоях слуховой коры и в каком слое. Как они связаны. Как изначально происходит обработка звука слухом, как разные зоны помогают уловить все это, убрать шумы и т.д.
И почему то этого я как раз не вижу. Я не вижу, чтобы реально кто то использовал в своих работах эти знания.
И безусловно ASR можно значительно улучшить, как раз за счет того что мы знаешь о работе слуха
Да, можно. Это действительно сработает. Вот только пока ваши спецы этим занимаются, вычислительные мощности ещё подрастут. И кто-нибудь, вложив абсолютно смешную сумму по сравнению с той, что вы просадили на спецов и их исследования, получит результат, который положит вашу улучшенную модель на обе лопатки. Тупо за счёт увеличенной ещё на три порядка вычислительной мощности.
Всё же прочитайте "The Bitter Lesson", её не просто так упоминают в обсуждениях практически каждой подобной заметки. Ведь там как раз подробно рассмотрено, как предложенный вами подход раз за разом жёстко фейлился. Да, это кажется ужасно несправедливым (почему же годы исследований и множество умнейших людей опять вдрызг проиграли какому-то болвану с подходом "ввалим больше вычислительных ресурсов?!), но к сожалению раз за разом (начиная с середины 50-х) всё происходит именно так.
Приведу пример машинного перевода. Десятилетиями работали структуральные лингвисты и прочие теоретики, Чомски со товарищи и их коллеги из других стран, ожидалось, что они создадут математическую теорию перевода, программисты закодируют эту математику и все содрогнутся от счастья. Я думаю, многие помнят, как работали тогдашние программы машинного перевода, их перлы часто приводились на юмористических сайтах. Что мы имеем? Нейросети все сожрали.
Злая ирония в том, что второй подход всегда работает лучше первого.
На том, что это не работает держится современная криптография.
Само подобие - в теорию хаоса, так как нейроны являются странными аттракторами и их производные тоже должны обладать само подобием на верхнем уровне.
Если вы про физические нейроны, то да. Писал дисер немного в другой предметной области, каждая вторая статья про обработку хаотических сигналов из медицины и исследований мозга, отлично переносилось на хаотическое поведение турбонасосных агрегатов.
Какая чудесная статья и какие прекрасные комментарии.
То что человечество "ничего" не знает как работает мозг, немного не верно.
Знает, многое, но не всё и не всегда точно.
Во-первых наш мозг в любое время всегда загружен на все 100% одной единственной задачей. Мониторингом состояния всех органов, тканей и жидкостей. Даже в фазе "сна" мозг активно работает, а освободившиеся ресурсы направляет на собственную диагностику, о чём была недавняя статья тут на хабре.
Во-вторых. Все ресурсы которыми человек располагает во время умственных упражнений, утилизируюется на все 100% в течении "всей фазы бодорствования". То есть сколько мозг смог выделить на обдумывание, столько же и будет расходовано. Полное количество нейронов, синапсов, аксонов, питательных веществ, и времени эксплуатации.
В-третьих. Человеческая память строго не поделена на "кратковременную" и "долговременную". Память представляет собой неприрывный динамический процесс по перезаписыванию блоков данных на освободившиеся от основной задачи нейроны. Соответственно, люди кто долго и много помнят просто способный оперативно подключать механизм перезаписывания. У некоторых механизм иногда стопорится " на воспроизведении" нескольких композиций. "Волга впадает в Каспийское море"
В-четвертых человеческий мозг при всех его возможностях имеет существенные ограничения по запоминанию. Ограничения следующие. Без длительной тренировки ни один человек не способен запомнить какое точное время было, когда происходило конкретное событие, хотя биологические часы во время бодорствования примерно точно определяют время. Также без длительной тренировки человек не способен запоминать звуки, ароматы и вкус. Хотя также имеет "прошитый" алгоритм по определению вредной пищи и питья. Не все, но большинство имеют встроенные способности по опознанию признаков протухшего мяса. Не то чтоб человек этому быстро обучается, и это тоже есть, сколько имеет ряд "вечно записываемых" блоков информации. К подобным "вечно записанным" относятся информация и о воспроизведению потомства. Не всю информацию что и как делать, но определенный скрипт "прошит в биосе" у всех.
Далее. Для описания явления человеческий мозг использует одновременно в синхронном режиме проекцию так называемых "слоёв". Грубое представление это на каждой грани октаэдра или иной фигуры появляется одно слово и вся фигура вращается с большой скоростью. (Отступление. Не верно думать, что скорость передачи данных в мозгу относительно малая по отношению к другим.) Например вы видите идёт черный кот. Подключаются слои по опознанию конкретного блока, живое существо, предмет, цвет, пространство, процесс и так далее.
о чём была недавняя статья тут на хабре.
Можете найти или подсказать название?
Он про статью Слая про глимфатическую систему.
Мне человек, работающий типа в одном коридоре с автором исследования, говорил, что это в общем-то гипотеза, в которую не все коллеги верят, несмотря на грозные Нейче-Сайенсы и запредельный Х-индекс автора.
Он про статью Слая про глимфатическую систему.
Но в той статье нет про
в фазе "сна" мозг активно работает, а освободившиеся ресурсы направляет на собственную диагностику
Источники к сожалению не вспомню. Какие-то статьи и новости были тут на Хабре.
В человеческом организме ежедневно что-то ломается и благодаря наблюдениям было обнаружено, что во время фазы сна происходит активная диагностика и исправление ошибок в работе с помощью ресурсов организма. Мозг не исключение, и была предложена идея как мозг занимается самодиагностикой и исправлением накопленных в течении дня поломок. Гипотеза вероятно не подтверждена и не принята массово научным сообществом, но правдоподобна.
Про то что мозг затрачивает практически 100% ресурсов на диагностику. Благодаря наблюдения и общему пониманию как устроена нервная система. Огромный вычислительный центр, гигантская магистраль и огромное количество сенсоров и иных зондов смонтированных по всему организму. Это всё работает чтобы организм исправно работал в течении всего срока деятельности. А так как в режиме покоя некоторые органы переходят в режим умеренно пониженной нагрузки, то это позволяет более продуктивно произвести диагностику и запустить процессы по восстановлению.
Вопрос к автору: у вас Я-ГПТ прибыльный? Я имею ввиду, оно окупает тот объем нагрева воздуха, который происходит? А то у тех же ОпенАИ даже с их платиновыми тарифами проблемы. Или все пока на уровне «проедаем деньги инвесторов и рассказываем всем красивые истории»?
уже писал эту мысль в одном из комментариев Хабра и все точно так же убежден: скоро ваш (имеется ввиду - любой компании, которая тащит свою LLM) бесконечный парсинг Интернета (в котором уже сейчас огромное количество сгенеренного сетями шлака, а дальше - будет еще больше) начнет ваши же модели и отравлять. Одна надежда - что вся эта пена смоется.
Эйфория, безусловно, присутствует, вопросов нет, но вот насколько тема содержит в себе бизнес-приложение или в ней больше именно пиара? Вот тут вопрос.
p.s. к Яндексу как компании отношусь нормально, есть несколько проектов, которые мы делаем с вашими ребятами в том же Облаке.
форсану своё по этой же теме (на английском):
Настало время продавать лопаты?) По описанию это брут форс, причем очень дорогой и бесконечный, идеально для капиталистов и монополистов. В то же время эти ресурсы могли бы быть отрачены на более качественное решение прикладных задач, создание инструментов, проведение исследований.
В то же время эти ресурсы могли бы быть отрачены на
Как обычно не имеющие ресурсов лучше знают, на что их потратить?
А в чем противоречие?
У Вас, я так понимаю, тоже много хороших идей?
Автор, подскажите, я правильно понимаю что модель ЧатГПТ содержит "веса" и "смещения" для подбора слов (+-200млрд), глубину слоев(+-100), размер словаря токенов (50'000 -100'000), технические костули типа эмбеддинги, контекстное окно и прочее для улучшения результатов выдачи? И что вы думаете про самосознание у ЧатГПТ?
Автор, я правильно понимаю, что велосипед содержит “звездочку” и “крутящий момент” для вращения колеса (+-2 шт), длину педалей (+-25мм), длину тросика тормоза (100-200), технические костыли типа цепи, натяжитель цепи и прочее для улучшения поездки? И что вы думаете про возможность велосипеда ездить без водителя?
Теперь вы понимаете, почему такой дикий прирост происходит именно для программирования и математики. Там очень понятно, как строить верификатор.
Вполне можно заморочиться и сделать набор юнит тестов для общей базы знаний. Типа смесь слабого ии и базы данных.
Удивительно, но не рассмотрена ещё одна крайне перспективная ось масштабирования - качество данных. Примеры использования синтезированных данных успешны и позволяют сократить требуемое количество данных для тех же результатов буквально на порядки. Проще всего синтезировать данные по математике и программированию, однако для физического мира они тоже синтезируются довольно хорошо.
Текущие нейросети упираются в качество мусора, на которых их обучают, поэтому приблизиться к среднему человеческому уровню им проще, чем превзойти его (а данных от профессионалов на общем фоне довольно мало)
Да, совершенно верно. Одна хорошая книга при обучении забивается тоннами шлака, и удивительно, как LLM при этом ещё удаётся выдавать более-менее корректные тексты на технические темы.
то есть если специально забивать интернет ложными сведениями - то можно "заглупить" ИИ и таким образом попытаться избавиться от конкуренции с ним ))
Читал, читал. Читал, читал. И что? И ничего непонятно как они там к 2029 agi сделают, если им всё говорит об обратном. Законы всякие, мура, предсказатели. И что? И как?
Как будто половину написала нейронка. Если не больше.
Хоть бы схему нарисовали. Год такой-то будет так вот. Потому что они смогли то то. Где план то?
Одни громкие речи. Каждый год. А алиса Ваша стала хуже работать. Слова не понимает.
Вы, кстати, товарищи наплодили дипфейков своими сетями и ИИ больше чем полезной работы. Мусора стало ещё больше в интернете чем было. Скоро дети в детском саду смогут кредиты брать в банках.
Симуляция работы интеллекта внешне неотличимая от работы интеллекта, даже, при её (симуляции) существенной неполноте - внешне мало отличима от реальной работы интеллекта....
наплодили дипфейков своими сетями и ИИ больше чем полезной работы. Мусора стало ещё больше в интернете чем было. Скоро дети в детском саду смогут кредиты брать в банках
"Смешались в кучу конелюди..."
Скоро дети в детском саду смогут кредиты брать в банках.
В баночках!
Только когда ИИ научится чертить сборки, он станет по-настоящему интересным.
Ему хотя бы научиться рисовать простую сетку:
"идеальная пиксельная сетка на белом фоне"
Зачем генерировать сетку с помощью генерации изображений, если можно попросить текстовую модель написать код на питоне? Я и более сложные текстуры с их помощью смог получить.
Claude такое без проблем рисует с помощью SVG:
https://claude.site/artifacts/92ee7bbe-c106-47af-ae6e-1a4d92f199cb
Затем, что ИИ - он не только для нас, программистов, но и для всех людей. А для них питоны - это змеи.
А человек может? Без доп. инструментов. Вывод-люди бесполезны, интеллектом не обладают.
Что меня поражает и должно поражать вас: это очень ровная прямая. Я таких ровных прямых не видел, когда делал лабораторные по физике (возможно, конечно, дело во мне). Именно эта прямая вселяет уверенность, что мы понимаем, как двигаться в сторону AGI.
Сами авторы статьи говорят, что эти прямые должны выйти на плато, потому что loss не может падать бесконечно и ограничен энтропией текста. Самое интересное в статье - авторы сопоставили два закона масштабирования и поняли, что они противоречат друг другу. Где-то за правой границей графика две прямые пересекутся, и дальше качество расти не будет.
The most obvious interpretation is that our scaling laws break down at or before we reach this point, which is still many orders of magnitude away in both compute and model size. One might also conjecture that this intersection point has a deeper meaning. If we cannot increase the model size beyond N ∗ without qualitatively different data requirements, perhaps this means that ... we have extracted all of the reliable information available in natural language data
Это уже довольно противоречит утверждению в посте, что прямая вселяет уверенность в достижении AGI. А вдруг достигнув этой точки качество все еще будет недостаточным для AGI?
А не пытались этот подход применить к поиску доказтельств в каком-нибудь Coq/Agda/Learn?
Выясняли, на каких языках эта нейросеть лучше программирует? Статическая типизация помогает?
Я пробую делать ИИ и как-раз придумывал такие задачки, чтобы потом придумывать, как ИИ должен их решать. А тут целый сайт таких задачек, замечательно!
А ещё давно пытаюсь придумать альтернативу текстовым языкам программирования, и вот такой вариант выглядит очень перспективным. Программист вместо кода смотрит на такие задачки и понимает, как работает эта часть программы. Это должно быть быстрее, чем долго в голове парсить текст, потом собирать объекты, а потом пытаться собирать из них механизм.
Сейчас пробую делать компилятор, который создаёт такие картинки для человека по коду. Это может оказаться самой сложной или вообще невыполнимой частью задачи.
Недопонял, что на приведённых Вами картинках, но про "нетекстовый язык программирования" вспомнились классические блок-схемы, многими люто ненавидимые в школе =)
Картинка взята из статьи, не читали её? Это головоломки для ИИ под названием ARC-AGI:
Блок-схемы недалеко ушли от текста, они тоже линейны-однотипны, слишком низкоуровневые, их тоже надо парсить и собирать образы в голове и пытаться оживлять в воображении. Даже если в них самые высокие уровни алгоритма, это всё равно текст.
Думаю, что нагрузка от создавания в воображении всего механизма требует больше затрат и человек быстрее устаёт, чем сразу видеть готовые объекты в визуальном виде. Анимировать их тоже придётся в голове, но это уже должно быть легче.
все это возникло Sib Simme aispiciis [4] человеческого мозга – этой недостижимой, наиболее совершенной нейронной машины для мышления. И тешили себя иллюзией, простодушные, что если удастся когда-нибудь создать механический мозг, который сможет соперничать с человеческим, то, разумеется, лишь потому, что конструктивно он будет абсолютно подобен человеческому.
Минута непредвзятого размышления обнаруживает безбрежную наивность этого взгляда. «Что такое слон?» – спросили у муравья, который слона никогда не видел. «Это очень, очень большой муравей», – отвечал тот… Что вы сказали? Сейчас тоже?
(с) Станислав Лем "Формула Лимфатера"
Ну серьезно, для меня ИИ - это не ЛЛМ, которой скормили гугл-букс, пабмед и гей-фанфики по "Слову Пацана". Любая такая модель может запеть как трубадур, если донести ее до библиотеки средневековых манускриптов, но не сделает de novo с русским языком то, что сделал Хлебников или там Саша Соколов, если до этого их текстов не видела. Может и сделает из-под палки, с правильным промптом, но тогда все равно пользователь должен вообразить себе, что так можно, а если он может себе такое вообразить – то зачем ему ЛЛМ?
А с изображениями все еще хуже. Выше уже накидали примеров в каментах, что дегенеративные картинкогенераторы не умеют в простейшую перспективу. Ну еще бы, они же плоские изначально, для описания и имитации объема нужно обучать на бинокулярном зрении, а много ли такого контента вообще есть? VR-порно? Ах, нет, стереокартинки - это опять человекоориентированная генерация от его двуглазости, надо рендерить 3Д-сцены, потом заставлять ИИ обучаться на фотках этих сцен со всех существующих ракурсов, накидывать освещение, рефлексы, воздушную перспективу...
В общем, опять утыкаемся в то, что ЛЛМ и диффужены - это всего лишь Жока, имитация Боки. Идея с масштабированием вычислительных мощностей или датасетов ясна. Но вот заставлять решать уравнение построчно с подкреплением, когда на это способен простейший матлаб - это прям фу. Нельзя же по книгам научиться ездить на велосипеде, титровать буферный раствор или отличать дешевые духи от дорогих. Ну так и ЛЛМ по книгам не вырастет в сильного ИИ.
Нельзя же по книгам научиться ездить на велосипеде [...]
в принципе нейронки можно усадить на велосипеды от Boston Dynamics, только... стрёмно уж слишком.
Хотя если оградить территорию колючей проволкой и собаками с милицией, то в кач-ве эксперимента сгодится. Не исключено, что этим уже занимаются. Возможно, и результаты есть, но не для широкой общественности.
Во всех играх такой верификатор есть: если вам прилетит мат в 2 хода, то пошли вы слабо. Значит, нам надо создать такой верификатор. Тогда можем просто запустить какой-то алгоритм поиска и найти самый хороший логический ход.
Вопрос из мира бизнеса: можно ли ожидать в ближайшем обозримом будущем (2-5 лет), что мы получим модель, что способна оперировать вероятностями событий из настоящего времени, загрузив в неё текущую ситуацию на рынке, положение своего бизнеса на рынке и оценить дальнейшие наиболее "правильные" шаги по росту, масштабированию и удержанию доли рынка ? Эдакий McKinsey в коробке для конкретного бизнеса "Вася и Пупа"?
Давно не читал интересного лонгрида в данной сфере с такой подачей.
Лайк, подписываюсь. Требую продолжения!
Выдать любой вероятностный сценарий сейчас может любая версия бредогенератора.
Ключевой вопрос насколько крепко сценарий опирается на действительность и в состоянии верно интерпретировать массовые хаотичные действия и взаимодействия.
Пример с рынком недвижимости в Российской Федерации и США.
Появление проблем на рынке и у нас и в США привели одни и те же причины. Точнее одна единственная причина. Это доступность механизмов спекулятивного обогащения практически без прямого взаимодействия с объектом владения. Отличий много, но ключевое это сильная политика регулятора и неразвитость разных финансовых инструментов в и механизмов на внутреннем рынке. Будь рынки максимально похожими результат был бы один в один.
Все идеи и прогнозы что озвучивали белковые бредогенерторы были верными на все 100%, но не учитывали основные причины появления или замалчивали.
Экономическая ошибка OpenAI и подобным сейчас в том, что вопрос для решения задачи вычисления математического уравнения, (которое я вообще и корректно не прочту) я потрачу даже меньше токенов, чем написать сочинение в школу. Т.е. сложные и трудоемкие задачи решаются на ровне с простыми.
Корректнее предварительно оценивать ресурсы на решение промпта, как и в человеческом обществе - выше сложность (и/или ценность) = выше стоимость решения.
Школьное сочинение на 4 листа = 1 у.е.
Доказать новую теорему = 100 у.е.
Возможно для экономической эффективности модели начнут предварительно оценивать сложность (объем работы/уровень компетенций ИИ). И будут объявлять цену согласно сложности с вопросом пользователю:
Решение оцениваем в 100 токенов. Согласны списать с вашего счета 100 токенов?
Смотрите, я изучаю язык с помощью ChatGPT больше года, общаюсь с ним по 7-8 часов ежедневно. Вот вы мне объясните, как так получается, я пишу на английском какое-то предложение, закидываю, он говорит, что это неправильно - изменяет и выдает "естественный вариант". Я его спрашиваю: "это предложение будет звучать естественно?" - "да, это абсолютно естественно". Потом я открываю с ним новый чат, закидываю его предложение в новый чат - и он говорит "это звучит неправильно, так не говорят". Это как?
Он, например, воспринимает менее распространенные варианты как неправильные, то есть некоторые предложения из словарей chatGPT расценивал как "ошибочные, безграмотные".
Там нет никакого интеллекта, чисто поток вероятностей, отсюда и вся статья: чем больше мощностей (чем больше объем данных) - тем точнее предсказания, чем дольше AI "думает" (перебирает весь объем данных) - тем точнее предсказания. Удивительные умозаключения. Почему машину по генерации "вероятностей" называют искусственным интеллектом, и более того, соотносят с чем-то, что стоит выше человеческого интеллекта , которому даже, как отметили выше, не дали общего определения, мне непонятно.
Почему машину по генерации "вероятностей" называют искусственным интеллектом
Потому что человечеству ну очень хочется маленького братика (по разуму).
И чтобы домашку за них решал.
Потому что помимо вероятностей учитывается контекст, поэтому следует каждый раз обнулять контекст, чтобы не сбивать точность предсказаний.
Какой контекст? Я его спрашиваю про корректность фразы на английском. Она может быть либо правильной, либо неправильной вне зависимости от контекста. И, опять же, контекст и базируется на вероятности.
вот он мне только что опять выдал, логик:
" Извиняюсь за путаницу! "She sort of likes me" означает, что она тебе нравится, то есть ты ей нравишься "
Похоже, что AGI сделают, но пользоваться им будет очень дорого. Безумно дорого. И медленно ... Даже с учётом закона Мура
Как история с AlphaZero. Смогли только продемонстрировать превосходство. Публично доступной сделать не смогли.
Почему не смогли-то? Алгоритм опубликован, код реализации тоже доступен. Любой, у кого есть достаточно вычислительных ресурсов (хотя бы кластер на восемь RTX 3090), может опробовать. Дать ему хотя бы сутки поиграть с самим собой - и уже получите очень высокий уровень игры.
Дать ему хотя бы сутки поиграть с самим собой
Strange game. The only winning move is not to play.
и там он умещался на Дискете!!! +))) правда имел специфическое железо....
и если что отсылка на Джошуа есть в Эврике в 1 сезон 11 серия H.O.U.S.E._Rules
Это лишь некая имплементация. Требует 8 rtx 3090 для поля 9х9 в го.
Реальная играла на поле 19х19.
Сколько rtx нужно будет для нее? Прошло почти 10 лет, а по факту программа остаётся неподъемной для железа для коммерческих целей.
Вот как раз для коммерческих целей подъёмно - для бизнеса это вообще копейки.
А если вспомнить, что облачные сервера на восемь A100 сейчас можно арендовать примерно за ~1500 руб в час, это даже и для физлиц подъёмно вполне, если очень-очень хочется. Особенно учитывая, что ресурсоёмок в основном процесс обучения, а когда идёт непосредственно игра, то там гораздо меньше вычислительные затраты.
KataGo может играть на среднем железе, причем играет на уровне средних топов только лишь на одних предсказаниях нейросети (это вообще без использования перебора с помощью Монте-Карло). Что касается обучения - в описании написано следующее:
If tuned well, a training run using only a single top-end consumer GPU could possibly train a bot from scratch to superhuman strength within a few months.
Это выглядит подъемно.
Если что, то обученную нейронку можно в железе реализовать. Частоты и энергоаотребление станут меньше. И хватит даже крупных техпроцессов. То что мы видим сейчас это лабораторные образцы.
Спасибо за статью. По большому счёту, ход мыслей правильный, и общие тенденции действительно таковы, как описано в статье. По крайней мере, мой опыт работы в сфере машинного обучения/ИИ (нужное подчеркнуть) в течении последних уже примерно 30 лет приводит к аналогичным выводам. Кстати, мы начали применять некоторые описанные фичи (нейросети, рассмотрение альтернативных вариантов в цепочках рассуждений с возможностью улучшения качества моделей при увеличении времени "раздумий" системы) при распознавании рукописного текста ещё в начале 90-х. А вот ещё до одной "фишки", которую мы с самого начала внедрили - оценки самой системой адекватности собственного ответа (грубо говоря, вероятности, что он правильный) я что-то то пока явным образом у современных LLM до сих пор не наблюдаю, мне кажется, что это хотя бы частично позволило бы избавиться от галлюцинаций, например в варианте возможного ответа "не знаю" вместо необоснованных фантазий. Такое вот мнение у меня, как у старомодного ветерана - разработчика систем распознавания изображений.)
Как человеческий интеллект устроен, не могут понять, а говорят про agi. Как например, можно формализовать сугубо гуманитарные феномены, как "озарение" и создание шедевров, которые действительно будут не просто галлюцинацией, а нести не осознаваемый психоэмоциональный код, отклик человеческой души, осуществлять невербальное общение? Для этого нужно быть человеком в полной мере. То есть иметь чувства, эмоции, самосознание. А этот agi будет всего лишь более адаптированным справочником и поисковиком, так как не сможет выйти за тот язык кодировок, на котором он обучался. Рассуждающие модели и сейчас есть. Но "поговорить" с ними можно лишь о чем - то узком. Это никогда не будет коммуникацией человека с себе подобным.
Очень забавно видеть, как Яндекс, обладая таким уровнем экспертов по нейросетям, умудряется выпускать модель, которая в лучшем случае конкурирует с 4o только в задачах по расстановке запятых. И именно эти результаты они активно выпячивают, выкрикивая о "63% преимущества над openai". Интересно, почему модель v4 которую обучили такие экспертные специалисты еле еле обгоняет по бенчмаркам зарубежную опенсорс лламу на 8b в русскоязычных задачах?
Здорово, что есть сбер, в котором правильно поняли для чего нужны LLM пользователям, и за счет этого быстренько двигаются к уровню лидеров индустрии.
По ощущениям - причина в очень низком качестве датасета, на котором её обучали. Всё выглядит так, словно там основная часть обучающей выборки получена из англоязычных текстов путём их прогона через автоматический переводчик. И это сильно чувствуется - временами общение с нейронкой от Яндекса напоминает попытку что-то найти на aliexpress русскоязычным поиском.
Здорово, что есть сбер, в котором правильно поняли для чего нужны LLM пользователям
Вот хорошо бы ещё кого-то из них озарила гениальная идея использовать эти нейронки в своих же собственных сервисах... А то сберовские саппорт-боты абсолютно бесполезны и не могут ответить ни на один вопрос по их же собственным продуктам и приложениям. Причём даже не на вопросы о проблемах и ошибках, а банально "сравните вот эти тарифы, в чём между ними разница" или "расскажите, где после редизайна вашего приложения теперь находится такая-то кнопка".
В обсуждениях ИИ и БЯМ и их достижений не понимаю двух вещей:
Почему такое количество людей ведут себя как в анекдоте про собаку, которую научили играть в шахматы.
Почему такое количество людей используют как серьёзный доказательный довод гипотетическую умозрительную конструкцию из мысленного эксперимента (китайскую комнату).
Я правильно понял посыл?
"Берем трансформер, засыпаем железом, чтобы кластер для обучения потреблял энергии как какая-нибудь не очень большая страна, заливаем данными, так, чтобы по возможности скормить для обучения все данные, которые человечество когда-либо сгенерировало, и получаем AGI"
А ну и для запуска тоже кластер же нужен, и оперативной памяти несколько терабайт.
Как всё просто оказывается. И что, оно будет понимать смысл, не будет галлюцинировать? Сможет управлять автомобилем в любых условиях на уровне автономности 5? Сможет заменить человеческий интеллект и людей во всей их человеческой деятельности?
Вы правда в это верите? Ваше право, но я по прежнему остаюсь скептиком.
Анекдот в тему:
— Когда всё-таки появится термоядерная энергетика? — спрашивают известного физика-ядерщика.
— Лет через двадцать — двадцать пять.
— Но вы уже это предсказывали двадцать пять лет назад.
— Как вы можете убедиться, я не меняю своего мнения.
Для замены людей в большинстве областей их деятельности нужен не искусственный интеллект, а искусственная мышца. Сервоприводы, пневмоприводы и подобная же лабуда проигрывает мышечной системе буквально во всём: оно дорогое, ненадёжное, недолговечное, тяжёлое и обладает крайне низким КПД. Обеспечение требуемой точности движений увеличивает цену и вес до совсем уж неприличных значений.
Будь у нас более-менее рабочая искусственная мышца, так уже и с современными алгоритмами мы могли бы заменить половину всех рабочих профессий. Но поскольку её нет и не предвидится, то в ближайшие 50 лет никакое развитие ИИ не поможет нам создать универсального бота, который с утра кидает снег лопатой не хуже живого дворника, а днём работает грузчиком, затаскивая мебель на пятый этаж.
Поэтому замены сантехников, парикмахеров, грузчиков и сотен тысяч иных профессий, где требуется точность движений в сложных условиях, не просматривается даже на горизонте.
Полагаю, я даже близко не могу представить какая это чудовищная растрата ресурсов, неспособная решить актуальных задач человечества.
Хорошая статья. Мне показалось что описан полный капец, к которому может привести эта гонка за AGI. Странно одно, модели пытаются делать по подобию человеческого Мозга, но даже основу ИИ никто не хочет пересмотреть. Как можно думать нейроном на котором один вес (аксон). Это даже не мозг таракана.
Есть ребята, профессиональные инженеры-изобретатели, додумались вернуться к истокам и пересоздать "Формальный нейрон" ИИ. Теперь, их модели не требуют обучения. Они просто выстраивают библиотеку и PANC способен сразу распознавать. Не нужна миллионы и миллиарды образов. Достаточно 100-200 штук и можете распознавать любые образы, даже в Медицине. И модель стразу показывает на основании чего принимает решения. Поинтересуйтесь... progress.ai
Ведь если немного поразмыслить в тишине, то можно прийти к Идее, что Мозг человека, не проводит таких вычислений, которые производит ИИ, Человек проводит распознавание и накопление информации компаративным методом.
С новым компаратором, уже и теория есть готовая, а значит и ИИ можно делать не страшный. Ведь ИИ - это прежде всего просто инструмент в руках Человека. Его таким и надо создавать, чтобы детишек потом не кошмарить)))
Всем Добра!
Интересно, сможет ли хотя бы искусственный интеллект усвоить, что слова "вообщем" не существует.
Достаточно давно было сформулировано, что рост мощностей снижает требования к алгоритмам, и если сейчас для построения AGI требуются, скорее всего, совокупные мощности всего Человечества, то лет через 20 такого роста для этого достаточно будет тогдашнего смартфона. А значит, AGI будет создан до того.
Добавим, а значит, жизнь кардинально изменится.
Ну а я пришёл к выводу, что от неограниченного AGI нас отделяет два шага, не содержащих принципиальных сложностей:
накопление опыта (то есть обратная связь);
возможность самомодификации;
Следующий шаг - эффекторы в реальном мире, и понеслась...
через 20 такого роста для этого достаточно будет тогдашнего смартфона
Вот только физика, бессердечная ты щука...
Не случайно во всех задачах возникает именно трансформер: это действительно универсальная архитектура, которая очень очень хорошо обучается.
Спорное утверждение - под словом "хорошо" может подразумеваться не только качество, но и скорость и стоимость обучения, которые у трансформеров далеки от идеала. Да и качество под вопросом - файнтюнинг чреват переобучением и забыванием. Популярное и привычное - не значит лучшее или достаточное.
Сейчас трансформеров подпирают костылями - LoRA, Adapters, RAG, оркестровка и прочее, что призвано создать суррогат из множества подсистем, чтобы выйти за рамки ограничений единой модели.
AGI требует комплекса из множества отдельных систем. Что-то занимается фильтрацией, что-то обучением, что-то декомпозицией, что-то решением множества отдельных подзадач. И архитектура каждой из подсистем вполне может выходить за рамки привычных трансформеров.
Для AGI нужно основательнее отойти от попыток сделать "всё в одном" и начать создавать комплекс, привлекая для подсистем разные архитектуры, большинства из которых еще не придумано.
Сейчас трансформеров подпирают костылями
Главное — не убирать воздушный шар!
Сэм Альтман знает, как достичь AGI. Я тоже, и сейчас расскажу как