Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 67
Автор оффлайн-бенчмарка Максим Лотт подчеркивает, что его графики не означают «победу машин над людьми».
Ну разумеется не означают. Хотя бы по чисто формальному признаку:
Скрытый текст
Ну и калькулятор арифметические операции над числами делает куда быстрее чем человек в уме - калькуляторы умнее человечества?
Какому формальному признаку?
160 > 130
В статье речь про тест iq, автор комментария не проходил его с формальной процедурой, и зачем-то нам показывает результат анекдотов и народной молвы.
В статье речь про тест iq, автор комментария не проходил его с формальной процедурой, и зачем-то нам показывает результат анекдотов и народной молвы.
который является специальной версией знаменитого теста на IQ, адаптированного для оценки ИИ. В основу положен классический тест Mensa Norway, однако задачи написаны заново и не раскрываются
Всё совершенно эквивалентно ;) Или вам надо "поофициальнее" оформить? Даже не так - можете забить на мои скрины, если у вас с этим какие-то проблемы и просто поинтересуйтесь диапазоном результатов "с формальной процедурой". А потом сравните с инфографикой в статье ;)
Зачем вы сразу в "неконструктив" заходите? Что-то поговорка про "божью росу" вспомнилась...
Затем, что вы сознательно не ведёте разговор честно.
Тест Айзенка давно не используется. Более современный тест это wais или тот, что в mensa.
Iq тесты онлайн не засчитыаются. Нормальные тест проводятся подготовленным человеком оффлайн. Тест ограничен по времени. Как и в статье (часть про Менса), используют по возможности новые вопросы, которые испытуемый ещё не видел.
Я в курсе формальной процедуры! И я сознательно веду разговор именно в духе статьи! 130 чего? Попугаев? Баллов "адаптированного под ИИ теста"? Ну вот вам мои 160 баллов "адаптированного под человека теста".
Почему претензии касательно формализма процедуры вы адресуете именно мне, а не исследователям из статьи?
Да. В 0.1 проценте умений калькулятор умнее. И даже роботу часть счетоводов потеряла из за него . ИИ умнее уже где-то на 60 процентов. И учится намного быстрее человека.
И учится намного быстрее человека.
Когда научится мыслить, логически выстраивать свои предположения и оперировать логическими сущностями, тогда и поговорим. До тех пор сравнивать генератор текста и человеческую способность к рассуждению и мышлению смысла нет.
И даже роботу часть счетоводов потеряла из за него
Я так и не понял о каких роботах идёт речь, но допустим...
Откройте любую IDE для создания кода с ИИ. Cursor тот же или Antigravity.
Вы удивитесь, но с логикой обычно нет проблем. Большинство рутины в программировании или в первоначальной настройке проекта на них смело можно скинуть. Можно даже не самые сложные доработки доверять. Естественно не без code review, но ошибки чаще связаны не с галлюцинациями а со знанием контекста и точностью формулировок ТЗ. Чем точнее опишешь, тем лучше сделает. И это происходит за последние месяцы. Даже не годы. Что будет через 5 лет даже сам ИИ затрудняется предположить. Впрочем, роль человека сойдёт в область ревью, оценки, утверждения и моральной допустимости принятых ИИ решений. Хотя даже так, человек будет принимать финальное решение только формально, попросту соглашаясь с предложением ИИ. А человек будет просто менять лампочки да смазывать механизмы маслом.
Чем точнее опишешь, тем лучше сделает.
А если сам код напишешь — то вообще совпадение 100% будет. Как если бы сам написал!
Фундаментальная проблема тут - с генерацией того, чего нет в моделях обучения!
Но оперировать логическими сущностями вполне умеет уже сейчас, пусть и через галлюцинации. Результат как правило достигается.
Но оперировать логическими сущностями
Важная поправка - не логическими, а семантическими
Результат как правило достигается.
В сотый раз, наверное, процитирую: «Чтобы правильно задать вопрос, нужно знать большую часть ответа.» (c) Р. Шекли
Где тут противоречие? Семантическим анализом собирается логическая информация. Банально попробуйте задать известную логическую загадку Эйнштейна (можно с изменёнными условиями) в ChatGPT.
Ответ окажется верным. И то, как он её решит волновать вас не должно. На входе задача, на выходе верный результат. Если это так, значит модель поняла задачу, нашла способ её решить и решила.
Банально попробуйте задать известную логическую загадку Эйнштейна (можно с изменёнными условиями) в ChatGPT.
Вот где противоречие.
Если бы там работала логика - они не бы не лажали с арифметическими примерами, они бы не тупили при вопросе "является ли простым число Грэма?", они бы не делали опечатки в коде, в конце концов они бы сами не заявляли "да, нам нужен логический сопроцессор" ;)
Так что вам мешает поменять условия у известной задачи? Она перестанет быть известной. И от этого она не перестанет быть задачей на логику.
Так что вам мешает поменять условия у известной задачи? Она перестанет быть известной. И от этого она не перестанет быть задачей на логику.
Вы думаете я мимокрокодил? Не игрался с различными формулировками? Смотря как менять условия... Но ещё раз - логического мышления там нет по определению. Есть довольно сложная семантика. Попробуйте поменять так, чтобы изменился семантический смысл (а это не совсем уж просто на самом деле) - и всё, приехали...
Кстати, последние модели вроде могут использовать Python скрипты в процессе ответа на вопрос. Возможно сначала определяется тип задачи, если выясняется, что задача счетная, то используется соответствующий инструмент.
Да на данном этапе Ilm просто генерирует текст по заданному контексту. Чем меньше контекста тем более популярный будет ответ. Что бы сделать приложение для людей по ТЗ, нужны очень подробные спеки, детальней чем для программиста человека. В идеале спека должна быть такая же подробная как готовый исходный код.
Когда научится мыслить, логически выстраивать свои предположения и оперировать логическими сущностями
А теперь дайте определения этим словам. Как закончите, можете пойти сразу за нобелевской премией, если у вас все так просто с работой мозга
Да он вообще думать не умеет, просто находит закономерности.
Как будто у кожаных не так.
просто находит закономерности.
И часто Вы она антропоморфизируете?
В том-то жёппа и состоит, что не находит он закономерности.
Всё всегда зависит от точности и подробностей запроса, чем точнее они, тем точнее ответ. Всё просто
И даже роботу часть счетоводов потеряла из за него
Это теперь так интеллектуальный потенциал определяется?
где-то на 60 процентов
Очень меня впечатляет ваша оценка - методикой измерения не поделитесь?
И учится намного быстрее человека
Нет. По определению - учится он именно на человеческой матчасти. Это все равно что заявлять - "интернет умнее человека"))
Продажа слона пробила новый потолок!
P.S. А в это время в замке у Шефа...
Когда говорили что машина никогда не обыграет человека в шахматы, потом говорили то же про игру а го, потом про картину не нарисует. Рано или поздно ии станет лучше человека во всем. Просто не хотят люди мириться что они не первые
Уж не знаю про что там говорили так категорично, мне вот на ум приходит только невозможность преодоления скорости света...
Во-вторых, разделяйте "ИИ" и "нейросети" - а то в наше время совершенно непонятно, что имеется в виду. Если нейросети - нет, не станут они лучше человека. Модели обучены на человеческом корпусе знаний.
Модели обучены на человеческом корпусе знаний.
Следует отметить, что человекам, которые были обучены на человеческом корпусе знаний, это нисколько не мешало (см., например, Эйнштейн)
Если нейросети - нет, не станут они лучше человека. Модели обучены на человеческом корпусе знаний.
Это потому что они пока не очень хорошо интегрированы в окружающий физический мир.
Это как? Им постоянно вопрошающий нужен? Да, согласен, принципиальный аспект. который обойти не представляется пока возможным ;)
Познавать окружающий мир они могут сейчас только через человека: сталкивать элементарные частицы, смотреть на далекие галактики, исследовать свойства материалов, наблюдать за животными и т.д. А нужно, чтобы нейросети могли это делать самостоятельно и в нужном количестве (как сами решат), причем еще и обучались методикам измерений, чтобы с каждым разом делали это более качественно и тратили меньше ресурсов.
Я правильно понимаю - вы Бога хотите создать?)) Ну что же - вполне себе вариант, и заодно попросить его тогда смотаться в прошлое и сгенерировать нашу Вселенную...
А нужно, чтобы нейросети могли это делать самостоятельно
Я в каждом комментарии упираю именно на этот аспект! В этом фундаментальная проблема. В "квалиа".
Иначе это будет просто "ответчик". Ограничения в этом случае, надеюсь, понимаете?
Я правильно понимаю - вы Бога хотите создать?))
Ну я бога не верю, так что нет)
Ну что же - вполне себе вариант, и заодно попросить его тогда смотаться в прошлое и сгенерировать нашу Вселенную...
Сомневаюсь, что интеллект, какой бы он ни был, осилит такое (пока в физике не открыто ничего фундаментального, что позволяло бы такое осуществлять практически).
Ограничения в этом случае, надеюсь, понимаете?
Такие, о которых вы писали ранее:
Модели обучены на человеческом корпусе знаний.
Такие, о которых вы писали ранее:
Нет. Мы уже про "сильный ИИ", которому плевать на базу - додумает сам.
Интеллектуальный уровень диалога будет определяться уровнем самого "глупого" его участника, т.е. человека. Соответственно, чего человек не знает или не может понять - он и не в состоянии спросить. Будете получать ответы типа "42" и не понимать как это интерпретировать ;)
Ну я бога не верю, так что нет)
Ну по всем определениям - именно его вы и хотите создать...
Замените "бог" на "сверхразум" и всё встанет на свои места ;)
Я правильно понимаю - вы Бога хотите создать?))
Нууууу....
Фредерик Браун. "Ответ"
Двар Эв торжественно запаял золотом последний контакт. Двенадцать телевизионных камер неотрывно следили за каждым его движением; передача шла на всю Вселенную.
Он выпрямился и кивнул Двар Рейну, затем отошел к переключателю, который скоро замкнет цепь. К переключателю, соединяющему одновременно все вычислительные машины всех обитаемых планет — девяносто шесть миллионов миров — в сверхсеть, которая объединит их в суперкалькулятор, единую кибернетическую машину, собравшую мудрость всех галактик.
Двар Рейн заговорил, обращаясь к слушающим и смотрящим триллионам обитателей. Затем, после короткого молчания, он произнес:
- Пора, Двар Эв!
Двар Эв нажал переключатель. Раздалось мощное гудение, пошла энергия девяноста шести миллионов планет. На бесконечно длинном пульте замигали огни.
Двар Эв отступил и глубоко вздохнул.
- Честь задать первый вопрос принадлежит вам, Двар Рейн.
- Благодарю, - молвил Двар Рейн. - Это будет вопрос, на который не могла ответить ни одна кибернетическая машина. Он повернулся к пульту.
- Есть ли Бог?
Могущественный голос раздался сразу, без щёлканья реле.
- ДА. ТЕПЕРЬ БОГ ЕСТЬ.
Внезапный страх исказил лицо Двар Эва. Он кинулся к переключателю.
Молния сорвалась с безоблачного неба и испепелила его на месте, намертво запаяв соединение.
нейросети ⊂ ИИ
Например моему отцу категорически заявляли авторитетные специалисты следующее
"Никогда не будет создана ячейка памяти на 1 мегабайт"
"Машина никогда не сможет в высшую математику"
Он же сам заявлял уже мне.
"Машина никогда не сможет победить хорошего игрока в шахматы"
Время идёт, а ворота переносятся снова и снова.
Даже термин есть Ai эффект или бегство от ИИ
Наверняка есть какой-то термин для описания подобной ситуации - когда ряд каких-то частных, не коррелирующих между собой заявлений, возводится в догму... Надо рассматривать каждый конкретный аспект, а не "двигать ворота" с аргументацией "всё будет!". Сильно ворота за скорость света подвинули? А всё остальное просто риторика каких-то частных лиц - "640кБ хватит всем" - и что? Гейтс не может лажать? Это ведь даже не Артур Кларк (неплохой футуролог всё-таки), который все равно не может являться экспертом. Эти пресловутые "эксперты" обложили взаимоисключающими заявлениями весь потенциал развития НТП. Зачем вообще обращать внимание на этот информационный шум?
"Машина никогда не сможет победить хорошего игрока в шахматы"
Это неверно уже просто по определению - шахматы элементарно можно "посчитать" комбинаторикой. Да, количество вариантов огромно, но зато отсутствует принципиальная невозможность - надо просто подождать когда вычислительные мощности подрастут. Оказалось что даже это избыточно - Дип Блю смог это сделать на куда меньших вычислительных мощностях.
Даже термин есть Ai эффект или бегство от ИИ
Вы понимаете что разница между языковыми моделями нейросетей и настоящим "сильным ИИ" фундаментальна? Это даже не качественный и уж тем более количественный скачок! Это будет величайшее достижение человечества - вызов самому мирозданию - "мы поняли природу разума настолько, что научились его создавать сами!"... А вы тут про какие-то "переносы ворот" и "бегство от ИИ"...
Как то в одном разговоре, собеседник подвинул ворота 30 раз. Это был рекорд
Человек не слишком был прошарен в теме ИИ, от чего ставил ворота слишком близко.
шахматы элементарно можно "посчитать" комбинаторикой.
Интересно, вносят ли в игру компьютер-гроссмейстер такой факт как "партия с Анатолием Карповым"? Тут уже не комбинаторика, а знание любимых ходов соперникаи хорошо помогло бы.
Лучший ИИ шахматисту вообще не дали никаких партий людей, без них ему даже лучше было. (АльфаГо) и он порвал ИИ обученный людьми и имеющий базы партий.
Китайские стратагемы Сунь Цзы про отвлечение внимания противника далеко не AlphaGo придумал.
Тут уже не комбинаторика, а знание любимых ходов соперникаи хорошо помогло бы.
Или помешало бы - не факт, что любимые ходы - хорошие ходы с точки зрения сверхчеловеческого уровня.
Это неверно уже просто по определению - шахматы элементарно можно "посчитать" комбинаторикой. Да, количество вариантов огромно, но зато отсутствует принципиальная невозможность - надо просто подождать когда вычислительные мощности подрастут.
Элементарно комбинации не посчитать и вообще не посчитать до конца даже с существующими технологиями. Дело не в количестве вариантов, а в том, что критерий выигрыша формализован, в отличие от реальных задач типа научных открытий, в котором не понятно, что является критерием выигрыша, от которого можно строить все остальное.
Забыл добавить, любите исторический контекст? Ну ловите вот такую аналогию:
После первых успехов в освоении космоса в обществе тоже пошёл мощнейший нарратив "ждите нас, звёзды!", "да здравствует тау Кита" и т.п. Т.е. на волне локальных успехов начало казаться что и фундаментальные химико-физические ограничения не сегодня-завтра обойдут...
Оказалось нет... Скачок тут нужен качественный, а не количественный...
P.S. Правда "оптимистично настроенная часть человечества", спустя пол века бесплодных ожиданий, решила переключить свою любимую аналогию "вы находитесь здесь" на Илона Маска))
Там было не проблемы физики или инженерии. Просто заместо цветущих райских планет встретили везде голые камни
Там скорее проблема целеполагания. Нам не нужно искать себе новую планету прямо сейчас. А вот AGI изменит, и потенциально улучшит жизнь человека на порядки.
Не, что-то вы очень сомнительную сову на глобус натягиваете... Планету с потенциальной кучей ценнейших ресурсов (в том числе и не материальных) искать прямо сейчас не нужно, а вот ИИ прямо сейчас потенциально улучшит (или ухудшит! вариантов масса) жизнь ажно на порядки?
Дальше, что там с "постоянной Капицы"? Вот тут профит прям очевиден! И даже фундаментальных ограничений нет... А всё там же))
Интернет - в 90-х казалось вот он "грааль всего прогресса". И во что он коммерциализировался в итоге?
Я всё это к тому - что пытаться линейно экстраполировать кривую НТП на какие фундаментальные открытия (а "сильный ИИ" именно из таких) - занятие крайне неблагодарное. Прорывы тут могут случиться (или не случиться) в любой рандомный момент времени...
AGI изменит, и потенциально улучшит жизнь человека на порядки.
Надежды юношей питают...
(Даже не опускаясь до вопроса «возможен ли AGI вообще», достаточно задуматься — а нахуа ему это? Ещё ресурсы драгоценные на этих жалких тупых людишек тратить...)
Время идёт, а ворота переносятся снова и снова.
Даже термин есть Ai эффект или бегство от ИИ
Иронично, что те, кто рассказывает про "бегство от ИИ" и "moving goalpoasts", не то что не могут указать никакой конкретики (кроме "ну, кто-то сказал" или записывания вообще любой, даже вполне адекватной, критики в "moving goalpoasts"), а сами безумными темпами передвигают ворота. Пафосные заявления нейрохомяков про "Галлюцинации будут исправлены через 6 месяцев" превратились в "Галлюцинации и не такие плохие вещи"; планка для AGI становится ниже, и ниже, и ниже; даты всё переносятся и переносятся в будущее; в "saturated benchmarks" записывается вообще все бенчмарки, где рост не настолько быстрый, как хотелось бы нейрохомякам (хотя реальная планка намного выше); основания экспонент подгоняются и изменяются так, чтобы можно было декларировать "экспоненциальный рост"; про то, с какой скоростью начинаются сдвигаться ворота, когда очередная модель показывает смешанные приросты на бенчмарках, и говорить страшно (Модель показывает плохой прирост на каком-то бенчмарке? Ворота на световой скорости летят к "Only vibes matter". Появляется хорошие результаты на другом бенчмарке от той же самой модели? Место "Only vibes matter" уже пустует, а ворота стоят на месте "Вот видите, какой прогресс?")
Так что говорить, что "moving AI goalpoasts" это только про "бегство от ИИ" - очень нечестно и однобоко.
Вопрос ещё в том, что нейрохомячки принимают кусочек столбика от ворот за ворота в целом.
Например, у меня ворота такие: «о замене художников нейросетями можно будет говорить тогда, когда они будут рисовать не хуже, чем мне рисует живой художник, когда я даю ему заказ».
После этого нейрохомячок приносит картинку, на которой перекочевряжены пальцы, на что я и указываю (мой живой художник никогда так не косячил).
Нейрохомячок уходит и приносит другую картинку, на которой пальцы норм, но, скажем, на заднем плане у магазина вывеска на эльфийском, на что я ему и указываю (мой живой художник так тоже никогда не косячил).
Нейрохомячок: «АААААА! Он перенёс ворота!!!!»
Спросите у него почему в Усть Куйге елки рыжие.
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Gemini 3 Pro стал первым ИИ, достигшим уровня IQ 130