Так и в нейросетях перемножение идет каждый с каждым, а в половине связей - нули, они по сути не участвуют. Есть даже процесс оптимизации нейросетей, когда вырезают из промежуточных слоев элементы, которые заведомо нулевые на несколько слоев. Ну и почему у вас в определении "честная" указано то, что параллельные штуки выполняются стройными рядами.
Как раз таки то, что не весь мозг активируется, если не нужен для этой функции - это честная параллельность. Нейроны условного мозжечка настолько слабо связаны с нейронами условной коры, что могут и работать и не работать параллельно - это ли не честное распараллеливание задач.
Это задачи разные. Ядра видеокарты - это ведь очень упрощенные ядрышки почти честных процессоров. В нераспараллеливаемых задачах они сливают современным центральным процессорам в чистую, но их суть в том, что они специализированы для точно распараллеливаемых задач - графики.
Так и дальше можно продолжить аналогию - нейроны мозга очень тупые по сравнению с видеокартой, но супер параллельные и энергоэффективные.
Мозг действительно очень эффективен в плане потребления ресурсов, другое дело, что его не перестроишь просто так кадры считать.
Вы все еще выгораживаете эти статистические "+10%", понятно, что это не единственный фактор и исследование приводят к "при прочих равных". Понятно, что жирненьким в современной стране умирать лучше, чем худым и от голода. Кстати бодибилдеры тоже имеют нездоровый "ИМТ".
Тем не менее, если доктор дает рекомендации похудеть - это реально может помочь как с точки зрения конкретных проблем (например людям с диабетом и преддиабетом) так и здоровья в целом
Ну Alpha Go ведь уже есть. да, задача специфическая, тем не менее он вполне самообучался - поздние модели для донастройки играли сами с собой и вполне находили новые комбинации.
Нене, это не получится смазать через "тяжело померять". Есть же статистика. Есть хорошая зависимость веса и роста и прекрасно считаемые распределения. Берем табличку и видим - вот тут у нас средний вес по популяции для возраста и роста. Отклонение на каждые 10 кг - +Х процентов к смерти от сердечно сосудистых.
Соответственно врачи вполне могут говорить - вы знаете, вы в зоне риска, вам бы похудеть. Но это как раз мелочи, в бытовом смысле на такое внимание не особо обращают, если вы не на свиданке. То есть человек жирненький, но скажет ему об этом лишь партнер да врачи.
Ну так вот. Есть то, что отличается от вышеописаных случаев на порядок и явно видно внешне. Пузо на коленках это конечно боди позитивно, но ни разу не здорово.
Нужно понимать, что методы "определения того, что изображение сгенерировано" как и "обработки картинок, чтобы человек их распознавал, а ИИ модели - нет" - это временные решения, которые базируются на особенностях текущих архитектур. В пределе, если задаться такой задачей, вероятно можно добиться полной неразличимости.
Так может это и есть его "не концептуальное" ограничение? И если дать ему среду для экспериментов и улучшить механизмы обратной связи, дообучения, тестирования и проверки гипотез - он будет таки изобретать? Чем галлюцинации ИИ концептуально отличаются от гипотез человека, только приступившего к задаче и имеющего лишь смутные представления, как ее решать, идеи, что гуглить и иллюзии по поводу того, как это может быть сделано?
Есть очень тонкая деталь почти везде, где используется строгое определение "алгоритм". Например в теории о "невычислимости сознания" речь идет о возможности сведения сознания к "вычислимой функции", то есть функции, решаемой "алгоритмом" в строгом смысле. Не суть важно то, насколько верна теория, важно что де факто реальные компьютеры имеют генераторы случайных чисел (в том числе физические) и устройства ввода, то есть могут запускать программы, не являющиеся "алгоритмами" в классическом понимании - они не детерминированы и содержат побочные эффекты. Соответственно когда выстраивают тезисы "сознание невычислимо" -> "алгоритмы вычислимы" -> "компьютеры выполняют алгоритмы" = "компьютеры не могут вычислить сознание", исходят из разных определений алгоритма.
Ну для графики, которой рисовали мультики, целые фермы каждую секунду сутками рендерили, а сейчас потребительские карты справляются с лучшим качеством в реальном времени. Все же и оборудование можно сделать более специализированное, и прогресс не стоит на месте - его можно сделать мощнее и экономичнее. Проблема тут в том, что мы не знаем что считать. Так то можно на суперкомпьютере считать, как электроны двигаются в кристалле металла и весь датацентр симуляцией "Тамагочи" занять, хотя число логически подобная программа будет работать на современном градуснике
Я думаю комментарий немного про другое. Понятно, что архитектура процессора не самая подходящая - по сути мы обходим все соединения подряд по очереди и симулируем их, а не делаем это в параллели. Но это чисто техническое ограничение - если мы выделим стабильную архитектуру для параллельных вычислений, мы сможем сделать ее существенно эффективнее. Собственно это уже произошло с графикой (множество более дешевых и специализированных ядер) и NPU (специализированное решение для параллельного перемножения больших матриц)
Вопрос в другом - потребуется ли для этого что-то, что требует других физических принципов, которые не могут быть симулированы в цифровом виде. Например - квантовые эффекты.
При этом это не накладывает органичений концептуально - возможно квантовые эффекты могут быть симулированы с достаточной точностью (за дорого) а в будущем быть созданы специальные чипы как дополнение к компьютерам для этого типа операций.
Нейросети уже тыкают пальцем в небо регулярно. Результатом многих операций является список возможностей с вероятностями, из которых нужно выбрать одну, причем уже давно практически показано, что "бросок кубика" при выборе работает гораздо лучше, чем просто выбор самой вероятной
Комментатор выше про концепт говорил. Он практически возможен хотя бы в одном исполнении, что автоматически опровергает тезис о невозможности AGI. В том то и дело, что он может и ничем не отличаться. Главный вопрос - возможны ли другие модели интеллекта? Не человекоподобные? Например, выше люди приводят тезис, что мозг ворон (которые очень умны) сильно отличается от человека зонами и взаимодействием между ними.
То, чего мы не знаем, так это возможен ли ИИ в кремнии и являются ли LLM шагом на пути к нему (условно нужно просто улучшать архитектуры и увеличивать количество параметров) или это шаг в сторону и для AGI нужно нечто принципиально другое.
Вопрос с копированием мозга, кстати, тоже интересен - копирование на каком уровне достаточно, что бы он работал? Возможно молекулярное и не нужно - достаточно скопировать только поведение нейронов и связи между ними? Насколько ухудшит качество модели дискретизация сигналов и дискретизация поведения нейронов? Если незначительно - то мозг может быть симулирован при помощи компьютера.
Это в каком мире ИИ генерирует машинный / байт код напрямую?
Он наоборот очень человечен - из-за того, что он обучен на текстах, то и воспроизводить он может только тексты, причем со всеми ошибками мышления и человеческой эмоциональностью.
Ну в смысле нет, просто меряешь каждый день утром неделями и месяцами - и получаешь красивый, статистически достоверный график, где суточные колебания и не видны особо. Зачем дневную динамику то мерять? Объективно жирненькие люди есть, их видно на улице, это не +-2 кг из-за воды.
На самом деле интересно, к чему это приведет, с какой скоростью и как с этим будут дружить. С одной стороны - работает плохо. С другой - чудо чудное, что работает хоть так, к тому же работает быстро. С третьей - целиком людей все равно пока не заменишь, нужен тот же моделлер и технический художник, чтобы обрезать, заригать, исправить проблемы и т.д. Но опять же - куча людей работает над исправлением проблем и новыми областями - анимации, композинг и т.д Если это будет длится достаточно долго - просто появится новое поколение инструментов.
Мне очень интересно наблюдать, как инди в стиме начинают пробовать использовать этот всратый ИИ арт (который все равно лучше, чем условны пиксель арт, который может сделать одиночка) и все креативнее адаптируют игру к арту (а не арт к игре)
Наконец то полезный и качественный софт
Так глядишь прибавится в списке полезного софта от MS (сейчас там только ультимативные MS Paint и Блокнот)
Так и в нейросетях перемножение идет каждый с каждым, а в половине связей - нули, они по сути не участвуют.
Есть даже процесс оптимизации нейросетей, когда вырезают из промежуточных слоев элементы, которые заведомо нулевые на несколько слоев.
Ну и почему у вас в определении "честная" указано то, что параллельные штуки выполняются стройными рядами.
Как раз таки то, что не весь мозг активируется, если не нужен для этой функции - это честная параллельность. Нейроны условного мозжечка настолько слабо связаны с нейронами условной коры, что могут и работать и не работать параллельно - это ли не честное распараллеливание задач.
Это задачи разные.
Ядра видеокарты - это ведь очень упрощенные ядрышки почти честных процессоров.
В нераспараллеливаемых задачах они сливают современным центральным процессорам в чистую, но их суть в том, что они специализированы для точно распараллеливаемых задач - графики.
Так и дальше можно продолжить аналогию - нейроны мозга очень тупые по сравнению с видеокартой, но супер параллельные и энергоэффективные.
Мозг действительно очень эффективен в плане потребления ресурсов, другое дело, что его не перестроишь просто так кадры считать.
Вы все еще выгораживаете эти статистические "+10%", понятно, что это не единственный фактор и исследование приводят к "при прочих равных". Понятно, что жирненьким в современной стране умирать лучше, чем худым и от голода.
Кстати бодибилдеры тоже имеют нездоровый "ИМТ".
Тем не менее, если доктор дает рекомендации похудеть - это реально может помочь как с точки зрения конкретных проблем (например людям с диабетом и преддиабетом) так и здоровья в целом
Ну Alpha Go ведь уже есть.
да, задача специфическая, тем не менее он вполне самообучался - поздние модели для донастройки играли сами с собой и вполне находили новые комбинации.
Нене, это не получится смазать через "тяжело померять".
Есть же статистика.
Есть хорошая зависимость веса и роста и прекрасно считаемые распределения.
Берем табличку и видим - вот тут у нас средний вес по популяции для возраста и роста.
Отклонение на каждые 10 кг - +Х процентов к смерти от сердечно сосудистых.
Соответственно врачи вполне могут говорить - вы знаете, вы в зоне риска, вам бы похудеть.
Но это как раз мелочи, в бытовом смысле на такое внимание не особо обращают, если вы не на свиданке. То есть человек жирненький, но скажет ему об этом лишь партнер да врачи.
Ну так вот. Есть то, что отличается от вышеописаных случаев на порядок и явно видно внешне. Пузо на коленках это конечно боди позитивно, но ни разу не здорово.
Нужно понимать, что методы "определения того, что изображение сгенерировано" как и "обработки картинок, чтобы человек их распознавал, а ИИ модели - нет" - это временные решения, которые базируются на особенностях текущих архитектур. В пределе, если задаться такой задачей, вероятно можно добиться полной неразличимости.
Справедливости ради, в естественном интеллекте как то регулярно сомневаешься
Так может это и есть его "не концептуальное" ограничение?
И если дать ему среду для экспериментов и улучшить механизмы обратной связи, дообучения, тестирования и проверки гипотез - он будет таки изобретать?
Чем галлюцинации ИИ концептуально отличаются от гипотез человека, только приступившего к задаче и имеющего лишь смутные представления, как ее решать, идеи, что гуглить и иллюзии по поводу того, как это может быть сделано?
Есть очень тонкая деталь почти везде, где используется строгое определение "алгоритм".
Например в теории о "невычислимости сознания" речь идет о возможности сведения сознания к "вычислимой функции", то есть функции, решаемой "алгоритмом" в строгом смысле.
Не суть важно то, насколько верна теория, важно что де факто реальные компьютеры имеют генераторы случайных чисел (в том числе физические) и устройства ввода, то есть могут запускать программы, не являющиеся "алгоритмами" в классическом понимании - они не детерминированы и содержат побочные эффекты.
Соответственно когда выстраивают тезисы "сознание невычислимо" -> "алгоритмы вычислимы" -> "компьютеры выполняют алгоритмы" = "компьютеры не могут вычислить сознание", исходят из разных определений алгоритма.
Ну для графики, которой рисовали мультики, целые фермы каждую секунду сутками рендерили, а сейчас потребительские карты справляются с лучшим качеством в реальном времени.
Все же и оборудование можно сделать более специализированное, и прогресс не стоит на месте - его можно сделать мощнее и экономичнее.
Проблема тут в том, что мы не знаем что считать.
Так то можно на суперкомпьютере считать, как электроны двигаются в кристалле металла и весь датацентр симуляцией "Тамагочи" занять, хотя число логически подобная программа будет работать на современном градуснике
Я думаю комментарий немного про другое.
Понятно, что архитектура процессора не самая подходящая - по сути мы обходим все соединения подряд по очереди и симулируем их, а не делаем это в параллели.
Но это чисто техническое ограничение - если мы выделим стабильную архитектуру для параллельных вычислений, мы сможем сделать ее существенно эффективнее. Собственно это уже произошло с графикой (множество более дешевых и специализированных ядер) и NPU (специализированное решение для параллельного перемножения больших матриц)
Вопрос в другом - потребуется ли для этого что-то, что требует других физических принципов, которые не могут быть симулированы в цифровом виде.
Например - квантовые эффекты.
При этом это не накладывает органичений концептуально - возможно квантовые эффекты могут быть симулированы с достаточной точностью (за дорого) а в будущем быть созданы специальные чипы как дополнение к компьютерам для этого типа операций.
Нейросети уже тыкают пальцем в небо регулярно. Результатом многих операций является список возможностей с вероятностями, из которых нужно выбрать одну, причем уже давно практически показано, что "бросок кубика" при выборе работает гораздо лучше, чем просто выбор самой вероятной
Комментатор выше про концепт говорил.
Он практически возможен хотя бы в одном исполнении, что автоматически опровергает тезис о невозможности AGI. В том то и дело, что он может и ничем не отличаться.
Главный вопрос - возможны ли другие модели интеллекта? Не человекоподобные?
Например, выше люди приводят тезис, что мозг ворон (которые очень умны) сильно отличается от человека зонами и взаимодействием между ними.
То, чего мы не знаем, так это возможен ли ИИ в кремнии и являются ли LLM шагом на пути к нему (условно нужно просто улучшать архитектуры и увеличивать количество параметров) или это шаг в сторону и для AGI нужно нечто принципиально другое.
Вопрос с копированием мозга, кстати, тоже интересен - копирование на каком уровне достаточно, что бы он работал? Возможно молекулярное и не нужно - достаточно скопировать только поведение нейронов и связи между ними? Насколько ухудшит качество модели дискретизация сигналов и дискретизация поведения нейронов? Если незначительно - то мозг может быть симулирован при помощи компьютера.
Это в каком мире ИИ генерирует машинный / байт код напрямую?
Он наоборот очень человечен - из-за того, что он обучен на текстах, то и воспроизводить он может только тексты, причем со всеми ошибками мышления и человеческой эмоциональностью.
Утопическое будущее:
- Вам поставили имплант и теперь вы можете не спать и можете работать за десятерых!
Дистопическое будущее:
- Вам поставили имплант и теперь вы не можете спать и будете работать за десятерых...
Ну в смысле нет, просто меряешь каждый день утром неделями и месяцами - и получаешь красивый, статистически достоверный график, где суточные колебания и не видны особо.
Зачем дневную динамику то мерять?
Объективно жирненькие люди есть, их видно на улице, это не +-2 кг из-за воды.
Крайзис - это скорее выброс
На самом деле интересно, к чему это приведет, с какой скоростью и как с этим будут дружить.
С одной стороны - работает плохо. С другой - чудо чудное, что работает хоть так, к тому же работает быстро.
С третьей - целиком людей все равно пока не заменишь, нужен тот же моделлер и технический художник, чтобы обрезать, заригать, исправить проблемы и т.д.
Но опять же - куча людей работает над исправлением проблем и новыми областями - анимации, композинг и т.д
Если это будет длится достаточно долго - просто появится новое поколение инструментов.
Мне очень интересно наблюдать, как инди в стиме начинают пробовать использовать этот всратый ИИ арт (который все равно лучше, чем условны пиксель арт, который может сделать одиночка) и все креативнее адаптируют игру к арту (а не арт к игре)
Это, хм, интересно