Комментарии 12
Как хочется всех отправить почитать книжки от одного из разработчиков TensorFlow (и много чего еще https://en.wikipedia.org/wiki/François_Chollet) чтобы перестали сравнивать мозг и нейронные сети..
Человечество всегда сравнивает мозг с последними достижениями науки.
Были акведуки - сравнивали с потоками воды
Появились механизмы - стали сравнивать с шестерёнками
Появились телефоны - стали сравнивать с телефонной станцией
Появилась вычислительная техника - стали сравнивать с компом
Появились нейросети - сталь сравнивать с нейросетью
и тд и тп
Сейчас на подходе квантовые компы - уже вижу сравнение мозга с квантовыми процессорами
Ну да, наверное один из членов основателей OpenAI и бывший директор по AI в Tesla в этом не разбирается.
Ну по моему он не нейронную сеть сравнивает с мозгом. Он говорит о комбинации уже готовых моделей. Был пример где то, chatGPT просили написать текст для Mitjourney и у него неплохо получалось. Имхо в будущем, возможно появится сеть, которая будет получать инпут от готовых моделей сетей и подавать на вход другим сетям свои "желания". А там и до самосознания недалеко.
Статье год, интересно изменилось его мнение, выраженное в последнем абзаце.
Что путешественник во времени из 2055 года подумал бы о показателях современных сетей?
Здесь подходит мем про умение экстраполировать. Прогресс за 30 лет, конечно, впечатляет. Но не стоит забывать, что мы почти уже уперлись в лимит по размеру транзисторов (атом), а может и в лимит по скорости распространения сигнала (скорость света).
(смотрит скорость работы клеток нейронов)
мы все еще не уперлись по архитектуре процессоров,
и до сих пор используем электроны :)
Только в статье говорится, что на уровне архитектуры как раз мало что поменялось:
Во-первых, на макроуровне за 33 года изменилось не очень много. Мы по-прежнему создаём дифференцируемые архитектуры нейронных сетей, составленные из слоёв нейронов, и оптимизируем их от начала до конца при помощи обратного распространения и стохастического градиентного спуска. Всё кажется очень знакомым, только очень маленьким.
и мало что поменяется:
На макроуровне нейронные сети 2055 года, по сути, будут теми же сетями 2022 года, только больше размером.
Краткое содержание статьи — 33 года назад было то же самое, что и сейчас, только в миллион раз меньше. Через 33 года будет тоже самое, что и сейчас, только в миллион раз больше.
Если не произойдет качественного прорыва в AI
Архитектура будет меняться, но не так как это представляет автор статьи, типа того, что трансформерная ЯМ увеличит число параметров и объем обучающей выборки в миллион раз — это пример линейного мышления. Скорее, с учетом некоторого понимания устройства мозга и функционирования мышления, в таком направлении, поживем посмотрим)
Andrej Karpathy: глубокие нейросети 33 года назад и 33 года спустя