Очень интересная статья, с интересом прочитал, автор весьма развернуто и довольно доходчиво все расписал. Но у меня есть некоторые вопросы.
Один из главных тейков был насчет энергоэффективности. Человек намного энергоэффективнее нейронки. Но как это высчитано? В каких условиях, задачах, с какой нейросетью и какое количество времени происходил рассчет, вообще в чем происходил рассчет? Я понимаю, что постоянные новости о том, что ии датацентрам нужны огромные мощности сложилось впечатление, что ии это крайне прожорливая до ресурсов штука. Однако датацентр направлен не на банальную работу ии, а массовое параллельное использование тысячами пользователей, из-за чего затраты растут кратно количеству пользователей. А так локальные ии модели спокойно запускаются на потребительском железе со стоимостью электричества в копейки и этого хватит для генерации текста, даже кода и изображений. Бонсай и вовсе выпускает 1битные нейронки, которые запускали на телефонах (с горем пополам, но тем не менее). Более того, локальный ии можно крутить даже не на топовых видеокартах с большим энергопотреблением, но и на нетребовательной к электричеству серверной многоканальной памяти и скорость будет вполне комфортная для использования. Опять же какие задачи, математический рассчет, “сочинительство”, визуализация? Вопросы к рассчету энергоэффективности имеются.
Еще есть вопросы к визуальному анализу. Вы прекрасно подметили, что сама структура человеческого анализатора и “компьютерного” крайне отличаются. Но Вычленять из людского анализа какие-то универсальные формы, на подобие точки и линии ну тоже слегка натянуто. Начиная с того, что точка геометрически сама по себе, как Вы приводили пример с мнимой единицей, условность. Невозможно представить “кружочек без диаметра”. Аналогично с прямыми. Нельзя представить бесконечно длинную и бесконечно тонкую линию. Глаза улавливают свет, а не сами объекты, нейросеть улавливает пиксели (свет перенесенный в компьютерный формат в виде “квадратика с цветом”, это далеко от биологически точного глаза, который развивался миллионы лет эволюционно, Вы абсолютно правы, что у биологических тварей из крови и плоти была очень солидная фора по времени на развитие, но сам принцип схож)
Аналогично с обучением языку. У нейросети есть свои аналоги врожденных законов, которые неизменны от модели к модели. Векторный принцип, температура, все это позволяет определять уместность речевых конструкций к данной ситуации. Автор опять же прав, что люди пишут книги кучу лет, но эти книги родились не просто из фантазии. Хорошие писатели, которые на слуху остаются спустя века, а то и тысячелетия это люди с огромным читательским кругозором и в целом культурным кругозором. Они читают другие книги, которые были написаны до них, формируют вокабуляр и выстраивают грамматические конструкции и слова в свое творение. Аналогично с учеными. Ученые имеют под собой огромный научный опыт, и что важно они способны воспринимать среду. По знаменитой легенде Архимед открыл закон выталкивающей силы, севши в ванну с водой. Если взять историю взаправду, то его анализаторы увидели изменение уровня воды и исходя из этого он увидел принцип, по которому это работает. Нейросети уже имеют примитивные визуальные анализаторы и научную “базу знаний”. Так что развитие точности и нахождение выводов уже может быть не за горами
Конечно, поиск универсальных мыслительных реакций это идея довольно красивая. Но вы замахиваетесь на так называемые сложные проблемы сознания, а людям до понимания их возможно еще дальше, чем нейросетям до концептуализации и полноценного мышления. Вы правильно мыслите про визуальное восприятие, про вокабуляр и лингвистику, но это простые проблемы сознания, это сугубо операционные процессы. Но суть в том, что сложные проблемы сознания весьма глубже, поиск универсальных паттернов мышления лежит через индивидуальные квалии 8+ млрд вариантов. Как бы важно различать, где интеллект, а где психика в целом.
Статья действительно очень занимательная, хотелось бы услышать Ваши ответы. Извините, если слишком длинно расписал, как получилось.
Очень интересная статья, с интересом прочитал, автор весьма развернуто и довольно доходчиво все расписал. Но у меня есть некоторые вопросы.
Один из главных тейков был насчет энергоэффективности. Человек намного энергоэффективнее нейронки. Но как это высчитано? В каких условиях, задачах, с какой нейросетью и какое количество времени происходил рассчет, вообще в чем происходил рассчет? Я понимаю, что постоянные новости о том, что ии датацентрам нужны огромные мощности сложилось впечатление, что ии это крайне прожорливая до ресурсов штука. Однако датацентр направлен не на банальную работу ии, а массовое параллельное использование тысячами пользователей, из-за чего затраты растут кратно количеству пользователей. А так локальные ии модели спокойно запускаются на потребительском железе со стоимостью электричества в копейки и этого хватит для генерации текста, даже кода и изображений. Бонсай и вовсе выпускает 1битные нейронки, которые запускали на телефонах (с горем пополам, но тем не менее). Более того, локальный ии можно крутить даже не на топовых видеокартах с большим энергопотреблением, но и на нетребовательной к электричеству серверной многоканальной памяти и скорость будет вполне комфортная для использования. Опять же какие задачи, математический рассчет, “сочинительство”, визуализация? Вопросы к рассчету энергоэффективности имеются.
Еще есть вопросы к визуальному анализу. Вы прекрасно подметили, что сама структура человеческого анализатора и “компьютерного” крайне отличаются. Но Вычленять из людского анализа какие-то универсальные формы, на подобие точки и линии ну тоже слегка натянуто. Начиная с того, что точка геометрически сама по себе, как Вы приводили пример с мнимой единицей, условность. Невозможно представить “кружочек без диаметра”. Аналогично с прямыми. Нельзя представить бесконечно длинную и бесконечно тонкую линию. Глаза улавливают свет, а не сами объекты, нейросеть улавливает пиксели (свет перенесенный в компьютерный формат в виде “квадратика с цветом”, это далеко от биологически точного глаза, который развивался миллионы лет эволюционно, Вы абсолютно правы, что у биологических тварей из крови и плоти была очень солидная фора по времени на развитие, но сам принцип схож)
Аналогично с обучением языку. У нейросети есть свои аналоги врожденных законов, которые неизменны от модели к модели. Векторный принцип, температура, все это позволяет определять уместность речевых конструкций к данной ситуации. Автор опять же прав, что люди пишут книги кучу лет, но эти книги родились не просто из фантазии. Хорошие писатели, которые на слуху остаются спустя века, а то и тысячелетия это люди с огромным читательским кругозором и в целом культурным кругозором. Они читают другие книги, которые были написаны до них, формируют вокабуляр и выстраивают грамматические конструкции и слова в свое творение. Аналогично с учеными. Ученые имеют под собой огромный научный опыт, и что важно они способны воспринимать среду. По знаменитой легенде Архимед открыл закон выталкивающей силы, севши в ванну с водой. Если взять историю взаправду, то его анализаторы увидели изменение уровня воды и исходя из этого он увидел принцип, по которому это работает. Нейросети уже имеют примитивные визуальные анализаторы и научную “базу знаний”. Так что развитие точности и нахождение выводов уже может быть не за горами
Конечно, поиск универсальных мыслительных реакций это идея довольно красивая. Но вы замахиваетесь на так называемые сложные проблемы сознания, а людям до понимания их возможно еще дальше, чем нейросетям до концептуализации и полноценного мышления. Вы правильно мыслите про визуальное восприятие, про вокабуляр и лингвистику, но это простые проблемы сознания, это сугубо операционные процессы. Но суть в том, что сложные проблемы сознания весьма глубже, поиск универсальных паттернов мышления лежит через индивидуальные квалии 8+ млрд вариантов. Как бы важно различать, где интеллект, а где психика в целом.
Статья действительно очень занимательная, хотелось бы услышать Ваши ответы. Извините, если слишком длинно расписал, как получилось.