Как стать автором
Обновить

Коротко о книге “Сильный искусственный интеллект”: что мы не знаем о будущем

Время на прочтение7 мин
Количество просмотров15K
Всего голосов 66: ↑65 и ↓1+64
Комментарии112

Комментарии 112

Какой там сильный ИИ, народ даже на поиск альтернативы фон Нейману банально забил.
Вычислительная техника стагнирует уже 20 лет, даже закон Мура не особенно помогает.

Если что новое предложить, в ответ (в 99% случаев) услышишь даже вникать (читать) небуду по той причине, что фон Нейман идеал и ничего лучше придумать невозможно.
Я нисколько не шучу, так и отвечают люди уровня директор (первые заместители).
Ситуация как в физике в 1900 году: В физике уже все открыто и изучать нечего.

Не возьмусь дискутировать, но разве квантовые компьютеры это не уход от застарелых принципов. Да это скорее про вычисления, а не про архитектуру, но это некоторый признак, что застоя нет

С квантовыми вычислителями все сложно, но одно можно сказать уверенно — пока они не имеют практической ценности в сфере обычных вычислений и минимум 20 лет ничего не светит. (Это мое мнение).
Еще интересный факт, я человек от сохи инженер электроник (образование НЭТИ АВТФ вычислительные комплексы системы сети) и пока не нашел ни одного человека или текста с описанием квантового компьютера достаточного для понимания устройства.
Физик из меня так себе, но базовые вещи способен понять. А тут ничего кроме «не единица не толь, а весь спектр значений». Как между собой взаимодействуют много кубитов, как в них «кодировать» хоть какой то алгоритм этого нет.
Например — предлагал нашему производителю коммуникационного оборудования новую сетевую архитектуру — даже читать не стали.
Разработчик процессоров на предложение распредленной виртуальной памяти (после ответа на их вопросы) в частной беседе ответил, что принято решение ничего мне не отвечать.
Сейчас пытаюсь передать наработки иностранным компаниям, вроде даже есть интерес (Распределенная общая память (DSM — Distributed Shared Memory) habr.com/ru/post/577810)
Если будет внедрено, то это увеличение скорости в 1000 раз и задержек доступа в 100 раз, для сети связи суперкомпьютера.

Самое обидное: принципиально не ведутся никаких самостоятельных исследований в связи и вычислительной техники.
Есть частно-государственный консенсус: Пусть сначала буржуи сделают, а мы потом импортозаместим (или просто микросхемы купим, это частные производители).
Все приплыли науки в областях связи и вычислениях нет.
Это какой-то поток сознания в стиле знаменитой пасты «а ещё там можно грабить корованы».

Вы не предлагаете принципиально новых физических процессов, а предлагаете взять имеющиеся планки DDR4, посадить на сопельки из оптических линий, подключенных к трансиверам у процессоров и у модулей RAM, и на этом снизить задержку доступа в 100 раз! Как?! Если модуль DRAM имеет цикл 30ns на единичное чтение по адресу, то, облепленный соплями из оптики и трансиверов, он будет читать за 0.3ns?
Задержка указывается без учета времени доступа непосредственно к DDR
Память строится как кэш когерентная память.
Принципы организации сети ССИ описывются здесь ( habr.com/ru/post/512652 ), именно она обеспечивает минимальное время коммутации и возможность применения интерфейсов со скоростями передачи 10Тбит в секунду и выше если применить вот такой тип оптического интерфейса ( servernews.ru/1029015 ). Время коммутации определяется частотой синхронизации микросхемы коммутатора и для современных возможностей будет на уровне первых нс. Если соединять соседние процессоры (расстояние 0.3-0.5м), то задержки в коммутаторе будут сопоставимы с временем в нахождения сигнала в кабеле связи. Для компьютера из 1000 процессоров (куб со стороной в 10 процесооров) средняя транспортная задержка на доступ к памяти будет 30 нс (+30 нс назад), сопоставима с временем чтения данных из локального DDR.
И DDR тоже желательно использовать не обычные плашки, а что то типа HBM (читает сразу от 1024 бит). Первое слово будет иметь задержку 100нс (запрос туда 30 нс+чтение 40 нс + ответ обратно 30 нс) и дальше данные могут поступать с производительностью равной производительности HBM интерфейса.
И еще плюс: считываемые (записываемые) данные могут быть одновременно кэшированы на все 1000 процессоров, без дополнительных затрат времени.
При использовании такой системы нет необходимости в локальной DDR для каждого процессора, можно ее вынести в отдельные модули, примерно как сейчас сделано с жесткими дисками (СХД сервер).
А то что трудно читается, так и у меня с литературным талантом плохо и больше нигде такого не пишут — новые знания, а они требуют осмысления (вспомните как вы учились в школе и в ВУЗе).
Вторая публикация окончательно запутывает. Вы хотите заменить интернет? Или сделать интерконнект для суперкомпьютера? Или «One Ring to rule them all»? Последнее не лучшая идея, т.к. техника развивается с упором на специализацию. Можно разработать протокол, предназначенный одновременно и для микро, и для макро-уровней, но он будет проигрывать специализированным, заточенным под конкретное место применения.

Что насчёт компьютера с общей памятью на 1000 процессоров, сначала бы неплохо определиться, какую задачу он будет решать (в какой организации, т.е. куда его можно продать). С проработкой алгоритмов и рассчётом эффективности на известном размере задачи. Например, если вы умножаете матрицы 1000x1000 тут такие затраты памяти (и чтение 1024 бит за раз поможет чтению строк, но не столбцов). Или вы сервер youtube и параллельно кодируете 500 видео, тут лучше каждому потоку дать свою память.
Вторая публикация окончательно запутывает. Вы хотите заменить интернет? Или сделать интерконнект для суперкомпьютера?

Я хочу сделать единую сеть для всех вариантов связи, но изначально разрабатывалась как сеть связи для компьютера пятого поколения (по архитектуре близким к идеям DataFlow). Если опираться на современные технологические возможности, то производительность ядра может быть примерно 100Т элементарных оп\сек.
Можно разработать протокол

А зачем разрабатывать различные протоколы — основой ССИ является прямое соединение между одним передатчиком и любым числом приемников (виртуальный канал) и таких каналов могут быть миллионы с практически мгновенным перестроением сети.
сначала бы неплохо определиться, какую задачу он будет решать
Вот эту задачу будет решать ( habr.com/ru/post/489068 ), основные тип задач различные типы задач моделирования (основное задачи моделирования биологических систем).
Системы виртуальной реальности, ИИ, «BigData»
В пределе должна быть поддержка цифровой модели человеческого мозга.
Требуемая производительность от 10Е20 операций в секунду.
Системы виртуальной реальности, ИИ, «BigData»
Всё без конкретики. Это я и называю «грабить корованы». Какие конкретно алгоритмы? Чтобы утверждать, что ваша архитектура лучше для тех же нейросеток, вы должны быть экспертом в передовых алгоритмах (сейчас работающих на GPU), понимать все их узкие места и быть в курсе всех костылей и хаков, которыми достигается производительность.

А то получается — вот вам синхронная неведомая фигня, а вы сами придумайте, чем её занять.
вы должны быть экспертом в передовых алгоритмах

Скажу так: занимаюсь изобретением совершенно новой универсальной вычислительной архитектуры, не имеющей ничего общего с архитектурой фон-Неймана.
Пока полной уверенности нет, но можно сказать, что дело идет к тому что смогу производить прямое преобразование обычной программы в нейронную сеть и обратно.
Буду постепенно писать статьи, они нужны для получения конструктивной критики и невозможности получения патента на мои работы (я сторонник свободного ПО и свободного железа). С конструктивной критикой пока печаль, идеи новые и ничего глубже:
Это какой-то поток сознания в стиле знаменитой пасты «а ещё там можно грабить корованы».

Пока нет, хотя про поводу ССИ профессор СибГУТИ высказался так:
Письмо и распечатка получены. Могу уверенно ответить, что в открытом доступе о научных школах указанного направления информации нет. Можно попробовать обратиться в компанию Т8, где работают известные специалисты по современным телекоммуникациям из МГУ, МГТУ им. Баумана, ФизТеха. Они ближе всего к разработкам такого типа и их практическому внедрению. Работу по этой тематике рекомендую продолжить. При наличии патентов и публикаций в научных изданиях из списка ВАК и Scopus может потянуть на учёную степень.

Да действительно, народ банально не понимает ничего про плезиохронные системы передачи данных, у них намертво прошита пакетная система передачи данных ))
Было бы неплохо, если бы у ваших публикаций был научный руководитель/редактор. Чтобы изложение было без воды, а как полагается: определения, следствия, теоремы, леммы, практические примеры.
Да очень хотелось бы, но то что я пишу является полностью новой концепцией. Я пытался искать научных руководителей, заинтересовать действующих ученых.
Вот так выглядит ответ от профессора профильного направления (СибГУТИ):
Письмо и распечатка получены. Могу уверенно ответить, что в открытом доступе о научных школах указанного направления информации нет. Можно попробовать обратиться в компанию Т8, где работают известные специалисты по современным телекоммуникациям из МГУ, МГТУ им. Баумана, ФизТеха. Они ближе всего к разработкам такого типа и их практическому внедрению. Работу по этой тематике рекомендую продолжить. При наличии патентов и публикаций в научных изданиях из списка ВАК и Scopus может потянуть на учёную степень.


В СО РАН есть совет по суперкомпьютерным вычислениям (http://www.sscc.icmmg.nsc.ru/sovet.html) неформальный ответ выглядит так:
Никаких работ про проектированию новых суперкомпьютерных архитектур не ведется (аппаратное обеспечение), если зарубежные компании изобретут что новое мы это применим. Полностью самостоятельных работ (если нет зарубежных работ, которые можно цитировать не ведется)


Абсолютное большинство вообще не отвечаю, остальные пишут что данная работа не входит в их специализацию и просят не беспокоить «занятого» ученого. )))

Можно с уверенностью утверждать, что высказывания про «Контроль над миром» это просто для «красного словца» — Реальных работ никто не ведет.

Недавно прочитал интересное высказывание:
В науке единицы являются новаторами. Такими были Павлов, Тимирязев.
А остальные — целое море служителей науки, людей консервативных, книжных, рутинеров, которые достигли известного положения и не хотят больше себя беспокоить.
Они уперлись в книги, в старые теории, думают, что все знают и с подозрением относятся ко всему новому.

Ничего с того времени не изменилось — 99% ученых это околонаучные бюрократы.
Ничего с того времени не изменилось — 99% ученых это околонаучные бюрократы.
Увы, я могу понять их ответы. Честно читал ваши публикации и не понял, в чём новизна.

Выделил только две идеи:

1. вместо передачи пакетов последовательно
AAAA BBBB CCCC
надо передавать их вперемешку
ABC ABC ABC ABC
Но это большие накладные расходы на мультиплексирование/демультиплексирование. Учитывая, что A,B,C — у вас это символы (байты), собирать обратно в пакеты очень дорого, т.к. RAM сейчас не работает с отдельными байтами. Ну, допустим, это не проблема — вы хотите сделать совершенно новое железо на всех сетевых узлах.

Какого-то профита вообще не вижу. Пропускную способность канала это не изменит. Принудительное резервирование полосы, когда A не активен и передаёт пустой символ
0BC 0BC 0BC 0BC
по мне — пустая трата ресурсов.

При повреждении данных нужно перепослать пакет. Значит, после каждой пары килобайт надо слать контрольную сумму. Классически, мы узнаем что пакет побился, как только он весь будет передан с КС (например, после передачи первого AAAA). А у вас, пока вся перемешанная требуха не приедет, мы не узнаем об ошибке. Значит, пересылку запросим позже и получим больший latency. В остальном, разницы никакой.

Приложение, пока полностью не соберёт свой пакет, не сможет работать. Будь то видео или аудио-декодер, которому нужен полный фрейм, или БД, которой нужен полный текст SQL-запроса для компиляции. Принять быстрее первые 10 символов — для приложения это ничего не решает.

2. Вторая идея — отказ от сетевых адресов и включение маршрута в сам пакет. Может, оно что-то и оптимизирует, но для современной сети это невозможно — полностью рушит сетевую безопасность.

Вы там замахивались на новую вычислительную парадигму. Её и близко не увидел.
Увы, я могу понять их ответы. Честно читал ваши публикации и не понял, в чём новизна

1.Минимальная задержка на коммутацию (для синхронных коммутаторов) время «переноса» даных из входящих каналов в исходящие в среднем равно половине периода передачи.
2. Отсутствие «не санкционированных» потерь данных из-за переполнения буфера коммутатора.
3. Отсутствие необходимости в ОЗУ буфера коммутатора, особенно актуально для большихскоростей передачи. Попробуйте буферизовать поток в 10Е15 бит в секунду (высокоскоростные сети сначала делают синхронными и только потом в выделенный канал транслируют локальный пакетный поток).
4. Крайняя простота и конвееризованность оборудования.
5. КПД использования физического потока более 90% (стабильная работа пакетного коммутатора с загрузкой всех входов более 90% невозможна из-за асинхронности пакетного трафика)
6. Практическое отсутствие ограничений на суммарную скорость передачи. Возможны каналы с производительностью в 10Е15 бит в секунду.
7. Гарантированное, рассчитываемое время передачи данных и сопставимое с физическим временем распространения электромагнитной волны от передатчика до приемника и обратно(очень важно для систем реального времени).
Это основные плюсы.
Но это большие накладные расходы на мультиплексирование/

для символа размером около 100 бит накладные расходы 2% от пропускной способности канала (это на порядок меньше чем в пакетной сети)
собирать обратно в пакеты очень дорого

Собственно зачем собирать в пакеты, каждая пара абоненов имеет свой независимый виртуальный канал.
Принудительное резервирование полосы,
Резерв используется для служебных надобностей и каналов с негарантированной пропускной способностью, в итоге символов нет данных вообще не передается (если есть данные для передачи).
При повреждении данных нужно перепослать пакет.

Если происходит ошибка, то придет специальный символ ошибка именно в том месте передаваемой последовательности, где она и произошла. Передавать весь пакет не придется (только конкретный символ).
как только он весь будет передан с КС
В данном случае именно при приеме ошибочного символа. Более того можно не ожидать полного приема пакета, а сразу запросить этот символ.
полностью рушит сетевую безопасность
Как полный контроль за маршрутом рушит сетевую безопасность. Основной плюс контроля над маршрутом, это возможность иметь очень большое число альтарнативных путей доставки и возможность быстро и осознанно ими управлять.
Вы там замахивались на новую вычислительную парадигму.

Скоро будет, пишу цикл статей про процессор с производительностью в 100Т операций в секунду (для примера) и объединения их в машину с производительностью 10Е20 оп.сек
Собственно зачем собирать в пакеты, каждая пара абоненов имеет свой независимый виртуальный канал.
Согласование скоростей. Я так понимаю, если у провайдера терабитный канал, а 100 его абонентов установили по соединению на 100 разных серверов, канал размечается на 100 тайм-слотов и каждому из 100 соединений даётся свой слот. Неважно, это SSH/Telnet, игра, или потоковое видео.

А если 101-й абонент захочет поднять новое соединение, всю эту махину надо будет пересинхронизировать под 101 тайм-слот. Какие огромные накладные, однако.

Если происходит ошибка, то придет специальный символ ошибка именно в том месте передаваемой последовательности, где она и произошла. Передавать весь пакет не придется (только конкретный символ).
В данном случае именно при приеме ошибочного символа. Более того можно не ожидать полного приема пакета, а сразу запросить этот символ.
Это что за магия такая? Сбой передачи на физическом уровне — это приём 0 вместо 1 или 1 вместо 0.
Как полный контроль за маршрутом рушит сетевую безопасность.
Контроль со стороны отправителя, а он может оказаться злоумышленником. Как в вашей системе будут функционировать стандартные файрволы с правилами типа «на хост X принимать соединения только с хоста Y» и «на хосте Z разрешать только исходящие коннекты, но запретить входящие».
Согласование скоростей.

Каналов могут быть сотни миллиардов (в пределах машины).
Постоянно появляются и исчезают каналы с различной скоростью и различным маршрутом.
махину надо будет пересинхронизировать под 101 тайм-слот

Передача в канал начинается без предварительного создания (примерно как для пакетной коммутации)
Указал куда нужно отправить и начинай передавать. Узкие моменты есть, но они не являются нерешаемыми.
Это что за магия такая?

Современные каналы передачи данных на самом нижнем уовне и так являются потоками символов. Для каждого типа канала требуется гарантированная вероятность ошибки (не более какого то числа). Соответственно при ее нехватке каждому символу добавляется корректирющая информация. В итоге при приеме символа не все комбинации 1 и 0 являются легитимными и если приходит ошибочный символ, то его просто заменяем на служебный символ ошибка и помещаем его в тот канал которому принадлежит данных тайм слот.
а он может оказаться злоумышленником.

Кто мешает промежуточному коммутатору закрыть часть вариантов пути, так оно и должно быть. Создание нового канала это по факту работа программы и она может применять любые правила. Создание пути это отдельный сервис. Если указать неправильный путь, то данные вообще не будут доставлены получателю. Получатель (если получил данные) может проверить, а находится ли отправитель в «доверенной зоне» и если нет, то может и вообще не ответить. Тут много интересных моментов, то например зачем промышленному оборудованию отвечать на запросы приходящие от ПО находящемуся вне завода?
Каналов могут быть сотни миллиардов (в пределах машины).
Постоянно появляются и исчезают каналы с различной скоростью и различным маршрутом.
Код напишете? Чтобы на обычном десктопе держал 100 млрд. каналов. Или обязательно нужен принципиально новый процессор?
Передача в канал начинается без предварительного создания (примерно как для пакетной коммутации)
Указал куда нужно отправить и начинай передавать
Не так просто, принимающая сторона должна перестроить тайм-слоты. Впрочем, протокол вы не представили. Может, там что-то предусмотрено. Но не факт, что оптимальнее, чем есть сейчас.
Для каждого типа канала требуется гарантированная вероятность ошибки (не более какого то числа). Соответственно при ее нехватке каждому символу добавляется корректирющая информация. В итоге при приеме символа не все комбинации 1 и 0 являются легитимными и если приходит ошибочный символ,
Невыгодно чексуммать каждый символ. Если КС меньше 16 бит, слишком высока вероятность пропустить ошибку. А лишние 16 бит на каждый символ — расточительно.
Кто мешает промежуточному коммутатору закрыть часть вариантов пути, так оно и должно быть
Получатель (если получил данные) может проверить, а находится ли отправитель в «доверенной зоне»
Как я понял, адреса отправителя у сообщения нет. Впрочем, протокол вы не представили. Может и есть. Тогда не понимаю, в чём профит? Я думал, вы отказались от глобальных сетевых адресов
Тут много интересных моментов, то например зачем промышленному оборудованию отвечать на запросы приходящие от ПО находящемуся вне завода?
Потому что это может быть легитимное удалённое подключение на обслуживание от поставщика оборудования. И вообще, должно быть разделение ответственности. Это не должно программироваться в оборудовании, кому можно отвечать, а кому нет. Это область ответственности сетевого экрана.
Код напишете? Чтобы на обычном десктопе держал 100 млрд.

Всего то 100 млрд FIFO по 1 адресу в адресном пространстве процессора. Каждый канал, просто ячейка в адресном пространстве процессора, записанные в нее данные через определенное время будут у получателя и также могут быть считаны. Если писать слишком быстро, то FIFO заполнится и шина процессора выставит сигнал Wait.
Не так просто, принимающая сторона должна перестроить тайм-слоты.

Не обязательно дожидаться перестройки таймслотов, может быть даже так в кабеле связи будут участки с различными вариантами тайм слотов (разделением физического канала на части). Передаем запрос на изменение таймслотов и сразу за ним данные с новым вариантом разделения канала.
Невыгодно чексуммать каждый символ.

В реальности уже так и есть. Для обнаружения ошибки в одном бите слова нужно к слову добавить один бит (простейший вариант бит четности — применяется в DDR). Контрольную сумму можно добавить — считаем КС на интервале от предыдущей контрольной суммы до следующей. Через сколько то переданных символов или в моменты когда нужно принмать данные к обработке.
Как я понял, адреса отправителя у сообщения нет.

В запросе точно также есть обратный путь к отправителю — по факту получается кольцо отправитель-получатель-отправитель.
Потому что это может быть легитимное удалённое подключение на обслуживание от поставщика оборудования

Тогда добавить его в доверенную зону, а если путь до него пролегает через сторонние каналы, то необходимо производить связь через систему шифрования канала, находящуюся в доверенной зоне. Своеобразные ворота для пропуска на территорию завода, работники завода тоже не живут на его территории, но на работу допускаются и не через дырку в заборе, а через проходную.
Всего то 100 млрд FIFO по 1 адресу в адресном пространстве процессора. Каждый канал, просто ячейка в адресном пространстве процессора, записанные в нее данные через определенное время будут у получателя и также могут быть считаны. Если писать слишком быстро, то FIFO заполнится и шина процессора выставит сигнал Wait
Ничего не понял. Я про обычный x86. Откуда там wait при записи в память
Контрольную сумму можно добавить — считаем КС на интервале от предыдущей контрольной суммы до следующей. Через сколько то переданных символов или в моменты когда нужно принмать данные к обработке
Как-то это всё излишне сложно, по сравнению с пакетной передачей.
В запросе точно также есть обратный путь к отправителю — по факту получается кольцо отправитель-получатель-отправитель
Отправитель и получатель должны знать всю топологию сети, хотя бы маршрут друг до друга (а чтобы он был оптимальный, то всю сеть). Но это не их зона ответственности!
Не обязательно дожидаться перестройки таймслотов, может быть даже так в кабеле связи будут участки с различными вариантами тайм слотов (разделением физического канала на части). Передаем запрос на изменение таймслотов и сразу за ним данные с новым вариантом разделения канала.
Без формальной документации на протокол это всё выглядит как попытки затыкать дыры по ходу их обнаружения. Попробуйте написать техническую документацию, может тогда поймёте, какие есть проблемы. А так, выглядит как слишком самонадеянное фантазирование, что всё получится, и получится на порядки лучше того, что есть сейчас.

То же самое с чексуммами, которые вы начинаете прикручивать куда-то сбоку. Если вы их в протоколе не предусмотрите, то уже не сможете сказать «это всё решаемо», придётся заворачивать проект на новую итерацию.
Если есть желание выполнить научную работу по упорядочиванию и написанию правильной научной работы с практически гарантированным получением научного звания (конкурентов нет, да и все идеи новые), то пишите в личкуй ПЯ и я буду последовательно объяснять все особенности.
Пока я не увидел никакой ценности в ваших идеях.
Задавайте вопросы, понимаю «слепому философу» слона пощупать со всех сторон сразу невозможно.
А здесь не один а целое стадо слонов )))
Чтобы задать вопрос, надо знать половину ответа )))
А кто сказал, что вопрос должен быть полностью правильный. Теоретически вы задаете вопрос (основываясь на текущих знаниях) и получаете в ответ некоторый объем знаний, но не полный.
Получается постепенное приближение к полным знаниям, без возможности их достигнуть (в математике называется «предел»)
Моей слабой и одновременно сильной стороной является интуитивный подход к решению проблемы. Для публикуемых знаний еще не произведен математический анализ, а сам я его сделать не могу. Данная задача для меня второстепенна, часть основной задачи и просто нет времени для написания «трехтомника» по данной проблеме.
Основную задачу необходимо решить за вполне конкретное время.
Если вам комфортно оставаться в области художественных произведений и не переходить в математику, не удивляйтесь, что учёные вам пишут отписки.
Давно прошли времена когда один человек мог все сделать «от и до». Для того что бы описать все «правильно», мне потребуется 2 жизни.
Вы можете в одиночку правильно описать современную сеть Ethernet, со всеми протоколами (по факту их разработать)? Вы знаете сколько человек разрабатывали существующую сетевую парадигму и все ее тонкости?
Себя я позиционирую как философа, примерно как новый фон-Нейман в областях систем передачи данных, вычислительной техники и ИИ (да у меня есть достаточно хорошая полностью своя теория того как устроен мозг если рассматривать его как вычислительную машину).
Все это «правильно» описать, то потребуется несколько сотен лет. Да и то слишком большой объем и я могу делать ошибки.
Да и толку никакого не будет — большинство людей склонны к поверхностному восприятию.
Вот даже вы задаете вопросы на которые есть прямое описание в тексте статьи (про перестроение списка каналов «налету»).
Если мои идеи не будут восприняты обществом, то это немного покачнет прогресс современного общества в сторону состояния «темные века» и очень может быть что этого будет достаточно для реализации данного сценария.
Фон-Нейману было проще, потому что он один такой был в своё время. И все интересующиеся его прочитали.

А сейчас — полный интернет авторов со своими сверх-ценными идеями, и кто из них плоскоземельщик, а кто что-то интересное придумал, очень сложно разобрать. Нужны работающие прототипы. Чтобы каждый мог запустить и убедиться — вот реально, в 10 раз быстрее чем все существовавшие до этого решения.
А сейчас — полный интернет авторов со своими сверх-ценными идеями,

Согласен и практически отсутствуют люди имеющие возможность (образование и тд) отличить реальную работу от «графомании». Новые идеи стали слишком сложными для восприятия и понимания как они будет выглядеть в процессе реализации.
Главная проблема — нет людей которым под силу оценить идею, написать отзыв. Если единственным способом проверить предположение остается практика, то это показывает «смерть» науки в данном направлении. Проверять все только практикой это «каменный век», зачем тогда изобретали логику, математику, физику и тд?
Если говорить конкретно про меня, никакой фактической критики, кроме «автор не писатель».
Единственный дельный вопрос был у связистов: «А если необходимо работать на канал с очень большим числом составляющих подканалов и большим числом ошибок в них» (WiFi), на тот момент я не был готов к ответу.
Отлично, пишите
Скоро будет, пишу цикл статей про процессор
Так-то у меня по ходу нашего диалога сложилось какое-то понимание новой парадигмы, но лучше бы вы её сами описали, а то как бы не получилось что я сам придумал соломенное чучело и сам его разоблачаю.

Когда напишете, попробую откомментировать (если в ближайший месяц, а то потом наверняка всё забуду )))
сейчас идет диалог о внедрении с одним из «текоммуникационных гигантов», но пока на высокий уровень (где принимаюся решения) не вышел.
Хотел что бы внедрили у нас, но не судьба.
Уже писал
Задавайте вопросы, понимаю «слепому философу» слона пощупать со всех сторон сразу невозможно.

И заменяйте «солому» в чучеле на факты.
По поводу перестройки канала на лету, то задача решается так:
Алгоритм создания виртуального канала

habr.com/ru/post/512652
ru.wikipedia.org/wiki/SpaceWire
почитайте как примерно выглядят сети для «серьезных» приложений.
Пакетный Ethernet это простое бытовое и достаточно ненадежное изделие.
SpaceWire охватывает два (физический и канальный) из семи уровней сетевой модели OSI для коммуникаций
А вы выше берёте…
Проанализировал врожденные проблемы пакетной коммутации и пришел к выводу, что она безнадежна и легче «пристрелить» нежели привязывать бесконечные костыли.

20 лет стагнирует вычислительная техника?
Даже если не брать в учет GPU, которые прошли за это время невероятную эволюцию и появления TPU, даже сами CPU сильно изменились.
Что там было в 2001 году?
AMD представили Атлон XP
https://en.wikipedia.org/wiki/List_of_AMD_Athlon_XP_microprocessors
или вот, давайте возьмем что то немного свежее (2002 год) Pentium 4 2.8 https://ark.intel.com/content/www/us/en/ark/products/27447/intel-pentium-4-processor-2-80-ghz-512k-cache-533-mhz-fsb.html
Если с со свежим I7 сопоставить
https://cpu.userbenchmark.com/Compare/Intel-Pentium-4-280GHz-vs-Intel-Core-i7-12700K/m3163vs4119 (лучшего сопоставления не нашел, если найдете - подскажите), то в однопотоке разница на 735% (т.е. в 8.35 раз быстрее) и многопотоке 4436% (~45.4 раза) отличия. Это при том, что современный проц еще поглотил графику, т.е. там по факту еще относительно неплохая GPU и северный мост.
Я уже молчу про развития мобилных процов на ARM, там вообще в последние 10 лет очень бодро развивались.

habr.com/ru/post/590339 — с момента когда основные показатели перестали расти, число транзисторов на кристалл выросло на три — четыре порядка. По большому счету и производительность должна также вырасти на это же значение, но все заделы современной архитектуры процессора уже реализованы и все что мы наблюдаем это заполнение увеличивающегося числа транзисторов одинаковыми «отсталыми» ядрами, ну и новая мода — аппаратно реализованным функционалом и стягивание переферии в один кристалл.
Если бы и в производительности тоже наблюдался экспоненциальны рост, то уровень производительности на на одно ядро была бы от 1-100 TFlops в реальности 65 GFlops (AMD EPYC 7H12 (Zen 2), 3,3 ГГц, 64 ядра (2019)[50] — 4,2 терафлопса[51])

Да, GPU до таких цифр доросли, но это тоже суммарная производительность большого числа процессоров, для обычных задач все еще определяющей является производительность на ядро — было бы не так, центральным процессором был бы GPU. Так что производительность Nvidia A100 целиком заслуга технологов выполняющих свою работу по увеличению числа транзисторов, а не архитекторов проектирующих процессорные ядра.

В однопотоке разница должна быть от 1000 -10000 раз. (8 раз для 20 лет это ниочем)

Ну во первых - ожидать что рост однопоточной производительности будет пропорциональным росту числа транзисторов - это слишком оптимистический сценарий. Скорее рост пропорциональный какой то степени числа транзисторов должен быть, как мне кажется
N_flops ~ N_transistors^(gamma) где gamma<1.

Тем не менее, для GPU этот показатель наверное немного ближе к 1.

Понятно что в конце 80- начале 90 вычислетельные мощности расли быстрее, но это изначально было вызвано эффектом "низкой базы", в это время в x86 микропроцессоры внедрялись куча наработок которые шлифовались на самом деле намного раньше на их более крупных собратьях, и так как первые процы н. Как от внедрение суперскалярности, SIMD-инструкции, внеочередное исполнение - все это когда то было разработано на менее продвинутом железе, и и по сути, шло внедрение этих технологий по мере планомерного роста транзисторного бюджета, но никак не изобретение.

С другой стороны, никак нельзя назвать " стягивание переферии в один кристалл" новой модой. Это закономерное следствие повышение степени интеграции системы. Сам CPU родился как "стягивание" нескольких функциональных модулей на один кристалл, потом он поглотил такое важное "периферийное устройство" как FPU (или математический сопроцессор), потом внезапно, когда стало достаточно места на кристалле, поглотил и кэш второго уровня (https://en.wikipedia.org/wiki/Pentium_II - напомню когда то этот кэш был отдельной микросхемкой), потом пришло время контроллера памяти, что радикально улучшило задержки про обращении к памяти.
Следующий этап - это то что мы наблюдаем в M1 - память, графика, и собственно проц одним чипом. И похоже, это весьма положительно сказалось на производительности и энергоэффективности этого чипа, хотя конечно, это только одна из причин.

Понятно что в конце 80- начале 90 вычислетельные мощности расли быстрее

Правильнее сказать: Были не реализованные теоретические наработки, сейчас их нет. Есть S — образный жизненный цикл любой технологии и сейчас современные процессоры находятся на самом верху кривой применения (минимальный сокращающийся прирост, при максимальных усилиях). Примерно как пропеллер у самолетов, рост мощности мотора в разы, прирост скорости единицы километров в час. И продолжалось это до изобретения турбореактивной технологии.

сейчас их нет

Развитие процессоров идет. Просто их мощности стало достаточно и даже с запасом в 2010 на ПК пользователей (мне хватает) и новые процессоры особо не добавляют скорости работы. На телефонах рост производительности заметен вполне.

Плюс технологии стали настолько сложными, что обычным людям не понятно что происходит и в каком направлении идут работы.

А закон Мура вполне работает: https://habr.com/ru/company/madrobots/blog/405413/

обычным людям не понятно что происходит

среднему человеку никогда ничего не будет понятно.
А закон Мура вполне работает:

Но только в плане числа транзисторов на кристалле, в частоте переключения, производительности универсального процессора и потреблении на единицу вычисления нет.

Раньше технологии были более понятны. Работа реле, даже радиолампы триода. Можно было в гараже повторить всё любому инженеру. А вот микросхемы уже как из иного мира пришельцы. И чем дальше, тем больше и специфичней технологии, который поймет только узкий специалист.

Раньше технологии были более понятны.

Думаю и раньше было непонятно.

Расскажу историю из своей жизни:
Учился в школе примерно в 3 или 4 классе.
Попался мне на глаза учебник математики за 2 класс (если не ошибаюсь).
Полистал его все так понятно, примеры решаются даже не на раз, а пачкой за раз.
Приэтом в воспоминаниях осталось, что в момент учебы во втором классе было достаточно трудно.

Думаю вся проблема в уровне знаний, если они на порядок больше требуемого, то проблем нет и совершенно неважно что это за занания такие суммирование чисел от 1 до 10 или задача из квантовых вычислений. А средний человек как правило прекращает (если вообще это делал) учиться, знаний достаточно для «похода в магазин» и просмотра прикольных картинок и все. Остается поверхностное восприятие (оперирование названиями модных технологий без понимания их сути).

Математика как-раз универсальный, общий для всех предмет. А при изучении технологий каждый погружается в свой узкоспециализированный предмет. А они каждый год усложняются. Чтобы понять как делаются процессоры нужно лет 30 поработать в этой области. Пример по тематике сайта, специализированные разработчики даже в из области разработки игр только года через 3 начинают понимать как работает игровой движок трехмерной игрушки. Или у нас, понимание бизнес логики биллинга тоже требует 3-4 года работы ежедневной с системой. А это достаточно простые инженерные задачи, не научные изыскания. То же самое с генетикой, популярные статьи читаются легко и кажется что понимаешь как работают гены, но это поверхностные знания которые ничего не дают в практическом плане. Чтобы стать практиком нужно лет 10-20 работать в отрасли ассистентом. Аналогично с врачами хирургами. Со стороны кажется просто, а опыт требуется достаточно большой, чтобы понимать что делается и не совершать ошибок. Шапкозакидательство осталось в прошлом, когда были гении во всех областях науки одновременно, ввиду полного отсутствия конкуренции.

ввиду полного отсутствия конкуренции

Скорее ввиду малого объема накопленных в то время знаний.
Сейчас да, если спец, то в вопросе «пришивания пуговицы» к «общему пиджаку» да и то только с четырьмя крепежными отверстиями ))
Попробуйте продлить эту тенденцию во времени и добавить появление достаточно умной вычислительной техники — завтра не останется людей хоть сколько нибудь понимающих что вообще происходит.

А вы про Cerebras читали? https://habr.com/ru/company/droider/blog/538730/

Я вот тоже трансгуманист и занимаюсь сингулярностью на дому, пишу GPGPU симуляции - https://habr.com/ru/post/458612/

К идеям создания принципиально иных схем вычисления отношусь с большим уважением, настольный экзафлопс - наше всё

Насколько я понимаю, на чипах это получится сделать только если выстрелят сверхпроводящие интегральные схемы (например на основе двумерных полупроводников) и радикально снизится энергопотребление, иначе как ни ухищряйся из доступных нанометров просто не отвести тепло при любой архитектуре

Альтернативы которые возможно сработают - оптические/голографические, квантовые или даже возможно биохимические, в силу принципиально других порядков параллелизма и энергетической эффективности

А вы про Cerebras читали?

Такая же идеология как и в GPU, много отдельных слабо связанных ядер.

радикально снизится энергопотребление

Снижение потребления вещь очень нужная, но не обязательная.
Для получения большой машины наибольшую важность имеет технология связи.
Какие физические ограничения имеются:
1. Размер вычислительног элемента не может быть меньше атома (ограничение минимального размера).
2. Частота работы ограничена временем распространения электромагнитной волны в пределах размера вычислительного элемента. Чем больше физические размеры, тем меньше производительность при прочих равных.
Получается, что даже если вычисления идеальны и совсем не потребляют энергии (это невозможно) будут ограничения производительности для конечного физического размера. Значит вычислитель неизбежно будет состоять из параллельных или конвейерных частей.
Для уменьшения влияния скорости света, необходимо разбить вычислитель на много мелких параллельных вычислителей и их связать эффективной связью. В данном случае производительность будет ограничена не просто суммой производительности элементарных вычислителей, но и временем взаимодействия отдельных частей.
Проблема отведения тепла решается таким же пространственным распределением элементарных составляющих вычислителя.
Все приведенные довобы работают для всех возможных типов вычислителей.

А нужны ли такие мощности? Человек думает вообще каким-то куском мяса. Время релаксации нейрона 5 мс против 0.1 нс у транзистора. Скорость передачи сигналов по нервам 0.2 км/с против 300 тыс. км/с в процессоре. Нейрон не может сам имитировать логический элемент, их нужны сотни для подготовки сигналов и формирования и передачи результата. В итоге даже 111/3 поделить в уме для многих задача вводит в ступор. Сложность мозга тоже небольшая, задан примерно 3000 генами, это несколько мегабайт информации описывающие структуру мозга со всеми нейронами и белками сигнальными.

Думаю проблема не в мощности, а алгоритме. "Правильная" нейросеть скорее всего сможет работать и на телефоне и будет умнее любого человека при этом. Пока только непонятно как запрограммировать верхний уровень абстракции.

А нужны ли такие мощности?

Считается что для моделирования человеческого мозга требуется компьютер с произодительностью от 10Е16 операций в секунду
Думаю проблема не в мощности, а алгоритме.

Полностью согласен.

Странно что такой компьютер не может у многих поделить 111/3 в уме в течение минуты. Контр аргумент что на такой операции мозг не специализируется. Вот специализируется на распознании лиц, только нейросети это делают быстрее и точнее. Из базы в миллиард лиц выбирают нужное почти мгновенно и точно.

Скорее всего когнитивные искажения, человеку хочется думать что он очень сложен и умнее "этих железяк" и придумывают что каждый нейрон это супер ЭВМ в котором каждый атом это чуть ли не квантовый процессор. А по факту нейроны очень грубо работают, дискретно и шумно. Имитация нейронов с 32 битным входом/выходом намного точнее, это истинная аналоговость.

Аналогично и со зрением, есть мифы что глаз работает с картинками 100 мегапикселей, а по факту долго сканирует кусочками по 0.3 мегапикселя осматривая фрагментами по центру зрения, остальное поле зрения расплывчато.

Если будете в течении всей жизни тренировать счет в уме, то будете считать быстрее чем обычный человек набирает число в на клавиатуре.
Такие люди часто случаются. Сила мозга в диапазоне решаемых задач и если бы выживание зависило от скорости деления 111 на 3, уверяю последний таракан бы делал это со скоростью «пулемета».

Нет, особенно таракан, который даже не теплокровный и с медлительными нейронами. За 1 нс не посчитает. Плюс искусственные нейроны гибко меняют связи, биологические жестко запрограммированы генетически.

Про таракана ничего сказать не могу, но у человека есть механизм:
ru.wikipedia.org/wiki/Нейропластичность

1 нс таракану и ненужно, достаточно быть в разы быстрее «тапка».
Вот попробуйте поймать муху (100 тыс нейронов) в полете ))

Пластичность весьма небольшая. Стекло оконное тоже пластично и в течение веков толщина сверху и снизу меняется.

Муха быстрая (в сравнении с человеком которому нужно импульсы нервные прогнать по нескольким метрам нервов), но датчики у нее и всех насекомых примитивные, видят они мир достаточно грустно И для уклонения от препятствия и не нужны вычисления сложные, технически это делают всевозможные ПИД регуляторы по простой формуле.

Не надо сравнивать ничего с Интелем. Сравнивайте с Эппл. У них и количество транзисторов больше в два раза, и прочие параметры значительно лучше.

Вычислительная техника стагнирует уже 20 лет, даже закон Мура не особенно помогает

Советую посмотреть документальный фильм "AlphaGo" на youtube и статью про эту систему на вики. Во время игры AlphaGo против Ли Седоля по факту было окончательно доказано, что ИИ может быть создан и способен творить.

Но роботы вместо людей на работу не ходят, хоть все и окончательно доказано. ))

Ох, если они таки начнут ходить, с каким теплом мы будем вспоминать сегодняшние дни, когда в нас ещё была необходимость как в рабочей силе

Переводчики, бухгалтеры уже вспоминают дни, когда они были востребованы. Постепенно список специальностей будет расти. Останутся специальности на рынке услуг при высокой конкуренции для сокрытия безработицы.

Но роботы вместо людей на работу не ходят, хоть все и окончательно доказано. ))

Было бы странно, если бы сначала появились роботы, а доказательство возможности их существования - потом.

Во время игры AlphaGo против Ли Седоля по факту было окончательно доказано, что ИИ может быть создан и способен творить.

Мне кажется это очень сильное упрощение. Если бы ИИ уже был достижим и был способен творить, задача беспилотных автомобилей уже была бы решена. Вы взгляните на это под другим углом, можно взять не самого смышлёного взрослого человека, да даже подростка и за месяц научить его сносно водить автомобиль причем он будет его водить в любых условиях на дороге (дождь, снег, туман), по бездорожью, в нестандартных ситуация (например, нужно по полю проехать), используя исключительно свое зрение, без лидаров, камер кругового обзора и пр. Более того этого же подростка можно так же за пару месяцев обучить пилотировать легкий самолет.

А второй момент это уже больше философский, если реальный ИИ будет создан, то люди станут не нужны в практически любых отраслях.

можно взять не самого смышлёного взрослого человека, да даже подростка и за месяц научить его сносно водить автомобиль

Вот вы пишете "взрослого человека", а это значит, что он обучался жизни (решению разнообразных задач) 18 лет при очень нехилой врождённой подготовке нейросетей.

Плюс аварийность Тесл ниже, чем у людей и снижается с каждой версией ПО. Уже сейчас слабый ИИ водит лучше, чем обычный человек. Предсказуемей и безопасней. На Ютубе есть ролики, где видно как Теслы уворачиваются от аварийных ситуаций.

согласен

Вычислительная техника стагнирует уже 20 лет...

Про стагнацию вы конечно загнули.

Вычислительная техника создается для решения конкретных задач. Та же архитектура x86 прекрасно подходила для очень многих областей. Да, для тренировки глубоких нейросетей она уже не подходит, но сейчас активно пилится железо именно под эти задачи: Google TensorFlow, Intel Nervana NNP, IBM TrueNorth и т.д.

Другое дело, что развитие техники идет не так стремительно как хотелось бы, да и с архитектурой нейросетей не все так гладко. Поэтому для создания сильного ИИ могут потребоваться не одно-два десятилетия, как считают оптимисты, а возможно даже столетия.

Вот только нет в запасе столетия, мы живем в мире развивающимся по экспоненте.

А если обобщить мнения специалистов, когда можно ожидать AGI? Традиционно, через 20 лет или сроки более оптимистичные?

Думаю тут все относительно - зависит от того как определить он это уже или нет ;) А вообще я не являюсь специалистом в области AGI - вот решил немного приобщиться, прочитав книгу. Ребята из opentalks.ai, которые альманах по искусственном интеллекту создают в том числе, интересуются этой темой сильно и на самой конференции есть отдельные треки под эту тему, а сбер даже отдельный институт организовывает. Это говорит о том, что мы в этой области уже отходим понемногу от философии к практике. Но предсказывать не возьмусь.

В 60х те же специалисты прогнозировали появление сильного ИИ в 80х, в 80х прогнозировали появление в нулевых, сейчас сложно сказать реализуемо ли это вообще

Зато слабый ИИ стал чуть ли не в каждой кофемолке работать. Думаю в 60х то что мы называем "слабым" интеллектом очень бы удивил специалистов возможностями. Распознание по лицам, в том числе в масках чего стоит и точность достаточна для проведения платежей.

Пример вот работы ИИ слабого, но выглядит не "слабо"

https://habr.com/ru/post/343590/

Так постепенно шаг за шагом слабый ИИ может оказаться и сильным. Тут нормально так описан процесс эволюции ИИ.

Игра в го по сложности мягко говоря уступает реальному миру. Но тем не менее стоит конечно признать, что за последние годы в этой области, в частности в глубоком обучении, был сделан огромный прорыв

Игра в Го заметно превосходит реальный мир, на порядок. В быту очень редко возникают задачи столь же высокой сложности абстракции и с таким же ограничением по времени, а скорее всего и никогда у многих. В реальном мире живут насекомые, хладнокровные животные, теплокровные и человек. Все успешно выживают, даже без наличия мозга, у некоторых насекомых несколько сотен примитивных медленных нейронов и им хватает. Люди тоже далеко не все склонны решать сложные задачи реального мира, распознал цель (банан), скопировал поведение окружения, добился цели и получил рефлекторное подверждение навыка. Поведение не сложное с любой точки зрения.

Как по мне все описанное это псевдо-ИИ. ИИ это мышление, а не вычисления. Многие даже не понимают что такое ИИ и называют так все подряд. ИИ это человеческий мозг, но в цифровом виде.

Это можно спорить бесконечно. На мой взгляд "Как вы яхту назовете, так она и поплывет"

Давайте поставим задачу: ИИ функционально, как самообучающийся «Алгоритм решения произвольной задачи».
Зачем ИИ как личность, важнее что бы он «пахал» самостоятельно, решая задачи в реальном народном хозяйстве.

Без вещей подобных самосознанию ИИ врятли превзойдёт человека в качестве принятия решений, поэтому либо останется все тот же самым узкоспециализированным слабым ИИ, либо станет чем то вроде обезьяны с шашкой

Категорически не согласен.
Если по простому «самосознание» это определение себя во времени, пространстве, потребностях и прочее.
Принятие решений это поиск оптимального решения при некоторых вводных и «самосознание» это одно из вводных, причем совсем не обязательное.

Если агент не сможет определять себя во времени и пространстве, его не сложно будет обмануть, а это не назовешь интеллектуальным поведением.

Те существо которое можно обмануть априори не обладает интеллектом?

А как работает тест Тьюринга по вашему?

Никак он не работает.
Человека обмануть получилось, но реального интеллекта нет.
Ну или «человек» не обладает интеллектом ))

Существует он или нет, текущим ориентиром для сильного ИИ является человеческий интеллект

Во всех науках так, химия начиналась с алхимии и поисков всяких камней. Когда появилось реальное понимание проблемы произошло отсеивание всяческих антропоморфных подходов, осталась только физика и математика. В понимании ИИ мы сейчас и находимся в таком вот состоянии. Науки как таковой нет, сплошное псевдонаучное «колдунство», делаем не понимая что и получаем не понять чего )))

С псевдонаучным не соглашусь, но в остальном да, единой теории на данный момент нет, поэтому и приходится оглядываться на биологию, других идей потому что нет

Ну вы похожи на тех, кто говорил: "Эта железная птица не сможет летать, потому что не может махать крыльями".

А мышление нельзя рассматривать как вычисления?..

Человеческий мозг одна из разновидностей ИИ И в какой-то степени в этом плане. Зачем тянуть весь балласт человеческих свойств (ошибок и непредсказуемого человеческого фактора), если можно сделать ИИ сразу оптимальным для решения какой-либо задачи.

Чтобы сделать самолет не копировали же крыло птицы, нашли форму лучше. Так же и с ИИ развивается всё.

Оптимальность понятие относительное

На мой взгляд сложность в разграничении AGI и слабого ИИ -это разница между глубиной предметной области (1), целями (2) и правилами ее обработки (3). Т.е. если взять шахматы: предметная область -это шахматное поле и фигуры, то как они ходят, цель - победа в виде способности поставить шах, правила обработки - это правила шахмат и нахождение таких эвристик, которые позволят достигнуть цели. Все то же самое можно распространить на AGI и получим, что предметная область - это описания реальности (например в виде графа) которое содержит список всех действительных сущностей и их взаимодействия; цель -внешний запрос пользователя; правила обработки - то, что называется здравым смыслом, то есть опять же набор эвристик, позволяющих достигнуть цели. В принципе сейчас на современных моделях уже достигнуты пункты 1 и 2, то есть явно или неявно в весах модели после обучения уже задана предметная область и есть запрос пользователя. Сейчас все упирается в пункт 3, т.е. нужно как-то суммаризировать все доступные человечеству эвристики, а для этого нужны нормальные мультимодальные модели и новые архитектуры. Думаю, лет через 5 эта цель тоже будет достигнута

Вы описываете один из вариантов фреймворков в рамках которого может быть потенциально создан AGI. Но существуют и другие. В вашей постановке вопрос, что делать, если для достижения цели нужно научиться играть в нарды

Как мне кажется, ключевым критерием отличающим системы сильного (AGI) интеллекта от слабого, является способность выделять и учитывать в работе новые (не присутствовавшие при обучении) признаки/характеристики из входных сигналов.
Все текущие алгоритмы машинного обучения тем или иным образом формируют в процессе обучения конечный набор признаков, который остаётся постоянным при эксплуатации.
Это и не позволяет говорить об универсальности, а значит и об AGI.

Генерация новых признаков нейросетями уже широко используется. Проблема в том, что без понимания сути признака для сети нужно огромное число примеров, чтобы сгенерировать что-то полезное. Мозг может генеририровать полезные признаки из 1 примера.

Любопытно. Признаки генерятся именно в процессе использования сети, а не обучения? Можете какой-нибудь пример назвать или ссылку?

Не уверен, что это про то же самое. @Sanek22 имел в виду добавление признаков, а по ссылке речь про добавление объектов. Если мы строим рекомендательную систему для интернет магазина и она для ранжирования товаров не использует пол пользователя, сама она не додумается до того, чтобы его использовать

vladbalv, именно так!
И в статье автор как-то легко использует фразу «learns on the job, not just during its training phase». Непонятен масштаб этого «learns».
Как я понял из собственно научной статьи, на которую там есть ссылка, речь идёт о некоей переменной(ых), которые могут меняться. Да и про обучение после фазы тренинга в исходной статье я ничего не нашел, так что это скорее слишком широкое понимание автора заметки о свойствах сети.
Но возможно я ошибаюсь, и тот кто знаком более подробно с LTC сетями прояснит нам ситуацию.

интересно, если мозг может, то почему бы и компьютеру не смочь?

Большой сложный вопрос. Если коротко - человек очень предвзят, у него есть некие узкие гипотезы, которые считаются намного более вероятными, чем другие. Например, если нейросети показать две пары X и Y таких, что они складываются в прямую, то нейросеть через них проведёт всё, что угодно, не обязательно прямую. А человек склонен провести именно прямую. Хотя это напрямую не следует из данных. И это хорошая догадка, часто она оказывается верна.

У людей есть много таких эвристик-предвзятостей. Например, предвзятость на тему того, что мир состоит из устойчивых объектов, которых не очень много. Что в мире есть разумные существа, и они постоянно поблизости. Или что мир состоит из иерархических систем чего-нибудь. Многие из этих предвзятостей не осознаются, некоторые неверны в нашем мире. Кое-какие эвристики явным образом перенесены в нейросети, но не все. Вряд ли возможно их все перенести или даже осознать, но можно сделать процесс, который эти эвристики переизобретёт с нуля

Мне больше нравится определение из теории функциональных систем Анохина, что способность предвидеть будущее является ключевой функцией интелекта. Другими словами, пока AI не поймет, что будет отключен, если не научится распознавать котиков, мы не получим Strong AI 😁

Не путайте осознание личности и простое предсказание поведения окружающей среды (при перемещении стакана с водой к краю стола, стакан нужно придержать иначе он разольется и может разбиться, а это плохо).
без осознания личности это скорее насекомые и что то похожее

Граница между сознательным и бессознательным очень размыта, до сих пор нет чёткого понимания разницы, если она вообще есть, вполне возможно это две стороны проявления одного и того же

на счет предвидеть будущее. мир же по рельсам идет. большой клеточный автомат типа. по-любому есть формула всего. как только мы посмотрим на будущее все сразу начнет быстро менятся, как и ИИ даст начало новому прекрасному миру

Мне кажется тут вопрос, а будет ли ему плохо, если его отключить) вроде как может быть и без разницы отключат или нет. на мой взгляд мы боимся смерти не потому что это смерть, а потому что это в нас заложено как механизм

Любой вид жизни по сути представляет собой самоподдерживающийся динамический процесс, пытающийся избежать того что мы называем смертью. Интересные идеи были предложены в теории хаотических систем, о том что простейшие живые системы могут быть развитием процессов вроде Белоусова-Жаботинского и др.

В этом определении не хватает управления. Согласно такому определению, ИИ-водитель способен предсказывать, что через 5 секунд столкновение, но делать с этим ничего не будет.

В современной теории ИИ (не сильного ИИ, а reinforcenment learning) предсказание - это половина дела, вторая половина - это выбор управляющего воздействия, которое приведёт к тому, что реализуется именно хороший для нас сценарий, а не тот, что бы изначально предсказан.

Мне кажется важнейшей проблемой сильного ИИ является отсутствие внятного определения мотивации интеллекта. В статье это упоминалось в контексте обучения с подкреплением, что непонятно откуда брать вознаграждение, функцию ценности или приспособленности как в генетических и эволюционных алгоритмах. По сути все современные методы ИИ сводятся к градиентной или безградиентной оптимизации, для которой необходимо формализовать целевую функцию. В таких простых узкоспециализированных задачах, которые решают нейронки и подобные алгоритмы это сделать не трудно эмпирически, но когда дело доходит до универсального интеллекта это становится непосильной задачей, т. к. упирается в сложные философские вопросы о смысле какой либо деятельности и жизни в целом, относительной ценности различных мотиваций и что вообще такое интеллектуальное поведение. Тест Тьюринга здесь не поможет, т. к. он предполагает наличие некоторого эталонного интеллектуального агента. Если же оценивать сильный ИИ чисто по приспособленности и выживаемости, то это чревато появления у ИИ целей противоречащих человеческим, т. к. в природе всё завязано на конкуренции, и Скайнет в этом случае вполне может стать реальностью. Как говорится, выживает сильнейший.

Мне кажется важнейшей проблемой сильного ИИ является отсутствие внятного определения мотивации интеллекта.

Ни какой разницы с человеком. А у человека какая мотивация? На нижнем уровне пирамиды Масолу - выживание, но тут ИИ тоже можно натренировать на выживание. Далее что? Можно посмотреть на примере детей элиты. Мотивация Random. Наркотики (адреналин), искаженные инстинкты размножения, доминирования.

Так чтобы глобально мыслить о смысле жизни и цивилизации не каждый может. Отдельные писатели, которые ни как не влияют на общество. Станислав Лем, например.

как в генетических и эволюционных алгоритмах

Там нет ничего выдающегося, поиск еды и размножение. Всё лишнее в некотором минимальном количество или нулевом у многих.

По сути все современные методы ИИ сводятся к градиентной или безградиентной оптимизации, для которой необходимо формализовать целевую функцию

Как и у человека. Еще перебор вариантов, налево пойдешь то, направо то.

упирается в сложные философские вопросы о смысле

Как и у человека. Часто с глюками и самоубийством в самое неподходящее время, почитайте, там жесть в плане иррациональности и отсутствие смысла. При этом люди здоровые и после строгого отбора.

выживает сильнейший

Я бы не разделял Скайнет и человека. Это представители цивилизации, связанная глобальная система, мы думаем одинаково. Большие корпорации со штатом аналитиков тоже действуют как ИИ, оптимизируя прибыль корпорации любой ценой.

Вот тут подробнее

Мне кажется важнейшей проблемой сильного ИИ является отсутствие внятного определения мотивации интеллекта.

Мотивация задаётся извне как некая целевая функция.

Ну то есть представьте себе. Некий человек делает сильный ИИ. Зачем делает? Явно не для того, чтобы этот ИИ был следующим звеном эволюции, не для того, чтобы это была личность и не для того, чтобы он осознавал себя. Это всё допустимо, но смысл не в этом. Смысл в том, чтобы ИИ помог добыть денег и склеить понравившуюся программисту девушку. Или чтобы ИИ дал программисту Феррари. Или чтобы свозил его на Марс. В общем смысл в том, чтобы ИИ выполнял прихоти разработчика или оператора, чтобы он был непобедимым джинном, исполняющим желания. Желательно, чтобы это всё делалось безопасно - джинн, который отвезёт человека на Марс так, что тот умрёт - это не очень хороший джинн.

Обучение с подкреплением в основном именно об этом. Есть способ сообщить роботу свои желания - это либо канал подкрепления, либо как-то иначе сформулированная цель. И есть система, которая строит карту реальности и проводит навигацию.

Сильный ИИ (в современной терминологии General) в таком ключе отличается от слабого (Narrow) тем, что может выполнять широкий спект задач "из коробки", без существенного тюнинга, как XGBoost. И желательно, чтобы он не тратил на задачу больше ресурсов, чем потратил бы человек - именно этого в современных RL и нет.

Обалденная книга!!! Авторам - аплодисменты. Очень хотелось бы взять интервью и обсудить

Зарегистрируйтесь на Хабре, чтобы оставить комментарий