Закат архитектуры фон Неймана, о котором вы еще не слышали и что будет дальше?

Все потому что это попытка описать много мерный мир по сути двухмерным сигналом. Улучшать надо качественные показатели, а не количественные.

При чем тут архитектура фон Неймона? Она никак не регулирует количество каналов доступа к памяти, как и размер ядер. Она лишь про то, что данные лежат вперемешке с программой, а так хоть по отдельной РАМ на каждое ядро.

Проблема а: вот как нужно вам было хранить 2gb в памяти, так и нужно, какая бы архитектура ни была. И вам нужна большая линейная память, хоть у вас трижды нейросетевой сверхкомпьютер. И он упирается обратно в доступ к этой памяти.

Проблема б: хорошо, вот у вас есть 100 ячеек по 16 мб вместо одной на 1600 мб. Что делать если одному ядру (нейрону, чему угодно) нужно что-то из другой ячейки памяти? Блокировать вторую ячейку или копировать данные из нее? В целом с этим стакливались и узким местом является не доступ к памяти как к таковой, а когда процессы конкурируют за данные. Причем вы сами же это пишете в выводе. И это все еще не имеет никакого отношения к архитектуре фон-Неймона. UPD прочитал следующую статью, доступ к памяти другого нейрона не предполагается, что делает его отличным для разбора потоковых (одинаковых!) данных и отвратительным для ну не знаю, выполнения JS. Т.е. "убийца" не сможет толком отобразить эту же страницу.

Проблема в: компьютеры на нейронах достаточно специализированные. Чтобы получить компьтер общего назначения, их нужно динамически "прошивать", внося огромную задержку при переключении задач, либо заранее разбивать на зоны, драмматически теряя в производительности. Так что никакую "фон-неймовскую архитектуру" она не убъет (ага, особенно с учетом что ничего не мешает продолжать использовать одну и ту же память для данных и для кода, т.е. все еще быть в рамках фон-Неймовской архитектуры).

Ну а как процессор специального назначения — тоже мне новость.

А как вы видите решение бухгалтерских задач с использованием нейронных сетей.
Если возможно почти по шагово, с отсылками к существующим технологиям.
В моем понимании нейронные сети больше относятся к адаптивным фильтрам или системам распознавания.

Мне выход из этой ситуации представляется как уход от универсальных процессоров к специализированным. В смартфонах это уже сейчас происходит. Типичный SoC — это СPU, GPU, несколько разных DSP для обработки звука, видео, информации от сенсоров, специализированное криптоядро для шифрования и платежей. Дальше можно предположить появление отдельных ядер для типичных приложений — аппаратный интерпретатор Javascript, аппаратный отрисовщик шрифтов, упаковщик-распаковщик архивов и т.д. А центральный процессор будет только раздавать задания этим блокам и собирать результаты.

Если предположить, что мы можем создавать блоки, основанные на ста транзисторах при количестве этих самых блоков более миллиона мы бы получили значительный прирост отказоустойчивости в чипе.

Не факт. Увеличение блоков приведет к увеличению количества связей между ними, появлением разделяемых каналов данных и прочих прелестей. Поэтому делать вывод об увеличении надежности преждевременно. Кроме того, надо смотреть и как поведет себя производительность. Возможно выигрыш по надежности будет полностью уничтожен падением производительности.