Comments 6
Выглядит как продукт творчества ChatGPT...
Невольно вспоминается утиная типизация )))
Больше похоже на астрологический прогноз, что, впрочем, не отменяет возможное авторство дикпика DeepSeek’а.
Изначально статья создавалась на английском, и не в стилистике Хабра. Перевод выполнен с помощью o1 full, после перевода я вручную поправил неточности (возможно есть неудачные формулировки - я работаю с терминологией на английском, вся передовая документация только английская)
А я ожидал увидеть оценку количества параметров мозга. Давайте я попробую написать за автора, многим интересно же!
В мозге сотни миллиардов нейронов (встречал оценки 100-500 миллиардов). Но нейрон это не параметр. Ближе к параметру дендрит. У нейрона в среднем около 10 000 дендритов. Итого, становится не так важно 1200, 500 или 900 миллиардов нейронов, ведь наверняка множество источников сложности не учтено, например, некоторые исследования утверждают что у нейронов может присутствовать локальная память, кроме параметров в дендритах и использоваться она может в процессе обучения.
Итак у мозга порядок параметров в районе 10¹⁷- 10¹⁸, для сравнения в китайской deepseek v3 - 761 миллиард параметров, т.е. она отстаёт ещё на 5 порядков. Интересно то, что в коре нейроны сгруппированы в нервные колонки, каждый из которых содержит около 1 миллиона нейронов или десяти миллиардов параметров. Возможно MoE-эксперты является прообразом нервных колонок, у человека таких колонов несколько сотен тысяч, а в deepseek v3 эксперты состоят из 37 миллиардов параметров, а всего экспертов должно быть 16 или 18 шт.
Это все конечно в высшей степени не точно. Если у вас есть более точная и корректная информация, то поправьте меня.
Оценка потребностей в GPU для AGI масштаба мозга