Search
Write a publication
Pull to refresh

Comments 6

Больше похоже на астрологический прогноз, что, впрочем, не отменяет возможное авторство дикпика DeepSeek’а.

Изначально статья создавалась на английском, и не в стилистике Хабра. Перевод выполнен с помощью o1 full, после перевода я вручную поправил неточности (возможно есть неудачные формулировки - я работаю с терминологией на английском, вся передовая документация только английская)

А я ожидал увидеть оценку количества параметров мозга. Давайте я попробую написать за автора, многим интересно же!

В мозге сотни миллиардов нейронов (встречал оценки 100-500 миллиардов). Но нейрон это не параметр. Ближе к параметру дендрит. У нейрона в среднем около 10 000 дендритов. Итого, становится не так важно 1200, 500 или 900 миллиардов нейронов, ведь наверняка множество источников сложности не учтено, например, некоторые исследования утверждают что у нейронов может присутствовать локальная память, кроме параметров в дендритах и использоваться она может в процессе обучения.

Итак у мозга порядок параметров в районе 10¹⁷- 10¹⁸, для сравнения в китайской deepseek v3 - 761 миллиард параметров, т.е. она отстаёт ещё на 5 порядков. Интересно то, что в коре нейроны сгруппированы в нервные колонки, каждый из которых содержит около 1 миллиона нейронов или десяти миллиардов параметров. Возможно MoE-эксперты является прообразом нервных колонок, у человека таких колонов несколько сотен тысяч, а в deepseek v3 эксперты состоят из 37 миллиардов параметров, а всего экспертов должно быть 16 или 18 шт.

Это все конечно в высшей степени не точно. Если у вас есть более точная и корректная информация, то поправьте меня.

Стоит отметить, что значительная часть нейронов в мозге относится к его "старым" отделам, функции которых не имеют отношения к интеллекту, как мы его понимаем, когда говорим про AGI. Это управление внутренними делами организма, управление движениями и т.д.

Sign up to leave a comment.

Articles