Обновить

86 миллиардов нейронов работают без attention. 500 миллионов лет

Каждое утро в нашем заведении начинается одинаково (с)

Это мы про любимый референс ML-инженеров: «Мозг — 86 миллиардов нейронов, 20 ватт. Наша цель — приблизиться.» И дальше 500 страниц про сжатие модели с 405B до 70B параметров. Ребята. Вы сравниваете кирпич с клеткой печени. По весу.

Параметр нейросети — число в ячейке Excel. С претензией. Нет состояния, нет времени, нет химии. Между запросами — мёртв.

Нейрон мозга — живая клетка, внутри которой мини-сеть из 5-10 ветвей, каждая решает независимо. Синапсы устают и восстанавливаются. Обучение управляется кальцием, а не программистом. Вокруг — астроциты, которые регулируют тысячи нейронов сразу.

Один нейрон = тысячи параметров. 86 миллиардов × тысячи = квадриллионы. GPT — это 0.001% мозга.

А «20 ватт»? Мозг тратит на думание ~2W. Остальные 18 — чтобы клетки не сдохли. GPU тратит 300W и 0W на бытие. Разница не в 15 раз — в 150.

Полный разбор с наукой — у нас в телеге: https://t.me/metabolicai/433

Теги:
Всего голосов 6: ↑2 и ↓4-2
Комментарии4

Зуд от укуса комара или мошки — лютый биохимический прикол

Предположим, вас укусил комар прямо в попу.

Что там, вы не видите, но зудит, поэтому вы чешетесь. То есть прям берёте и начинаете водить ногтями по месту укуса. До тех пор, пока это отвратительное состояние зуда в моменте не пройдёт.

Прикол в том, что почесаться надо достаточно сильно, чтобы боль от царапин перекрыла сигнал зуда в спинном мозге. Тогда вы чувствуете облегчение на несколько секунд. Но механическое воздействие на это место усиливает выброс гистамина и цитокинов, и раздражение становится сильнее. А раздражение — главная причина зуда.

Есть ещё невероятный прикол с серотонином в этой же цепочке, но про него чуть позже.

Боль вообще-то — технология отрицательной обратной связи. Не делай, чтобы тебе не было больно. Не трогай горячее; не выгибай вот так руку; береги пораненную ногу; не бей организмом по кокосу, бей лучше камнем и так далее.

Зуд от укуса комара даёт положительную обратную связь. Чем больше зудит, тем больше зудит.

Часто бывает, что 90% итогового воспалительного процесса — это не комар и его токсины, это мы своими ногтями.

Соответственно, если вы хотите, чтобы что-то на коже заживало, нужно успокоить пользователя, отключить чувствительность в первую очередь. Потом убрать раздражение на уровне сигнальных молекул (загасить цитокиновый микрошторм). Потом уже можно заниматься починкой структуры и полирнуть сверху защитным барьером, потому что сухой роговой слой сам по себе раздражает рецепторы.

И вот у нашей лаборатории появилась задача это всё собрать. Опыт за 30 лет накопился, в регенерации тканей мы уже хорошо разбираемся, но прошло не без сюрпризов.

Зуд от укуса комара или мошки — лютый биохимический прикол

Публикации