Комментарии 17
40 миллиардами параметров в памяти
Это же наверное больше чем у человеков нейронов в голове. Почему они еще не захватили мир?
У головного мозга человека примерно в 2 раза больше нейронов (86 млрд), это не считая сложной сети нервных клеток по всему телу, в т.ч. костный мозг и желудок. А также более квадриллиона синапсов - связей между нейронами.
Поэтому "для захвата мира" нужно объединиться хотя бы 3 таким чипам, чтобы превзойти отдельного человека. А чтобы превзойти человечество потребуется... хм... грузовик таких чипов???
так грузовик то не проблема. Проблема в том, что не понятно, что делать с превзойденным человечеством. Есть идеи?
Число параметров модели нужно сравнивать не с числом нейронов, а с числом синапсов. Так что до захвата мира еще весьма далеко
Судя по чему то такому, то вполне возможно что и на порядок.
Возможно, разгадка в том, что:
“He was a married father of two children, and worked as a civil servant,”
A civil servant, also known as a public servant, is a person employed in the public sector by a government department or agency for public sector undertakings.
(Wikipedia)
Про замену бюрократов на андроидов кто только не писал.
У тебя примерно столько же миллиардов. Ты насколько близок к захвату мира?)
Это же наверное больше чем у человеков нейронов в голове.
Параметр в ИНС не "аналог" нейрона, а синапса. В мозге около 100 млрд нейронов (не считая ещё большей глии, которая скорее всего тоже несёт вычислительную функцию), один нейрон в среднем имеет 10 тыс синапсов. Поэтому эти 40 млрд параметров равны 0.00004 ёмкости мозга.
Беседуя с альпакой и другими обученными энтузиастами нейросетями, я подумал, что едва ли эти модели работают как мозг. Они безмерно проще мозга, настолько безмерно, что не верится в то что модель может выдавать такие качественные результаты.
Возможно дело не в сложности модели, а в сложности языка, которому обучают модель. Приведу аналогию: накопитель на жеских магнитных дисках очень прост - это, по сути, просто магнитная поверхность, но на неё можно записать чертёж ядерного реактора и информацию необходимую для его изготовления. Так же и язык, будучи помещенным в лингвистическую модель, возможно, делает её немного "разумной".
"параметры" модели боле похожи на синапсы, а синапсов у одного нейрона в человеческом мозге, в среднем около 10 000 шт. Так что ещё есть куда расти большим лингвистическим моделям...
Но и это не всё. Я встречал утверждения, что биологический нейрон значительно сложнее его математической модели, в частности, у нейронов, возможно имеется локальная память и это как-то используется во время обучения.
“ 192 гигабайта памяти” - у Apple Studio столько же, интересно, какие модели на нем смогут запустить «домашние» пользователи, пока этот анонсированный чип заработает в составе будущих суперкомпьютеров.
Любую которая поместиться, вопрос в вычислительных возможностях. И это, я говорю об уже обученной сетке.
Запускайте на здоровье, похожих проектов много.
https://github.com/markasoftware/llama-cpu
этой демонстрацией лиза показала что она либо лохушка, либо на лохов рассчитывает, которые купят акселеретор, не умеющий считать ни в половинную, ни в четвертную точность. иначе LLAMA-65b показала или еще что пожирней. Заявление, что наконец то 40-b модели НАКОНЕЦ можно запускать на 1 GPU - это верх глумления над реальностью)
AMD представила чип MI300X AI в качестве «генеративного ускорителя ИИ»