Комментарии 37
Что ж ты фраер сдал назад
"Ram" также переводится как "баран". И пусть в США оно такого явного оскорбительного подтекста ("тупой, глупый, упёртый"), как в России - не имеет, но всё равно... )
А если платить владельцам компов за использование их памяти? Распределенные такие вычисления.
Я не спец тут. Это реально?
Эффективность крайне низкая будет. Производители, наоборот, собирают память как можно ближе к вычислителям, и даже думают насчет вычислений непосредственно в памяти.
В своё время был популярен скринсейвер SETI HOME, который получал фрагменты неба, снятого телескопом, для поиска признаком внеземной жизни. Он запускался, как все скринсейверы и обсчитывал полученные данные и отдавал результаты. Кто мешает сделать то же самое с нейросетями?
Там не снимки были. А записи с радиотелескопа. Вот эти записи и предлагалось анализировать на предмет закономерностей
да там не только SETI, а полно проектов распределенных вычислений BOINC, сам в свое время участвовал в Rosetta, Gerasim, Einshtein
Не для LLM пока что. Сегодняшние архитектуры плохо ложатся на распределённые вычисления. Даже MoE требует быстрой связи между всеми узлами. Некоторые работы ведутся и шансы есть изобрести такую архитектуру, но пока без конкретики.
А вообще было бы круто, если бы можно было в LLM участвовать как в торрентах.
Нет, в суперкомпьютерах дело не в объёме памяти как таковой, а в скорости доступа ко всему этому объему. Там память с широченными шинами, c минимальными задержками и всё как можно ближе с процессорам. Между серверными модули тоже связь далеко не рядовое оптоволокно, а, например, NVLink-C2C.
Сейчас уже предлагается использовать такую оперативную память, где вычисления происходит прямо в микросхеме, чтобы еще сильнее снизить задержки.
В нулевых уже были проекты коммерческих распределенных вычислений на пользовательских ПК за вознаграждение.
Получается дорого и неэффективно.
Мне всегда казалось что Хром, непонятно куда жравший память не так давно, что-то подобное и обкатывал. Но судя по тому что жрать память он вроде перестал, эту затею свернули
@что его цель — добиться значительного увеличения мировых объёмов производства памяти,
Зачем это производителям памяти? Они и сейчас в шоколаде, а резкое увеличение объемов производства потребует огромных инвестиций, при том что нет никакой гарантии, что потребление так и будет вечно расти в геометрической прогрессии. Если ИИ-шечка даже не лопнет, а просто перестанет надуваться нынешними темпами, то производители останутся с доверху забитами памятью (дисками и т.п. нынешним дефицмтом) складами и ненужными производственными мощностями. И населению, которое, кстати, уже сильно подсажено на разнообразные "облака", втюхать освободившиеся объемы памяти вряд ли получится.
Уже было как минимум три бума за последние 10-15 лет: майнинг [вставьте название]койнов, потом COVIDный, теперь ИИ, а производители памяти до сих пор говорят, что это временное помешательство и скоро как всё подешевеет.
Что-то я им как-то больше не верю, а вы?
Майнинг-бум закончился, ковидный тоже, ИИ-шный ждём пока. Ну то есть память после ковидного подешевела перед тем как при Альтмане подорожать.
Но товарищ этот юморист каких мало. Хотя технически верно, что эффективность использования памяти в ДЦ выше, его план по ликвидации дефицита строится, по сути, на двух китах:
роботы заполонят планету и eventually наделают нам компонентов (и памяти в том числе)
(тыкая производителей памяти палочкой) эй, производители, у вас же сколько денег, почему вы не строите новые заводы?
На предложение построить завод самому, скорее всего, можно будет услышать ответ «мне нельзя, я чатланин». Так что ку!
А я верю, потому что даже в 2025 RAM падала в цене, пока вендоры не законтрактовали все мощности на планете.
втюхать освободившиеся объемы памяти вряд ли получится.
Вряд ли проблема. Убедить что в каждом игровом компе и приставке должна стоять ИИ-ка (ну не такая умная, как на здоровенных моделях, но достаточно), чтобы NPC и мир вообще поживее были - я думаю, не слишком сложно. Получилось же это в свое время с, собственно, видеокартами аргументируя все это "реалистичностью картинки".
Они, скорее, боятся, что им втюхать все это населению - не дадут. Потому что так создастся много локальных (пусть и не очень умных ИИ) - регуляторы могут и испугаться.
"Правильно она тебя поняла, правильно!"(с)
Опроверг, да не опроверг.
Да, говорит, плохо, что памяти мало, было бы лучше, если бы её было много.
Но всё равно считает, что память ему нужнее, чем нам. А виноватыми объявил злых производителей, а не себя, скупающего всё, что они успевают сделать.
Ну да, как мемов в панамку насовали - так сразу "не правильно поняли".
Альтман же: "Мы же усские люди, мы не обманываем уг уга".
Альтмана отпустило))))) А если серьезно, то у них сейчас задача найти применение дата-центрам. Очевидно же иишка надежды не оправдала.
Альтман пообщался со своей нейронкой пропустив через нее все возмущения против него и выбрал лучшую стратегию? Кто знает кто знает
Альтман опроверг свои слова о необходимости отбирания оперативной памяти у пользователей
То, что вы слышали. Это не то, что вы слышали. Удобно.
Прям просится цитата, а что так можно?
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Альтман опроверг свои слова о необходимости отбирания оперативной памяти у пользователей