МТС тестирует платформу машинного обучения на сторонних устройствах

[ivankudryavtsev]

О, они тоже изобрели SETI :)

Дело годное.

[stalker_316]

А потом мы сделаем вам платную раздачу. Потому что.

[benone]

Хорошее начинание:

1. В РФ точно не будут официально поставлять чипы для нейронок, а неофициально будет приходить всякое старье. это хоть какая-то альтернатива чтобы не скатиться в каменный век.

2. На обучение моделей компании тратят десятки, а то и сотни миллионов долл и будут тратить только больше. Если был бы норм кпд, лучше их платить владельцам устройств)

[freeExec]

КПД тут всё же маленький. Скорость будет ещё меньше. Если вспомнить тот же SETI@HOME, то ты скачивал кусок данных и по 12 часов его обрабатывал. Тут был смысл.

А нейронками что, да ты можеш разбить большую сеть на меленькие куски и попросить пользователя перемножит матрицу, но тут возня с распределением и передачей данных занимает на порядки больше времени, нежели сам расчёт.

[ivankudryavtsev]

Меня больше смущает вопрос защиты датасетов.

[freeExec]

Даже если они дадут обсчитывать первый слой на сторону, всё равно с учётом векторизации, токенизации и вообще всего лишь маленького кусочка от полной задачи, задача восстановления трудно выполнимая. На худой конец, входящие данные на первом слое они могут и сами обсчитать.

[vikarti]

Вот смотрю я описание llama.cpp и там есть поддержка MPI, и люди даже на кластерах rPI запускают, just for fun. Да - очень медленно, да - по сути каждый узел свои слои обрабатывает.

А еще - есть такая штука как Kobold AI Horde. Распределенная система с добровольцами (и с системой их мотивации, мне - очень напоминающий битторент). Да, каждая отдельная сетка должна лезть в объем видеопамяти у этого добровольца(точнее софт добровольца говорит что у него загружено), но запросов то все равно много.

[vasapap]

H100 на Авито продают. Думаю кому надо через Казахстан привезут.

[benone]

Вопрос в том, сколько штук продают на авито и сколько тысяч нужно чтобы обсчитать модель)