Подписки ваши заблокируют, отменят, сеть положат и т.д. и т.п. Но это все мелочи в контексте постоянного слива своих разработок и разработок заказчика неопределенному кругу лиц, разумеется если вы конечно чем-то серьезным занимаетесь. Пробовал я куда более мощные, скажу так - разница ничтожна (ну не помогут они с тем, чего никто еще не делал), когда вы на передовой линии разработок - модель может лишь убрать рутину, а с этим и открытые модели прекрасно справляются, если конечно у вас руки из нужного места растут.
Сколько вы уже потратили за последних три года на все эти тучи нейронок? Я не мало (только не говорите, что я лох). Я вовсе не луддит с ностальгией по факсу. Я искренний AI-энтузиаст...
Ольга Прокопьева, "лох, луддит, энтузиаст" это все не самая большая проблема в вашем случае... А по делу - тратить деньги на подписки - ну такое себе, а вот развернуть локально - совсем другое дело, я потратил 150т.р. на две V100 по 32Gb связанных по NVLINK и очень доволен Qwen на 80 миллиардов параметров.
Хуже не придумаешь, роспатент и так ведет себя - что хочу то ворочу в случаях когда твоя заявка понравилась конторе с деньгами (по себе знаю), а тут еще и авторское право решили загубить...
Этот график показывает эффективность энергопотребления за полученные TPS относительно GPU
Здесь расчет несколько мухлежный, поскольку карты типа A100 дают радикально более высокие показатели при больших батчах и производительность на ватт у них на голову выше чем у того же мака. Просто потому, что шина памяти в разы быстрее. Понятно что здесь рассматривается не параллельное применение модели, но тем не менее.
Могу предположить что будет: сенсоры, датчики, общение с людьми, автономные фабрики и лаборатории, роботы и беспилотники - у ИИ будет множество способов получать информацию самостоятельно. По сути ИИ уже на пороге получения антропоморфных аватаров.
Имхо, в простых задачах очень даже работает и очень даже ускоряет. В больших (больших с точки зрения сложности и больших с точки зрения объема) - не работает, пока не работает. Этим просто нужно правильно пользоваться, если конечно готовы вместо нового авто купить вычислитель.
И все равно в итоге все раскрывается в тексте договора. Если там есть дичь и компания не готова менять текст договора - с компанией однозначно не стоит работать.
OpenGL можно и многопоточно использовать - шарится контекст и вперед. CUDA для NVidia дает значительно больше возможностей чем OpenCL. Смысла особого параллелить потоки для CUDA нет, если только много мелких взаимодействий с ускорителем, а для конкурентного исполнения, там есть стримы.
Подписки ваши заблокируют, отменят, сеть положат и т.д. и т.п.
Но это все мелочи в контексте постоянного слива своих разработок и разработок заказчика неопределенному кругу лиц, разумеется если вы конечно чем-то серьезным занимаетесь. Пробовал я куда более мощные, скажу так - разница ничтожна (ну не помогут они с тем, чего никто еще не делал), когда вы на передовой линии разработок - модель может лишь убрать рутину, а с этим и открытые модели прекрасно справляются, если конечно у вас руки из нужного места растут.
Ольга Прокопьева, "лох, луддит, энтузиаст" это все не самая большая проблема в вашем случае...
А по делу - тратить деньги на подписки - ну такое себе, а вот развернуть локально - совсем другое дело, я потратил 150т.р. на две V100 по 32Gb связанных по NVLINK и очень доволен Qwen на 80 миллиардов параметров.
Устройте меж ними аукцион )
Тут уже ошибка, должно быть
роди'лась, по крайней мере, мы именно так всегда в детском саду пели.Да, хреново когда не знал, да еще и забыл...
Хоть бы ссылочку привели, а то все искать приходится =)
https://github.com/linanchernov/ena_standalone
А не проще просто присоединить две клавы и на одной русский настроить, а на второй английский?
Лет через 20 интересно, что ты сам себе скажешь.
Хуже не придумаешь, роспатент и так ведет себя - что хочу то ворочу в случаях когда твоя заявка понравилась конторе с деньгами (по себе знаю), а тут еще и авторское право решили загубить...
Не сотни тысяч, а максимум десятки тысяч, кора толще 1 мм и нейроны далеко не только в ней содержатся.
Здесь расчет несколько мухлежный, поскольку карты типа A100 дают радикально более высокие показатели при больших батчах и производительность на ватт у них на голову выше чем у того же мака. Просто потому, что шина памяти в разы быстрее. Понятно что здесь рассматривается не параллельное применение модели, но тем не менее.
Могу предположить что будет: сенсоры, датчики, общение с людьми, автономные фабрики и лаборатории, роботы и беспилотники - у ИИ будет множество способов получать информацию самостоятельно. По сути ИИ уже на пороге получения антропоморфных аватаров.
Достоверных знаний? Ну ну..
Имхо, в простых задачах очень даже работает и очень даже ускоряет.
В больших (больших с точки зрения сложности и больших с точки зрения объема) - не работает, пока не работает.
Этим просто нужно правильно пользоваться, если конечно готовы вместо нового авто купить вычислитель.
И все равно в итоге все раскрывается в тексте договора. Если там есть дичь и компания не готова менять текст договора - с компанией однозначно не стоит работать.
В российских компаниях по другому ЗП не поднимали и не поднимают, если что )
А давайте сделаем вечную лампочку? В светодиодные тоже выход из строя заложен.
Да, хорошо бы врачей заменить умными машинами )
OpenGL можно и многопоточно использовать - шарится контекст и вперед.
CUDA для NVidia дает значительно больше возможностей чем OpenCL.
Смысла особого параллелить потоки для CUDA нет, если только много мелких взаимодействий с ускорителем, а для конкурентного исполнения, там есть стримы.
NVRTC - правильно, а NVCC - как ни крути что-то в этом остается вечно неправильно )