Комментарии 22
Дронам
Если не брать обычных людей для которых делают copilot, то все тем же - дизайнерам, фотошоперам, музыкантам и прочим криЭйтерам. В медицине есть некоторый спрос
В каждом Виндоус компьютере будет работать локальная нейросеть для обработки документов и фотографий локально, для этого нужна чудовищная мощь, как в видеокартах - тысячи ядер и десятки гигабайт памяти.
Микрософт офис будет тебе сам документы редактировать, а ты ему будешь человеческим голосом распоряжения отдавать, сравни результаты прошлого месяца с нынешним и составь отчёт для белого властелина.
Зум будет на лету исправлять твой тяжёлый рязанский акцент итп.
Это не ИИ производительность, а просто производительность вычислений с параллелизмом данных. Кодирование/декодирование видео, обработка и распознавание голоса, обработка фотографий, скелетная анимация, распознавание образов на видео, майнинг крипты. Да дофига вычислительных задач могут использовать этот модуль.
Сейчас дизайнерам и художникам нужна видеокарта, что бы генерить картинки на локалке. NPU в процессоре позволят это делать на ультрабуках на которых они привыкли работать и в которых нет дискретных видеокарт. Уже тот же SDXL можно запустить на core i5 ultra без видеокарты. Когда раньше без дискретки на 8гб минимум твой пк шел лесом.
Если заменить "TOPS" на "сепуление в секунду", а NPU на "сепулькарии", то новость нисколько не потеряет в смысле
Как воспользоваться этой мощью, какой софт запуска тех же llm поддерживает эти tops-ы?
Предположу, что все питонисты, кто использует ML-обучение и библиотеки Keras/Tensorflow, выиграют в приросте производительности.
Из прикладных задач тут будут работы с геномными данными и распознавание болезней по изображению (пачки МРТ- или КТ-снимков).
Помню, как коллеги радовались, когда запускали свои геномные пайплайны на А100, сказали что выигрыш во времени измеряется в часах (против обычных десятков часов)
Именно tensorflow в дефолтной поставке не умеет различные расширения Интел процессоров которые для ИИ пилили, там нужно подбирать версии, и скажу этот квест сильно не проходимый, именно поэтому наверное llama.cpp для работы на процессоре лучше решение, там вся поддержка мейнтейнером пилится что даже удивительно
Звучит интересно, конечно, но все таки хочется узнать, как оно работает на деле, немного сомнительным кажется.
Про цены еще ничего не известно? Вкусно выглядит.
А мне больше понравилась вот эта характеристика:
TDP может колебаться от 15 до 54 Вт. По всей видимости, нижнее значение соответствует работе в практически однопоточном и одноядерном режиме без нагрузки на графику, а тепловыделение верхней границы — при полной нагрузке на процессор.
При полной нагрузке на 12-ядерный процессор с не самой плохой интегрированной графикой — всего 54 Вт!
Меня больше интересует как заставить работать. Сейчас этих NPU сто штук, и ещё миллион на подходе (утрирую). Но подозреваю что поддерживаются они примерно ничем, кроме единичных версий специально скоммилированных под них инструментов.
Когда будет DirectX for ML?
Лучше уж VulcanML — он, хотя бы, будет открыт.
Так и в чем проблема?
https://docs.openvino.ai
https://github.com/microsoft/DirectML
https://www.w3.org/TR/webnn
https://developer.android.com/ndk/guides/neuralnetworks
https://developer.apple.com/documentation/coreml/
https://intel.github.io/intel-npu-acceleration-library
https://furiosa-ai.github.io/docs
https://github.com/ARM-software/ethos-n-driver-stack
https://github.com/amd/xdna-driver
https://github.com/Xilinx/XRT
Название условно, понятное дело. Просто какой-то относительно единый стандарт который может работать на всём этом зоопарке. А то ниже уже скинули целый сонм разных вариаций.
AMD представила процессор с самым мощным NPU в мире