Pull to refresh

Comments 11

Жалко что тех подробностей нет. Как понимаю похоже на квантиизацию которая сокращает разрядность чисел, при этом уменьшая точность. Тут выглядит похоже, но не за счет разрядности, а за счет точности вычислений (размер остается тот же и влезать лучше в мою видеокарту не начнет =). Точность тут должна сильно падать и не понятно как это повлияет на реальные модели (улучшение мягко говоря маловероятно), но при этом выигрышь по инференсу тут конечно должен быть огромный.

Там по ссылке открывается статья их. С тех подробностями. Немного магия, странное сложение. Читал на прошлой. Может слишком в специфической задаче применимо. Я понял , что точность все дела, но при чем там обычное добавление 2 в степени функция ...

https://arxiv.org/pdf/2410.00907

Нивидиа уже пообещала блокировать данную вопиющую гадость, как вредоносную, для выполнения на своём оборудовании.

Главная задача для ИИ - это добавить ему интеллекта.

Почему ребенку не нужно смотреть на миллион других котиков, чтобы он смог отличить кота от собаки или тигра

Необходимость прорыва в обучении ИИ: Tao полагает, что для того, чтобы ИИ смог конкурировать с человеком в творческих задачах, необходим прорыв в области обучения с использованием минимального объема данных.

Ребенок смотрит на миллион котиков с разных сторон со скоростью 24 котика в секунду

Ну да. Только один момент: если взять картинку с котом, перевернуть её на 180 градусов и показать ребенку - он все равно распознает на ней кота. И я крайне сомневаюсь, что ребенок распознает поворот картинки потому, что в течение своей жизни видит "миллион перевернутых вверх ногами котиков с разных сторон со скоростью 24 котика в секунду"

А вот у ИИ, которому в датасет не насыпали "перевернутых" котов, с распознаванием "перевернутого" кота (да и не только кота) возникнут серьезные трудности . Более того, даже если скормить ИИ кучу "перевернутых" картинок, то это совсем не гарантирует того, что ИИ начнет адекватно распознавать этот самый поворот.

Как-то не особо согласуется ваше теория с тем, что мы имеем в CV на практике.

Только один момент: если взять картинку с котом, перевернуть её на 180 градусов и показать ребенку - он все равно распознает на ней кота.

Ой, я бы на Вашем месте не был бы столь категоричен...

Всякие картинки котов бывают...

Насчёт переворота – вы уверены? Так-то я себе вполне могу представить процесс эволюции некоторых моделей, в результате которого они научатся игнорировать повороты без примеров каждого объекта под новыми углами.

Целевые функции – качество распознавания и размер модели. Вместо размера можно просто фигачить "мутации" в нейроны, это даст преимущество модели, хранящей свои данные более компактно (и/или многократно дублирующей их).

UFO landed and left these words here

Наконец-то до них доходит, что и сложения хватит, а текущие видеокарты, как минимум для инференса подходят отвратительно.

Главное, чтобы не останавливались на полумерах, и сразу пробовали подход BitNet 1.58, и разрабатывали ускорители с его поддержкой.

Sign up to leave a comment.

Other news