Нет, NF4 это не про фиксированную запятую. Это теоретически оптимальное lossy minimum entropy encoding: вероятность энкодинга числа в каждый из 16 значений должна быть одинаковой, для этого берется нормальное распределение и считаются нужные квантили. Но было бы странно, если бы они были несимметричны, нужно смотреть оригинальную статью (qlora), чтобы разобраться
Нажимая на кнопки 1/2/3/.., можно прыгнуть на 10%/20%/30% соответственно. Нажав на L, можно прыгнуть на 10 секунд вперед. Очень удобно, и никаких расширений не нужно
Хм, понимаю вашу аналогию. Но тогда выходит, что прогресс особо не измерить? Ведь улучшения на бенчмарках в рамках этой аналогии будут лишь более высокими прыжками. И только при изменении парадигмы может произойти глобальный сдвиг. Но это будет значить резкий переход от 0 до 1, без градаций.
В принципе, такая позиция имеет право на существование. Я вижу это по-другому, но это уже субъективщина.
А для вас есть какой-то конкретный результат, при достижении которого можно было бы сделать вывод, что у нас есть AGI, а не пого-палка?
Про Hochschule — значит неправильно помнил, странно.
Аспирантура будет в Амстердаме (CWI) на тему evolutionary neural architecture search. В Германии над темой NAS работает лаба во Фрайбурге, но у них вроде как не ожидается открытых phd позиций в этом году.
Нет, NF4 это не про фиксированную запятую. Это теоретически оптимальное lossy minimum entropy encoding: вероятность энкодинга числа в каждый из 16 значений должна быть одинаковой, для этого берется нормальное распределение и считаются нужные квантили. Но было бы странно, если бы они были несимметричны, нужно смотреть оригинальную статью (qlora), чтобы разобраться
Нажимая на кнопки 1/2/3/.., можно прыгнуть на 10%/20%/30% соответственно. Нажав на L, можно прыгнуть на 10 секунд вперед. Очень удобно, и никаких расширений не нужно
Вот оно, будущее: каждый день заряжать маску
В принципе, такая позиция имеет право на существование. Я вижу это по-другому, но это уже субъективщина.
А для вас есть какой-то конкретный результат, при достижении которого можно было бы сделать вывод, что у нас есть AGI, а не пого-палка?
Мне кажется, бенчмарки вроде SuperGLUE показывают прогресс
Аспирантура будет в Амстердаме (CWI) на тему evolutionary neural architecture search. В Германии над темой NAS работает лаба во Фрайбурге, но у них вроде как не ожидается открытых phd позиций в этом году.