Ну так в Pangolins интеллекта было ровно столько, сколько ввел пользователь, а тут автор утверждает, что модель имеет "ярко выраженную индивидуальность". Видимо 39 КБ ушло на харизму)
Напоминает старую демосцену, где в 4 килобайта запихивали 3D-шутер. Тут конечно не LLM в современном понимании (трансформеров там явно нет), а скорее адски оптимизированная вероятностная модель, но сам факт запуска инференса на таком железе вызывает уважение) Снимаю шляпу
более уместен был бы вопрос "кто-то еще пользуется нелокальной LLM"?
Да, 99.9% пользователей. Чтобы запустить локально модель уровня Claude 3 Opus или GPT-4, нужна видеокарта за несколько тысяч долларов и куча времени на настройку. Облачные сервисы выигрывают по удобству с разгромным счетом
Даже если бы права были гранулярными, это бы не спасло. Средний пользователь все равно на все нажмет "разрешить" лишь бы заработало. Проблема не столько в модели разрешений, сколько в отсутствии нормального аудита со стороны магазинов и в низкой грамотности пользователей
Главный урок : если вы не платите за продукт, то вы и есть продукт. Ничего нового, просто теперь в зону риска попали и диалоги с ИИ, которые как оказалось очень ценный товар
Дело же не только в задушке, эмоции это не просто набор слов, это реакция на контекст, на личный опыт. Естественно у машины этого опыта нет, она может имитировать грусть, но она не понимает, почему человек грустит, поэтому эмоции всегда получаются плоскими, как у актера-первокурсника)
Да как бужто это было очевидно с самого начала, ллм по определению не может иметь уникальный живой голос, может лишь имитировать его, причем довольно неуклюже. Удивлен что для подтверждения этого понадобилось целое исследование
белый список — это мера, которая позволит уменьшить для граждан неудобства, вызванные необходимыми для обеспечения безопасности отключениями мобильного интернета
Лучший способ уменьшить неудобства от отключения интернета - не отключать интернет
Гляньте список патчей, которые Debian или Red Hat накладывают на ядро Linux или на тот же Firefox, там могут быть сотни исправлений, так что технически мейнтейнер может выпилить эту функцию, да, но политически вряд ли. Будет слишком сильное расхождение с апстримом, которое потом будет больно поддерживать.
Патчить системные компоненты вручную это конечно круто и по хакерски, но это путь воина-одиночки
Как верно заметили в комментариях, после первого же apt upgrade весь ваш патч улетит в трубу. Более системное решение это либо PR в апстрим, либо создание своего пакета с патчем для своего дистрибутива, либо как предложили, настройка политик dbus
Полностью согласен, статья хороша именно своим авторским стилем, аналогиями, кодом, а в Википедии все это вырежут, оставив сухой остаток из формул и определений, который будет мало чем отличаться от уже существующей (и плохой) англоязычной версии
Алгоритмы с гарантированной точностью это конечно хорошо, но часто они вычислительно дороже стандартных методов из LAPACK. Для большинства инженерных задач точности double и устойчивости алгоритма Бартелса-Стюарта более чем достаточно
Статья великолепна, но у меня есть одно но. Она заявлена как "пре-релиз для Википедии", а стиль-то совсем не википедийный - живой, авторский, с метафорами и кодом. Боюсь, в таком виде ее из Википедии выпилят за "оригинальное исследование" и "неэнциклопедичный стиль"
Возможно стоит разделить ее на несколько более сухих и формальных статей для Вики, а этот прекрасный лонгрид оставить здесь, на Хабре)
Про миллиарды операций конечно художественное преувеличение, скорее всего имелось в виду, что современные фреймворки не парятся и для вычисления синуса на GPU могут использовать универсальные матричные операции, которые тратят кучу ресурсов, но зато не требуют специализированных инструкций
Вот читаешь такое и понимаешь насколько мы обленились. Pentium считал синус за десятки тактов с помощью хитрого полинома, зашитого в кристалл, а сейчас мы для той же задачи гоняем нейросети и не паримся
Эх, были времена когда ии помещался в пару страниц листинга...
Ну так в Pangolins интеллекта было ровно столько, сколько ввел пользователь, а тут автор утверждает, что модель имеет "ярко выраженную индивидуальность". Видимо 39 КБ ушло на харизму)
Напоминает старую демосцену, где в 4 килобайта запихивали 3D-шутер. Тут конечно не LLM в современном понимании (трансформеров там явно нет), а скорее адски оптимизированная вероятностная модель, но сам факт запуска инференса на таком железе вызывает уважение) Снимаю шляпу
подожду отзывы реальный людей пока
Да, 99.9% пользователей. Чтобы запустить локально модель уровня Claude 3 Opus или GPT-4, нужна видеокарта за несколько тысяч долларов и куча времени на настройку. Облачные сервисы выигрывают по удобству с разгромным счетом
Даже если бы права были гранулярными, это бы не спасло. Средний пользователь все равно на все нажмет "разрешить" лишь бы заработало. Проблема не столько в модели разрешений, сколько в отсутствии нормального аудита со стороны магазинов и в низкой грамотности пользователей
Главный урок : если вы не платите за продукт, то вы и есть продукт. Ничего нового, просто теперь в зону риска попали и диалоги с ИИ, которые как оказалось очень ценный товар
Дело же не только в задушке, эмоции это не просто набор слов, это реакция на контекст, на личный опыт. Естественно у машины этого опыта нет, она может имитировать грусть, но она не понимает, почему человек грустит, поэтому эмоции всегда получаются плоскими, как у актера-первокурсника)
Да как бужто это было очевидно с самого начала, ллм по определению не может иметь уникальный живой голос, может лишь имитировать его, причем довольно неуклюже. Удивлен что для подтверждения этого понадобилось целое исследование
Уверен, что прайс-лист не в рублях. Если ты "системно значимый" (читай: большой и дружишь с кем надо), ты в списке. Если нет - извини
Лучший способ уменьшить неудобства от отключения интернета - не отключать интернет
Гляньте список патчей, которые Debian или Red Hat накладывают на ядро Linux или на тот же Firefox, там могут быть сотни исправлений, так что технически мейнтейнер может выпилить эту функцию, да, но политически вряд ли. Будет слишком сильное расхождение с апстримом, которое потом будет больно поддерживать.
Патчить системные компоненты вручную это конечно круто и по хакерски, но это путь воина-одиночки
Как верно заметили в комментариях, после первого же apt upgrade весь ваш патч улетит в трубу. Более системное решение это либо PR в апстрим, либо создание своего пакета с патчем для своего дистрибутива, либо как предложили, настройка политик dbus
Копилот проанализировал ваши паттерны использования и решил, что клавиатура вам больше не нужна. Теперь вы должны кодировать силой мысли)
Скорость генерации кода самая бесполезная метрика
Важно не как быстро он написал, а сколько времени я потом потрачу на дебаг, рефакторинг и исправление его ошибок
Полностью согласен, статья хороша именно своим авторским стилем, аналогиями, кодом, а в Википедии все это вырежут, оставив сухой остаток из формул и определений, который будет мало чем отличаться от уже существующей (и плохой) англоязычной версии
Алгоритмы с гарантированной точностью это конечно хорошо, но часто они вычислительно дороже стандартных методов из LAPACK. Для большинства инженерных задач точности double и устойчивости алгоритма Бартелса-Стюарта более чем достаточно
Статья великолепна, но у меня есть одно но. Она заявлена как "пре-релиз для Википедии", а стиль-то совсем не википедийный - живой, авторский, с метафорами и кодом. Боюсь, в таком виде ее из Википедии выпилят за "оригинальное исследование" и "неэнциклопедичный стиль"
Возможно стоит разделить ее на несколько более сухих и формальных статей для Вики, а этот прекрасный лонгрид оставить здесь, на Хабре)
Про миллиарды операций конечно художественное преувеличение, скорее всего имелось в виду, что современные фреймворки не парятся и для вычисления синуса на GPU могут использовать универсальные матричные операции, которые тратят кучу ресурсов, но зато не требуют специализированных инструкций
Вот читаешь такое и понимаешь насколько мы обленились. Pentium считал синус за десятки тактов с помощью хитрого полинома, зашитого в кристалл, а сейчас мы для той же задачи гоняем нейросети и не паримся
Работа хорошая, мое почтение