Открытая модель хуже во всём закрытой. И интересен сам факт как из огороженной всем чем можно яблочной ОС вытащат веса, а не из и так открытого нараспашку Андроида.
В Российской Империи ресурсы заниматься теоретической наукой были, а у страны советов куда-то испарились.
реальной отдачи от них в пределах десятилетий - не было и быть не могло. (Вавилов)
Всего-то выявил такие бесполезные вещи как механизмы гибридизации растений, их иммунитета к инфекциям и реализовал первый генетический банк семян в мире, который до сих пор содержит больше образцов, чем любой другой на планете. Вообще никакой отдачи, глупости да и только.
И - правдиво или нет - какие-то результаты демонстрировал. (Лысенко)
Ага, отрицательные. Которые привели к голоду и массовым случаям отравления от спорыньи о которой Лысенко "не знал", но почему знали даже малограмотные крестьяне в античности.
Вавилов боролся с великорусским шовинизмом и на пару с братом, как Билли и Бобба, радостно участвовали в процессах ускоряющих смерть Российской Империи и в целом были леваками до мозга костей. Разве что за евреев восхищался строительству их национального государства, а вот русским оно не положено, русским многонационал-интернационал.
Из тех же соображений Вавилов сам дал старт карьере и продвижению полуграмотного селюка из Малороссии, Лысенко. Но гомункул что в виде красного анти-русского проекта в целом, что в лице конкретно Лысенко, тех кто их вскормили, как обычно, сожрали. И Вавилов присоединился к числу жертв борьбы с "великорусским шовинизмом", умерев от пыток, голода и болезней в стенах Саратовского СИЗО.
1,2 - у меня очки с покрытием предотвращающим запотевание, да и спреи для этого есть специальные. 3 - проблем не имел и под ливнем, возможно дело опять же в покрытие 4 - не сталкивался, но если грязью и глаза без очков окатит, опыт будет не из приятных 5,6 - опять же покрытие, да и какое фейри, специальное моющее средство в флакончике размером чуть больше зажигалки, там же и микрофибра хранится в отсеке. 7, 8 - титановая оправа разве что погнётся, линзам из прочного стекла тоже вряд ли что-то будет, если только не молотком бить по ним. ... 22 - мои затемняются сами под ультрафиолетом ...
Вообще по всему проходиться уде лень, словно нейронку попросили сгенерить пункты почему очки это "плохо".
Там ещё забавный момент, что 2024 стал для них первым годом когда они начали генерировать прибыль, а не выручку в минус. Всё благодаря тому, что они начали продавать пользовательские данные для обучения ИИ.
Спасибо! Интересные данные. Жаль конечно что 4090 Хуанг зажал VRAM, мог бы и побольше, чем у предшественника 3090 отсыпать. Впрочем, если сливы по 5000 поколению верны, атракцион невиданной не-щедрости продолжится и дальше.
Конфигурация VPS для всех экспериментов остаётся незименной в рамках этого цикла с первого поста -
Ядер берём 4, хотя хотелось бы и побольше. Впрочем, всего хотелось бы побольше, но тогда уже не поместимся в 5000 рублей в месяц. А вот оперативки не жалеем и берём на весь оставшийся бюджет 12 гигабайт. ОС берём, конечно, Linux. За неимением возможности поставить свой ISO-шник выбираю CentOS — RPM-дистрибутивы мне почему-то нравятся больше, чем Debian и его отпрыск Ubuntu.
К сожалению точные данные замеров в процессе написания были утеряны, в отличие от первого поста где LLM тестировал. В следующем посте упомяну параллельно.
На Reddit в угоду политкорректности как обычно недоговаривают, так как мужик которого забанили был членом проекта и волонтёрил за долго до того как LLM и ChatGPT конкретно, стали пригодны для автоматизации работы программиста.
Для мультимодальных моделей по типу LLaMA 3.2 разве используется llama.cpp? Но, там же до сих пор нету поддержки мультимодальных сеток умеющих в распознание изображений, 3.2 по крайней мере точно. Так что скорее всего Ollama какой-то свой скрипт для инференса писали, а не просто обёртку.
Плюс, они в целом судя по их документации ряд оптимизаций своих накидывают и там где llama.cpp точно используется.
Мда, досадно. Не менее досадно, что LLM судя по статистике от дата-центров гробят GPU также быстро как майнинг. И когда популярность спекулятивно раздутая пойдёт на спад, на рынке окажется много БУ железа далеко не лучшего качества.
Llama на 450 миллиардов параметров квантизированная до 4х битов по идее должна легко поместиться, как и всё что меньше. Из интересных моделей - Pixtral, но там всего 12B, Qwen-2VL и производные от него Molmo всякие.
Если докидывать карточки зелёных, то попробовать с БУшным железом, P40 и P100 так как там VRAM много и стоят они копейки. Но они технологически устарели, и тот же vLLM на них запускаться не хочет. 3090 с её 24 гигами ещё очень вкусное предложение, в моём регионе их БУ за 500-600 евро можно найти.
С карточками красных и ROCm ещё можно поэскпериментировать, в интернете большая часть тестов где люди жрут кактус и тестируют их из под Винды, но на Линукс по идее производительность должна быть сравнимой с карточками зелёных из аналогичного ценового сегмента. С поправкой на то, что у красных VRAM в среднем больше и токенов в секунду может и меньше, но модель большего размера можно засунуть.
Речь идёт о коммерческом сценарии применения, в рамках которого VPS на 12 гигов и 4 ядра является мини-демкой и прототипом.
Да и в целом, если это не стартап или микрокомпания, то размещать инфраструктуру дома как мне кажется не лучшая затея. Как минимум из соображений безопасности, особенно если сеть общая.
Открытая модель хуже во всём закрытой. И интересен сам факт как из огороженной всем чем можно яблочной ОС вытащат веса, а не из и так открытого нараспашку Андроида.
Интересно, как быстро смогут вытянуть веса этих локальных версий Gemini и выложить в открытый доступ.
В Российской Империи ресурсы заниматься теоретической наукой были, а у страны советов куда-то испарились.
Всего-то выявил такие бесполезные вещи как механизмы гибридизации растений, их иммунитета к инфекциям и реализовал первый генетический банк семян в мире, который до сих пор содержит больше образцов, чем любой другой на планете.
Вообще никакой отдачи, глупости да и только.
Ага, отрицательные. Которые привели к голоду и массовым случаям отравления от спорыньи о которой Лысенко "не знал", но почему знали даже малограмотные крестьяне в античности.
Вавилов боролся с великорусским шовинизмом и на пару с братом, как Билли и Бобба, радостно участвовали в процессах ускоряющих смерть Российской Империи и в целом были леваками до мозга костей. Разве что за евреев восхищался строительству их национального государства, а вот русским оно не положено, русским многонационал-интернационал.
Из тех же соображений Вавилов сам дал старт карьере и продвижению полуграмотного селюка из Малороссии, Лысенко.
Но гомункул что в виде красного анти-русского проекта в целом, что в лице конкретно Лысенко, тех кто их вскормили, как обычно, сожрали. И Вавилов присоединился к числу жертв борьбы с "великорусским шовинизмом", умерев от пыток, голода и болезней в стенах Саратовского СИЗО.
Что посеешь, то и пожнёшь.
https://ru.m.wikipedia.org/wiki/Противотуманная_обработка
1,2 - у меня очки с покрытием предотвращающим запотевание, да и спреи для этого есть специальные.
3 - проблем не имел и под ливнем, возможно дело опять же в покрытие
4 - не сталкивался, но если грязью и глаза без очков окатит, опыт будет не из приятных
5,6 - опять же покрытие, да и какое фейри, специальное моющее средство в флакончике размером чуть больше зажигалки, там же и микрофибра хранится в отсеке.
7, 8 - титановая оправа разве что погнётся, линзам из прочного стекла тоже вряд ли что-то будет, если только не молотком бить по ним.
...
22 - мои затемняются сами под ультрафиолетом
...
Вообще по всему проходиться уде лень, словно нейронку попросили сгенерить пункты почему очки это "плохо".
Там ещё забавный момент, что 2024 стал для них первым годом когда они начали генерировать прибыль, а не выручку в минус.
Всё благодаря тому, что они начали продавать пользовательские данные для обучения ИИ.
https://9to5mac.com/2024/02/19/reddit-user-content-being-sold/
https://www.newsweek.com/social-media-platform-reddit-hits-first-profit-fueled-ai-feature-1977304
Пожалуйста!
Вам спасибо за прочтение и что ссылкой на ваш проект по расшифровке на Гитхабе поделились!
docker pull fedirz/faster-whisper-server:latest-cpu
Либо, если есть GPU - docker pull fedirz/faster-whisper-server:latest-cuda
В RAM маленький Whisper по идее должен влезть, но на счёт скорости инференса меня терзают сомнения.
Спасибо! Интересные данные.
Жаль конечно что 4090 Хуанг зажал VRAM, мог бы и побольше, чем у предшественника 3090 отсыпать.
Впрочем, если сливы по 5000 поколению верны, атракцион невиданной не-щедрости продолжится и дальше.
Конфигурация VPS для всех экспериментов остаётся незименной в рамках этого цикла с первого поста -
К сожалению точные данные замеров в процессе написания были утеряны, в отличие от первого поста где LLM тестировал. В следующем посте упомяну параллельно.
Из-за санкций не хотят светить или они ещё до торговой войны там решили не палиться?
Извинись(тм) дон и смени название дон, а иначе мы тебя забаним дон. (с)
На Reddit в угоду политкорректности как обычно недоговаривают, так как мужик которого забанили был членом проекта и волонтёрил за долго до того как LLM и ChatGPT конкретно, стали пригодны для автоматизации работы программиста.
https://www.youtube.com/watch?v=SLPVo6tsFXo&lc=UgzP0KBM6S8U2zB7_zp4AaABAg.ABajuV3tkgJABcI5Ah4xp2
Для мультимодальных моделей по типу LLaMA 3.2 разве используется llama.cpp? Но, там же до сих пор нету поддержки мультимодальных сеток умеющих в распознание изображений, 3.2 по крайней мере точно. Так что скорее всего Ollama какой-то свой скрипт для инференса писали, а не просто обёртку.
Плюс, они в целом судя по их документации ряд оптимизаций своих накидывают и там где llama.cpp точно используется.
Мда, досадно. Не менее досадно, что LLM судя по статистике от дата-центров гробят GPU также быстро как майнинг. И когда популярность спекулятивно раздутая пойдёт на спад, на рынке окажется много БУ железа далеко не лучшего качества.
Llama на 450 миллиардов параметров квантизированная до 4х битов по идее должна легко поместиться, как и всё что меньше. Из интересных моделей - Pixtral, но там всего 12B, Qwen-2VL и производные от него Molmo всякие.
Если докидывать карточки зелёных, то попробовать с БУшным железом, P40 и P100 так как там VRAM много и стоят они копейки. Но они технологически устарели, и тот же vLLM на них запускаться не хочет.
3090 с её 24 гигами ещё очень вкусное предложение, в моём регионе их БУ за 500-600 евро можно найти.
С карточками красных и ROCm ещё можно поэскпериментировать, в интернете большая часть тестов где люди жрут кактус и тестируют их из под Винды, но на Линукс по идее производительность должна быть сравнимой с карточками зелёных из аналогичного ценового сегмента. С поправкой на то, что у красных VRAM в среднем больше и токенов в секунду может и меньше, но модель большего размера можно засунуть.
Речь идёт о коммерческом сценарии применения, в рамках которого VPS на 12 гигов и 4 ядра является мини-демкой и прототипом.
Да и в целом, если это не стартап или микрокомпания, то размещать инфраструктуру дома как мне кажется не лучшая затея. Как минимум из соображений безопасности, особенно если сеть общая.