Вы узнали половину секретной информации, о том что постоянный заряд это быстрая смерть для литиевых аккумуляторов. Вторая половина информации - ёмкость аккумулятора решает. Аккумуляторы дохнут от жадности производителя. Или от глупости маркетологов, когда хотят слишком маленькое устройство или слишком дешевое. Я купил первый iPad во время мировой премьеры и он до сих пор жив и я читаю на нем до сих пор. Прошло 15 лет. Не потому что там волшебный аккумулятор с запахом Калифорнии, а потому что ток потребления айпада значительно меньше чем рекомендуемые 0.2С (0,2 от емкости или какое-то другое значение). Деградация аккумулятора это процесс увеличения эквивалентного последовательного сопротивления аккумулятора. Когда течет маленький ток (относительно ёмкости) ничего греться не может. То есть то что у вас грелось это уже ошибка проектирования. 0.2С - сдохнет за год-два. (если обычные не высокотоковые) Если, условно, поставите 4 банки, то срок эксплуатации вырастет в разы.
В прошлом веке преподаватель нашего вуза выдал "задачу мы собираемся решать с помощью грубой силы. С помощью студентов". Смысл фразы я тогда не понял, слово "брутфорс" еще не слышал. Лицо доцента было серъезным. Там что-то тоже было про множество участников и много тупой работы типа численных методов.
не так. mxfp4 или однобитная сеть будут иметь другие структуры сетей. Там где у 16-битной был один нейрон здесь должно стоять несколько. Про однобитные нейросети писали исследователи из IBM, но скорее всего это неживая история. А для mxfp4 точно живая, доказано в GPT OSS 120b. Эта модель точно меньше и быстрее чем если бы была бы 16-битная.
человечество пользуется 10-разрядной системой чисел, но это не значит что нельзя записать числа больше 10. Записывать можно хоть одним битом при наличии множества разрядов. Если модель изначально обучалась в fp4, то в этом нет ничего плохого. Речь не идет о лоботомии-квантовании модели обученной в другом формате. Квантования у нормальных пацанов не существует. Недавно вышла IBM granite, так она вообще толком не квантуется. При уходе из fp16 модель резко деградирует. Особенно это проявляется при длинном контексте. При 8 битах модель галлюцинирует и забывает куски входного контекста. А обученная изначально GPT OSS 120b в mxfp4 - прекрасна.
Моя личная гипотеза - Нвидиа ставит на свои суперкомпьютеры на ARM, а у них все плохо с производительностью (по сравнению с x86) и короткое слово как-то должно сократить отставание. Скорее всего они занесли денег OpenAI чтобы они выпустили модель в mxfp4 и чтобы выпущенный DGX Spark выглядел не так провально. Практически, если mxfp4/nvfp4 станет победившей технологией, то Нвидиа сделают устаревшим все свое железо древнее Блеквелл и превратят в тыкву продукцию конкурентов (потому что аппаратной поддержки больше ни у кого нет). Но у них вряд ли это выйдет.
по-моему расклад следующий: По Аристотелю и Эйнштейну есть континуум. Если это так на самом деле, то вы правы. По Пифагору, атомистам, Лейбницу и прочим есть дискретность, монады - неделимость. То есть объект имеет некие уникальные параметры, которые выделяют его из всего остального. Акт взаимодействия таких объектов можно назвать событием. Время - поток событий.
На самом деле сайт FCC это отличное технопорно. Там выкладывают много всего, содержащих радиоинтерфейс - пинпады, сканеры штрихкодов... Множество фотографий (>50 на изделие): печатные платы, антенны, схемы электрические, чертежи, методики тестирования. Я однажды "телепортом" выкачал несколько гигабайт. Естественно, ни разу потом не смотрел.
Слышал байку от разработчиков спорткара "Маруся". На планерке главный инженер сказал что что-то сделать нельзя. Фоменко обратился ко всем - у кого есть мысли? Младший сотрудник что-то вякнул. Фоменко представил команде нового главного инженера.
релиза llama.cpp с поддержкой еще не было. Нужно наложить неофициальный патч и собрать llama.cpp самому. Я собираю и запускаю в докере и линуксе, так что такие вещи я делаю не приходя в сознание. две команды и сборка за 10 минут.
задачи у всех разные. Представь что нужно по брейнштормить объемный текст. И слабая модель, внезапно, может отличиться. Главное чтобы это была ДРУГАЯ модель, обученная на других данных и другими авторами. То есть ценность в непохожести. В моем случае я получил интересную идею от Грок2. Второстепенную, но интересную.
На моей картошечке очень медленно (UD Q4 - 0.5t/s). Но смысла использовать практически не обнаружил. Модель уже безнадежно устарела. Это гуманитарная модель, примерно как Qwen 235b, но хуже. (За два часа наболтал на 40k+ токенов.)
"сколько раз вы случайно тыкали" Практически никогда. Этой части клавиатуры для меня не существует. Во всех системах у меня Caps - еще один Ctrl. Особенно удобно в консоли Linux. Не нужно выворачивать запястье на основной Ctrl. Подобное расположение Ctrl встречалось на старых компьютерах. А! еще не бесят ноутбуки, где располагают fn рядом с Control. Тот Control мне не нужен. Прямо сейчас я валяюсь с мелким ноутом на пузе. Попробовал вывернуть кисть чтобы попасть мизинцем в правильный Ctrl - ужасно.
У меня компьютер пятилетней давности тащит все модели. Да, скорость не очень, но время это всего лишь абстракция. Не всем нужно быстро. Я могу и подождать. Прогнать длинный текст и получить портянку в ответ приватно - бесценно.
За полгода эти твари не сделали нормальные драйвера для Blackwell под Linux. Не существует понятных причин почему Blackwell стоило покупать, потому что поддержки нового функционала нет, а косяков для этого семейства больше чем для предыдущих.
в начале 90х у нас были страшные скейты кооперативов Прибалтики. Из примеров катания только фильм "Назад в будущее" =) Короч, гаечным ключом настраивали жесткость резинки скейта и пытались кататься вообще не отталкиваясь от земли. Получалось так себе. Ноги страшно уставали нарезая эту змейку. Обычно хватало метров на 50. Я однажды по прямой проехал метров 200.
Будучи в гостях (прошлый век, деревня, окраина, лето, гроза) мелкие двоюродные звали "посмотреть в окно, там интересное", но я не смог оторваться от компьютера. Пришли взрослые с улицы - в шоке (с трудом подбирали слова) - видели сразу несколько крупных шаровых молний двигающихся вдоль поля и края деревни. Моя личная гипотеза - трудность обнаружения связано с потреблением энергии человечеством. Если кругом натыканы сотовые вышки, с подведенным электричеством и громоотводами, то шаровые молнии здесь не образуются. Постоянно включенные камеры на запись - тоже мимо. Загаженый радиоэфир - тоже плохо. Капица, кажется, писал что это пучность электромагнитной волны.
Прочитал несколько ЖЗЛ про известных-великих. Текущая картина мира что наука это только про деньги. При их наличии можно организовать так чтобы ученых было как парикмахеров в стране. Зарплаты младших научных исследователей в большинстве стран мира ниже чем средняя зарплата по стране. Соответственно практически все рвутся в США и всё развивается там. Там был выстроен конвейер. Тысячи скаутов летают по стране и выискивают лучших выпускников и аспирантов, либо заметных состоявшихся специалистов. Вернее даже не лучших. Сами великие часто себя такими не считают. Судя по биографиям их заметно помотало на непонятных занятиях со слабыми результатами. Далее они занимаются не понятно чем, типа в Bell labs, почти безотчетно, с хорошим финансированием. Один пишет - "не помню чтобы за 15 лет кого-то уволили". Обязаловки с научными статьями нет. Хьюбел и Визиел выдают по чайной ложке на пару, чтобы в конце концов получить нобелевскую премию. Отказываются от перехода на большие зарплаты, потому что денег и так слишком много. Создатели Unix партизанскими методами много лет пилят ОС, без одобрения со стороны руководства. Вы можете себе представить чтобы айтишники были представлены сами себе?
Сейчас во многом это закончилось. Bell labs не имеет такого финансирования как раньше. А мем с "британскими учеными" связан именно с тем что чиновники ввели KPI для них, и ученые вынуждены генерить треш. Этот путь сейчас повторяет Китай, который также лидирует в публикациях, часто с мутным результатом.
Текущая ситуация с нейронками, на мой взгляд, также связана с тем что KPI победил. Но здесь та же проблема что и с людьми. Меритократия невозможна, потому что не существует четких критериев как отличить полезного члена общества от бесполезного.
информация быстро устаревает. Все еще зависит от "температуры - глубины думания" и длины контекста. Если контекст длинный то будут рулить системы с огромной памятью и видеокарта не поможет. Сейчас еще все показывают цифры с https://github.com/kvcache–ai/ktransformers. Где ускорение в 2-3 раза с коротким контекстом умещающимся в GPU. На текущий момент согласен - самые жирные сервера на AMD с огромной памятью будут лучше Маков. (q4 - выбирают потому что q2 работает, внезапно, медленнее, так как эти данные нужно распаковывать. При условии что памяти достаточно)
Вы узнали половину секретной информации, о том что постоянный заряд это быстрая смерть для литиевых аккумуляторов.
Вторая половина информации - ёмкость аккумулятора решает. Аккумуляторы дохнут от жадности производителя. Или от глупости маркетологов, когда хотят слишком маленькое устройство или слишком дешевое. Я купил первый iPad во время мировой премьеры и он до сих пор жив и я читаю на нем до сих пор. Прошло 15 лет. Не потому что там волшебный аккумулятор с запахом Калифорнии, а потому что ток потребления айпада значительно меньше чем рекомендуемые 0.2С (0,2 от емкости или какое-то другое значение).
Деградация аккумулятора это процесс увеличения эквивалентного последовательного сопротивления аккумулятора. Когда течет маленький ток (относительно ёмкости) ничего греться не может. То есть то что у вас грелось это уже ошибка проектирования.
0.2С - сдохнет за год-два. (если обычные не высокотоковые)
Если, условно, поставите 4 банки, то срок эксплуатации вырастет в разы.
В прошлом веке преподаватель нашего вуза выдал "задачу мы собираемся решать с помощью грубой силы. С помощью студентов". Смысл фразы я тогда не понял, слово "брутфорс" еще не слышал. Лицо доцента было серъезным. Там что-то тоже было про множество участников и много тупой работы типа численных методов.
не так. mxfp4 или однобитная сеть будут иметь другие структуры сетей. Там где у 16-битной был один нейрон здесь должно стоять несколько.
Про однобитные нейросети писали исследователи из IBM, но скорее всего это неживая история. А для mxfp4 точно живая, доказано в GPT OSS 120b. Эта модель точно меньше и быстрее чем если бы была бы 16-битная.
человечество пользуется 10-разрядной системой чисел, но это не значит что нельзя записать числа больше 10. Записывать можно хоть одним битом при наличии множества разрядов.
Если модель изначально обучалась в fp4, то в этом нет ничего плохого.
Речь не идет о лоботомии-квантовании модели обученной в другом формате. Квантования у нормальных пацанов не существует. Недавно вышла IBM granite, так она вообще толком не квантуется. При уходе из fp16 модель резко деградирует. Особенно это проявляется при длинном контексте. При 8 битах модель галлюцинирует и забывает куски входного контекста.
А обученная изначально GPT OSS 120b в mxfp4 - прекрасна.
Моя личная гипотеза - Нвидиа ставит на свои суперкомпьютеры на ARM, а у них все плохо с производительностью (по сравнению с x86) и короткое слово как-то должно сократить отставание. Скорее всего они занесли денег OpenAI чтобы они выпустили модель в mxfp4 и чтобы выпущенный DGX Spark выглядел не так провально.
Практически, если mxfp4/nvfp4 станет победившей технологией, то Нвидиа сделают устаревшим все свое железо древнее Блеквелл и превратят в тыкву продукцию конкурентов (потому что аппаратной поддержки больше ни у кого нет). Но у них вряд ли это выйдет.
по-моему расклад следующий:
По Аристотелю и Эйнштейну есть континуум. Если это так на самом деле, то вы правы.
По Пифагору, атомистам, Лейбницу и прочим есть дискретность, монады - неделимость. То есть объект имеет некие уникальные параметры, которые выделяют его из всего остального. Акт взаимодействия таких объектов можно назвать событием. Время - поток событий.
На самом деле сайт FCC это отличное технопорно. Там выкладывают много всего, содержащих радиоинтерфейс - пинпады, сканеры штрихкодов... Множество фотографий (>50 на изделие): печатные платы, антенны, схемы электрические, чертежи, методики тестирования. Я однажды "телепортом" выкачал несколько гигабайт. Естественно, ни разу потом не смотрел.
по традиции для изготовления техники Apple требуется Windows.
xmp:CreatorToolAllegro Design Publisher for System Capture</xmp:CreatorTool>
Слышал байку от разработчиков спорткара "Маруся".
На планерке главный инженер сказал что что-то сделать нельзя. Фоменко обратился ко всем - у кого есть мысли? Младший сотрудник что-то вякнул. Фоменко представил команде нового главного инженера.
собственно на странице https://huggingface.co/unsloth/grok-2-GGUF все есть
git fetch origin pull/15539/head:MASTER && git checkout MASTER
релиза llama.cpp с поддержкой еще не было.
Нужно наложить неофициальный патч и собрать llama.cpp самому. Я собираю и запускаю в докере и линуксе, так что такие вещи я делаю не приходя в сознание. две команды и сборка за 10 минут.
задачи у всех разные. Представь что нужно по брейнштормить объемный текст. И слабая модель, внезапно, может отличиться. Главное чтобы это была ДРУГАЯ модель, обученная на других данных и другими авторами. То есть ценность в непохожести.
В моем случае я получил интересную идею от Грок2. Второстепенную, но интересную.
На моей картошечке очень медленно (UD Q4 - 0.5t/s). Но смысла использовать практически не обнаружил. Модель уже безнадежно устарела. Это гуманитарная модель, примерно как Qwen 235b, но хуже.
(За два часа наболтал на 40k+ токенов.)
"сколько раз вы случайно тыкали"
Практически никогда. Этой части клавиатуры для меня не существует. Во всех системах у меня Caps - еще один Ctrl. Особенно удобно в консоли Linux. Не нужно выворачивать запястье на основной Ctrl.
Подобное расположение Ctrl встречалось на старых компьютерах.
А! еще не бесят ноутбуки, где располагают fn рядом с Control. Тот Control мне не нужен.
Прямо сейчас я валяюсь с мелким ноутом на пузе. Попробовал вывернуть кисть чтобы попасть мизинцем в правильный Ctrl - ужасно.
У меня компьютер пятилетней давности тащит все модели. Да, скорость не очень, но время это всего лишь абстракция.
Не всем нужно быстро. Я могу и подождать. Прогнать длинный текст и получить портянку в ответ приватно - бесценно.
За полгода эти твари не сделали нормальные драйвера для Blackwell под Linux.
Не существует понятных причин почему Blackwell стоило покупать, потому что поддержки нового функционала нет, а косяков для этого семейства больше чем для предыдущих.
в начале 90х у нас были страшные скейты кооперативов Прибалтики. Из примеров катания только фильм "Назад в будущее" =) Короч, гаечным ключом настраивали жесткость резинки скейта и пытались кататься вообще не отталкиваясь от земли. Получалось так себе. Ноги страшно уставали нарезая эту змейку. Обычно хватало метров на 50. Я однажды по прямой проехал метров 200.
Будучи в гостях (прошлый век, деревня, окраина, лето, гроза) мелкие двоюродные звали "посмотреть в окно, там интересное", но я не смог оторваться от компьютера. Пришли взрослые с улицы - в шоке (с трудом подбирали слова) - видели сразу несколько крупных шаровых молний двигающихся вдоль поля и края деревни.
Моя личная гипотеза - трудность обнаружения связано с потреблением энергии человечеством. Если кругом натыканы сотовые вышки, с подведенным электричеством и громоотводами, то шаровые молнии здесь не образуются. Постоянно включенные камеры на запись - тоже мимо. Загаженый радиоэфир - тоже плохо.
Капица, кажется, писал что это пучность электромагнитной волны.
Прочитал несколько ЖЗЛ про известных-великих. Текущая картина мира что наука это только про деньги. При их наличии можно организовать так чтобы ученых было как парикмахеров в стране. Зарплаты младших научных исследователей в большинстве стран мира ниже чем средняя зарплата по стране. Соответственно практически все рвутся в США и всё развивается там. Там был выстроен конвейер. Тысячи скаутов летают по стране и выискивают лучших выпускников и аспирантов, либо заметных состоявшихся специалистов. Вернее даже не лучших. Сами великие часто себя такими не считают. Судя по биографиям их заметно помотало на непонятных занятиях со слабыми результатами. Далее они занимаются не понятно чем, типа в Bell labs, почти безотчетно, с хорошим финансированием. Один пишет - "не помню чтобы за 15 лет кого-то уволили".
Обязаловки с научными статьями нет. Хьюбел и Визиел выдают по чайной ложке на пару, чтобы в конце концов получить нобелевскую премию. Отказываются от перехода на большие зарплаты, потому что денег и так слишком много.
Создатели Unix партизанскими методами много лет пилят ОС, без одобрения со стороны руководства. Вы можете себе представить чтобы айтишники были представлены сами себе?
Сейчас во многом это закончилось. Bell labs не имеет такого финансирования как раньше.
А мем с "британскими учеными" связан именно с тем что чиновники ввели KPI для них, и ученые вынуждены генерить треш. Этот путь сейчас повторяет Китай, который также лидирует в публикациях, часто с мутным результатом.
Текущая ситуация с нейронками, на мой взгляд, также связана с тем что KPI победил.
Но здесь та же проблема что и с людьми. Меритократия невозможна, потому что не существует четких критериев как отличить полезного члена общества от бесполезного.
Кажется в романах Дюны часто встречался "допрос с пристрастием", это когда у подозреваемого просто вынимался мозг для съема данных (для передачи ИИ).
информация быстро устаревает.
Все еще зависит от "температуры - глубины думания" и длины контекста. Если контекст длинный то будут рулить системы с огромной памятью и видеокарта не поможет.
Сейчас еще все показывают цифры с https://github.com/kvcache–ai/ktransformers. Где ускорение в 2-3 раза с коротким контекстом умещающимся в GPU.
На текущий момент согласен - самые жирные сервера на AMD с огромной памятью будут лучше Маков.
(q4 - выбирают потому что q2 работает, внезапно, медленнее, так как эти данные нужно распаковывать. При условии что памяти достаточно)