по-моему расклад следующий: По Аристотелю и Эйнштейну есть континуум. Если это так на самом деле, то вы правы. По Пифагору, атомистам, Лейбницу и прочим есть дискретность, монады - неделимость. То есть объект имеет некие уникальные параметры, которые выделяют его из всего остального. Акт взаимодействия таких объектов можно назвать событием. Время - поток событий.
На самом деле сайт FCC это отличное технопорно. Там выкладывают много всего, содержащих радиоинтерфейс - пинпады, сканеры штрихкодов... Множество фотографий (>50 на изделие): печатные платы, антенны, схемы электрические, чертежи, методики тестирования. Я однажды "телепортом" выкачал несколько гигабайт. Естественно, ни разу потом не смотрел.
Слышал байку от разработчиков спорткара "Маруся". На планерке главный инженер сказал что что-то сделать нельзя. Фоменко обратился ко всем - у кого есть мысли? Младший сотрудник что-то вякнул. Фоменко представил команде нового главного инженера.
релиза llama.cpp с поддержкой еще не было. Нужно наложить неофициальный патч и собрать llama.cpp самому. Я собираю и запускаю в докере и линуксе, так что такие вещи я делаю не приходя в сознание. две команды и сборка за 10 минут.
задачи у всех разные. Представь что нужно по брейнштормить объемный текст. И слабая модель, внезапно, может отличиться. Главное чтобы это была ДРУГАЯ модель, обученная на других данных и другими авторами. То есть ценность в непохожести. В моем случае я получил интересную идею от Грок2. Второстепенную, но интересную.
На моей картошечке очень медленно (UD Q4 - 0.5t/s). Но смысла использовать практически не обнаружил. Модель уже безнадежно устарела. Это гуманитарная модель, примерно как Qwen 235b, но хуже. (За два часа наболтал на 40k+ токенов.)
"сколько раз вы случайно тыкали" Практически никогда. Этой части клавиатуры для меня не существует. Во всех системах у меня Caps - еще один Ctrl. Особенно удобно в консоли Linux. Не нужно выворачивать запястье на основной Ctrl. Подобное расположение Ctrl встречалось на старых компьютерах. А! еще не бесят ноутбуки, где располагают fn рядом с Control. Тот Control мне не нужен. Прямо сейчас я валяюсь с мелким ноутом на пузе. Попробовал вывернуть кисть чтобы попасть мизинцем в правильный Ctrl - ужасно.
У меня компьютер пятилетней давности тащит все модели. Да, скорость не очень, но время это всего лишь абстракция. Не всем нужно быстро. Я могу и подождать. Прогнать длинный текст и получить портянку в ответ приватно - бесценно.
За полгода эти твари не сделали нормальные драйвера для Blackwell под Linux. Не существует понятных причин почему Blackwell стоило покупать, потому что поддержки нового функционала нет, а косяков для этого семейства больше чем для предыдущих.
в начале 90х у нас были страшные скейты кооперативов Прибалтики. Из примеров катания только фильм "Назад в будущее" =) Короч, гаечным ключом настраивали жесткость резинки скейта и пытались кататься вообще не отталкиваясь от земли. Получалось так себе. Ноги страшно уставали нарезая эту змейку. Обычно хватало метров на 50. Я однажды по прямой проехал метров 200.
Будучи в гостях (прошлый век, деревня, окраина, лето, гроза) мелкие двоюродные звали "посмотреть в окно, там интересное", но я не смог оторваться от компьютера. Пришли взрослые с улицы - в шоке (с трудом подбирали слова) - видели сразу несколько крупных шаровых молний двигающихся вдоль поля и края деревни. Моя личная гипотеза - трудность обнаружения связано с потреблением энергии человечеством. Если кругом натыканы сотовые вышки, с подведенным электричеством и громоотводами, то шаровые молнии здесь не образуются. Постоянно включенные камеры на запись - тоже мимо. Загаженый радиоэфир - тоже плохо. Капица, кажется, писал что это пучность электромагнитной волны.
Прочитал несколько ЖЗЛ про известных-великих. Текущая картина мира что наука это только про деньги. При их наличии можно организовать так чтобы ученых было как парикмахеров в стране. Зарплаты младших научных исследователей в большинстве стран мира ниже чем средняя зарплата по стране. Соответственно практически все рвутся в США и всё развивается там. Там был выстроен конвейер. Тысячи скаутов летают по стране и выискивают лучших выпускников и аспирантов, либо заметных состоявшихся специалистов. Вернее даже не лучших. Сами великие часто себя такими не считают. Судя по биографиям их заметно помотало на непонятных занятиях со слабыми результатами. Далее они занимаются не понятно чем, типа в Bell labs, почти безотчетно, с хорошим финансированием. Один пишет - "не помню чтобы за 15 лет кого-то уволили". Обязаловки с научными статьями нет. Хьюбел и Визиел выдают по чайной ложке на пару, чтобы в конце концов получить нобелевскую премию. Отказываются от перехода на большие зарплаты, потому что денег и так слишком много. Создатели Unix партизанскими методами много лет пилят ОС, без одобрения со стороны руководства. Вы можете себе представить чтобы айтишники были представлены сами себе?
Сейчас во многом это закончилось. Bell labs не имеет такого финансирования как раньше. А мем с "британскими учеными" связан именно с тем что чиновники ввели KPI для них, и ученые вынуждены генерить треш. Этот путь сейчас повторяет Китай, который также лидирует в публикациях, часто с мутным результатом.
Текущая ситуация с нейронками, на мой взгляд, также связана с тем что KPI победил. Но здесь та же проблема что и с людьми. Меритократия невозможна, потому что не существует четких критериев как отличить полезного члена общества от бесполезного.
информация быстро устаревает. Все еще зависит от "температуры - глубины думания" и длины контекста. Если контекст длинный то будут рулить системы с огромной памятью и видеокарта не поможет. Сейчас еще все показывают цифры с https://github.com/kvcache–ai/ktransformers. Где ускорение в 2-3 раза с коротким контекстом умещающимся в GPU. На текущий момент согласен - самые жирные сервера на AMD с огромной памятью будут лучше Маков. (q4 - выбирают потому что q2 работает, внезапно, медленнее, так как эти данные нужно распаковывать. При условии что памяти достаточно)
и Гибсон тоже. Там важнее другое - эти ребята покупали экспертизу звезд. Они им давали мощнейшую обратную связь, что нужно от гитар профессионалам. Торвальдс занимается полной херней. SMD-компоненты обладают пьезоэффектом. При механических вибрациях они будут отдавать колебания. Выводные обладают естественной паразитной индуктивностью, что предпочтительнее (если заморачиваться). Торвальдс хвастает "сложной микросхемой". Ставить зарядовый насос (хотя и позиционируется как питание для микрофонов) это бессмысленное решение для этих целей. То есть он нашел какой-то хипстерский магазинчик с ворованными схемами примочек из 80х и переделывает их на SMD? Очень странное решение.
здесь гоняют самую маленькую DeepSeek-R1-UD-IQ1_S на 131 ГБ. https://github.com/ggml-org/llama.cpp/issues/11474 Но на моем домашнем компьютере из 2018 года - 24 ядерном AMD (192ГБ памяти) более тяжелая DeepSeek-R1-UD-Q2_K_XL (226 ГБ) работает с той же скоростью 1.6 токена что и самая мелкая. DeepSeek не прогоняет модель целиком, а просчитывает только регионы. То есть на Маках цифры могут быть также примерно одинаковые для этих моделей.
По замерам предыдущие модели выдавали 14 токенов на квантованных моделях DeepseekR1. Это в разы больше чем на самых дорогих серверах от AMD и Intel. А игровые видеокарты, внезапно, для таких задач стали бессмысленны, так как нужно сотни гигабайт памяти. Архитектура с огромной общей памятью для CPU и GPU выстрелила для подобных задач.
по-моему расклад следующий:
По Аристотелю и Эйнштейну есть континуум. Если это так на самом деле, то вы правы.
По Пифагору, атомистам, Лейбницу и прочим есть дискретность, монады - неделимость. То есть объект имеет некие уникальные параметры, которые выделяют его из всего остального. Акт взаимодействия таких объектов можно назвать событием. Время - поток событий.
На самом деле сайт FCC это отличное технопорно. Там выкладывают много всего, содержащих радиоинтерфейс - пинпады, сканеры штрихкодов... Множество фотографий (>50 на изделие): печатные платы, антенны, схемы электрические, чертежи, методики тестирования. Я однажды "телепортом" выкачал несколько гигабайт. Естественно, ни разу потом не смотрел.
по традиции для изготовления техники Apple требуется Windows.
xmp:CreatorToolAllegro Design Publisher for System Capture</xmp:CreatorTool>
Слышал байку от разработчиков спорткара "Маруся".
На планерке главный инженер сказал что что-то сделать нельзя. Фоменко обратился ко всем - у кого есть мысли? Младший сотрудник что-то вякнул. Фоменко представил команде нового главного инженера.
собственно на странице https://huggingface.co/unsloth/grok-2-GGUF все есть
git fetch origin pull/15539/head:MASTER && git checkout MASTER
релиза llama.cpp с поддержкой еще не было.
Нужно наложить неофициальный патч и собрать llama.cpp самому. Я собираю и запускаю в докере и линуксе, так что такие вещи я делаю не приходя в сознание. две команды и сборка за 10 минут.
задачи у всех разные. Представь что нужно по брейнштормить объемный текст. И слабая модель, внезапно, может отличиться. Главное чтобы это была ДРУГАЯ модель, обученная на других данных и другими авторами. То есть ценность в непохожести.
В моем случае я получил интересную идею от Грок2. Второстепенную, но интересную.
На моей картошечке очень медленно (UD Q4 - 0.5t/s). Но смысла использовать практически не обнаружил. Модель уже безнадежно устарела. Это гуманитарная модель, примерно как Qwen 235b, но хуже.
(За два часа наболтал на 40k+ токенов.)
"сколько раз вы случайно тыкали"
Практически никогда. Этой части клавиатуры для меня не существует. Во всех системах у меня Caps - еще один Ctrl. Особенно удобно в консоли Linux. Не нужно выворачивать запястье на основной Ctrl.
Подобное расположение Ctrl встречалось на старых компьютерах.
А! еще не бесят ноутбуки, где располагают fn рядом с Control. Тот Control мне не нужен.
Прямо сейчас я валяюсь с мелким ноутом на пузе. Попробовал вывернуть кисть чтобы попасть мизинцем в правильный Ctrl - ужасно.
У меня компьютер пятилетней давности тащит все модели. Да, скорость не очень, но время это всего лишь абстракция.
Не всем нужно быстро. Я могу и подождать. Прогнать длинный текст и получить портянку в ответ приватно - бесценно.
За полгода эти твари не сделали нормальные драйвера для Blackwell под Linux.
Не существует понятных причин почему Blackwell стоило покупать, потому что поддержки нового функционала нет, а косяков для этого семейства больше чем для предыдущих.
в начале 90х у нас были страшные скейты кооперативов Прибалтики. Из примеров катания только фильм "Назад в будущее" =) Короч, гаечным ключом настраивали жесткость резинки скейта и пытались кататься вообще не отталкиваясь от земли. Получалось так себе. Ноги страшно уставали нарезая эту змейку. Обычно хватало метров на 50. Я однажды по прямой проехал метров 200.
Будучи в гостях (прошлый век, деревня, окраина, лето, гроза) мелкие двоюродные звали "посмотреть в окно, там интересное", но я не смог оторваться от компьютера. Пришли взрослые с улицы - в шоке (с трудом подбирали слова) - видели сразу несколько крупных шаровых молний двигающихся вдоль поля и края деревни.
Моя личная гипотеза - трудность обнаружения связано с потреблением энергии человечеством. Если кругом натыканы сотовые вышки, с подведенным электричеством и громоотводами, то шаровые молнии здесь не образуются. Постоянно включенные камеры на запись - тоже мимо. Загаженый радиоэфир - тоже плохо.
Капица, кажется, писал что это пучность электромагнитной волны.
Прочитал несколько ЖЗЛ про известных-великих. Текущая картина мира что наука это только про деньги. При их наличии можно организовать так чтобы ученых было как парикмахеров в стране. Зарплаты младших научных исследователей в большинстве стран мира ниже чем средняя зарплата по стране. Соответственно практически все рвутся в США и всё развивается там. Там был выстроен конвейер. Тысячи скаутов летают по стране и выискивают лучших выпускников и аспирантов, либо заметных состоявшихся специалистов. Вернее даже не лучших. Сами великие часто себя такими не считают. Судя по биографиям их заметно помотало на непонятных занятиях со слабыми результатами. Далее они занимаются не понятно чем, типа в Bell labs, почти безотчетно, с хорошим финансированием. Один пишет - "не помню чтобы за 15 лет кого-то уволили".
Обязаловки с научными статьями нет. Хьюбел и Визиел выдают по чайной ложке на пару, чтобы в конце концов получить нобелевскую премию. Отказываются от перехода на большие зарплаты, потому что денег и так слишком много.
Создатели Unix партизанскими методами много лет пилят ОС, без одобрения со стороны руководства. Вы можете себе представить чтобы айтишники были представлены сами себе?
Сейчас во многом это закончилось. Bell labs не имеет такого финансирования как раньше.
А мем с "британскими учеными" связан именно с тем что чиновники ввели KPI для них, и ученые вынуждены генерить треш. Этот путь сейчас повторяет Китай, который также лидирует в публикациях, часто с мутным результатом.
Текущая ситуация с нейронками, на мой взгляд, также связана с тем что KPI победил.
Но здесь та же проблема что и с людьми. Меритократия невозможна, потому что не существует четких критериев как отличить полезного члена общества от бесполезного.
Кажется в романах Дюны часто встречался "допрос с пристрастием", это когда у подозреваемого просто вынимался мозг для съема данных (для передачи ИИ).
информация быстро устаревает.
Все еще зависит от "температуры - глубины думания" и длины контекста. Если контекст длинный то будут рулить системы с огромной памятью и видеокарта не поможет.
Сейчас еще все показывают цифры с https://github.com/kvcache–ai/ktransformers. Где ускорение в 2-3 раза с коротким контекстом умещающимся в GPU.
На текущий момент согласен - самые жирные сервера на AMD с огромной памятью будут лучше Маков.
(q4 - выбирают потому что q2 работает, внезапно, медленнее, так как эти данные нужно распаковывать. При условии что памяти достаточно)
https://github.com/ggml-org/llama.cpp/issues/11474
и Гибсон тоже.
Там важнее другое - эти ребята покупали экспертизу звезд. Они им давали мощнейшую обратную связь, что нужно от гитар профессионалам.
Торвальдс занимается полной херней. SMD-компоненты обладают пьезоэффектом. При механических вибрациях они будут отдавать колебания. Выводные обладают естественной паразитной индуктивностью, что предпочтительнее (если заморачиваться).
Торвальдс хвастает "сложной микросхемой". Ставить зарядовый насос (хотя и позиционируется как питание для микрофонов) это бессмысленное решение для этих целей.
То есть он нашел какой-то хипстерский магазинчик с ворованными схемами примочек из 80х и переделывает их на SMD? Очень странное решение.
здесь гоняют самую маленькую DeepSeek-R1-UD-IQ1_S на 131 ГБ. https://github.com/ggml-org/llama.cpp/issues/11474
Но на моем домашнем компьютере из 2018 года - 24 ядерном AMD (192ГБ памяти) более тяжелая DeepSeek-R1-UD-Q2_K_XL (226 ГБ) работает с той же скоростью 1.6 токена что и самая мелкая. DeepSeek не прогоняет модель целиком, а просчитывает только регионы. То есть на Маках цифры могут быть также примерно одинаковые для этих моделей.
По замерам предыдущие модели выдавали 14 токенов на квантованных моделях DeepseekR1. Это в разы больше чем на самых дорогих серверах от AMD и Intel.
А игровые видеокарты, внезапно, для таких задач стали бессмысленны, так как нужно сотни гигабайт памяти.
Архитектура с огромной общей памятью для CPU и GPU выстрелила для подобных задач.