Вот поэтому я в Южной Каролине: потому что мои дети (у меня их 9) здесь ходят в частную христианскую школу. В которой и близко не подпустят учить и преподавать человека, который считает что аборт - это нормально. Или который считает что мальчик может стать девочкой.
А какой будет академический уровень образования, в какой университет поступят мои дети - вопросы конечно важные, но второстепенные. Думаю, что с этим у них тоже всё будет нормально, потому что один мой двоюродный брат тут - доктор, другие два - программисты (я - тоже) и т.д. Но главное - никто из них детей не убивает.
Если нет малыша, то кого же тогда абортируют? Это называется "расчеловечевание".
В какой момент "не малыш" становится "малышом"? Уже на 6й неделе бьётся сердце. На 13й неделе есть развитая нервная система способная чувствовать боль. Даже на 5-ом месяце беременности недоношенный младенец уже способен выжить.
У человечества уже есть опыт, когда некоторых считали "недочеловеками", и сейчас стесняются об этом вспоминать.
Вот решать за женщину, что ей нельзя убить ребёнка, когда он уже родился - это в нашем обществе нормально. А решать за женщину, что ей нельзя убить ребёнка до того, как он родился - это ая-яй-яй, нельзя! Какие-то двойные стандарты.
ни разу не родные родители
Ну да, родные родители, которые тебя убили, чтобы найти "лучше оплачиваемую работу" - это лучшие родители. (сарказм)
Давить - нельзя, а "опекать" - можно. Только бы не перепутать.
Вот в штате Missouri аборты запрещены, поэтому в школах "опекали" девочек: возили делать аборты в соседний штат, - там можно. А родителям - не говорили.
И подобных примеров - много. Поэтому народ тут массово валит из школ: будет ли моя дочь делать аборт или нет - намного важнее того, какая у неё оценка по биологии...
Рейтинг образования может и волнует конгрессменов, но большинству родителей - до лампочки. А даже если и волнует родителей - мало кто может что-то сделать по этому поводу.
А вот активисты реально страху нагнали на родителей. Показательный пример: у нас тут в прошлом году вопрос получил вот такой оборот:
родители обнаружили в школьных библиотеках книги про геев, трансов и т.д.
родители подняли шум и в нашем округе запретили, чтобы в школьных библиотеках были "порнографические" книги.
активисты подняли шум, что дикие варвары (это про родителей) запрещают книги! У нас свобода слова, а тут хотят ввести "цензуру"!
Я так и не понял чем кончилась именно эта баталия, но показательно, что именно такие вот книжки вызвали очень резкую реакцию родителей, чем какие-то непонятные "рейтинги образования".
Я уже 4 года живу в Южной Каролине. Это один из самых консервативных штатов США.
Последние годы в США повсеместно поднимали голову разные активисты - голубые, розовые, с оттенками серого... и почему-то очень многие из них чувствуют призвание идти "учить": те, кто поумнее - в университеты, потупее - в школы... Понятно чему и как они учат. И это происходит даже в консервативных штатах. Трамп вроде бы пытается "вернуть всё взад" (например расформировано федеральное министерство образования), но как-то не очень получается.
Из-за этого большинство адекватных людей, которых тут немало, поняли что от школы лучше держаться подальше, потому что сейчас учителя в государственных школах США - это большая вероятность, что ребёнку на всю жизнь засрут мозги.
Как сделать, чтобы учителя были адекватные тут ещё не придумали. Но сделали альтернативный ход: с этого года штат платит не только за общеобразовательные школы (как и везде), но теперь и за частные (в том числе и церковные) и за домашнее обучение. Причём этот закон приняли 3 года назад, с этим законом боролись активисты, подавали в суд (типа это неконституционно, чтобы государство платило за религиозные школы), но вот с этого учебного года закон утверждён. Что объясняет почему именно в этом году тут резко выросло количество тех, кто больше не хочет ходить в государственные школы.
700 миллиардов параметров, даже в q4 - мало кто сможет такое запустить.
В последние несколько недель вышли несколько очень неплохих open-source моделей, которые - MoE и количество активных параметров - 10-12B:
MiniMax-M2-230B - 10B активных параметров
GLM4.5-106B-air - 12B активных параметров
Вот такой размер реально запустить у себя с более-менее практичной скоростью. А если ещё и сделать QAT (Quantization-Aware Training), как это сделали для gpt-oss-120B, то будет вообще топчик.
DDR5-4800 * 8 каналов (правда я не уверен, что память запустилась на максимальной скорости: mlc показывает 190GB/s)
ggml-org/gpt-oss-120b-GGUF
MOE, 5 миллиардов активных параметров
промпт: 43 т/c
генерация: 15 т/c
размер модели: 61 GB
MiniMax-M2-GGUF:UD-Q5_K_XL
MOE, 10 миллиардов активных параметров
промпт: 25 т/c
генерация: 9 т/c
размер: 162 GB
это одна из лучших открытых моделей на сегодня, по benchmark - лучше чем все модели в статье. Лучше неё - только GLM 4.6, но она в несколько раз больше.
у меня llama.cpp иногда не очень корректно обрабатывает <think> тэги для этой модели
Лучше использовать два процессора — будет проще набрать нужный объем памяти, а скорость подготовки промта возрастет.
Что-то есть сомнение, что автор знает о чём пишет.
Для CPU-инференса, система на двух процессорах работает в разы МЕДЛЕННЕЕ, чем система на одном процессоре.
Причина - в том, что когда один процессор читает модель которая находится "в его" памяти, то скорость доступа - например 200GB/s, а когда читает модель, которая находится в памяти другого процессора, то данные идут через NUMA, у которой скорость - 30GB/s.
Есть узко-специализированные проекты, которые "умеют" работать с NUMA, но llama.cpp - не умеет (у llama.cpp есть флаги для управлением NUMA, но реально я ещё не увидел чтобы кто-то сумел успешно разнести модель на два процессора, чтобы она от этого ускорилась).
Запустил себе виртуалку на Oracle Cloud, SSH работает, а другие порты - не работают (80, 443...).
Настроил в их cloud: network security groups (NSGs), security lists... Всё равно порты недоступны.
На самой виртуалке Ubuntu - firewall не запущен.
Оказалось, что Oracle в образы Ubuntu уже "включает" какой-то конфиг iptables, который по умолчанию блокирует большинство портов. Решилось вот этой командой:
Qwen2.5-Coder?
deepseek-r1?
Вы из прошлого века?
Как-то я сомневаюсь, что AI выдаст адекватную презентацию... Так - черновик может быть.
Я экперементировал вот с этим open-source:
https://github.com/presenton/presenton
И оно работает. Я использовал локальную модель OSS-GPT-120B, а картинки - через API Google Gemini.
Какой-то мутный список в статье...
Gemma 3 - это модель Британии? Серьёзно?
А сегодня согласно законов убивают детей.
Этот диалог можно продолжать бесконечно...
Вот поэтому я в Южной Каролине: потому что мои дети (у меня их 9) здесь ходят в частную христианскую школу. В которой и близко не подпустят учить и преподавать человека, который считает что аборт - это нормально. Или который считает что мальчик может стать девочкой.
А какой будет академический уровень образования, в какой университет поступят мои дети - вопросы конечно важные, но второстепенные. Думаю, что с этим у них тоже всё будет нормально, потому что один мой двоюродный брат тут - доктор, другие два - программисты (я - тоже) и т.д. Но главное - никто из них детей не убивает.
Если нет малыша, то кого же тогда абортируют? Это называется "расчеловечевание".
В какой момент "не малыш" становится "малышом"? Уже на 6й неделе бьётся сердце. На 13й неделе есть развитая нервная система способная чувствовать боль. Даже на 5-ом месяце беременности недоношенный младенец уже способен выжить.
У человечества уже есть опыт, когда некоторых считали "недочеловеками", и сейчас стесняются об этом вспоминать.
Вот решать за женщину, что ей нельзя убить ребёнка, когда он уже родился - это в нашем обществе нормально. А решать за женщину, что ей нельзя убить ребёнка до того, как он родился - это ая-яй-яй, нельзя! Какие-то двойные стандарты.
Ну да, родные родители, которые тебя убили, чтобы найти "лучше оплачиваемую работу" - это лучшие родители. (сарказм)
"Жизнь лучше сложилась"?
А как сложилась жизнь у малыша, которого убили абортом?
Кстати, тут в США, во всех штатах, можно добровольно отдать ребёнка сразу после рождения. Вопрос "полного содержания" решён.
Давить - нельзя, а "опекать" - можно. Только бы не перепутать.
Вот в штате Missouri аборты запрещены, поэтому в школах "опекали" девочек: возили делать аборты в соседний штат, - там можно. А родителям - не говорили.
И подобных примеров - много. Поэтому народ тут массово валит из школ: будет ли моя дочь делать аборт или нет - намного важнее того, какая у неё оценка по биологии...
Рейтинг образования может и волнует конгрессменов, но большинству родителей - до лампочки. А даже если и волнует родителей - мало кто может что-то сделать по этому поводу.
А вот активисты реально страху нагнали на родителей. Показательный пример: у нас тут в прошлом году вопрос получил вот такой оборот:
родители обнаружили в школьных библиотеках книги про геев, трансов и т.д.
родители подняли шум и в нашем округе запретили, чтобы в школьных библиотеках были "порнографические" книги.
активисты подняли шум, что дикие варвары (это про родителей) запрещают книги! У нас свобода слова, а тут хотят ввести "цензуру"!
Я так и не понял чем кончилась именно эта баталия, но показательно, что именно такие вот книжки вызвали очень резкую реакцию родителей, чем какие-то непонятные "рейтинги образования".
Я уже 4 года живу в Южной Каролине. Это один из самых консервативных штатов США.
Последние годы в США повсеместно поднимали голову разные активисты - голубые, розовые, с оттенками серого... и почему-то очень многие из них чувствуют призвание идти "учить": те, кто поумнее - в университеты, потупее - в школы... Понятно чему и как они учат. И это происходит даже в консервативных штатах. Трамп вроде бы пытается "вернуть всё взад" (например расформировано федеральное министерство образования), но как-то не очень получается.
Из-за этого большинство адекватных людей, которых тут немало, поняли что от школы лучше держаться подальше, потому что сейчас учителя в государственных школах США - это большая вероятность, что ребёнку на всю жизнь засрут мозги.
Как сделать, чтобы учителя были адекватные тут ещё не придумали. Но сделали альтернативный ход: с этого года штат платит не только за общеобразовательные школы (как и везде), но теперь и за частные (в том числе и церковные) и за домашнее обучение. Причём этот закон приняли 3 года назад, с этим законом боролись активисты, подавали в суд (типа это неконституционно, чтобы государство платило за религиозные школы), но вот с этого учебного года закон утверждён. Что объясняет почему именно в этом году тут резко выросло количество тех, кто больше не хочет ходить в государственные школы.
700 миллиардов параметров, даже в q4 - мало кто сможет такое запустить.
В последние несколько недель вышли несколько очень неплохих open-source моделей, которые - MoE и количество активных параметров - 10-12B:
MiniMax-M2-230B - 10B активных параметров
GLM4.5-106B-air - 12B активных параметров
Вот такой размер реально запустить у себя с более-менее практичной скоростью. А если ещё и сделать QAT (Quantization-Aware Training), как это сделали для gpt-oss-120B, то будет вообще топчик.
Я пробовал несколько экспериментов с драфтовыми моделями, но что-то толку от них было мало.
А вот вынести контекст на GPU - реально ускоряло:
MiniMax-M2-GGUF:UD-Q5_K_XL (162GB, MOE, 10 миллиардов активных параметров):
DDR5-4800 * 8 каналов: генерация: 9 т/c
DDR5-4800 * 8 каналов и NVIDIA RTX 4090D 48GB: генерация: 15 т/c
Если флагман, то - Qwen3-VL-235B-A22B
У меня xm4 и корпус треснул, теперь одно ухо болтается, висит на проводе
Я запускал некоторые модели у себя без GPU.
Система:
Intel Xeon W5-3425 (12 cores, AMX)
DDR5-4800 * 8 каналов (правда я не уверен, что память запустилась на максимальной скорости: mlc показывает 190GB/s)
ggml-org/gpt-oss-120b-GGUF
MOE, 5 миллиардов активных параметров
промпт: 43 т/c
генерация: 15 т/c
размер модели: 61 GB
MiniMax-M2-GGUF:UD-Q5_K_XL
MOE, 10 миллиардов активных параметров
промпт: 25 т/c
генерация: 9 т/c
размер: 162 GB
это одна из лучших открытых моделей на сегодня, по benchmark - лучше чем все модели в статье. Лучше неё - только GLM 4.6, но она в несколько раз больше.
у меня llama.cpp иногда не очень корректно обрабатывает <think> тэги для этой модели
Что-то есть сомнение, что автор знает о чём пишет.
Для CPU-инференса, система на двух процессорах работает в разы МЕДЛЕННЕЕ, чем система на одном процессоре.
Причина - в том, что когда один процессор читает модель которая находится "в его" памяти, то скорость доступа - например 200GB/s, а когда читает модель, которая находится в памяти другого процессора, то данные идут через NUMA, у которой скорость - 30GB/s.
Есть узко-специализированные проекты, которые "умеют" работать с NUMA, но llama.cpp - не умеет (у llama.cpp есть флаги для управлением NUMA, но реально я ещё не увидел чтобы кто-то сумел успешно разнести модель на два процессора, чтобы она от этого ускорилась).
Нарвался на такую проблему:
Запустил себе виртуалку на Oracle Cloud, SSH работает, а другие порты - не работают (80, 443...).
Настроил в их cloud: network security groups (NSGs), security lists... Всё равно порты недоступны.
На самой виртуалке Ubuntu - firewall не запущен.
Оказалось, что Oracle в образы Ubuntu уже "включает" какой-то конфиг iptables, который по умолчанию блокирует большинство портов. Решилось вот этой командой:
sudo iptables -I INPUT -j ACCEPT
Как знать...
Может они закладывают логические ловушки. Консультанты - они тёртые калачи...
"свой ChatGPT" с моделью на 2B - это даже не очень смешно.
Боле-менее вменяемые результаты модели выдают начиная от 30B.
Сравнимо с ChatGPT - это от 120B и выше.
Ollama - оно вроде бы и работает, но это довольно костыльная обёртка вокруг llama.cpp. Если осилите, то лучше уже сразу запускать llama.cpp
https://github.com/XTXMarkets/ternfs
Файлы можно только создавать, читать и удалять. Редактирование (изменение) не поддерживается.