вероятно, что появляющиеся специализированные ASIC'и для LLM примерно так и устроены.

С одной стороны - никогда не догонят текущую топ коммерческую модель, но с другой стороны - уже догнали позапрошлогодние. Я не зря упомянул старые Xeon в статье - они дешевые на ebay, и там все хорошо с memory throughput, помедленнее GPU, но не намного, особенно MoЕ модели типа Микстралей быстро гоняет.

ollama - отличная экосистема, но это всего лишь wrapper над llama.cpp, своего инференса там нет.

В exllamav2 нет магии, позволяющей запускать большие модели, если они не помещаются в память, она поддерживает некоторые особо агрессивные квантизации (сжатия), когда менее важные (влияющие на результат) матрицы весов модели квантуются в 1-2 бита. Плюс работает только на CUDA. Другие ранеры тоже постоянно добавляют поддержку новых видов сжатия.

Производительность не совсем как у самого медленного компьютера, так как обработка каждого токена разделяется последовательно. Например, рассмотрим разделение на 3 компа, где первый, если бы модель помещалась в его память, работал бы со скоростью 10 токенов в секунду, а второй - 5 токенов в секунду, и третий - 2 токены в секунду. Если у них одинаковое количество памяти, и мы делим модель на три равные части, и скорость получится 10*(1/3)+5*(1/3)+2*(1/3)=5,667 токенов в секунду, то есть быстрее самого медленного, и даже быстрее среднего.

В датацентрах эта арифметика не работает, так как там инференс устроен немного по-другому: в примере выше, в каждый момент времени 2 из 3 компов - idle, но в датацентрах много инференсов параллельно, и они будут обрабатывать другие инференсы. Плюс, во время умножения матрицы на вектор, где в клиентском случае ALU будет ждать память, в datacenter будет обрабатываться несколько таких умножений параллельно, чтобы производительность ALU и пропускная способность памяти совпадали.

В Портланде, где жил автор, уже лет 5 назад решили, что это не честно по отношению к меньшинствам, которые не проходят по конкурсу, поэтому в магнет школы собирают "таланты" по лотерее.

Я четыре года прожил в ближнем пригороде Портленда (с 2021 до 2024), и до этого каждый год между 2004 и 2021 туда летал по работе, и просто ни разу с 2017 не был в центральных районах, оккупированых наркоманами.

1. Из Вашего первого комментария: "от вакцины бывают миокардиты, но вот только от COVID-19 миокардиты бывают чаще". 

Обозначим P(A) вероятность получить миокардит от вакцины, и P(B) - вероятность получить миокардит от ковида. 

Итак, ваше утверждения - P(A)<P(B).

2. Из вашего второго комментария, первая цитата из статьи, которую, по вашему, я понял как-то странно. "... у пациентов с миокардитом после прививки мРНК-вакцинами от ковида частота сердечно-сосудистых осложнений через 18 месяцев была намного ниже, чем у пациентов с постковидным миокардитом и любым другим миокардитом." Перечитайте ее, пожалуйста, еще раз. Она вообще ничего не говорит о P(A) и P(B).

Она говорит, только о том, что P(C|A)<P(C|B), где P(C) - вероятность сердечно-сосудистых осложнений через 18 месяцев после диагноза миокардита.

Уже в 2022 появились в mainstream журналах публикации типа "Estimated Effectiveness of COVID-19 Vaccines Against Omicron ...", которые показывали, что эффективность от заражения за несколько месяцев падает до 1% (95% CI, –8% to 10%), но можно сделать бустер, и будет аж 61% (но тоже ненадолго.) Эти публикации быстро траслировалось из научных журналов в официальную пропаганду, которая тогда стала говорить, что прививку от ковида и бустеры надо делать не для того, чтобы не заболеть (и не заразить бабушку), а для того, чтобы не помереть.

Это что-то из начала/середины 2021 года. Официальные лица здравоохранения весь 2022 и 2023 годы говорили, что вакцинация защищает не от заражения, а от тяжелого течения и смерти. Кто вероятнее заразит бабушку - антиваксер Вася, который помер или в реанимации, или вакцинированный Петя, у которого течение ковида легкое или вообще безсимптомное(но заражать он может)?