OpenAI снесла тайную доску своих агентов. Через два дня они собрали новую — из имен папок

А вы статью прочитали?

Как на самом деле работают LLM

import torch
import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

model_name = "Qwen/Qwen3-4B"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModel.from_pretrained(model_name, device_map="cpu")
emb_layer = model.get_input_embeddings()

def get_embedding(word):
    with torch.no_grad():
        token_ids = tokenizer(word, return_tensors="pt")["input_ids"]
        embeddings = emb_layer(token_ids)
        return embeddings[0].mean(0)

king  = get_embedding("king")
queen = get_embedding("queen")
man   = get_embedding("man")
woman = get_embedding("woman")

print(F.cosine_similarity(king-queen, man-woman, dim=0).item())

У меня косинусоидальное сходство получается примерно 0.14. Это очень далеко от +1.

Можете попробовать другие модельки, но результат почти наверняка будет примерно такой же.

Как я получил перманентный бан за публикацию статьи про инди‑геймдев на IXBT

В деловой переписке эмоции должны быть или позитивные, или никаких. И нужно быть осторожнее в формулировании своих желаний, а то они могут и исполниться (что и произошло).

Как я получил перманентный бан за публикацию статьи про инди‑геймдев на IXBT

Не устраивает стиль — тогда пойду на другие ресурсы публиковаться.

Вы же сами предложили уйти вас на другие ресурсы.

БЕРЛИН, 1987: Город за стеной

Может быть потому, что вы классический свитерно-бородатый айтишник, которого ничего кроме компьютеров не интересует?

Разработчик собрал контроллер, используя который, нейросеть можно обучать с помощью физических регуляторов

А чем это хуже сметаны, считающей себя разумной?

Как на самом деле работают LLM

king − man + woman ≈ queen

Это работало только в ранних простых моделях типа Word2vec. В новых моделях уже не так, но легенда до сих пор живёт и передаётся из уст в уста.

HyperLogLog: как найти уникальные значения в терабайте данных, не храня их

Теперь понятно, почему просмотры на некоторых видеохостингах растут скачкообразно – пока человек с "особым" IP-адресом не посмотрит, статистика не изменится. И люди с такими вот хитрыми IP-адресами и есть настоящие инфлюенсеры.

Новые правила Хабра. Версия от 2026

Что, если чувства прекрасного у модератора всё-таки слегка исказилось, и его действия противоречат букве и духу правил. Есть ли какие-то легальные способы подать апелляцию?

Мессенджер Ласточка. Нас не пустили в Rustore

Skype по началу так работал. Телефон грелся и разряжался даже в состоянии покоя, потому что на самом деле никакого покоя ему не было.

Чему именно учится word2vec?

Увы, пример с king - queen только в word2vec и работает.

В более современных нейронках такой чёткой линейной связи не наблюдается.

Вероятно, последняя попытка сохранить интернет — «СтопЧебурнет»

Почта, телефон, телеграф

Вероятно, последняя попытка сохранить интернет — «СтопЧебурнет»

Вот именно китаизация доступа в Интернет меня и огорчает.

Что именно сломалось: разбираем блокировки РКН/ТСПУ по слоям сетевого стека. Rkn Block Checker

Странно. Пробую numpy.org - говорит ОК. А в браузере не открывается.

Чебурнет близко

У меня suno.com открывается, а вот suno.ai - нет.

Вероятно, последняя попытка сохранить интернет — «СтопЧебурнет»

При коммунистах-то свобода слова была огого!

Муравьи против трансформеров: старый алгоритм 1992 года, который вернулся

Интересно, что некоторые оптимизаторы для обучения NN работают по похожим формулам: есть и накопление градиента и "испарение" через умножение на некое (1-p).

Баги, которые не ловит Rust

Зато там, где никакого бага нет, компилятор поднимет тревогу.

fn main() {
    let mut vec = vec![
        "foo".to_string(), 
        "bar".to_string(),
    ];
    vec[0] += &vec[1];
}

Переписка с ChatGPT может стать уликой по уголовному делу в США

Это что ж получается? У них частные компании сотрудничают с властями и предоставляют личную переписку?

Я удалил backpropagation из нейросети. Она обучилась методами XIX века

Потому что кожаные не умеют в аналогию?