Вы говорите про явление Grokking. Да, похоже, что это явление и компрессия репрезентаций очень плотно связаны. Схожая интуиция была в статье про OmniGrok. Было бы очень интересно посмотреть что происходит с внутренней размерностью при переходе от оверфита к генерализации, предположу что там будет "ступенька" на графике внутренней размерности.

 В С# немного "наоборот": там вызывать всё-таки get/set приходится, зато сахар для объявления, кажется, наиболее короткий.

Нет, вызывать явно ничего не нужно

class MyClass
{
   public int MyInt {get;set;}
}

Код выше сам сгенерирует то, что на тамошней терминологии называется backed field. И сгенерирует геттер и сеттер. Либо можно в явном виде:

class MyClass
{
   private int _myInt;

   public int MyInt {
     get => _myInt = value;
     set => _myInt;
   }
}

Использовать можно так:

var mc = new MyClass();
mc.MyInt = 0;
Console.WriteLine(mc.MyInt);

Скорее всего они использую похожий на метод k-quant, который есть в llama.cpp. Можно почитать здесь, что это https://github.com/ggerganov/llama.cpp/pull/1684
Если коротко, - то это лоботомия модели, чтобы ускорить её и уменьшить потребление ресурсов, а точнее иметь возможность полностью поместить её в VRAM, чтобы использовать на 100% GPU.

UPD: И вероятно так и есть, я тоже заметил одну странность, иногда ChatGPT очень быстро пишет текст, но который буквально просто набор слов без какого-то связного смысла, а вот если нажать перегенерировать он начинает уже долго выдавать ответ, но на порядок лучше. Как раз таки k-quant в этом схожи, если сравнить Q2 и Q6 методы.

В Питоне есть незаслуженно забытый TypedDict, позволяющий фиксировать по типам содержимое словаря. Хорош, чтобы вернуть из функции 3-4 разных значения, но при этом dataclass делать не хочется, так как больше нигде они пачкой не идут.

Попробовал — унылая моделька с фильтрами и цензурой. Тогда уж чатгпт лучше. А вот в альпаке вообще никакой цензуры нет, она ответит абсолютно на что угодно

Сделал аналогичное решение для личного использования, но на tts Silero. Взгляните в его сторону, некоторые голоса потрясающи.

А как же https://github.com/go-kratos/kratos ?

Автору оригинальной статьи хорошо бы освоить технику инверсии проверок, когда не if (...) { <что-то важное> }, а if !(...) return; <что-то важное>. Очень помогает бороться с цикломатической сложностью.

Проблема с JPA в том, что он может внезапно накинуть 2-3 запроса сверху, в зависимости от графа сущностей. Там, где кажется, что должен быть один запрос, легко может быть пять.

Есть неплохая библиотека, чтобы защититься от такого, она позволяет убедиться, что такой-то запрос выполняет 2 селекта, а не 10 https://github.com/quick-perf/quickperf

зачем vba? эти самые ип сейчас активно осваивают noops инструменты. Берут условный zapier - и связывают эксель таблицу, почту, слак и гугл док в цепочку. Да, это стоит денег. Но зато позволяет быстро тяп-ляп автоматизировать бизнес процессы и решить свои задачи. И отложить вопрос "сделать идеально" на потом.

Я честно стараюсь поменьше без приглашений врываться и евангелировать за раст)
Но, если уж на то пошло, Amethyst как движок давно уже не сильно живой был, а недавно совсем помер. Я бы из претендующих на масштабность чисто растовых движков советовал смотреть на Bevy или rg3d - только сразу предупреждаю, что это все еще штуки в первую очередь для энтузиастов, слишком все сырое.