Оптимизация потребления памяти в ML-библиотеке LANCETNIC

Недавно я столкнулся с проблемой: моя библиотека lancetnic при обучении на больших текстовых датасетах просто перегружала оперативную память. На ноутбуке с 16 ГБ RAM модель не могла обучиться даже на 25 тыс. строк. Я начал разбираться и нашёл пару причин критического перерасхода памяти.

Привет, Хабр!

Решил наконец‑то рассказать о проекте, который уже полгода живёт в тени моего личного репозитория. Речь пойдёт о боте для борьбы со спамом в Telegram‑чатах. Это не просто «очередной антиспам бот», а решение, которое я писал с нуля, включая архитектуру нейросети для классификации текстов.

Забегая вперёд: бот бесплатный и открытый к тестированию. И он работает. Но обо всём по порядку.