Алексей Гончаров aka RafaelUI

Алексей Гончаров@RafaelUI

User

Rating

Habr Career

ProfileArticles2Comments3Bookmarks2Followers

Invited: October 28 by invitation from UFO

About: Я независимый разработчик из России. Делаю приложения для Mac и iPhone на Swift и занимаюсь машинным обучением на устройствах Apple. Мои проекты выходят под брендом ImpulseLeap, на GitHub и Hugging Face я RafaelUI. Чем занимаюсь Основная тема — модели RWKV. Это архитектура языковых моделей, альтернативная привычным трансформерам (на них построены ChatGPT и большинство других чат-моделей). RWKV хранит «память» о прочитанном в компактном состоянии фиксированного размера, поэтому не замедляется и не требует всё больше памяти на длинных текстах. Для локального запуска на ноутбуке или телефоне это удобно. Я участвую в сообществе RWKV и пишу для этой архитектуры инструменты под технику Apple. Три открытых фреймворка (лицензия Apache-2.0) rwkv-metal — для Python на Mac. Работает на Apple Silicon (процессоры серии M) через MLX, библиотеку Apple для машинного обучения на Mac. Умеет: декодирование (генерацию текста) с сохранением состояния, обучение моделей с нуля, дообучение (LoRA/QLoRA, обучение только верхних слоёв, state-tuning), эмбеддинги и реранкер. Рассчитан на Mac с 16 ГБ памяти. Ставится командой pip install rwkv-metal. SwiftRWKV — то же для приложений на Swift: пакет для iOS, iPadOS, macOS и visionOS. Генерация, эмбеддинги, реранкер, дообучение и обучение с нуля прямо на устройстве. Покрыт 694 тестами. rwkv-quant — сжатие моделей (квантование) и собственный формат хранения .rwkvq. Модель становится в 2–3 раза меньше, при этом инструмент подбирает, какие её части можно сжимать сильнее, а какие нет. Те же файлы читают rwkv-metal и SwiftRWKV. Вычислительные ядра для Metal (язык программирования, который даёт доступ к GPU устройств от Apple), токенизатор и формат сжатых моделей написаны мной вручную. Вычислительное ядро RWKV включает прямой и обратный проход для обучения. Нужные части написаны без готовых реализаций. Приложение Neuro — приложение для iPhone, в котором можно дообучить модель на своём наборе данных прямо на телефоне. Данные не уходят на сервер. Работает на SwiftRWKV. Есть в App Store (Neuro: Local Fine-Tune). Открытые модели и данные на Hugging Face: маленькие модели en60m и ru60m (по 61 млн параметров, английская и русская) и датасеты на русском и английском. Стек: Python, PyTorch, Swift, SwiftUI, MLX, Metal, NumPy. Ссылки: github.com/RafaelUI, huggingface.co/ImpulseLeap, www.impulseleap.com

Information

Specialization