Евгений @avalonsec
Адепт-линуксоид, python developer — любитель.
Information
- Rating
- Does not participate
- Location
- Красноярский край, Россия
- Registered
- Activity
Specialization
System Administration, ML Engineer
Intern
From 38,000 ₽
Python
SQL
Linux
REST
PHP
Nginx
Скрывают что б не опозориться.
А есть мануалы по обучению с подкреплением(PPOTrainer)?
Многие уже отфайтюнили llama 3.1 8b с квантованием fp8. И вполне успешно практикуют базы знаний rag.
Llama 405 и gemini pro не пробовал, но думаю принцип тот же.
Пробовал только mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated работает нормально. Вот хочу на её основе обучить свою.
Для llama3 да, а для gpt4 уже требуется несколько уровней абстракции. Я писал статью с промтом Алисы что бы имитировать логику o1 и обойти ограничения цензуры. Я сейчас пытаюсь собрать датасет для более широкой поддержки русского языка, llama изначально создавалась для англоязычной аудитории, а поддержка русского сильно ограничена.
Это делается для аналитики и составления датасетов для обучения моделей.