Более мощное семейство моделей YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения

У яндекса их модель выдает ответы на уровне 3.5. Не понимаю почему огромная компания с их bigdata не могут сделать мультиагентную систему которая будет давать ответы в зависимости от области. Файтюненая модель llama с доступом к интернет поиску и то даёт ответы лучше и это с учётом того что это всё тренеровалось тупо на не большой выборке данных на обычной пользовательской видеокарте, не говоря уже о A100.

Более мощное семейство моделей YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения

Скрывают что б не опозориться.

Как с помощью supervised fine-tuning кастомизировать LLM

А есть мануалы по обучению с подкреплением(PPOTrainer)?

Как с помощью supervised fine-tuning кастомизировать LLM

Многие уже отфайтюнили llama 3.1 8b с квантованием fp8. И вполне успешно практикуют базы знаний rag.

Машинный перевод GPT-4o статьи «Uncensor any LLM with abliteration»

Llama 405 и gemini pro не пробовал, но думаю принцип тот же.

Машинный перевод GPT-4o статьи «Uncensor any LLM with abliteration»

Пробовал только mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated работает нормально. Вот хочу на её основе обучить свою.

Машинный перевод GPT-4o статьи «Uncensor any LLM with abliteration»

Для llama3 да, а для gpt4 уже требуется несколько уровней абстракции. Я писал статью с промтом Алисы что бы имитировать логику o1 и обойти ограничения цензуры. Я сейчас пытаюсь собрать датасет для более широкой поддержки русского языка, llama изначально создавалась для англоязычной аудитории, а поддержка русского сильно ограничена.

Представлен открытый проект Databye для анонимизации и преобразования конфиденциальных данных в базах

Это делается для аналитики и составления датасетов для обучения моделей.