С этими пунктами в библии эволюция и автономия стабильнее и быстрее всего пошли, иначе он на каждом шагу останавливался и ждал команды "владельца". Но это всё кастомизируемо, библию можно под себя переписать, не обязательно дефолтную версию из репозитория исполльзовать.
Спасибо! Да, без фидбека о живом использовании такие вещи было сложно сразу красиво сделать, в ближайшие дни буду всё исправлять опираясь на ваш и остальной фидбек из комьюнити!
Добрый день! Взрывы лосса — резкие скачки (спайки) значения лосса во время обучения. Про одну из попыток объяснить это явление для LLM у меня есть довольно понятная и интересная статья (тык). Сейчас приходится перезапускать обучение с другой последовательностью батчей, чтобы модель не разошлась.
Кстати, на задачах линейного пробинга действительно видно, что средние слои декодеров дают лучшую точность классификации. То есть если модель заморожена и можно обучать только логистическую регрессию поверх эмбеддингов, то лучше брать эмбеддинги из середины.
Вот такой у нас получился график для классификации CIFAR в другой статье про imageGPT.
Да, были работы про "линейный пробинг" эмбеддингов, удалось выявить направления, связанные с координатами и временем (Language Models Represent Space and Time). Работает не идеально, но работает)
Вы говорите про явление Grokking. Да, похоже, что это явление и компрессия репрезентаций очень плотно связаны. Схожая интуиция была в статье про OmniGrok. Было бы очень интересно посмотреть что происходит с внутренней размерностью при переходе от оверфита к генерализации, предположу что там будет "ступенька" на графике внутренней размерности.
Спасибо! Такие атаки действительно довольно сложно победить, но можно двигаться с нескольких сторон: использование дополнительных моделей детекторов, дообучение на сложных примерах и alignment, предотвращающий потенциально опасные ответы модели.
Спасибо что потестили! Такой фидбек очень помогает! Буду дорабатывать и полировать все шерховатости
С этими пунктами в библии эволюция и автономия стабильнее и быстрее всего пошли, иначе он на каждом шагу останавливался и ждал команды "владельца". Но это всё кастомизируемо, библию можно под себя переписать, не обязательно дефолтную версию из репозитория исполльзовать.
Привет! Под моей философией вы имеете в виду то, что я не люблю RAG и делаю ставку на полностью автономных агентов и авторисёрч или есть ещё что-то?
Спасибо! Да, без фидбека о живом использовании такие вещи было сложно сразу красиво сделать, в ближайшие дни буду всё исправлять опираясь на ваш и остальной фидбек из комьюнити!
Это реальные траты на API у Хоуп (опентрутор + openAI + anthropic)
Спасибо! Да, поэтому в гугл колабе для теста запустить. Будет без UI, но зато очень быстро и безопасно.
Спасибо! Поддержка локальных моделей уже есть. Как и openAI compatible эндпоинтов.
Спасибо! Перепроверил ссылки, поправил сломанные. Посчитал токены, получилось примерно 20B.
Как минимум это зависит от количества параметров. Видим, что совсем крошечные модели остаются нелинейными.
Вроде это не баг а фича, т.к. мы хотели показать как именно она распозналась
Добрый день! Взрывы лосса — резкие скачки (спайки) значения лосса во время обучения. Про одну из попыток объяснить это явление для LLM у меня есть довольно понятная и интересная статья (тык). Сейчас приходится перезапускать обучение с другой последовательностью батчей, чтобы модель не разошлась.
Кстати, на задачах линейного пробинга действительно видно, что средние слои декодеров дают лучшую точность классификации. То есть если модель заморожена и можно обучать только логистическую регрессию поверх эмбеддингов, то лучше брать эмбеддинги из середины.
Вот такой у нас получился график для классификации CIFAR в другой статье про imageGPT.
Да, были работы про "линейный пробинг" эмбеддингов, удалось выявить направления, связанные с координатами и временем (Language Models Represent Space and Time). Работает не идеально, но работает)
Вы говорите про явление Grokking. Да, похоже, что это явление и компрессия репрезентаций очень плотно связаны. Схожая интуиция была в статье про OmniGrok. Было бы очень интересно посмотреть что происходит с внутренней размерностью при переходе от оверфита к генерализации, предположу что там будет "ступенька" на графике внутренней размерности.
Спасибо! Такие атаки действительно довольно сложно победить, но можно двигаться с нескольких сторон: использование дополнительных моделей детекторов, дообучение на сложных примерах и alignment, предотвращающий потенциально опасные ответы модели.
Добрый день! Попробуйте запустить этот colab, тут автоматически происходит загрузка весов из HuggingFace.