LangChain и LangGraph хороши для первых шагов и прототипирования. Стоит копнуть и там вылезают наружу проблемы. Я, например, пытался заставить работать Fireworks API через langchain-fireworks там где работала обёртка langchain-ollama... Пришлось переписывать обёртку самостоятельно. В LangGraph тоже хватает своих приколов. Но основная проблема обеих библиотек в том, что они очень быстро меняются. Если не обновляешь свой код месяц-два, то вероятность, что всё сломается на новой версии больше 99 %
Помню, я начал пользоваться библиотекой в 2012-ом для детекции лиц (тогда ещё метод Виолы-Джонса на Хааровских признаках для этого был в библиотеке). Сколько воды утекло с тех пор и как технологии шагнули вперёд!
Обожаю Opencv! Для меня это самый первый опыт работы с открытым программным обеспечением и лучший пример того каким должен быть софт. Я столько всего узнал благодаря авторам библиотеки! Безмерно уважаю и благодарю за Opencv!
И насчёт того, что полтора ляма это дорого. Это копейки для исследовательского проекта, который такие результаты показывает.
Эта же модель, o3 решила 25 % задач из нового супер сложного математического бенчмарка EpochAI Frontier Math. Предыдущая SOTA 2 %. Это улучшение за 3 месяца сделали.
Масштаб того, что было показано OpenAI на прошлых выходных, - огромный.
Что значит "дообучать не совсем честно"? Ахах. Обучение там было на примерах из обучающей выборки. Она специально для обучения предназначена. А тест был на закрытой части датасета.
Круто. Было бы интересно увидеть сравнение с какой-нибудь открытой моделькой, например openchat3.5:7b_0106. И есть ли у вас планы закоммитить свою модель на hugginface?
Для описанного вами алгоритма верификации по лицу, вы измеряли вероятность ложного несовпадения (FNMR) при вероятности ложного совпадения (FMR) 0.01 %?
Не слушайте никого, кто скажет, что нельзя давать такой инструмент в руки пациента. Доступ к знанию должен быть открытым и свободным. Страхи, связанные с рисками неправильного применения, можно легко распространить практически на любую полезную технологию. Например, давайте запретим пользоваться книгами, ведь обязательно найдутся люди, которые поймут их неправильно и натворят дел... Это просто смешно.
По проекту. Авторы молодцы. За то, что проект открытый, вдвойне мододцы. Так держать. И, конечно, не останавливаться на достигнутом.
LangChain и LangGraph хороши для первых шагов и прототипирования. Стоит копнуть и там вылезают наружу проблемы. Я, например, пытался заставить работать Fireworks API через langchain-fireworks там где работала обёртка langchain-ollama... Пришлось переписывать обёртку самостоятельно. В LangGraph тоже хватает своих приколов. Но основная проблема обеих библиотек в том, что они очень быстро меняются. Если не обновляешь свой код месяц-два, то вероятность, что всё сломается на новой версии больше 99 %
Смешно)
Сравнивали с GLM-OCR? Там 0.9B и по бенчам заявляют SOTA.
Наверное инициатива хорошая, но, по факту, бенчмарк "из коробки" не работает и в issues на гитхабе по прежнему никто не отвечает.
Детский сад какой-то у них с политикой такой. Лучше бы просто выкладывали веса отслуживших своё моделей в открытый доступ.
Помню, я начал пользоваться библиотекой в 2012-ом для детекции лиц (тогда ещё метод Виолы-Джонса на Хааровских признаках для этого был в библиотеке). Сколько воды утекло с тех пор и как технологии шагнули вперёд!
Обожаю Opencv! Для меня это самый первый опыт работы с открытым программным обеспечением и лучший пример того каким должен быть софт. Я столько всего узнал благодаря авторам библиотеки! Безмерно уважаю и благодарю за Opencv!
Автоматизируйте и ежемесячно обновляйте рейтинг
В порядке вещей здесь стало публиковать новости без бенчмарков. Почему таблицу не добавить сравнительную с тем же AWQ?
Просадка в OCRBench. Переделывать.
И насчёт того, что полтора ляма это дорого. Это копейки для исследовательского проекта, который такие результаты показывает.
Эта же модель, o3 решила 25 % задач из нового супер сложного математического бенчмарка EpochAI Frontier Math. Предыдущая SOTA 2 %. Это улучшение за 3 месяца сделали.
Масштаб того, что было показано OpenAI на прошлых выходных, - огромный.
Тред комментариев лучше, чем содержание статьи)
Что значит "дообучать не совсем честно"? Ахах. Обучение там было на примерах из обучающей выборки. Она специально для обучения предназначена. А тест был на закрытой части датасета.
...Суцкевер уверен, что эта динамика в конечном итоге придётся менять процесс обучения...
Исправьте это
Хабр, введи кнопку - написано LLM. Чтобы сразу такое пропускать. Информационная ценность равна нулю. Не понимаю зачем хабр такое публикует.
Где YOLO?
Что-то хабр в последнее время стал часто публиковать вот такие поверхностные материалы. Жаль
Никогда не пользовался ни первым, ни вторым. И честно говоря, кажется, что без них можно обойтись в 99.99 % случаев. Поправьте меня, если это не так.
Круто. Было бы интересно увидеть сравнение с какой-нибудь открытой моделькой, например openchat3.5:7b_0106. И есть ли у вас планы закоммитить свою модель на hugginface?
Для описанного вами алгоритма верификации по лицу, вы измеряли вероятность ложного несовпадения (FNMR) при вероятности ложного совпадения (FMR) 0.01 %?
Что же, ждём её результат на chatbot arena
Не слушайте никого, кто скажет, что нельзя давать такой инструмент в руки пациента. Доступ к знанию должен быть открытым и свободным. Страхи, связанные с рисками неправильного применения, можно легко распространить практически на любую полезную технологию. Например, давайте запретим пользоваться книгами, ведь обязательно найдутся люди, которые поймут их неправильно и натворят дел... Это просто смешно.
По проекту. Авторы молодцы. За то, что проект открытый, вдвойне мододцы. Так держать. И, конечно, не останавливаться на достигнутом.