И насчёт того, что полтора ляма это дорого. Это копейки для исследовательского проекта, который такие результаты показывает.
Эта же модель, o3 решила 25 % задач из нового супер сложного математического бенчмарка EpochAI Frontier Math. Предыдущая SOTA 2 %. Это улучшение за 3 месяца сделали.
Масштаб того, что было показано OpenAI на прошлых выходных, - огромный.
Что значит "дообучать не совсем честно"? Ахах. Обучение там было на примерах из обучающей выборки. Она специально для обучения предназначена. А тест был на закрытой части датасета.
Круто. Было бы интересно увидеть сравнение с какой-нибудь открытой моделькой, например openchat3.5:7b_0106. И есть ли у вас планы закоммитить свою модель на hugginface?
Для описанного вами алгоритма верификации по лицу, вы измеряли вероятность ложного несовпадения (FNMR) при вероятности ложного совпадения (FMR) 0.01 %?
Не слушайте никого, кто скажет, что нельзя давать такой инструмент в руки пациента. Доступ к знанию должен быть открытым и свободным. Страхи, связанные с рисками неправильного применения, можно легко распространить практически на любую полезную технологию. Например, давайте запретим пользоваться книгами, ведь обязательно найдутся люди, которые поймут их неправильно и натворят дел... Это просто смешно.
По проекту. Авторы молодцы. За то, что проект открытый, вдвойне мододцы. Так держать. И, конечно, не останавливаться на достигнутом.
Исследователи не привели значения стандартных для оценки подобного рода систем (поверьте, аналоги таких систем на рынке имеются и не единичные) метрики? Почему? Где ВОКПА (APCER), где ВОКПБП (BPCER), время обработки транзакции? На каких выборках измерены оценки? Ничего этого здесь нет, как нет и в оригинальном сообщении. Зачем такой мусор публиковать!?
Насколько я понимаю, злоумышленник должен знать каким способом хешируются пароли в атакуемой информационной системе (например, если без солей, то достаточно будет наименования алгоритма хеширования). Далее, если злоумышленник обладает такой информацией, то ему достаточно использовать то самое СПО haschat, чтобы в комфортных для себя условиях, подобрать к вашему хешу исходный пароль. Как видите, защита от неправильного ввода пароля, в этом случае, вас не защитит.
Не пробовали что-нибудь полегче CLIP использовать, для рассчёта векторов изображений? Почему решили взять именно CLIP, если векторы текста не используете?
В порядке вещей здесь стало публиковать новости без бенчмарков. Почему таблицу не добавить сравнительную с тем же AWQ?
Просадка в OCRBench. Переделывать.
И насчёт того, что полтора ляма это дорого. Это копейки для исследовательского проекта, который такие результаты показывает.
Эта же модель, o3 решила 25 % задач из нового супер сложного математического бенчмарка EpochAI Frontier Math. Предыдущая SOTA 2 %. Это улучшение за 3 месяца сделали.
Масштаб того, что было показано OpenAI на прошлых выходных, - огромный.
Тред комментариев лучше, чем содержание статьи)
Что значит "дообучать не совсем честно"? Ахах. Обучение там было на примерах из обучающей выборки. Она специально для обучения предназначена. А тест был на закрытой части датасета.
...Суцкевер уверен, что эта динамика в конечном итоге придётся менять процесс обучения...
Исправьте это
Хабр, введи кнопку - написано LLM. Чтобы сразу такое пропускать. Информационная ценность равна нулю. Не понимаю зачем хабр такое публикует.
Где YOLO?
Что-то хабр в последнее время стал часто публиковать вот такие поверхностные материалы. Жаль
Никогда не пользовался ни первым, ни вторым. И честно говоря, кажется, что без них можно обойтись в 99.99 % случаев. Поправьте меня, если это не так.
Круто. Было бы интересно увидеть сравнение с какой-нибудь открытой моделькой, например openchat3.5:7b_0106. И есть ли у вас планы закоммитить свою модель на hugginface?
Для описанного вами алгоритма верификации по лицу, вы измеряли вероятность ложного несовпадения (FNMR) при вероятности ложного совпадения (FMR) 0.01 %?
Что же, ждём её результат на chatbot arena
Не слушайте никого, кто скажет, что нельзя давать такой инструмент в руки пациента. Доступ к знанию должен быть открытым и свободным. Страхи, связанные с рисками неправильного применения, можно легко распространить практически на любую полезную технологию. Например, давайте запретим пользоваться книгами, ведь обязательно найдутся люди, которые поймут их неправильно и натворят дел... Это просто смешно.
По проекту. Авторы молодцы. За то, что проект открытый, вдвойне мододцы. Так держать. И, конечно, не останавливаться на достигнутом.
Исследователи не привели значения стандартных для оценки подобного рода систем (поверьте, аналоги таких систем на рынке имеются и не единичные) метрики? Почему? Где ВОКПА (APCER), где ВОКПБП (BPCER), время обработки транзакции? На каких выборках измерены оценки? Ничего этого здесь нет, как нет и в оригинальном сообщении. Зачем такой мусор публиковать!?
Хорошая новость! Спасибо, что поделились)
Насколько я понимаю, злоумышленник должен знать каким способом хешируются пароли в атакуемой информационной системе (например, если без солей, то достаточно будет наименования алгоритма хеширования). Далее, если злоумышленник обладает такой информацией, то ему достаточно использовать то самое СПО haschat, чтобы в комфортных для себя условиях, подобрать к вашему хешу исходный пароль. Как видите, защита от неправильного ввода пароля, в этом случае, вас не защитит.
Не пробовали что-нибудь полегче CLIP использовать, для рассчёта векторов изображений? Почему решили взять именно CLIP, если векторы текста не используете?
Очень полезный инструмент. Спасибо огромное авторам, что выложили в открытый доступ - ребят, вы лучшие
Как-то агрессивно реагирует комьюнити на публикацию. Минусов наставили не по делу. Не опускайте руки из-за этого.
Измерить и сделать публичными оценки вероятностей ошибок алгоритмов ЕБС это важно и нужно. Спасибо вам и так держать)
Так и хочется спросить, насколько алгоритмы лайвнесс пригодны для того, чтобы отличать живых людей от зомби)