Хабр Курсы для всех
РЕКЛАМА
Практикум, Хекслет, SkyPro, авторские курсы — собрали всех и попросили скидки. Осталось выбрать!
Поток AI и ML доступен 24/7 благодаря поддержке друзей Хабра
Комментарии 14
Сама задача формулируется одной строкой: какой длины может быть путь градиентного потока по выпуклой функции, если он не выходит за пределы единичного шара в пространстве размерности n
Лучше бы не в одну строчку, а понятно объяснили. По контексту дальше хотя бы понятно, что ищем минимальный путь. Но всё равно непонятно что происходит, мы подбираем функцию? Если да, то странно что ответ не 1
Короче непонятно ничего
Насколько я понял суть такая (рассмотрим на двухмерном примере). У нас есть поверхность в пределах окружности радиусом 1. В ней нет локальных экстремумов. То есть, если идти всегда в направлении спуска, то рано или поздно придёшь в самую низкую точку поверхности (на «дно»). Также поверхность всюду дифференцируема (нет строго вертикальных стенок). Карты у нас нет, то есть заранее самую низкую точку мы не видим. Мы можем только в текущей точке видеть куда наклон. И вот мы шаг за шагом выбираем куда наклонена поверхность и идём в сторону сильнейшего наклона. Топать мы можем очень долго: у нас могут быть узкие и извилистые «овраги». Вот, вопрос сколько в самом худшем случае.
Не совсем так. В сообщении говорится о выпуклой, а не строго выпуклой функции. То есть она может иметь не единственный оптимум. Это на сходимость никак не влияет, в принципе, однако на картинке у авторов поверхность строго выпуклая. А кривая потока не согласована с линиями уровня.
Далее, автор статьи на Хабре не совсем корректно определяет поток градиента. Это кривая, касательным вектор которой в любой точке многообразия будет градиент.
Self-contracted значит, что при движении от одной точки к другой, принадлежащих кривой, не будет петель-пересечений и больших отхождений "в сторону".
Когда применяется алгоритм градиентного спуска, то мы движемся не по такой прямой, поскольку шаг не бесконечно малый. Каждый раз мы перепрыгивает с одного потока, на другой. Если же устремить шаг к нулю, то спуск будет происходить по одной кривой - потоку градиента. Вот эту то кривую и измеряют.
А единичный евклидов шар - компакт (если n - конечно). На них работать удобно.
к этому случаю претензия применяется плохо: человеческий рекорд 2.29 никогда не публиковался, вспоминать его модели было неоткуда.
Но ведь GPT-5-N обучались не только на публикациях. Ещё и на историях диалогов с живыми математиками. Кто (кроме имеющих доступы к логам чатов проприетарной модели) проверял семантическое сходство решения с миллионами диалогов?
выдать забытый чужой результат за свежее открытие — без ссылки на первоисточник.
Годный способ опенсорсить чужие ценные знания. Если отбросить негативные коннотации про “отмывание знаний”
Я бы всё равно относилась к таким заявлениям осторожно. Даже если модель действительно показывает сильный результат, в математике важна не только скорость получения ответа, а проверяемость доказательства.
Верно в конце замечено об "отмывании знаний". Важным и содержащим ответ на вопрос "сама ли модель ИИ нашла новое решение или использовала уже где-то найденный и зафиксированный в процессе своего обучения готовый результат ?" является экспертный анализ подробной трассировки всей внутренней алгоритмики формирования моделью содержания своего ответа (решения). Принципиальным является выяснение того чем модель оперирует в алгоритме при формировании своего контента ? Упрощённо говоря, коррелируемыми словами (символами) (за этим словом (набором слов) должно механически следовать следующее такое слово (символ) или такой набор слов (символов)) представляющий утверждение. Или оперирует в целом математическими объектами задачи, выполняет понятийные рассуждения и строит НОВЫЕ логические выводы именно как математик ?
Если 2-ое верно (что как раз экспертно требуется выяснить и доказать), то тогда можно утверждать, что машинный интеллект (ИИ, AI) при решении этой задачи превзошел человеческий и по сути сделал новое открытие.
одно другому не мешает и фактически является схожими методами
современные ии могут лишь "угадывать" следующий токен, но, как видно, этого вполне достаточно для решения комплексных задач
ведь если в одном источнике написано про связь A и B, в другом про связь B и C, то ллм нативно сможет вычленить связь между A и C (а примерно этим математика и занимается - строит и проверяет сложные теоремы базирующиеся на простых аксиомах)
Если "могут лишь угадывать следующий ... и этого вполне достаточно чтобы ..." тогда возникает резонный вопрос "а понимают ли они смысл того чем оперируют и что делают ?". Пусть, даже это и не угадывание, а верное и вполне правильное формирование выходного контента основанного на сформированных при обучении связях между отдельными элементами (словами, фразами, токенами, как хотите) или ссылках откуда что взять. Но если такой информации в модели нет (не достаточно) или она не корректная, то может возникнуть парадоксальная ситуация: модель отвечает правильно на сложные запросы, но не может ответить на простенький вопрос из этой же темы или выдает туфту. Таких примеров хоть сколько. Как говорится, не дообучили. А сама "догадаться" уже не в состоянии, так как для этого потребуется немного напрячься чтобы провести самостоятельный понятийный анализ исходных данных, выполнить рассуждения и сделать НОВЫЕ для себя логические выводы на которые способен настоящий интеллект. Вот тут и есть НЕ схожесть !
Это к тому, а можно ли на все 100 доверять таким моделям, особенно когда цена ошибки велика ? Правда многие цыганам тоже доверяют.
На математики are cooked, чего еще сказать. Годик или два и уже окончательно. Ничего, на своем веку неплохо поработали, пора и дать машинам выйти вперед.
Во-первых, градиентный спуск сходится одинаково быстро хоть в двух измерениях, хоть в миллионе
А что значит «одинаково быстро»?
Тезис А (в начале): Автор пишет, что подход, дающий 2.31, Назаров публично разбирал в 2018 году на MathOverflow. MathOverflow — это открытый публичный сайт. Раз это там было, значит, поисковые роботы OpenAI это сожрали, и модель могла это просто выучить и выдать за своё.
Тезис Б (в конце): Автор делает вывод: «Претензия [в плагиате] применяется плохо: человеческий рекорд 2.29 никогда не публиковался, вспоминать его модели было неоткуда».
При чём тут вообще 2.29? Претензия-то как раз к числу 2.31!
Если Назаров публично разбирал на форуме метод, дающий 2.31, то модель GPT-5 Pro могла вчистую скринить и скопировать именно этот публичный разбор 2018 года! То, что Назаров спрятал в Dropbox свой другой, более крутой рекорд в 2.29, вообще никак не оправдывает модель. Модели не нужно было знать про 2.29, чтобы украсть готовый метод для 2.31, который лежал в открытом доступе на MathOverflow уже 8 лет.
Шизофренники живущие в параллельной реальности все равно скажут что она не думает
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Как GPT-5.6 Sol обошла математиков в задаче о длине пути градиентного спуска