Эта модель – на самом деле та самая Strawberry, о которой ходило так много слухов. В олимпиадном программировании o1 выбивает метрики в 8 раз выше своего предшественника GPT-4o, а по олимпиадной математике входит в число 500 лучших студентов США. А еще модель превосходит уровень доктора философии по точности ответов на вопросы по физике, биологии и химии.

16 июня 2024 года выходит новая версия всеми любимой библиотеки. NumPy 2.0.0 — первый значительный релиз с 2006 года. Релиз включает множество новых функций и изменений как в Python, так и в C API.

В числе новых функций NumPy 2.0 новый динамический строковый тип данных и модуль numpy.strings с высокопроизводительными функциями для строковых операций. Также добавлена поддержка float32 и longdouble во всех функциях numpy.fft, а в основном пространстве имен numpy теперь поддерживается стандарт API массивов.

Недавно на известной площадке для ML-соревнований Kaggle был запущен конкурс AI Mathematical Olympiad. Его участники пытаются научить модели искусственного интеллекта решать задачи по математике, записанные в формате LaTeX, на уровне человека. Сложность задач соответствует уровню международной математической олимпиады для учеников старших классов International Mathematical Olympiad (IMO).

Архитектура LSTM была предложена в 1997 году немецкими исследователями Зеппом Хохрайтером и Юргеном Шмидхубером. С тех пор она выдержала испытание временем: с ней связано много прорывов в глубоком обучении, в частности именно LSTM стали первыми большими языковыми моделями.

Однако появление трансформеров в 2017 году ознаменовало новую эру, и популярность LSTM пошла на спад. Трансформеры оказались более масштабируемой архитектурой, к тому же способной хранить гораздо больше информации.

На днях, спустя 27 лет, создатели LSTM предложили улучшение своей технологии – xLSTM. Благодаря нововведениям xLSTM теперь может конкурировать с трансформерами и по перформансу, и по масштабируемости.

В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт.

Сейчас, спустя 67 лет, исследователи представили альтернативу MLP – новую архитектуру нейронной сети, получившую название Kolmogorov-Arnold Networks (KAN), в которой реализовано перемещение активаций на «ребра» сети.