Обновить
37
Data Secrets@DataSecrets

Журнал о DS и ML. Наш канал: t.me/data_secrets

123
Подписчики
Отправить сообщение

Как выигрывать Kaggle соревнования: LLM-анализ выигрышных решений

Время чтения5 мин
Охват и читатели8.1K

Примерно год назад энтузиаст с Kaggle по имени Дарек Клечек провел интересный эксперимент: он собрал все доступные описания (writeups) побеждавших на Kaggle за последние годы решений, пропустил их через LLM и свел по ним общую статистику о том, какие механики и алгоритмы оказываются "наиболее победными". Отчет у парня получился достаточно объемный, интересный, а местами и непредсказуемый. Эта статья – свободный авторский пересказ его эссе. И пусть прологом к ней послужит цитата Дарека:

Читать далее

Meta выпустила Llama 3.2: это первая мультимодальная LLM в опенсорс

Время чтения2 мин
Охват и читатели30K

Компания Meta известна своими опенсорс LLM моделями: каждый раз их релизы производят фурор в ИИ-сообществе, обгоняя на бенчмарках передовые закрытые модели вроде GPT от OpenAI или Gemini от Google. Вот и в этот раз Meta "навела шороху", без предупреждений и анонсов выпустив свою первую мультимодальную LLM Llama 3.2.

Читать далее

OpenAI запускает OpenAI Academy: инициатива направлена на поддержку разработчиков и организаций, использующих ИИ

Время чтения1 мин
Охват и читатели10K

Программа OpenAI Academy ориентирована в первую очередь на регионы с низким и средним уровнем дохода и развивающиеся страны, где доступ к технологиям часто ограничен.

Читать далее

В сети начался конкурс вопросов для сложнейшего в мире теста для ИИ: за каждый можно получить до $5000

Время чтения2 мин
Охват и читатели24K

Название конкурса заслуживает отдельного внимания. Он называется буквально "Последний экзамен человечества":  Humanity’s Last Exam. Ученые из CAIS и ScaleAI запустили его, чтобы собрать самый большой и сложный набор вопросов, которые поставят в тупик современные LLM. Предложить вопрос может каждый, и если его примут, то автор получит от 500 до 5000 долларов, а также соавторство в статье про получившийся бенчмарк. Всего исследователи планируют собрать не менее тысячи вопросов, и уже получили часть из них от ученых из университетов MIT, UC Berkeley и Stanford.

Читать далее

Nvidia выпустила NVLM 1.0 – собственную мультимодальную LLM, которая на некоторых тестах опережает GPT-4o

Время чтения2 мин
Охват и читатели15K

NVLM 1.0 (NVIDIA Vision Language Model) – это семейство открытых мультимодальных LLM, состоящее из моделей NVLM-D (Decoder-only Model), NVLM-X (X-attention Model) и NVLM-H (Hybrid Model) на 34B и 72B. Модели особенно хорошо показывают себя на визуальных задачах. Например, на бенчмарке OCRBench, который проверяет способность модели считывать текст с картинки, NVLM-D обогнала даже GPT-4o – последнюю мультимодальную модель от OpenAI. А еще модель понимает мемы, разбирает человеческий почерк и хорошо отвечает на вопросы, чувствительные к точному местоположению чего-либо на картинке.

Читать далее

OpenAI выпустила новую революционную модель o1

Время чтения2 мин
Охват и читатели45K

Эта модель – на самом деле та самая Strawberry, о которой ходило так много слухов. В олимпиадном программировании o1 выбивает метрики в 8 раз выше своего предшественника GPT-4o, а по олимпиадной математике входит в число 500 лучших студентов США. А еще модель превосходит уровень доктора философии по точности ответов на вопросы по физике, биологии и химии.

Читать далее

Спустя 18 лет: новая версия NumPy 2.0 выходит 16 июня

Время чтения1 мин
Охват и читатели34K

16 июня 2024 года выходит новая версия всеми любимой библиотеки. NumPy 2.0.0 — первый значительный релиз с 2006 года. Релиз включает множество новых функций и изменений как в Python, так и в C API.

В числе новых функций NumPy 2.0 новый динамический строковый тип данных и модуль numpy.strings с высокопроизводительными функциями для строковых операций. Также добавлена поддержка float32 и longdouble во всех функциях numpy.fft, а в основном пространстве имен numpy теперь поддерживается стандарт API массивов.

Читать далее

1 миллион долларов получит тот, кто научит ИИ решать математические задачи

Время чтения2 мин
Охват и читатели9.4K

Недавно на известной площадке для ML-соревнований Kaggle был запущен конкурс AI Mathematical Olympiad. Его участники пытаются научить модели искусственного интеллекта решать задачи по математике, записанные в формате LaTeX, на уровне человека. Сложность задач соответствует уровню международной математической олимпиады для учеников старших классов International Mathematical Olympiad (IMO).

Читать далее

GPT-4o: больше мощи, но меньше цены. Почему так и что на самом деле умеет модель?

Время чтения4 мин
Охват и читатели58K

Вчера в 20:00 по московскому времени OpenAI в прямом эфире показали свою революционную модель GPT-4o. Общаться с ней можно голосом и даже по видео, при этом вообще без задержек. А еще GPT-4o понимает интонации, может шутить, отвечать с (почти) человеческой интонацией, переводить в режиме реального времени и даже петь.

При всем этом модель дешевле, чем ее предшественница, GPT-4 Turbo, во всем уступающая GPT-4o. Как такое может быть, что прямо сейчас умеет модель и почему GPT-4o на самом деле первая настоящая мультимодальная разработка OpenAI? Со всем этим разберемся в статье, а еще расскажем про все‑все самые интересные пасхалки Альтмана...

Читать далее

Ученые выпустили xLSTM – достойного конкурента трансформерам

Время чтения2 мин
Охват и читатели13K

Архитектура LSTM была предложена в 1997 году немецкими исследователями Зеппом Хохрайтером и Юргеном Шмидхубером. С тех пор она выдержала испытание временем: с ней связано много прорывов в глубоком обучении, в частности именно LSTM стали первыми большими языковыми моделями.

Однако появление трансформеров в 2017 году ознаменовало новую эру, и популярность LSTM пошла на спад. Трансформеры оказались более масштабируемой архитектурой, к тому же способной хранить гораздо больше информации.

На днях, спустя 27 лет, создатели LSTM предложили улучшение своей технологии – xLSTM. Благодаря нововведениям xLSTM теперь может конкурировать с трансформерами и по перформансу, и по масштабируемости.

Читать далее

На практике пробуем KAN – принципиально новую архитектуру нейросетей

Уровень сложностиСредний
Время чтения5 мин
Охват и читатели48K

На днях ученые из MIT показали альтернативу многослойному перцептрону (MLP). MLP с самого момента изобретения глубокого обучения лежит в основе всех нейросетей, какими мы их знаем сегодня. На его идее в том числе построены большие языковые модели и системы компьютерного зрения.

Однако теперь все может измениться. В KAN (Kolmogorov-Arnold Networks) исследователи реализовали перемещение функций активации с нейронов на ребра нейросети, и такой подход показал блестящие результаты.

Читать далее

Исследователи разработали принципиально новую архитектуру нейросетей, которая работает лучше перцептрона

Время чтения1 мин
Охват и читатели33K

В основе всех архитектур глубокого обучения, в том числе систем компьютерного зрения и больших языковых моделей, лежит многослойный перцептрон (MLP). У него есть веса и нейроны, в которых расположены функции активации. Этой парадигмой ученые пользуются с 1957 года, когда ее предложил Фрэнк Розенблатт.

Сейчас, спустя 67 лет, исследователи представили альтернативу MLP – новую архитектуру нейронной сети, получившую название Kolmogorov-Arnold Networks (KAN), в которой реализовано перемещение активаций на «ребра» сети.

Читать далее

RecTools – OpenSource библиотека для рекомендательных систем

Уровень сложностиСредний
Время чтения8 мин
Охват и читатели15K

Если вы когда-либо работали с рекомендательными системами, то знаете, что все необходимые и самые часто используемые инструменты разбросаны по разным библиотекам. Более того, каждая из таких библиотек имеет много уникальных особенностей, к которым нужно приноровиться (например, разные форматы данных на вход).

Выходит, что чтобы просто протестировать на своей задаче базовый пул подходов, нужно немало помучиться. Получается довольно грустно.

К такому же выводу, видимо, пришли ребята из МТС – и выкатили в опенсурс RecTools. Это библиотека, где собраны самые часто используемые модели для рекомендательных систем. Также с её помощью можно максимально просто и быстро оценивать необходимые метрики. 

Давайте же посмотрим, что RecTools умеет, и как с этим работать.

Читать далее
2

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность