Привет, меня зовут Айдар, я занимаюсь исследованиями в области машинного обучения и ИИ в AIRI и МФТИ. В январе этого года я впервые побывал на конференции AAAI в Сингапуре — и должен признать, что такое большое мероприятие (по крайней мере, с точки зрения числа участников) я посещаю впервые. 

Хочется поделиться с вами впечатлениями от этого масштабного события, а также рассказать про тренды и интересные доклады, которые я там послушал. 

Привет, Хабр! Мы — команда Memory‑Augmented models в составе лаборатории Cognitive AI Systems AIRI. В ходе своих исследований мы стараемся разобраться, насколько хорошо LLM могут обрабатывать большой объем данных и решать задачи на основе них.

Разработчики современных языковых моделей соревнуются в длине контекста и счёт уже идёт на миллионы токенов. Но насколько эффективно LLM пользуются информацией из этого контекста?

Чтобы выяснить это, мы вместе с коллегами из МФТИ и Лондонского института Математических Наук создали новый бенчмарк под названием BABILong, который мы привезли на NeurIPS в этом году. Он оценивает то, насколько успешно современные модели умеют искать информацию в собственных гигантских контекстах. Оказалось, что зачастую главное — это не размер, а умение пользоваться.

В этой статье расскажем подробнее о наших экспериментах, а также о том, как эффективно использовать длинный контекст.