Хабр, привет! Меня зовут Александр Никулин, я аспирант МФТИ и один из исследователей научной группы «Адаптивные агенты» в Институте AIRI.

Как можно понять из названия, наша группа заинтересована в создании адаптивных агентов, способных обобщаться на новые задачи после обучения. Направление это относительно новое и в литературе именуется как контекстное обучение с подкреплением (далее in‑context RL). И мы активно двигаем его вперед! Совсем недавно выпустили две статьи, обе приняты на ICML 2024, а ещё среду на JAX со множеством задач для мета‑обучения. Мы обязательно расскажем о них чуть позже (подписывайтесь!), а в этой статье хочется затронуть наш недавний препринт. В нем мы представили и выложили в open‑source огромный (по меркам RL) и пока единственный датасет для in‑context RL. На сбор траекторий для 40к задач и 130B транзиций потребовалось 50 000 GPU‑часов. Эту работу мы проделали совместно с коллегами из лаборатории T-Bank AI Research.

Датасетом уже можно пользоваться, так что рассказываем и надеемся на будущий акцепт статьи! Ну а начнем чуть издалека, расскажу что такое in‑context learning, как он появился в RL и почему нам понадобился собственный датасет.

«The Artificially Intelligent Doctor Will Hear You Now»

Нынешний этап массового интереса к нейросетям во многом связан с возможностями сеток по обработке изображений. Улучшить качество фотографии, стилизовать селфи под картину известного художника, выявить объект в кадре и запустить каскад внешних событий — все эти наглядные примеры сегодня доступны в различных продуктах: от приложения для обработки фотографий до сложной системы дорожного автопилота.

Есть еще одна важная сфера применения нейросетей и других технологий, близких к ИИ, — это медицина. Если речь не идет об IBM Watson, то новости из сложного мира высокотехнологичной борьбы за здоровье человека редко просачиваются в СМИ. А тем временем происходит настоящая революция — оказалось, что система автоматизированной обработки изображений не только может стать мощным инструментом анализа и помощи для врача, но и в некоторых случаях заменить самого специалиста.

И не только нейросети питают новый технологический рывок. Бигдата, машинное обучение в целом и даже блокчейн становятся основой для медицинских стартапов, вносящих вклад в борьбу с болезнями и старением.

Собирайте всё

Чему учат нас компьютеры по поводу того, как ладить друг с другом

Вчера мне в очередной раз пришлось объяснять почему DataScientist-ы не используют ошибки первого и второго рода и зачем же ввели полноту и точность. Вот прямо заняться нам нечем, лишь бы новые критерии вводить.

И если ошибка второго рода выражается просто:

где Π — это полнота;

то вот ошибка первого рода весьма нетривиально выражается через полноту и точность (см.ниже).

Но это лирика. Самый важный вопрос:

Почему в DataScience используют полноту и точность и почти никогда не говорят об ошибках первого и второго рода?

Кто не знает или забыл — прошу под кат.

В этой заметке я расскажу о нашей демонстрационной базе данных для PostgreSQL: почему она важна для нас и как может пригодиться вам, как устроена схема и какие данные в ней содержатся.

Сразу приведу ссылку на полное описание (там же написано, где взять демо-базу и как ее установить).