В этом дайджесте мы собрали 50 знаковых научных работ в области ИИ за последние годы. Подборка охватывает десять ключевых направлений разработки нейросетей: от промтинга и проектирования бенчмарков до файнтюнинга и компьютерного зрения. 

Материал будет полезен как для опытных ИИ-инженеров, которые хотят прокачать свои навыки разработки, так и тем, кто только начинает свое знакомство с нейросетями и находится в поисках точки входа в ту или иную тему.

Представьте, летите вы себе на самолёте в Париж, в Рим или на Мальдивы. Расслабленные, довольные. Впереди ̶к̶у̶п̶а̶н̶и̶е̶ ̶в̶ ̶С̶е̶н̶е долгожданный отдых. А в задней части вашего самолёта радостно мерцает огоньками небольшой такой ядерный реактор, питающий двигатели и все бортовые устройства. Почему-то большинство людей не шокируют атомные ледоколы и атомные же подводные лодки, но повергают в трепет атомолёты — самолёты, работающие за счёт энергии ядерного распада.

О китайских спутниках, радиочастотном спектре и бульдогах под ковром.

Представление в двух действиях с прологом и картинками.

Могут ли современные тренды превратить keygen (Генератор ключей) в легальный инструмент, доступный для скачивания из любого Android или iPhone маркетплейса?!

Выгодно ли тому же ruStore размещать у себя пиратский контент?!

Как можно докатиться до Android разработчика, будучи разработчиком Windows приложений?!

Всем привет! Это Саша Березин, научный журналист и автор команды спецпроектов МТС Диджитал. В прошлом посте я рассказывал про пятый полет Starship, а сегодня предлагаю разобраться, возможны ли прогулки по Луне в этом десятилетии.

Дональд Трамп требовал от NASA высадить людей на Луну в 2024 году и увеличил финансирование агентства. Но сроки все время сдвигались вправо. Сейчас даже 2027 год под вопросом — отраслевые специалисты сомневаются в возможностях Axiom создать скафандр для лунных условий.

Параллельно Илон Маск заявил: «Мы полетим прямо к Марсу, Луна — отвлечение внимания». Критики миллиардера предположили, что у него ничего не выходит с посадочным модулем и он хочет выйти из лунного проекта, сохранив лицо. А тут еще и СМИ раскопали, что новое руководство NASA планирует отказаться от ракеты SLS и корабля Orion. То есть, кроме отказавшегося от Луны Маска, у агентства просто не будет другого извозчика, способного доставить людей на спутник Земли.

Со стороны американская лунная программа «Артемида III» выглядит как малоуправляемый хаос. Значит ли это, что высадиться на Луне в ближайшие годы не получится?

На фото астронавт на Луне в ходе миссии «Артемида III». Картинка не просто фантазия художника — она показывает размах амбиций планировщиков новой миссии. Скафандры времен первых полетов на Селену в принципе не позволяли ничего подобного: нормально согнуть ноги на 90 градусов и встать в них было нереально, астронавты передвигались еле сгибая ноги, а иногда и вовсе прыгали. Теперь человечество знает о Луне куда больше и в теории должно быть способно там на новые достижения. Включая исследование южного полюса Луны, богатого льдом и вечной мерзлотой, и обеспечения работы астронавтов принципиально новыми техническими средствами.

Разложение я такое получил, собственно, использовав матрицы Паули как базис разложения и следом получил ну очень много математических бонусов, например то, чем здесь делюсь.

Любая матрица 2х2 (и не только вещественная и не только 2х2) разлагается в UVWT базис Клиффорда-Паули. Для 4х4 UVWT мы получили, но теория обещает все размерности 2^n, мне лично дико интересно что получится. И с вами, дорогие хабровчане, начнем с простого, про матрицы, как гибридные числа на плоскости.

Всем привет! Меня зовут Виталий, и когда-то я написал статью о своём переезде в Норвегию. С тех пор прошло шесть лет. За это время я получил много вопросов и узнал больше о жизни в стране. В этой статье я хочу поделиться тем, что узнал, и затронуть темы, которые были интересны читателям в прошлый раз.

Я рассматриваю жизнь в стране с точки зрения человека, который работает в индустрии высоких технологий — например, программистов, тестировщиков, системных администраторов, аналитиков, и так далее. Это довольно важно, потому что такие аспекты жизни в стране, как поиск работы или изучение языка, могут выглядеть иначе и иметь иную важность для представителей других специальностей.

Поскольку многим может быть интересен мой личный опыт и впечатления, я постараюсь поделиться ими в конце каждого раздела.

Меня довольно смущает плохо замаскированная эмерждентность окружающего мира, причём не только пространства, но и времени. Ранее я не мог не высказаться о знаменитом эксперименте с двумя щелями, а также о некоторых парадоксальных свойствах субатомного мира. Например, о том, что протон, по-видимому, самопроизвольно не распадается вообще, а нейтрон не распадается только в составе атомного ядра — в свободном же состоянии период полураспада нейтрона составляет около 10 минут. Как я ещё раньше упоминал в статье «Вы снова здесь, изменчивые тени», можно каким-то рациональным образом обосновать подобные факты, если допустить, что элементарные частицы – это тени четырёхмерных объектов, однако, это скорее фантазия, чем гипотеза. Сегодня же я хочу рассказать ещё об одних удивительных фермионах, зафиксированных в ушедшем 2024 году и названных «электронами Дирака». Электроны Дирака приобретают массу, лишь будучи в движении, и догадки о сути их природы, возможно, потребуют уточнить наши представления об электронах и фотонах.

Конец 18 века ознаменовался бурным развитием воздухоплавания. По дороге, проложенной братьями Монгольфье ринулись десятки, если не сотни, конструкторов и изобретателей. Их проекты были смелыми, оригинальными, хотя нередко – трудновыполнимыми или вовсе фантастическими.

Франц Ксавье Леппих родился в 1778 году в Баварии. Учился в школе монахов-августинцев (и был выгнан оттуда «за трюкачества»). Занимался плотницким делом. Служил в английской армии, дослужился до майора, женился на богатой дворянке Анне фон Фосс и наконец смог целиком отдаться тому, к чему лежала душа – изобретательству.

Представьте себе, что внутри ваших приборов поселились монстры с тентаклями, которым нравится коротить схемы и сжигать компоненты. Представили? Это не выдумка, они уже здесь — это бессвинцовое оловянное покрытие.

Заголовок отсылает к знаменитой работе Attention Is All You Need, которая фактически перевернула мир ИИ, сделав его другим, не таким, как прежде. В этой научной публикации описаны принципы реализации архитектуры трансформеров, но в ее названии упоминается именно механизм внимания. Долгое время я пытался ответить себе на один простой вопрос: где все-таки заканчивается ML и начинается AI для задачи коммивояжера и вообще? Мне кажется, ответ пролегает где-то рядом с проростанием механизма внимания, который в 2014 году был предложен Dzmitry Bahdanau (извиняюсь, не знаю, как правильно писать по-русски его фамилию). Безусловно, были работы Хопфилда, получившего в 2024 Нобелевскую премию по физике, в том числе, за свою архитектуру нейронной сети, которая способна решать задачу коммивояжера. Были и другие работы, но, в случае разбора еще одного алгоритма из прошлого века, боюсь, нарваться на обратную связь в стиле: “дядь, не мороси, давай уже там про свой ИИ пиши, а не вот эти свои нафталиновые алгоритмы описывай”, поэтому про нейронную сеть Хопфилда готов написать, но только если будет ощутимая обратная связь.

Механизм внимания был предложен как способ улучшить seq-to-seq модели, применяемых для перевода текста с одного языка на другой. Кто бы мог подумать, но токены слов можно заменить координатами городов и попробовать решить задачу TSP той же моделью. В конце концов человек тоже использует одно и тоже серое вещество для решения разных задач. Первые попытки реализации этой идеи подразумевали наличие оптимального эталонного маршрута в виде, например, посчитанного решения Concorde. Но позже появилась идея использования техники обучения с подкреплением или Reinforcement learning. Таким образом, появилась нейронная сеть Pointer Networks, о которой собственно я и хотел сегодня поговорить.

2023 год мы с колегой занимаемся монтажом отопления и вдруг на просторах интернета коллега замечает ролик про майнер, который охлаждается водой. Тут приходит одна незамысловатая мысль. Возможно ли будет интегрировать этот аппарат  в систему отопления дома и зимой получать бесплатное отопление. Как оказалось далее, ДА!)
Первые часы был небольшой шок, это вообще законно, греть дом еще и помимо этого получать прибыль с майнинга.

И тут началось изучение интернета и всех видео площадок, материала было не очень много. Никаких полностью рабочих кейсов не было. У многих система работала не стабильно, температура на входе и выходе сильно отличалась, что очень критично для майнера.

Две недели мы вынашивали эти мысли, большое количество схем, смятых листов с набросками системы. Консультации с 4 сантехниками со стажем больше чем наш суммарный возраст и самое главное штудирование книг по гидродинамике и вот первая система на первично-вторичных кольцах готова.  

В наши дни вряд ли найдется человек, который не созерцал залипательные изображения, гифки или видео с фракталами. Они завораживают своей красотой, гармоничными пропорциями и масштабной инвариантностью – сохранением узнаваемой формы при отдалении и приближении. В эзотерической литературе довольно часто можно встретить утверждение, что всё в природе имеет фрактальную структуру, а значит, за этим стоит универсальный принцип всеединства и великого фрактального подобия. Или же существует некий глубинный уровень реальности, а то, что мы видим – лишь отражение мира идей, фрактальная голограмма. Тут же обязательно вспоминают золотое сечение, герметическую формулу «как вверху, так и внизу», мысли античных философов о подобии микрокосма и макрокосма, сходство нейронных связей мозга с паутиной галактических скоплений и т.д. И каждый, кто не поленится сравнить компьютерные модели фракталов с реальными контурами береговых линий или кронами деревьев, невольно начинает верить в сакральную геометрию, высшую гармонию природы и бесконечное самоподобие космоса. Мы же подойдём к вопросу более трезво и выясним, что из этого является правдой, а что – мифами.

Еще одна историческая дата: 200 лет назад в научном журнале впервые описали динозавра. Рассказываем историю этого открытия, как именно образ динозавра менялся по мере развития науки и технологий, — и почему это в большей степени рассказывает нам о собственном разуме, чем о реальных древних гигантских ящерах.

«Теперь мы уверены, что знаем, как построить AGI в том виде, в каком мы традиционно его понимали… Сейчас это звучит как научная фантастика, и даже говорить об этом как-то безумно. Все в порядке — мы уже были там раньше и не против оказаться там снова.» Такое сообщение 6 января опубликовал Сэм Альтман.

Человечество нашло дорогу, по которой можно дальше и дальше улучшать качество моделей, и мы не видим здесь никакого предела. Про эту дорогу знает Альтман, и скоро узнаете вы.

Среди наиболее удачных редакционных материалов Хабра, вышедших в начале этого года, была и переводная статья уважаемого @SLY_G «Энтропия — это мера того, как мало мы на самом деле знаем». Незадолго до того мне попадалась на глаза ещё одна переводная статья, вышедшая в корпоративном блоге издательства «Питер» рекламирующая книгу «Пространство, время и движение» Шона Кэрролла и также посвящённая совершенно различным трактовкам энтропии, но в данном случае с акцентом на энтропию чёрных дыр. Поэтому я решил оперативно высказаться об ещё одной малоизвестной концепции, сформулированной всего около полутора лет назад и рассматривающей энтропию в необычном прикладном аспекте — как инструмент для проектирования новых материалов и прогнозирования их потенциальных свойств. 

В Рунете осталась практически незамеченной интересная теория, предложенная летом 2023 года исследователями из Пенсильванского университета под руководством Зи-Ку Лю. В своей статье авторы попытались ответить на вопрос о том, почему в некоторых материалах объём вещества уменьшается при повышении температуры. Практическая ценность этого вопроса заключается в проектировании материалов, которые могли бы сочетать в себе свойства ферромагнетиков и парамагнетиков, чтобы, к тому же, эти материалы можно было управляемо переключать между такими состояниями. В термодинамике известна формула, согласно которой производная объёма относительно температуры (термическое расширение) равна по модулю производной энтропии относительно давления. Эта закономерность подтверждается эмпирически, но формального объяснения не имеет. Поиск ответа на этот вопрос позволил учёным наметить очертания теории, которую они назвали «центропией». Центропия пока развивается в рамках вычислительной термодинамики, но в случае удачного развития поспособствует точному проектированию новых материалов и созданию материалов с заданными свойствами. В дальнейшем она открывает перспективы создания целого «генома материалов» — множества данных не менее масштабного, чем Геном человека.

*Сразу следует сделать оговорку, что ни один из этих насосов, конечно, не нарушает закон сохранения энергии. Поэтому для того, чтобы они могли осуществлять полезную работу, им требуется некоторое внешнее питание. Здесь подразумевается, что это не усилия человека или нечто, требующее расхода топлива или электроэнергии.

Они интересны тем, что это питание можно взять из природных источников, и поэтому их работа может иметь для человека полезный эффект.

В одной из статей я писал про выбор основных проектных параметров. Там было много формул и прочих сложностей, да и вторую часть я так и не написал. В данной статье я постараюсь на примере показать что это такое выбор основных проектных параметров ракет-носителей с использованием готовой программы для проектно-баллистического анализа.