Трансформеры сегодня – золотой стандарт нейросетей, и, особенно, больших языковых моделей. Они стали первой по-настоящему масштабируемой архитектурой, то есть с ними впервые стало возможно гарантировано наращивать перформанс моделей за счет увеличения количества данных и параметров, не упираясь в потолок производительности железа или запоминающей способности нейросети.

Именно трансформер изменил индустрию искусственного интеллекта и сделал ее такой мощной, какой мы видим ее сейчас. До 2017 года, пока исследователи из Google Brain не изобрели эту архитектуру, краеугольным камнем ИИ-индустрии был поиск подходящего строения модели. Теперь же перед учеными стоят, в основном, другие задачи, а вот об архитектуре компании и ресерчеры почти не думают: ведь есть трансформер!

Вот так говорит об этой архитектуре знаменитый Андрей Карпаты – бывший ML-директор Tesla, сооснователь и бывший главный ученый OpenAI: "Трансформер - не просто очередной метод, а подход, который полностью изменил наш взгляд на ИИ. Нам очень повезло, что мы наткнулись именно на него в огромном пространстве алгоритмов. Я верю, что трансформер лучше человеческого мозга во многих отношениях."

Однако, несмотря на все свои достоинства, у трансформера есть и недостатки. Поэтому некоторые группы исследователей продолжают искать лучший алгоритм, который мог бы превзойти трансформер или хотя бы достичь его уровня. В этой статье мы разберемся, почему эта задача так нетривиальна, что именно в трансформере оставляет желать лучшего, и какие архитектуры в 2024 году могут посоревноваться с ним за звание серебряной пули глубокого обучения.

Часть 1. Как создавался Chronos

Привет, Хабр. Для начала, разрешите представиться. Меня зовут Елисеев Сергей, работаю аналитиком в лаборатории ИИ компании ООО «ОЦРВ». В  рамках корпоративной деятельности нам часто приходится иметь дело с временными рядами. Нужно отметить, что мы исследуем не только решения и результаты применения классических методов машинного обучения, но и изучаем новые технологии и подходы к работе с большими данными.  В процессе  анализа SOTA решений, наткнулся на очень интересный фреймворк для прогнозирования временных рядов Chronos, который компания Amazon выкатила в опенсорс в мае 2024 года. С удивлением обнаружил, что на Хабре пока ничего про него нет и решил поделиться, так как инструмент вполне годный. Поскольку информации о нашем исследовании собралось довольно много, я решил разбить статью на две части: теоретическую и практическую. Сразу оговорюсь, изложенная в первой части информация это конспект переведенной мной официальной документации по Chronos, а во второй – результаты экспериментов с Chronos как на общедоступных данных с Kaggle (знаменитый Dow Jones Index), так и на корпоративных данных (предсказание инцидентов на различных участках  железной дороги).

 Итак, погнали…

Прогнозирование временных рядов.

Прогнозирование временных рядов является важным компонентом принятия решений в различных областях, включая розничную торговлю, энергетику, финансы, здравоохранение и климатологию. Традиционно прогнозирование доминировалось статистическими моделями, такими как ARIMA и ETS. Эти модели служили надежными инструментами, по крайней мере, до недавнего перехода к методам глубокого обучения (Hyndman & Athanasopoulos, 2018; Benidis et al., 2022). Этот переход можно объяснить доступностью больших и разнообразных источников данных временных рядов, а также возникновением операционных задач прогнозирования (Kolassa & Januschowski, 2019), которые подчеркивают сильные стороны моделей глубокого обучения, как пример, способность извлекать шаблоны из большого количества временных рядов. Несмотря на их впечатляющую производительность, модели глубокого обучения все еще работают в стандартном режиме обучения и прогнозирования на одном и том же наборе данных. Хотя были проведены работы, посвященные трансферному обучению (Ye & Dai, 2018) и адаптации к доменам (Jin et al., 2022) для прогнозирования, область еще не пришла к единой, универсальной модели прогнозирования, что остается важной целью для исследователей временных рядов.

В данной статье речь пойдет про использование очень маленькой Luckfox Pico Mini. Я расскажу про особенности платы, её настройку, а также о том как запускать на ней нейронные сети для детекции объектов с камеры.

Мне удалось добиться скорости детекции в 15 FPS (или даже 50!), результат, который по силам далеко не каждому одноплатнику.

Падение на дно профессиональной этики титана исследований шокировало научное сообщество. Невропатолог Элиезер Маслия, автор более чем 800 научных статей, специалист с мировым именем в изучении α -синуклеина (белка, играющего важную роль в патогенезе болезней Альцгеймера и Паркинсона), обвинен в фальсификации изображений в публикациях на протяжении 26 лет.

26 сентября 2024 Национальный институт старения (NIA) объявил о снятии Маслия с должности научного директора Отдела нейронаук после девятимесячного внутреннего расследования, заключившего: «в двух публикациях обнаружены фальсификация и/или фабрикация данных, выражающаяся в повторном использовании одних изображений для иллюстрации результатов различных экспериментов».

В тот же день журнал «Science» опубликовал расследование репортера Чарльза Пиллера и команды аналитиков изображений, которые подготовили 286-страничный отчет по 132 статьям с дублированными или подделанными изображениями. Все результаты авторы выложили для peer-review по ссылке.

Привет, Хабр! Я не являюсь преподавателем английского языка, но, как и многие присутствующие, долгие годы хотел постигнуть его дебри. В школе я от всего сердца завидовал ребятам, которым он даётся налегке, без видимых трудностей. Я же зубрил, пытался понять, получал двойки… и люто ненавидел английский язык как школьный предмет. Мечтал владеть, но совсем не хотел учить. После школы и университета приступал к его изучению несколько раз, однако каждый мой всплеск быстро угасал.

Наконец случилось чудо. В одну из очередных попыток я нащупал способ, который позволил продолжать развиваться, делать успехи, осознавать их и разжигать мой огонь всё сильнее и сильнее. Сегодня мне сложно представить день, проведенный без английского языка. И мне не хочется говорить без “изучения”, поскольку не сказал бы, что я именно учу. Скорее — постепенно “прошиваюсь” английским, как это обычно происходит с новорожденным детьми, которые постепенно начинают говорить, слушая и наблюдая за своими родителями. В настоящее время мой словарный запас не такой большой: 9 — 12 тысяч слов (зависит от теста). Я свободно смотрю видео на Ютубе разнообразной тематики (видеоуроки, спорт, фитнес, музыка, путешествия, кулинария, обзоры и т.д.), читаю документацию, компьютерную и популярную литературу, публицистику.

Привет, Хабр!

Идея статьи появилась, когда я начал повсюду замечать якобы подтверждения мифа, что «программирование — это просто»‬‬.

В новостях «восьмилетняя девочка, которая второй раз в жизни занимается программированием, наклепала чат-бота за 45 минут»‬ (ага, да!).

Курсы предлагают мне за 10 месяцев с нуля стать миддл+ (ага, да!).

Но я-то знаю, как оно на самом деле. Мы, программисты, обычно решаем проблемы и двигаемся дальше, но я решил запротоколировать всё как есть, и в течение пары месяцев скрупулёзно записывал всю ту хрень, что происходила со мной и моими коллегами, чтобы показать программирование без прикрас. Поехали!

Мир программирования претерпел значительные изменения с момента своего зарождения. За эти годы было создано и продолжает развиваться множество языков, каждый из которых обладает уникальным синтаксисом, функциями и приложениями. Их важность в современном мире заключается в способности создавать различные приложения, упрощающие жизнь. Развитие языков программирования было необычайным и сыграло решающую роль в технологических достижениях. Здесь мы очень кратко описали историю и хронологию появления языков программирования.

• Из чего состоят QR-коды.
• Как декодировать QR-коды вручную (используя нашу шпаргалку).

Четыре года назад, не сумев найти достаточно полного обзора вялотекущего провала под названием NASA SLS (Space Launch System), я написал его сам. Если вы не знакомы с темой, рекомендую сначала прочитать ту статью.

За эти четыре года SLS запустили только один раз. Время летит, а вот ракета — не очень. Я редко пишу посты резко критического характера, поэтому в силе обычные оговорки: я тут пишу исключительно как частное лицо, некий Парень с Мнением в Интернете.

Около 10 лет назад несколько листов таинственного манускрипта Войнича были отсканированы с помощью мультиспектральной визуализации. Лиза Фейгин Дэвис, исполнительный директор Медиевальной академии Америки, проанализировала эти сканы и опубликовала результаты вместе с набором изображений для скачивания в своём блоге Manuscript Road Trip. Среди главных находок: к началу фолианта были добавлены три колонки надписей, которые могут быть ранней попыткой расшифровать шифр. И хотя долгое время возникали вопросы о том, является ли манускрипт подлинным или это искусная подделка, Фейгин Дэвис пришла к выводу, что он вряд ли является подделкой и представляет собой подлинный средневековый документ.

Поговорим про введение в TypeScript и то, как с помощью него мы можем сделать наше программирование и наш код на JavaScript более надежными и прогнозируемыми. 

Меня зовут Александр Чернов, я фронтенд-разработчик в Альфе, веду подкаст ТИНОИД, обожаю плавание и влюблён в веб- и фронтенд-разработку.

Прошло уже более года с тех пор как я написал статью - Анонимная сеть в 200 строк кода на Go. Пересмотрев её однажды осенним вечером я понял насколько всё в ней было ужасно - начиная с самого поведения логики кода и заканчивая его избыточностью. Сев за ноутбук и потратив от силы 20 минут у меня получилось написать сеть всего в 100 строк кода, используя лишь и только стандартную библиотеку языка.

Всем привет! Это Антон Комаров, автор команды спецпроектов в МТС Диджитал. Есть мнение, что у каждого человека наступает такой этап, когда начинает казаться, что раньше трава была зеленее, пломбир вкуснее, а компьютерные игры круче. Я до последнего в это не верил, а потом внезапно поймал себя на мысли, что скучаю по тем временам, когда, включив компьютер, оказывался перед пустым черным экраном со светящимся «приглашением» MS-DOS.

Дальше все зависело от того, какой файловый менеджер или графическая оболочка была установлена на конкретной машине. Большинство пользовалось двухпанельным Norton Commander (NC) или же его «братом-близнецом» Volkov Commander (VC), который был написан на чистом ассемблере и за счет этого имел такие же функции при крошечном размере в 64 Кб. А еще мне запомнился двухпанельный DOS Navigator (DN) с оригинальным серым интерфейсом.

В этом посте я решил вспомнить молодость и освежить в памяти, как работал этот маленький, простой, но очень удобный файловый менеджер. Подробности — под катом.

Есть тема, которая проявляла себя в бесконечном количестве рассказанных реальных, но при этом жутко анекдотических историй из инженерной деятельности, когда ресурсы, результаты НИОКР-ов, и много чего «сливали в унитаз».

Есть бесконечно висящий в воздухе вопрос — почему при наличии шикарного образования, желания достичь результата и реальных усилиях  по достижению результата, полученный личный результат может быть более чем скромным или он может быть, но уже совсем-совсем не ваш.

И наконец,  мемом начала примерно 2010 года стала на просторах интернета запись какого-то реального технического совещания, закончившегося воплями - «...Проср*ли все полимеры !!..»

Откуда все это?  Анекдоты рассказываются, вопли стихают… а далее  следует пустота и молчание..Есть некоторое табу молчания на углубление в  «механику» из шкурных интересов, которые создают проблемы и реинкарнируют их снова, снова и снова.