Как стать автором
Обновить
0
0

Начинающий

Отправить сообщение

Кратко о KAN для самых неподготовленных

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.6K

В апреле практиками-исследователями и математики анонсировали новую архитектуру нейросетей. Крупного резонанса открытие не принесло, хотя с нашей точки зрения, KAN может претендовать на интересную технологию Важнее, что это не просто новая вариация трансформера или исправленная рекуррентная нейронная сеть – это новый подход к нейросетям в принципе, новая архитектура вместо MLP.

Мы написали большую статью по KAN со всеми подробностями, здесь мы совсем кратко пробежимся по основным положениям архитектуры и ее проблемах для самых неподготовленных читателей. 

Но надеемся, что некоторое понимание базовой линейной алгебры и математического анализа присутствует. 

MLP – обычная полносвязная нейросеть, где благодаря послойной активации нейронов мы получаем какой-то конечный результат (данные) на последнем слое. Похоже на имитацию действия мозговых нейронов: благодаря передаче импульса от нейрона к нейрону – мы получаем результат в виде ассоциации, воспоминаний...

Так вот суть KAN сводится к переносу акцента с “активации нейронов” к активации “связей” между ними. 

Конечно, сами связи никуда не деваются, но. Теперь вместо обычных весовых отношений между нейронами – мы получаем обучаемые функции активации – связываем нейроны B-spline’ами. Веса – это такие числовые коэффициенты, которые определяют уровень активации нейронов. Больше вес – сильней сигнал.

Нейросети с большим числом слоев превращаются в черный ящик. Мы не можем понять, как конкретно числовые значения отвечают за те или иные признаки — и как именно признаки в них преобразуются. Поэтому внутренняя часть нейросети нам недоступна.

Читать далее
Всего голосов 9: ↑9 и ↓0+11
Комментарии3

Мы опубликовали датасет для детекции речи размером более 150 тысяч часов на 6000+ языках

Уровень сложностиПростой
Время на прочтение2 мин
Количество просмотров3K

Мы выложили в публичный доступ гигантский датасет для детекции речи (voice activity detection).

Датасет содержит порядка 150 тысяч часов аудио более чем на 6,000 языках. Количество уникальных ISO-кодов данного датасета не совпадает с фактическим количеством языков, так как близкие языки могут кодироваться одним и тем же кодом.

Данные были размечены для задачи детекции голоса при временной дискретизации примерно в 30 миллисекунд (или 512 семплов при частоте дискретизации 16 килогерц).

Данный датасет распространяется под лицензией CC BY-NC-SA 4.0.

Давайте смотреть датасет
Всего голосов 17: ↑15 и ↓2+18
Комментарии13

FinRL: Библиотека глубокого обучения с подкреплением для автоматизированной торговли акциями

Уровень сложностиСредний
Время на прочтение12 мин
Количество просмотров9.7K

Глубокое обучение с подкреплением (Deep Reinforcement Learning - DRL) является эффективным подходом в количественных финансах. Однако обучение торгового агента DRL, который бы решал, где торговать, по какой цене и в каком количестве, сопряжено с ошибками, а так же со сложной разработкой и отладкой.

Библиотека FinRL облегчает новичкам знакомство с количественными финансами и разработку собственных стратегий торговли акциями. Она позволяет пользователям оптимизировать свои собственные разработки и легко сравнивать их с существующими схемами. В рамках FinRL виртуальные среды настраиваются с помощью наборов данных фондового рынка, торговые агенты обучаются с помощью нейронных сетей, а функционал обратного тестирования (backtesting) анализирует эффективность торговли. Кроме того, в систему включены важные торговые ограничения, такие как стоимость сделки, ликвидность рынка и степень неприятия риска инвестором. FinRL отличается полнотой, хорошим практическим руководством и воспроизводимостью, что упрощает работу новичкам.

Читать далее
Всего голосов 15: ↑14 и ↓1+21
Комментарии19

Лучшие IT-работодатели России 2023: ежегодный рейтинг Хабр Карьеры

Время на прочтение7 мин
Количество просмотров83K

В начале каждого года мы на Хабр Карьере подводим итоги предыдущего для компаний: просим специалистов справедливо оценить своих прошлых и нынешних работодателей. Дальше собираем оценки и составляем рейтинг компаний с лучшими условиями для работы.  

Оценки за прошлый год собраны, и мы открываем рейтинг лучших IT-работодателей России в 2023. Ниже — про качества, за которые их особенно ценят.

Читать далее
Всего голосов 34: ↑26 и ↓8+41
Комментарии63

Книги, о которых редко говорят

Время на прочтение4 мин
Количество просмотров49K

Дал ему подборку книг, он приходит месяца через два, и с порога такой сразу:
— Я с друзьями не могу разговаривать.
— Ну да есть такой, недостаточек.
интервью Жака Фреско

Читать далее
Всего голосов 74: ↑72 и ↓2+87
Комментарии26

Графические оболочки FFmpeg

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров31K


Считается, что работа в консоли эффективнее GUI по нескольким причинам. Во-первых, там быстрее набирать команды, чем двигать курсором. Во-вторых, на CPU, память и GPU не ложится лишнее бремя графической оболочки, так что любые процессы быстрее выполняются в консоли.

Но есть люди, которые всегда предпочтут GUI. Они считают графический интерфейс «наиболее эффективным и удобным способом работы на десктопе». На самом деле они во многом правы, в том числе для специфических задач видеообработки важно сразу видеть результат.

FFmpeg — изначально консольная утилита. Но её популярность крайне высока. Поэтому появляются всё новые варианты графических оболочек для FFmpeg, чтобы доступ к инструменту получили абсолютно все пользователи.
Читать дальше →
Всего голосов 107: ↑107 и ↓0+107
Комментарии76

Коснётся ли цензура нас

Время на прочтение6 мин
Количество просмотров26K

Один из пользователей нашего VDS-хостинга спросил, коснутся ли нас ограничения по VPN, которые буквально недавно вызвали очередную волну волнений. Думаю, на этот вопрос нужно ответить подробно, хотя ответ и отдаёт ликбезом.

Что случилось: 17 июня Роскомнадзор ограничил VPN-сервис Opera и VyprVPN. По сообщению самого РКН, «Данные VPN-сервисы отнесены к угрозам в соответствии с постановлением Правительства РФ от 12 февраля № 127». На деле ещё раньше, 14 мая, РКН предложил добавить корпоративные VPN в белый список: «В соответствии с требованиями регламента реагирования об информировании о планируемом введении централизованного управления в отношении средств обхода ограничения». Логика данного действия в том, что Роскомнадзор блокирует гражданам России доступ к каким-то сайтам, ради чего мы заплатили целую гору налогов и поставили новое железо по блокировке оператором. А граждане России в результате этой PR-компании научились пользоваться VPN и спокойно обходят блокировки. Самым наглым видом VPN была кнопка в Опере, которая могла просто нажиматься в ответ на экран «Доступ к сайту заблокирован». Потому что пользователю даже не надо было знать, что такое VPN, и не надо было ничего никому платить.
Читать дальше →
Всего голосов 51: ↑45 и ↓6+69
Комментарии71

Рунет родился из космической гонки — и без новой космической гонки Рунет ждёт упадок

Время на прочтение25 мин
Количество просмотров26K

Каким образом в нулевые в России случился бум IT? Дело вовсе не в высоких ценах на нефть. Если посмотреть на биографии и возраст лидеров движения — это сплошь математики и физики, получившие, очевидно, очень фундаментальное образование в СССР 70-80-х. И конвертировали это в «Яндекс» и далее по списку. Ну и остальные кадры оттуда же. Если в стране был такой сильный физмат, то это показатель качества образования в целом. Космическая гонка, опять же. В общем, условно, последние 20 лет СССР обеспечили первые 20 лет Рунета. Вопрос: что дальше? Советское образование кончилось 30 лет назад. Рунета не было бы, не будь этих 20-30 лет бума советского образования. Откуда бы отцы Рунета пришли тогда? Так вот, последние 30 лет — это 30 лет без бума советского образования. И кадровый голод, по-моему, уже начинается.
В России еще остается небольшое количество научных школ, работает несколько сильных университетов, есть институты, имеющие научный авторитет в мире. Тем не менее, если текущая ситуация продлится еще лет 5–10, научная база в стране будет уничтожена настолько, что создавать ее придется практически с нуля, приглашая зарубежных специалистов, в том числе и опытных менеджеров, работающих в сфере науки. (Какое будущее ждет российскую науку)
Узнать историю
Всего голосов 104: ↑72 и ↓32+66
Комментарии319

Майнкрафт для геологов: 3D-рендеринг миллиарда ячеек на встроенной видеокарте (часть 1)

Время на прочтение20 мин
Количество просмотров4.4K

В одной из прошлых статей с подозрительно похожим заголовком мы показали, как построить модель месторождения и посчитать свойства пласта глубоко под землёй, используя крохи информации о породе, полученной со скважин.

В этой статье мы расскажем, как отобразить модель месторождения на экране так, чтобы опытные геологи и гидродинамики могли сразу видеть (не)соответствие модели своим знаниям об особенностях конкретного месторождения.

Более того, вся реализация займёт у нас не больше часа – после чего мы сможем визуализировать практически любые реальные модели месторождений, как на картинке. А в следующей статье мы оптимизируем быстродействие и потребление видеопамяти настолько, что наш рендерер станет самым быстрым и эффективным в мире*.

* среди известных авторам.

Дисклеймер: эта статья не является пособием по 3D-рендерингу и графическому API. Всё, что требуется от читателя – это понимание основных принципов 3D-графики: что такое атрибуты вершин и т. п. К счастью, на Хабре есть множество хороших статей (раз, два), которые можно прочитать для освежения этих концепций в памяти. В этой статье мы использовали современный OpenGL 4.5, но всё описанное будет работать даже на древнем OpenGL (ES) 2.0.

Читать далее
Всего голосов 10: ↑10 и ↓0+10
Комментарии2

Как писать и переиспользовать код на «‎чистом» Kotlin. Заметки Android-разработчика

Время на прочтение5 мин
Количество просмотров3.5K


Как собрать в прямом эфире 17 000 зрителей? Значит, рецепт такой. Берем 15 актуальных IT-направлений, зовем зарубежных спикеров, дарим подарки за активность в чате, и вуа-ля — крупнейший в Украине и восточной Европе онлайн-ивент готов. Именно так прошла ежегодная мультитул конференция NIXMultiConf.

Под слоганом «айтишникам — от айтишников» эксперты из Украины, Беларуси, России, Великобритании и Германии поделились опытом и рассказали о новинках индустрии. Полезно было всем — дизайнерам, девелоперам, тестировщикам и менеджерам. И теперь делимся инсайтами с вами. По мотивам докладов экспертов NIX продолжаем серию материалов на самые актуальные темы.

В новой статье Вадим Савченко, Android developer в NIX, рассказывает о Kotlin и возможностях использования кода для нескольких целевых платформ.

Хочешь знать больше — смотри конференцию на YouTube-канале


Привет! Я — Вадим Савченко, Android developer в NIX. Коллеги наверняка знают: переиспользовать код — обычная практика для любого программиста. Этот подход ускоряет процесс разработки и уменьшает вероятность ошибок. Когда видишь лаконичный код, лучше фокусируешься на бизнес-логике продукта. Именно эту цель мы с командой преследовали, когда впервые взялись за Kotlin Multiplatform Mobile. На конференции NIXMulticonf я презентовал результат нашей работы. А в этой статье подробнее расскажу, как использовать код для нескольких целевых платформ и почему знание Kotlin — ценный навык.

Как часто водится на аутсорсе, заказчик хочет готовое решение быстро, качественно и от одного разработчика. Kotlin Multiplatform Mobile (далее — КММ) экономит время и усилия и помогает достигнуть желаемого результата. Команда NIX давно успешно использует Kotlin в коммерческих проектах. На этот раз мы решили пойти дальше и узнать, какие возможности дает КМM.
Читать дальше →
Всего голосов 5: ↑5 и ↓0+5
Комментарии0

Vulkan. Руководство разработчика. Swap chain

Время на прочтение14 мин
Количество просмотров7.6K


Я продолжаю публиковать переводы руководства к Vulkan API (cсылка на оригинал — vulkan-tutorial.com), и сегодня хочу поделиться переводом новой главы — Swap chain из раздела Drawing a triangle, подраздела Presentation.

Содержание
Читать дальше →
Всего голосов 15: ↑15 и ↓0+15
Комментарии2

Веб-разработка с нуля: руководство для молодых команд по созданию инфраструктуры CI/CD и процесса разработки

Время на прочтение12 мин
Количество просмотров33K

Чуть больше года назад я столкнулся с тем, что на внутреннем проекте совсем не айтишной компании вырос целый отдел веб-разработки, которым мне и довелось руководить. Рабочий процесс вроде как устаканился и всех устраивал, но оставались проблемы:


  • Проверка каждой ветки проходила локально. Приходилось откатывать базу от изменений с предыдущей проверки, билдить фронт. Когда несколько разработчиков вот-вот закончат работы и осталось проверить каждую по мелочи — это превращалось в ад;
  • Различались окружения на проде и между разработчиками, что приводило к ошибкам: “у меня всё работает”.

Внутренний перфекционист жаждал организовать всё правильно. Делюсь результатами поисков ответа на вопрос: «а как, собственно, “правильно”»?


Мы добились


  • Легкого и быстрого деплоя в production (ради эксперимента выводили каждый день две недели подряд);
  • Гарантию защищённости от ошибок из-за различий в окружении приложения;
  • Можем организовать эффективное взаимодействие с заказчиком:
    • демонстрировать каждую feature-ветку;
    • давать гостевой доступ для создания задач и наблюдения над ходом работ.

Данная статья будет полезна, если вы:


  • начинающая IT-компания или в первый раз столкнулись с работой в команде над большим проектом;
  • хотите обновить свой устаревший процесс разработки (workflow);
  • ищете лучшие практики и хотите посмотреть, как у других;
  • часто натыкаетесь на статьи про DevOps, CI/CD, облака и хотите, чтобы у вас одним нажатием кнопки создавались тестовые окружения, а очередное обновление прода не было рулеткой.

Под катом вы найдёте


  • типовой рабочий процесс от постановки задач до релиза;
  • инфраструктурное решение для построения любого современного процесса разработки с использованием минимального количества инструментов;
  • пример для часто встречающегося кейса: разработка веб-приложения;
  • видеозапись доклада, где вживую показывается результат.

Читать дальше →
Всего голосов 19: ↑18 и ↓1+28
Комментарии48

Теперь я не могу сделать даже маленький сайт

Время на прочтение3 мин
Количество просмотров153K


Короче, я хорошо помню, как в 2013 году я сел и написал небольшой сайт за один день.

Это был сайт про события моего родного города. На одной странице выводились все мероприятия на грядущую неделю.

Я сделал страничку с мероприятиями, и небольшую админку, где они редактировались. У меня была книжка по PHP, поэтому сайт я написал на PHP, подключил MySQL-базу, сверстал на HTML и CSS, и залил на виртуальный хостинг. Сайтом пользовались, а я усердно добавлял мероприятия каждое утро, пока не ушёл в армию, не оставив никого на поддержку. Так сайт и почил.

Идея сайта всё ещё казалась хорошей, и я решил его возродить. Казалось бы, бери и делай, но против меня играло то, что я толком не помнил PHP, и уже успел набраться опыта разработки в очень больших, средних и маленьких компаниях.

Я решил взяться за дело и стал думать.
Читать дальше →
Всего голосов 332: ↑301 и ↓31+339
Комментарии319

Создаем EXE

Время на прочтение14 мин
Количество просмотров61K
Самоизоляция это отличное время приступить к тому, что требует много времени и сил. Поэтому я решил заняться тем, чем всегда хотел — написать свой компилятор.

Сейчас он способен собрать Hello World, но в этой статье я хочу рассказать не про парсинг и внутреннее устройство компилятора, а про такую важную часть как побайтовая сборка exe файла.
Читать дальше →
Всего голосов 75: ↑74 и ↓1+94
Комментарии49

Где прячется Российская электроника

Время на прочтение2 мин
Количество просмотров69K
Каждый раз, когда я пишу о российской электронике, в комментариях появляется множество людей, совершенно уверенных, что российской электроники не существует, и всё, что могут делать отечественные компании — это приклеивать наклейки «Сделано в России» на китайские устройства.

Читать дальше →
Всего голосов 118: ↑105 и ↓13+129
Комментарии235

Использование UAVCAN для модульной электроники БПЛА, или как не спалить дрона, перепутав провода

Время на прочтение7 мин
Количество просмотров13K
Привет! Меня зовут Роман Федоренко, я доцент Центра компетенций НТИ по направлению «Технологии компонентов робототехники и мехатроники» на базе Университета Иннополис. Я работаю с командой робототехников, которая специализируется на беспилотных летательных аппаратах. По большей части мы занимаемся «высокоуровневым» управлением БПЛА: планирование движения, обход препятствий, решения для киносъёмки и сканирования местности. Хотя собственные небольшие коптеры тоже собирали и с «железом» работали. В прошлом году мы начали разработку большого самолёта вертикального взлёта и посадки, который включает все уровни — от изготовления носителя до обвески датчиками и интеллектуального управления. И при разработке этого проекта познакомились с UAVCAN.

UAVCAN — это открытый лёгкий протокол для бортовой сети подвижных объектов. Недавно его разработчик и мейнтейнер Павел Кириенко Spym рассказал о протоколе на PX4 Developer Summit, крупной конференции сообщества разработчиков дронов с использованием open-source экосистемы вокруг автопилота PX4, частью которой является UAVCAN. А ещё Павел подготовил подробную статью для русскоязычного сообщества на Хабре по следам своего доклада.

В этом материале я расскажу о практической стороне использования протокола с позиции разработчиков систем автоматического управления для БПЛА: как мы выбрали UAVCAN, что делаем с помощью него и какие возможности видим в будущем.


Всего голосов 12: ↑12 и ↓0+12
Комментарии6

Как живется в США «неайтишникам». Другая сторона

Время на прочтение10 мин
Количество просмотров240K
image

На Хабре есть не только айтишники. Тут и электрики, и схемотехники, и химики, и маркетологи и кого только нет. И возможность переезда в другую страну в качестве специалиста широкого профиля интересна и им тоже. В довесок к истории Дудя и аналогичным статьям я хочу рассказать свою историю про переезд в США, на противоположный от Калифорнии берег с противоположной от IT профессии. Про жизнь, траты, поиск и смены работы и перспективы. Мне 36, я по образованию биотехнолог, семья — два человека, английский язык — так себе. Живу в Северной Каролине почти два года.

Поскольку написанного вышло много, вот короткая версия. При переезде практически гарантировано снижение социального статуса. Прожить можно на $1500. Средняя зарплата «неайтишника» $30к-50к в год. Средняя стоимость дома $200к. Получить медицинскую страховку бесплатно можно. Много плюшек от государства. Поиск нормальной работы очень нетривиален. Язык сам не учится, но есть бесплатные курсы. Жить комфортно. Наше образование никому не нужно. Очень многие мечтают о карьере в IT.

Важно! Все что я тут пишу это исключительно мой опыт и мое мнение. Я не претендую на истину в последней инстанции, а просто рассказываю как это было у меня, тем более что у всех неайтишных мигрантов весь путь довольно похожий.
Читать дальше →
Всего голосов 251: ↑248 и ↓3+329
Комментарии562

Гигантомания: почему современные игры так много весят?

Время на прочтение15 мин
Количество просмотров105K

Те времена, когда видеоигры умещались на дискетах, давно прошли: сегодня средний размер проекта категории AAA составляет уже как минимум 50 гигабайт, а некоторые тайтлы вплотную подобрались к отметке в 200 ГБ. С одной стороны, это вызвано стремительным развитием графических технологий, но в то же время немалую роль играет и банальная экономия на оптимизации. А ведь были времена, когда разработчики доблестно сражались буквально за каждый килобайт!
Читать дальше →
Всего голосов 63: ↑42 и ↓21+35
Комментарии209

Шестерни войны: когда механические аналоговые компьютеры правили на море

Время на прочтение15 мин
Количество просмотров21K

Advanced Gun System (слева) создана как замена 16-дюймовых орудий линкоров (справа). Если не считать управляемых по GPS снарядов, цифровые технологи системы управления огнём AGS выполняют ту же задачу, что Rangekeeper Mark 8 линкора «Айова», только обладают меньшим весом и работают с ними меньше людей.

Новейший эскадренный миноносец типа «Замволт» (Zumwalt), в данный момент проходящий приёмо-сдаточные испытания, имеет на борту новый тип корабельной артиллерии: Advanced Gun System (AGS). Автоматизированная AGS способна выстреливать до 10 снарядов высокой точности с ракетным ускорением в минуту по целям на дальности в 100 миль.

Эти снаряды используют GPS и инерциальную систему наведения для повышения точности орудия до окружности возможной погрешности в 50 метров (164 футов). Это означает, что половина этих управляемых GPS снарядов упадёт в пределах этого расстояния до цели. Но если убрать навороченные снаряды с GPS, то AGS и её цифровая система управления огнём станут не более точными, чем механическая аналоговая технология, которой уже почти исполнился целый век.

Я имею в виду такие электромеханические аналоговые компьютеры управления огнём, как Ford Instruments Mark 1A Fire Control Computer и Mark 8 Rangekeeper. Эти машины могли непрерывно и в реальном времени выполнять расчёты с 20 и более переменными ещё задолго до того, как цифровые компьютеры проложили себе дорогу в море. Когда я служил на борту линкора «Айова» в конце 1980-х, они по-прежнему ещё использовались.
Всего голосов 27: ↑26 и ↓1+35
Комментарии16

Телепортируем процесс на другой компьютер! 

Время на прочтение12 мин
Количество просмотров14K
Однажды коллега поделился размышлениями об API для распределённых вычислительных кластеров, а я в шутку ответил: «Очевидно, что идеальным API был бы простой вызов telefork(), чтобы твой процесс очнулся на каждой машине кластера, возвращая значение ID инстанса». Но в итоге эта идея овладела мной. Я не мог понять, почему она такая глупая и простая, намного проще, чем любой API для удалённой работы, и почему компьютерные системы, кажется, не способны на такое. Я также вроде бы понимал, как это можно реализовать, и у меня уже было хорошее название, что является самой трудной частью любого проекта. Поэтому я приступил к работе.

За первые выходные сделал базовый прототип, а второй уикенд принёс демку, которая могла телефоркнуть процесс на гигантскую виртуальную машину в облаке, прогнать рендеринг трассировки путей на множестве ядер, а затем телефоркнуть процесс обратно. Всё это завёрнуто в простой API.

На видео показано, что рендеринг на 64-ядерной VM в облаке завершается за 8 секунд (плюс 6 секунд на телефорк туда и обратно). Тот же рендеринг локально в контейнере на моём ноутбуке занимает 40 секунд:

Всего голосов 53: ↑53 и ↓0+53
Комментарии12
1
23 ...

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность