Мы уже рассказывали про наш детектор голоса на Хабре тут, тут и тут. Кратко опишу, что стало лучше в этот раз:

Поддержка 6 000+ языков;

Общий рост качества на 5-7%;

Существенно повышена устойчивость на шумных данных;

TorchScript (*) стал в 3 раза быстрее, а ONNX - на 10% (теперь они примерно равны по скорости, обработка 1 кусочка аудио занимает 325 и 189 μs соответственно);

Привет, Хабр! Решил представить здесь самые интересные проекты/самоделки/концепции, которые делал сам на протяжении последних семи лет. Если КДПВ сделала своё дело, добро пожаловать под кат! Осторожно, много фото.

«Хорошо есть, крепко спать и достаточно пить» — кажется, это самые распространенные «народные» советы для поддержания тела в тонусе, а ума в ясности. Делай так и все будет «окей»!

Но если разобраться, питание, сон и гидратация — это все про внутреннее, про биохимию организма. А что насчёт окружающей среды? Как воздух, которым мы дышим, свет, которым мы освещаемся, и температурный режим, в котором мы находимся, влияют на продуктивность? Они имеют значение?

Обыватель скажет: «Ну конечно, имеют! Если не проветривать комнату, будет душно. Если не включать свет, будет плохо видно и сядет зрение. Ну а беспорядок на рабочем столе — отражение беспорядка в голове!».

На самом деле, все действительно так. Но для многих степень влияния среды на продуктивность все еще не очевидна в полной мере.

Простой пример: превышении нормы CO2 в помещении всего на 20% снижает когнитивные способности на целых 60%. А исходя из общемировой статистики, комната, в которой сейчас находится читатель, превышает норму CO2 минимум в 2 раза!

Что, если в качестве контекста нам необходимо, чтобы модель знала не только историю переписки с конкретным пользователем, но ещё и какую-то общую информацию про бизнес или продукт?

Все эти проблемы призваны решить такие продукты OpenAI, как Assistants API и Vector Store. Vector Store — это векторное хранилище, в которое можно загрузить файлы с вашей документацией или базой знаний, они автоматически будут трансформированы в векторный формат, и при каждом запросе из хранилища будет выбираться только информация, актуальная для этого конкретного запроса, тем самым помогая модели точнее отвечать на вопросы и экономить токены.

LR-парсеры – это инструмент для анализа и синтаксического разбора языков программирования. LR в данном контексте означает Left-to-right, слева направо и Rightmost derivation, правое разложения. LR парсеры используют метод снизу вверх, который отличается от более известных LL-парсеров, работающих сверху вниз.

Одна из основных фич LR-парсеров - способность обрабатывать большую часть контекстно-свободных грамматик.

Словосочетание «машинное обучение» становится всё более значимым с каждым годом и проникает во все возможные сферы жизни, а с появлением в открытом доступе таких нейронных сетей как Chat GPT [1] интерес к машинному обучению стал высок как никогда. Но при этом многих отпугивает сложность создания своих систем на основе машинного обучения, потому что нужно одновременного использовать и настраивать много разных инструментов разработки.

Поэтому я хочу представить вашему вниманию максимально простую инструкцию для быстрого погружения в мир машинного обучения. Инструкция ориентирована в первую очередь на начинающих программистов, мы будем применять Python 3 [2] с библиотекой TensorFlow [3]. Это лучший выбор для начинающих из-за простоты языка и большого сообщества разработчиков, использующих TensorFlow.

1930-е годы были захватывающим и противоречивым временем как для мировой экономики, так и для науки ядерной физики. Экономически Великая депрессия привела к росту безработицы, резкому падению мирового промышленного производства, внешней торговли, ВВП на душу населения и росту фашизма. Но на фоне этих геополитических событий в фундаментальной физике происходила очень маленькая революция: путешествие в атомное ядро. По всему миру физики собирали воедино кусочки головоломки ядерной физики, включая радиоактивность, открытие нейтрона, энергетический потенциал всей материи E = mc², а также физические процессы синтеза и деления.

До того как Дж. Роберт Оппенгеймер возглавил Манхэттенский проект, то есть разработку атомной бомбы, он был одним из многих учёных, изучавших последствия ядерной физики в самых экстремальных условиях, которые только можно себе представить: во время гравитационного коллапса самых массивных звёзд во Вселенной. В серии работ, опубликованных в конце 1930-х годов, Оппенгеймер вошёл в состав первой команды, которая определила предел массы ядра нейтронной звезды, которую оно может набрать до того, как оно полностью разрушится и превратится в то, что он тогда назвал «тёмной звездой», или, говоря современным языком, чёрной дырой.

Вдогонку к сюжету про матрицы Паули, решил провести параллель с матрицами Дирака, которые состоят из матриц Паули.

Статья так же в рамках жанра кейс. В этот раз напишу кратко, просто наблюдаемые математические факты.

Так как рецептом в данном случае является принцип, а не формула, то в этот раз под кат убрать нечего. Так же не смогу привести подробно символьные вычисления, потому что промежуточные результаты не входят в страницу даже самым мелким шрифтом. Поэтому привожу только результаты, и поэтому тип статьи "сложно".

Теоретически, если развить данную идею, то можно будет в рамках геометрической алгебры построить любое количество измерений. Поэтому делюсь идеей для тех, кого это интересует.

Действительно ли конструкция ниже описывает девять измерений, нужно изучать, это пока предположение.

В предыдущих статьях цикла был приведен пример реализации ведомого модуля JTAG на Verilog. Я предположил, что количество инженеров, знающих Verilog, меньше, чем количество инженеров, которым требуется понимание принципов работы JTAG. Поэтому, помимо реализации на Verilog, модуль JTAG был также реализован на Си.

Так как реализация на Си преследовала исключительно образовательную цель, то скорость её работы была принесена в жертву некоторой унифицированности подходов с реализацией на Verilog. Поэтому я был несколько удивлён, когда в личном сообщении @Sergei2405 спросил, нет ли способа ускорить работу примера для микроконтроллера, чтобы применить этот код в промышленном изделии.

Субъективно, практическое применение программного JTAG мне по‑прежнему видится не вполне оправданным.
Но, во‑первых, это хороший повод рассмотреть предельные возможности микроконтроллеров.
А во‑вторых, есть формальная причина сказать, что в данной статье предлагается Решение Прикладной Задачи :)

Итак, сегодня мы поговорим про прерывания, поллинг и прочее. А протокол JTAG станет фоном для повествования.

Поговорим о блокировках в 1С:Предприятие. Идея написать эту статью появилась «по просьбам слушателей». Постараюсь максимально простым языком, без зауми рассказать о природе блокировок и что с ними делать. В один пост весь материал помещать не буду — громоздко, поэтому сегодня речь пойдет о логических блокировках сервера СУБД.

С точки зрения конечного пользователя проблема избыточных блокировок выглядит почти одинаково — замедление при выполнении операций и/или ошибка. Но природа блокировок бывает разной и решения тоже разные.

При сборке квадрокоптеров и других БПЛА обычно используют готовую плату полетного контроллера, содержащую все необходимые датчики и периферию, и готовую полетную прошивку, например, Betaflight, ArduPilot или PX4. Полетный контроллер управляет моторами квадрокоптера и обеспечивает стабильный полет.

Занимаясь БПЛА с 2016 года, я решил разобраться в устройстве полетных контроллеров максимально глубоко и создать квадрокоптер с нуля, не используя готовый полетный контроллер и готовый софт. Спустя долгое время разработки мне удалось это сделать. Я написал прошивку с максимально простым исходным кодом и выложил ее на GitHub. В этой статье я расскажу о теории и практике разработки полетного софта для квадрокоптера и проиллюстрирую это на примере своего дрона на базе микроконтроллера ESP32, который можно увидеть на картинке выше.

TL;DR Очень подробный разбор алгоритмов решения задачи о кратчайшем пути от классики до двунаправленного А* и ALT с кодом и примерами на OSM

Люди пытались найти более быстрые способы передвижения на протяжении всей своей истории. Появление качественной дорожной системы в римской империи в своё время привело к её расцвету, но со временем выяснилось, что и в продуманных дорожных системах бывают забавные изъяны, как например в небезызвестной задаче о кёнигсбергских мостах, считающейся отправной точкой возникновения теории графов. Неудивительно и то, что с развитием вычислительной техники логистические задачи стали одними из первых, над которыми трудились первопроходцы компьютерных наук. Задача о кратчайшем пути -- одна из них, звучит достаточно просто: есть несколько городов и дорог, соединяющих пару городов между собой, мы хотим попасть из города А в город Б пройдя при этом минимальное расстояние. Первый системный подход к этой задаче был описан в работе Эгервари в 1931г., спустя 25 лет Эдсгер Дейкстра придумал алгоритм, который сейчас является частью любого уважающего себя базового курса алгоритмов на графах. На нём же, будем честны, заканчиваются знания о кратчайших путях у большинства профессиональных разработчиков, ибо сценариев, где реализации с википедии/stackoverflow будет не хватать, крайне мало.

Может показаться, что на самом деле просто не было существенного прогресса с 60х годов, так как Дейкстра предоставил почти асимптотически оптимальный алгоритм решения задачи. На самом деле нет, прогресс был и придумали много чего интересного, хоть и действительно с того времени фокус сместился на другие задачи. Приглашаю под кат если интересно узнать что такого напридумывали, что используется в современных логистических системах, почему меня огорчает отсутствие учёта флага единства в HOMM3 при расчёте пути, ну и наконец, что за мужики на картинке выше рядом с Дейкстрой?

Кластеризация — это набор методов без учителя для группировки данных по определённым критериям в так называемые кластеры, что позволяет выявлять сходства и различия между объектами, а также упрощать их анализ и визуализацию. Из-за частичного сходства в постановке задач с классификацией кластеризацию ещё называют unsupervised classification.

В данной статье описан не только принцип работы популярных алгоритмов кластеризации от простых к более продвинутым, но а также представлены их упрощённые реализации с нуля на Python, отражающие основную идею. Помимо этого, в конце каждого раздела указаны дополнительные источники для более глубокого ознакомления.

Каких-то 40 лет назад 3D- печать казалась уделом фантастических рассказов, несмотря на то, что тогда уже были разработки и  возможности для реализации. Но волшебная аура вроде: «А почему бы мне не напечатать себе дом или автомобиль?» больше напоминала перспективы термоядерного синтеза. Мол, вот еще 50 лет...

Однако после 1983 года, когда Чак Халл сделал первый 3D-принтер, технология в один момент стала сбывшейся мечтой. Сейчас любой может купить на Aliexpress недорогой принтер себе домой и получать детали относительно приемлемого качества. И это уже не говоря о промышленных вариантах, творящих настоящие чудеса. В этой статье разберемся, в чем суть технологии, как она появилась и развивалась, а также в каких отраслях и зачем ее используют.

Давайте рассмотрим, как использовать линейную алгебру и тензорные операции, чтобы создать всем известную игру в 12 строк.

Будем использовать PyTorch и NumPy. Можно было использовать даже какую-то одну из библиотек, но у PyTorch прекрасное Tensor API, а в NumPy есть хорошая функция под названием unravel_index, которую мы и будем использовать.

Без зубодробительной нудности и с пониманием мотива разберём давний вопрос, а не так, как это делает Ваша HR-служба на стадии адаптации сотрудника. Расскажу, почему это необходимо для крупного бизнеса, как их наличие помогает компаниям, а также, что нужно знать при их формировании на этапах планирования и разработки. Готовьте чай, впереди — лонгрид.