Что такое «математическая оптимизация» — четыре области применения, шаги по её применению к реальным проблемам, чем она отличается от машинного обучения и как её использовать иначе

Прим. переводчика: Ранее на хабре не было переводов статей с японского языка. Мы решили исправить это досадное упущение и начать переводить их ещё и с этого языка. Данный материал будет пробой пера.

Эта серия статей о том, что такое математическая оптимизация и как она может быть применена в бизнесе через представление примеров применения в компании Recruit. В первой статье представлен обзор математической оптимизации, четыре примера применения в Recruit, процедура применения к реальным случаям, отличия от машинного обучения и как использовать её иначе.

Другие части доступны здесь:

• Введение в математическую оптимизацию на примере компании Recruit. Часть 2
• Введение в математическую оптимизацию на примере компании Recruit. Часть 3

❖ автор Рёсуке Судо

Это вторая статья из серии введения в «Нейронные сети для начинающих». Здесь и далее мы постараемся разобраться с таким понятием — как обработка графических данных, визуализация данных, а также на практике решим пару простых задач. Предыдущая статья — #1 Нейронные сети для начинающих. Решение задачи классификации Ирисов Фишера

Маленький совет из будущего: «В данной статье будут затронуты некоторые понятия, о которых я писал раньше, так что для полного понимания темы, советую прочитать и предыдущую статью»

На самом деле, на хабре было множество публикаций по этой теме, но все они говорят о разных вещах. Давайте разберёмся и соберём всё в одну кучку, для полноценного понимания картины мира.

Перед вами последняя версия пособия по программированию модулей ядра Linux, вышедшего 2 июля 2022 года. Пособие большое, поэтому материал будет разбит на серию статей. В первой части мы разберём, что такое модули ядра, рассмотрим необходимые подготовительные этапы для их создания и в завершении по традиции напишем первый простейший модуль «Hello world», попутно разобрав вопросы лицензирования, передачу аргументов командной строки и прочие нюансы. Это пособие вы можете смело воспроизводить и изменять в соответствии с условиями Open Software License v 3.0.

Программистам не дают Нобелевские премии. Хотя некоторые заслуживают. В нашей отрасли есть настоящие герои с выдающимися достижениями. Эти люди не строят карьеру, перепрыгивая с одной должности на другую, прокачивая зарплату. Создаётся впечатление, что им карьера вообще не важна. В силу высокого интеллекта, врождённой любознательности и особого характера эти люди не способны выполнять скучные, рядовые задания. Только интересные или важные. И только по своей воле, не по указанию сверху.

На Хабре рассказывали про «чак норрисов» от программирования, таких как Линус Торвальдс, Фабрис Беллар и Джефф Дин. Конечно, есть и другие феноменальные таланты, их много. Зачастую эти люди далеки от публичности, никогда не давали интервью и известны только по никам. Но их объединяет одно — выдающиеся индивидуальные разработки, которые разрывают шаблон и выделяются из общей массы.

Мы собирали этот список несколько лет. Начнём с последних строчек своебразного хит-парада… Знакомьтесь — Джастин Танни (Justine Tunney), хакерша и гений системного программирования.

Завершаем цикл постов про современные устройства защиты для ваших электрощитков. На этот раз — специальные наклейки для заглядывания в будущее?

Краткое содержание: есть наклейки необратимо меняющие цвет при нагреве плохого контакта. А ещё есть наклейки с газом. Видеоверсия поста (23 минуты) прикреплена в конце текста, если захочется слушать в дороге.

Сетевой стек TCP/IP не в одночасье стал паутиной, соединившей интернет от края до края. Вся система развивалась довольно бурно, противоречиво, но в целом через инкрементальные усовершенствования в разных местах. Не было какого-то единого плана создания глобальной коммуникационной сети и подходящего под эти цели стека протоколов. Из-за этого вместо сферической семиэтажной OSI в вакууме в наличие у нас есть причудливое смешение технологий и протоколов, где стандарты, написанные в 1970-х всё ещё живы, лягаются и даже обеспечивают нагрузкой ваши боевые сервера.


Figure 1. Комикс xkcd на злобу дня

Всё это в полной мере относится к подсистеме разрешения имён, aka name resolving, и DNS, как современной и наиболее полноценной реализации этой ключевой технологии. В качестве такового DNS пережил разнообразных саблезубых тигров и археоптериксов вроде YP/NIS/NIS+ эпохи накопления битов, вследствие чего в нём набралось немало артефактов и пасхальных яиц. Иногда их обнаруживают случайно при раскопках с помощью dig, но есть также и новые, нестандартные применения старого механизма.

На хабре было множество публикаций по данной теме, но все они говорят о разных вещах. Решил собрать всё в одну кучку и рассказать людям.

Это первая статья серии введения в нейронные сети, «Нейронные сети для начинающих». Здесь и далее мы постараемся разобраться с таким понятием — как нейронные сети, что они вообще из себя представляют и как с ними «подружиться», на практике решая простые задачи.

cdk8s (Cloud Development Kit for Kubernetes) — это опенсорсный фреймворк (часть CNCF), при помощи которого можно определять приложения Kubernetes при помощи обычных языков программирования (вместо yaml). В предыдущих постах по этой теме я познакомил читателей с фреймворком и рассказал об использовании библиотеки cdk8s-plus для дальнейшего расширения базовых возможностей функций библиотеки cdk8s. В этом посте мы ещё больше расширим границы возможностей cdk8s.

Я продемонстрирую, как можно использовать Kubernetes Custom Resource Definitions при помощи cdk8s. Мы начнём с простого примера Nginx, а затем используем комбинацию CRD проекта Strimzi вместе с Go cdk8s для описания и развёртывания кластера Kafka на Kubernetes!

Интернет-комиксы как явление даже старше, чем сама Всемирная сеть. Первые из них увидели свет ещё в середине 1980-х годов. Пионером жанра стал легендарный и таинственный Witches and Stitches от детройтского художника Эрика Милликина. Пародия на «Волшебника из страны Оз» распространялась по электронной почте и через другие ранние способы обмена информацией: WWW появится только в начале 90-х, а возможность размещать изображения во Всемирной паутине — в 1992-м.

Ведьминская тематика была неожиданной для сети тех времён, когда кроме профессиональных технарей в ней никого толком и не было — но Милликин, один из основателей и пионеров виртуального искусства как такового — считает себя потомком одной из салемских ведьм XVII века. А в уже тогда любившей приколы и гэги ранней интернет-среде мрачно-ироничные стрипы про ведьм разлетались не хуже конфет на Хеллоуин.

Osmanip – это библиотека C++, предоставляющая полезные механизмы для работы с управляющими последовательностями ANSI и настройки потока вывода программ. С помощью этих механизмов вы можете оформлять выводимые строки различными цветами и стилями, изменять расположение курсора в терминале и регулировать прочие компоненты вроде индикаторов выполнения и графики. Весь этот функционал будет очень полезен для придания желаемого вида общему потоку вывода программы или для выполнения операций с курсором.

Бьюсь об заклад, что имя этого человека малоизвестно за пределами сферы архитектуры, градостроительства и, возможно, истории искусств. А ведь Серда заложил основы современной урбанистики с междисциплинарным подходом. Именно он разработал знаменитый L'Eixample (Эшампле) — план расширения Барселоны в середине XIX в. на основе широких проспектов и улиц с восьмиугольными кварталами, давший имя всему центральному району и ставший первым примером масштабной городской трансформации. Сегодня Барселона пытается организовать её вторую серию — через программу суперкварталов вновь сделать центр пешеходным, зелёным, удобным для жизни и общения. Но вернуться к идеалам Серды, будучи центром крупнейшей на Средиземном море агломерации и туристической столицей, крайне непросто. Давайте разбираться!

Привет, Хабр! Сегодня соберём трансформаторный источник питания с мостовым выпрямителем и рассмотрим два типа линейных стабилизаторов напряжения. На транзисторном повторителе напряжения и на специализированной микросхеме.

А самое главное, что будем не только паять, но и разбираться, как эти электронные цепи работают. Это нужно не только для того, чтобы найти и устранить неисправность в случае, если она есть, но и определить, какая схема годится для нашей цели, и что в схеме можно изменить, чтобы она работала так, как нам надо.

Палеонтология изучает то, чего нет: живые организмы далёкого прошлого, давно исчезнувшие экосистемы. Причём давность в палеонтологии измеряется не месяцами и годами, а тысячами, миллионами, а то и миллиардами лет. Но хотя взгляд палеонтологов устремлён в прошлое, сами учёные держат руку на пульсе настоящего.

Если система работает длительное время, объём свободной памяти может уменьшаться, что может приводить к отказу некоторых сервисов. Это типичная проблема утечки памяти, которую обычно сложно спрогнозировать и выявить. Удобными инструментами для решения подобных проблем являются профайлеры кучи. Они отслеживают распределение памяти и помогают разобраться, что находится в куче программы, а также найти утечки памяти.

В этой статье мы расскажем об использовании профайлеров кучи, а также объясним, как спроектированы и реализованы популярные профайлеры кучи, например, профайлер кучи Go, gperftools, jemalloc и Bytehound.

Первая из двух статей, посвящённых сборке электронных инструментов на основе датчика Холла. В этой части разбирается простейшая модификация циркуля, включающего в себя один датчик и два магнита. Вторая же часть будет посвящена более сложному инструменту — пантографу (прим. пер.).

Недавно мне пришла в голову идея собрать небольшой инструмент – электронный циркуль – чтобы показать базовые принципы работы датчика эффекта Холла. И в процессе съёмки ролика, демонстрирующего циркуль в действии, я решил также пояснить, как нахожу полюса используемых в этом циркуле магнитов.

Я очень люблю делать разнообразные самодельные устройства, причём началось это далеко не вчера, меня всегда восхищали люди, которые могут соединить воедино разнообразные технологии, подходы, элементы устройств и создать нечто новое.

Не так давно я понял, что меня очень сильно тормозит в разработках — отсутствие доступного 3D-принтера по металлу, и я стал разбираться, насколько же сложно создать такой принтер самому?

С днём сисадмина, друзья!

Миша был молодым симпатичным парнем, — он часто и много шутил, пил чай на офисной кухне со всеми, кого встретит, периодически забывал отдать счета и чеки в бухгалтерию. Этого раздолбая любили все 17 сотрудников: синие экраны смерти, неожиданные визги дисков, вирусы, страшные проблемы с софтом решались быстро и на ура. За пакет с пирожными можно было выпросить новую клавиатуру, а за несколько бизнес-ланчей сделать историю посещений полностью анонимной. 

Женя каждое утро хмуро входил в офис, садился за все свои четыре монитора, буркнув «привет» коллегам. Он много и плотно работал, ругался в тикетах и на пользователей лично, занудно объяснял, почему плохо раздавать Wi-Fi с мобильника на рабочий ПК и открывать письма с невнятными ссылками, заставлял раз в год менять пароли, требовал от бухгалтерии своевременной оплаты поставок, писал скрипты и автоматизировал всё, что этого требовало. Часто он строго, подолгу и иногда непонятно общался с поставщиками ПО, хостингом и с центральным офисом. Этого душнилу любили все 300 сотрудников и бесконечно ценили подчинённые, у которых за пакет с пирожными можно было выпросить новую клавиатуру. С историей посещений фокус не удавался. 

Это было несколько лет назад, сейчас у Миши аутсорсинговая компания, а Женя — DevOps в суровом энтерпрайзе. Но история не про то, что сегодня вечером они оба хорошо отметят день системного администратора…

Всегда на страже ИТ-инфраструктуры

Мы продолжаем цикл постов о 3D-моделировании и 3D-технологиях. Бывает такое, что меня спрашивают, в каком софте я работаю, и, получая ответ, люди оказываются несколько ошарашены.

И действительно, хотя в моём списке часто используемых программ есть такие монстры, как ZBrush и Autodesk 3Ds max, это далеко не единственное, чем я пользуюсь. Причём 3дмакс стоит далеко не на первом, и даже не на втором месте. Кроме того, не менее частым вопросом (не на хабре, в социальных сетях) остаётся вопрос “А с какой программы начать?” или “Я ничего не умею, покажите, что делать?”

GNU-версию утилиты архивирования tar, равно как и её старые версии, можно использовать через сетевое подключение по протоколу ssh. От telnet/nc стоит отказаться, так как они не гарантируют безопасность соединения. Создавать архивы можно с помощью каналов (pipe) Unix/Linux, и ниже я продемонстрирую ряд примеров использования tar по ssh для архивирования в Linux, BSD/macOS или Unix-подобных системах.

Сказ о том, как собрать себе мощный комп с минимальным бюджетом.

В один прекрасный день мой коллега сказал, что на досках объявлений появились недорогие списанные мощные двухпроцессорные серверные материнские платы Supermicro X8DTL-i. В этом лоте на плате уже установлены процессоры, память и радиаторы, включай и работай. При этом формат платы E-ATX позволяет без особых проблем уместить её в обычный компьютерный корпус. Единственное, о чём стоит задуматься — это об охлаждении этих серверных мощностей.

Ценник на такой комплект на досках объявлений начинается от трёх тысяч рублей, что по карману даже школьнику. Это весьма интересное предложение для того, чтобы повозиться с серверным железом, да ещё и в домашнем компьютере. Я загорелся, и мне казалось, что никаких проблем возникнуть не должно, но как обычно, дьявол кроется в мелочах. Как и бывает в таких случаях, проблем посыпался ворох: охлаждение, расположение нестандартной матери, драйвера управления вентиляторов, организация электропитания.

В результате это всё вылилось в настоящий кастомный проект, который существует в единственном экземпляре. 3D-печать, ковыряние драйверов, разработка и пайка своих приспособлений. В общем, путь настоящего технаря.