Леннарт Поттеринг – одна из легенд Linux-сообщества. Начиная с 90-х годов он работает над ядром операционной системы Linux. Леннарт запустил такие проекты, как PulseAudio, Avahi, kdbus, systemd и стал их главной движущей силой. В настоящее время работает в компании Red Hat в Германии. В прошлом году Леннарт приезжал на конференцию Linux Piter 2017 с докладом и сегодня, в преддверии Linux Piter 2018, мы публикуем интервью с этим именитым open source-разработчиком, в котором он рассказывает, зачем понадобился systemd, как менялась и меняется архитектура Linux, как лично он реагирует на многочисленную критику в свой адрес, зачем нужно посещать конференции, и что лично ему дают такие мероприятия, как, например, Linux Piter.

Перевод статьи Билла Гейтса

Ко второму семестру моего первого курса в Гарварде я начал посещать курс, на который не записывался, и практически прекратил ходить на занятия по курсам, куда я был записан – кроме курса введения в экономику «Ec 10». Меня очень интересовала эта тема, и преподаватель был прекрасный. Одной из первых вещей, которые он рассказал нам, была диаграмма спроса и предложения. Примерно так работала глобальная экономика, когда я учился в колледже (а это было столько лет назад, что я не люблю признавать, насколько давно это было):



На основании этого графика можно сделать два предположения. Первое более-менее работает и сегодня: с повышением запроса на продукт повышается и предложение, а цена падает. Если цена оказывается слишком большой, запрос падает. Идеальная точка, в которой две линии пересекаются, называется равновесием. Равновесие – вещь волшебная, ибо она максимизирует пользу для общества. Товары доступны, их много и с них имеется прибыль. Все в выигрыше.

Вот что строил испанский архитектор Антонио Гауди:



Его здания описывают как «бионические дома», некоторые говорят о «летящей пластичной материи». За морем восторгов художников и дизайнеров, как мне показалось, упущена некоторая невероятная рационализация и прагматичность. Гауди был в первую очередь отличным разработчиком, математиком и геометром. Но чтобы объяснить это, сначала я покажу другую картинку:


Это два крепления. Первое производится серийно — оно просто в проектировании, просто в изготовлении, дёшево и невероятно уродливо. Второе красивое, и требует на 25% меньше материала для того, чтобы выдержать тот же вес (то есть — куда прочнее). Только его трудно рассчитать, оно будет дороже в серии — и придётся подумать.

Примерно то же самое делал Гауди. Ему пришлось обойтись без математического аппарата и современных материалов. И ещё действовать в рамках строго ограниченного бюджета. Он, фактически, заложил новые принципы всего от фасада до последней дверной ручки, создал шедевры оптимизации — в общем смёл все стереотипы как сухие листья, создал с нуля теорию и воплотил её. В девятнадцатом веке всё то, что он делал, было просто диким. Некоторые даже считали его сумасшедшим.

Всем привет! Я тимлид проекта Рамблер/топ-100. Это лонгрид о том, как мы проектировали архитектуру обновлённого сервиса веб-аналитики, с какими сложностями столкнулись по пути и как с ними боролись. Если вам интересны такие базворды как Clickhouse, Aerospike, Spark, добро пожаловать под кат.

Домашний сервер, контроллер умного дома, ONT от МГТС и прочая чувствительная аппаратура у меня уже давно подключены через UPS от APC. Всё бы хорошо, но родные (довольно недешевые) аккумуляторы в нём служат года два-три, а потом необратимо деградируют. Кроме того, даже новых аккумуляторов хватает в лучшем случае минут на 15. Когда подошла пора очередной замены аккумуляторов, я решил найти более долговременное решение.

Не могу сказать, что замена аккумулятора — это какой-то rocket science, но вопросов с неочевидными ответами было несколько:

• Какие аккумуляторы взять и на какое напряжение?
• Будут ли аккумуляторы нормально заряжаться?
• Проработает ли UPS не 15 минут, а несколько часов?
• Как объяснить UPSу, что у него теперь аккумуляторы другой ёмкости?

За ответами прошу под кат

Библиотека Виблингенского аббатства в Ульме

У вас должна была появиться возможность получить доступ к полному тексту практически любой из когда-либо опубликованных книг в один клик. За книги, издающиеся до сих пор, вам нужно было бы платить, но всё остальное – а эта коллекция росла бы быстрее, чем архивы библиотеки Конгресса, Гарварда, Мичиганского университета, или любой из национальных библиотек Европы – была бы доступна совершенно бесплатно через терминалы, установленные в любой пожелавшей бы этого библиотеке.

Через терминал можно было бы проводить поиск по десяткам миллионов книг и читать любую страницу любой найденной книги. Можно было бы выделять текст, оставлять пометки и делиться ими. Впервые можно было бы указать на какую-либо идею, хранящуюся среди обширных печатных записей, и отправить кому-либо ссылку на неё. Книги стали бы доступны мгновенно, с поиском, копированием, и они были бы настолько же живыми в цифровом мире, как веб-страницы.

Это должно было стать реализацией очень давно вынашиваемой мечты. «Об универсальных библиотеках люди говорили тысячелетиями, – утверждает Ричард Овенден [Richard Ovenden], глава Оксфордских Бодлианских библиотек. – Во времена Возрождения можно было представить себе возможность собрать все опубликованные знания в одной комнате или в одном учреждении». Весной 2011 года казалось, что мы собрали эту коллекцию в терминале, способном уместиться на столе.

Вакуум есть, катод вставлен, колонна прочищена, высокое напряжение подведено, и даже сделано управление с компьютера. Осталось только увидеть электронный луч и попробовать работу магнитных линз.

Но сперва расскажу про пластинку из неизвестного материала: когда я чистил колонну, то в шлюзовой камере, в укромном месте нашёл непонятные пластинки из блестящего, очень хрупкого вещества. Где стоял этот микроскоп до того, как попасть ко мне, и что на нём смотрели — неизвестно.



Было высказано предположение, что это кремний. Что это в итоге оказалось и какого прогресса удалось достичь в электронном микроскопе за три недели — под катом.

Привет, Хабр!

Параллельно с публикациями статей открытого курса по машинному обучению мы решили запустить ещё одну серию — о работе с популярными фреймворками для нейронных сетей и глубокого обучения.

Я открою этот цикл статьёй о Theano — библиотеке, которая используется для разработки систем машинного обучения как сама по себе, так и в качестве вычислительного бекэнда для более высокоуровневых библиотек, например, Lasagne, Keras или Blocks.

Theano разрабатывается с 2007 года главным образом группой MILA из Университета Монреаля и названа в честь древнегреческой женщины-философа и математика Феано (предположительно изображена на картинке). Основными принципами являются: интеграция с numpy, прозрачное использование различных вычислительных устройств (главным образом GPU), динамическая генерация оптимизированного С-кода.

Привет, Хабр! Меня зовут Александр Крашенинников, я руковожу DataTeam в Badoo. Сегодня я поделюсь с вами простой и элегантной утилитой для распределённого выполнения команд в стиле xargs, а заодно расскажу историю её возникновения.

Наш отдел BI работает с объёмами данных, для обработки которых требуются ресурсы более чем одной машины. В наших процессах ETL (Extract Transform Load) в ход идут привычные миру Big Data распределённые системы Hadoop и Spark в связке с OLAP-базой Exasol. Использование этих инструментов позволяет нам горизонтально масштабироваться как по дисковому пространству, так и по CPU/ RAM.

Безусловно, в наших процессах ETL существуют не только тяжеловесные задачи на кластере, но и машинерия попроще. Широкий пласт задач решается одиночными PHP/ Python-скриптами без привлечения гигабайтов оперативной памяти и дюжины жёстких дисков. Но в один прекрасный день нам потребовалось адаптировать одну CPU-bound задачу для выполнения в 250 параллельных инстансов. Настала пора маленькому Python-скрипту покинуть пределы родного хоста и устремиться в большой кластер!

Для тех, кто ещё не в курсе о проекте — почитать можно вот здесь.



Пришло время использовать металлообрабатывающие станки по их прямому назначению и выточить всё необходимое для микроскопа, а затем попробовать подключить форвакуумный насос и посмотреть, что из этого получится.

Переходники для вакууметров

В этом микроскопе нет ни одного стандартного вакуумного порта. Два его родных манометрических преобразователя работали по методу термопары. В каждом из них было две вакуумных «лампы» с одинаковыми термопарами внутри. Одна лампа — запаяна, с «образцовым» вакуумом внутри, а вторая — открыта. Сравнивая значения их сопротивления можно было количественно измерить значение вакуума. Но дело в том, что один из них вообще разбили, а второй был вклеен неким клеем, который за годы разложился обратно в жидкое состояние. И, конечно, никакой измерительной электроники для этого не осталось. Поэтому логичным решением было установить более современные вакууметры. В идеале — активные, которые выдают сигнал в готовом для интерпретации виде.
(thanks to KU — Resonant Research for the photo)

Алексей Еремихин ( alexxz )

Я хочу навести порядок в головах, чтобы люди поняли, что такое Hadoop, и что такое продукты вокруг Hadoop, а также для чего не только Hadoop, но и продукты вокруг него можно использовать на примерах. Именно поэтому тема — «С чего начать внедрение Hadoop в компании?»

Структура доклада следующая. Я расскажу:

• какие задачи я предлагаю решать с помощью Hadoop на начальных этапах,
  
• что такое Hadoop,
  
• как он устроен внутри,
  
• что есть вокруг него,
  
• как Hadoop применяется в Badoo в рамках решения задач с первого пункта.
  

Эта статья послужит практическим руководством по сборке, начальной настройке и тестированию работоспособности Hadoop начинающим администраторам. Мы разберем, как собрать Hadoop из исходников, сконфигурировать, запустить и проверить, что все работает, как надо. В статье вы не найдете теоретической части. Если вы раньше не сталкивались с Hadoop, не знаете из каких частей он состоит и как они взаимодействуют, вот пара полезных ссылок на официальную документацию:

hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html
hadoop.apache.org/docs/r2.7.3/hadoop-yarn/hadoop-yarn-site/YARN.html

Почему просто не использовать готовый дистрибутив?

— Обучение. Похожие статьи часто начинаются с рекомендаций скачать образ виртуальной машины с дистрибутивом Cloudera или HortonWorks. Как правило, дистрибутив – сложная экосистема с уймой компонент. Новичку будет непросто разобраться, где что, и как это все взаимодействует. Начиная from scratch мы немного уменьшаем порог вхождения, так как имеем возможность рассматривать компоненты по одной.

— Функциональные тесты и бенчмарки. Есть небольшой лаг между выходом новой версии продукта, и моментом, когда она появляется в дистрибутиве. Если вам необходимо протестировать новые функции только что появившейся версии, Вы не сможете использовать готовый дистрибутив. Также будет сложно сравнить производительность двух версий одного и того же софта, так как в готовых дистрибутивах как правило отсутствует возможность обновить версию какого-либо одного компонента, оставив все остальное как есть.

— Just for fun.

Часть свободного времени новогодних каникул стоит выделить на звездное небо над нами. Там, как всегда, будет интересно — парад планет, небольшой метеорный поток и красивые неастрономические явления.


Фото пользователя Upsilon Астрофорума

В нашем блоге на Хабре мы продолжаем рассказывать о построении DevOps-культуры в компании — ранее мы описывали созданную нами систему Continuous Integration, а также механизм публикации и лицензирования софта. Сегодня же речь пойдет о выборе системы управления окружением, а также доставкой и развертыванием софта на серверах.

Mimesis — это библиотека для языка программирования Python, которая помогает генерировать фиктивные данные для различных целей. Библиотека написана с использованием средств, включенных в стандартную библиотеку языка Python, потому не имеет никаких сторонних зависимостей. На данный момент библиотека поддерживает 30 языковых стандартов (в числе которых и русский) и более 20 классов-провайдеров, предоставляющих разного рода данные.

Возможность генерировать фиктивные, но в то же время валидные данные бывает очень полезна при разработке приложений, которые подразумевают работу с базой данных. Ручное заполнение базы данных представляется довольно затратным по времени и трудоемким процессом, который выполняется как минимум в 3 этапа — это:

1. Сбор необходимой информации.
2. Постобработка собранных данных.
3. Программирования генераторов данных.

Эта непростая задача по-настоящему усложняется в тот момент, когда требуется сгенерировать не 10-15 пользователей, а 100-150 тысяч пользователей (или иного рода данные). В этой и двух последующих статьях мы постараемся обратить ваше внимание на инструмент, который в разы упрощает процесс генерации тестовых данных, начальной загрузки базы данных и тестирования в целом.

Каждую осень медведи умеренных и полярных широт (в частности бурый и черный) начинают готовиться к спячке. Всю весну, лето и осень эти животные активно питались, нагуливая запасы жира на зиму. А теперь, когда наступают холода, они ищут подходящее укрытие для того, чтобы перезимовать. После того, как укрытие найдено, медведь впадает в спячку.

Спячка медведей в некоторых случаях длится до полугода. Во время спячки некоторые виды, например, черный медведь (Ursus americanus), снижают пульс с 55 ударов в минуту до примерно 9. Уровень метаболизма снижается на 53%. Естественно, все это время медведи не едят, не пьют и не производят отходы жизнедеятельности. Как им это удается?

Привет друзья. Вот вам простенькая задачка. Как бы вы перевели арабские числа в римские используя Python? Правда с одним условием — числа не могут быть больше чем 4000.

Я думаю это должно быть просто, но позвольте я вам покажу вам серию интересных решений и не тривиальных подходов:

6 из 8 планет солнечной системы обладают собственными источниками магнитных полей, способные отклонять потоки заряженных частиц солнечного ветра. Объем пространства вокруг планеты, в пределах которого отклоняется от траектории солнечный ветер, именуется магнитосферой планеты. Несмотря на общность физических принципов генерирования магнитного поля, источники магнетизма, в свою очередь, сильно варьируются у разных групп планет нашей звездной системы.

Изучение разнообразия магнитных полей интересно тем, что наличие магнитосферы, предположительно, является важным условием для возникновения жизни на планете или ее естественном спутнике.

Я занимаюсь разработкой своего скромного бота для игры в Го. И меня искренне удивляет отсутствие информации эту тему на русском языке. Поэтому я решил поделиться накопленными знаниями в этой статье.

Я расскажу о том, как сделать простого бота. Освещу основные этапы, начиная от поиска ходов и эвристических алгоритмов и заканчивая публикацией вашего создания на онлайн-сервере KGS.

В прошлом посте мы рассмотрели примеры архитектуры поисковиков. Везде ключевую роль играет база данных, над которой удобно производить некоторые операции, исследовать и анализировать содержащиеся в ней документы.

До весны 2012 года у нас вместо такой базы существовали две базы данных разного уровня — со стороны спайдера, который имел свою собственную базу URL-ов, и со стороны индексатора. Это было крайне неудобно: допустим, если пользователь жаловался, что его сайт не индексируется, то для того, чтобы найти причину, при старой архитектуре пришлось бы анализировать массу данных. На это требовалось день-два, иногда даже неделя.

Задачи, которые обрабатывали данные, такие как антиспам или ссылочный граф, вынуждены были работать отдельно, создавая еще большую путаницу. Мы понимали, что нужно что-то менять.