Привет! Меня зовут Алексей Карпов, я DevOps-инженер (MLOps) отдела ML разработки в OKKO. Хочу поделиться опытом в работе с Apache Airflow в связке с Kubernetes. Расскажу, как установить Airflow в Kubernetes, настроить автоматическую синхронизацию DAG'ов с удалённым репозиторием, а также как отладить его работу. Всё это — на примере запуска простейшего DAGа. 

Terraform позволяет организовывать свой код так, как вам хочется.

Это обеспечивает большую гибкость и позволяет легко начать работу, просто поместив несколько ресурсов в файл и запустив terraform apply.

Но по мере роста вашей среды потребуется более строгий подход к структурированию кода.

В этом посте рассказывается о том, как мы начали с простого свободного расположения файлов в одной папке, а затем перешли на Terragrunt, чтобы решить некоторые возникшие проблемы.

Одним из трендов при проектировании сервисов в последнее время выступает использование в качестве баз данных NoSQL-систем. Мы также стараемся идти в ногу со временем и, конечно же, имеем в своем IT-ландшафте несколько таких решений. Одно из них — шардированный кластер MongoDB. Эксплуатация этой СУБД сопряжена с проблемами производительности, архитектуры, взаимодействия и т.д. Удивительно, но факт - зачастую, все мы сталкиваемся с тем, что ошибаются разработчики самой СУБД. Кто бы мог подумать.., что после штатной перезагрузки узла конфигурационного сервера MongoDB в процессе обновления может произойти аварийное завершение работы сервиса базы данных и наш стенд превратится в «тыкву»!

Об одном из таких случаев хотим рассказать в этой статье и, возможно, уберечь наших читателей от опрометчивых шагов при работе с MongoDB.

Дисклеймер: нижеописанные события произошли после того, как была опубликована рекомендация производителя не использовать версию 4.4.4.

На конференциях с недавнего времени стала мелькать тема “сильного искусственного интеллекта”, но, как правило, для меня находились более актуальные доклады, и я ее успешно избегал. Кроме того, в тридцатиминутном докладе люди стараются говорить как можно конкретнее, и полная картина для человека не в теме ускользает. Когда мне подвернулась книга “Сильный искусственный интеллект”, выпущенная “Альпина Паблишер”, я тут же принялся за ее изучение. Книга написана огромным количеством авторов, и часть имен хорошо известна в кругах Data Science. 

Цель книги - обобщить мысли и наработки, которые появлялись за все время по теме AGI (Artificial General Intelligence). Расскажу о них коротко в этой статье. Надеюсь, они будут любопытны и вам. 

Охота на медведя с рогатиной старое "развлечение". Идея простая, делается длинная, прочная рогатина из дерева, охотник дразнит медведя, упирает рогатину прочно в землю, камень или пень и направляет на зверя. Зверь натыкается на рогатину, но вместо того, чтобы отойти, боль провоцирует его на ещё большую агрессию, в итоге медведь сам себя закалывает рогатиной.

Как охотники на медведя с рогатиной объясняют простым языком квантовые компьютеры и почему всего один хитрый охотник может полностью уничтожить все квантовые вычисления.

Когда мы писали про рост зарплат в IT, то выяснили, что они растут из-за дефицита специалистов и выравнивания значений по уровню западных зарплат. Но оказывается, что дефицит есть везде. Абсолютно везде. Не хватает учителей, врачей, строителей, металлургов, водителей, инженеров и даже курьеров. На рынке повальный дефицит специалистов, которым предлагают зарплаты на уровне Молдавии или Республики Косово.

'По одной капле воды человек, умеющий мыслить логически, может сделать вывод о возможности существования Атлантического океана или Ниагарского водопада, даже если он не видал ни того, ни другого и никогда о них не слыхал' - Артур Конан-Дойль, «Этюд в багровых тонах».

Меня всегда восхищали древние философы, которые не имея никаких инструментов познания мира кроме собственного разума, бесстрашно погружались в пучины тайн мироздания. С помощью одних лишь только рассуждений они обретали исключительно глубокое понимание принципов работы механизма Вселенной, тем самым расширяя наши представления о мире.

Трудно переоценить влияние философии на науку, так как наука произошла именно от философии. Использующаяся для формализации процесса рассуждений математика стала первенцем философии. Даже сами слова "философия" и "математика" произошли из терминов религиозной школы одного из величайших философов античности - Пифагора. Физика, названию которой мы обязаны другому великому античному философу - Аристотелю, примерно до XVIII века именовалась натуральной философией. Ему же мы обязаны появлением логики - науки о мышлении. Кроме того, философы, изучавшие процесс познания и его ограничения, создали важнейший инструмент исследования природы - научный метод.

Даже многие научные открытия последних веков были вдохновлены философией. Иоганн Кеплер, Николай Коперник и Исаак Ньютон вдохновлялись теорией о гармонии мира Пифагора, о чем сами и писали в своих научных трудах. Альберт Эйнштейн был ярым приверженцем философии средневекового философа Бенедикта Спинозы, но также считал себя в некотором смысле платоником и пифагорейцем. Один из основоположников квантовой механики Эрвин Шрёдингер написал целую книгу о том, как его открытия в квантовой механике согласуются с индийской философией веданты.

До сих пор в западных университетах всем специалистам в точных и естественных науках, успешно защитившим свою диссертацию, присваивают почетное звание доктора философии - Philosophiæ Doctor, часто сокращаемое в речи и на письме до простого PhD. Тем самым университеты подчеркивают, что философия лежит в самом основании всего человеческого знания. Но чем именно занимается философия, в чем состоит её роль?

Популярность Kubernetes растет, порог входа снижается, но вопросам безопасности порой оказывают недостаточное внимание. В этой статье разберём работу двух Open Source-утилит для аудита безопасности кластера от известных экспертов этой области — Aqua Security.

Здравствуйте, дорогие друзья.

Исторически сложилось, что изначально сообщество BeOS/Haiku обитало на qube.ru и Jabber-канале. Но, со временем оно перебралось в телеграмм канал и vk-сообщество, где участники сообщества, кто есть в VK, собирают и обсуждают новости проекта.

И в данном материале я хочу рассказать Вам новости из жизни Haiku накопившееся за июль-часть августа.

Среди свойств разбиений чисел на части можно указать одно, не называемое другими авторами, которое в ряде случаев оказывается весьма полезным. Речь идет о свойстве разбиений числа, закрепляющем за конкретными слагаемыми подмножества позиций (точек) дискретной плоскости, в котором эти слагаемые могут перемещаться, не выходя за его пределы. Например, рассмотрим такую задачу. Имеется 2 спицы длиной 12 ед и 7 шаровых бусин с диаметрами 2,2,2,3,3,4,4 ед и сквозными отверстиями, проходящими через центры бусин. Как распределить и нанизать бусины на спицы, чтобы спицы после вставки их в кольцо с диаметром большим 12 образовали симметричную фигуру?

Простой способ, на который решится каждый. 

И вновь мы приготовили для вас много инсайтов, мероприятий, книжек и шпаргалок. Оставайтесь с нами – станьте частью DevNation!

Китайская фантастика и ее успехи за границами Поднебесной неразрывно связана с именем Лю Цысиня, однако его творчеством не ограничивается. После того, как «Задача трех тел» стала бестселлером на Западе и завоевала «Хьюго», издатели стали обращать внимание и на других китайских фантастов. Одним из них сталь Чэнь Цюфань, чей роман «Мусорный прибой» — эдакий киберпанк по-китайски — куда более приземленный и приближенный к реальности, чем эпическая сага Цысиня.

Недавно на Wired вышла большая статья про Цюфаня. Интересна она в частности тем, что рассказывает не только о самом писателе, но и о том месте, которое фантастика и ее авторы сейчас занимают в Китае. Это, по-моему, весьма любопытно, поэтому перевел материал.