Возможно, кто-то из читателей, увидев заголовок этой статьи, подумает что-нибудь вроде:

"Что?! Алгебраические типы данных?! Это же что-то из мира функциональных языков программирования. Python?! Ну нет... Где Python со своей динамической утиной типизацией, а где типы данных, и уж тем более алгебраические..."

Что-то в таком духе. Но, на самом деле, в Python есть своя система типов, кроме того Python считается языком со строгой типизацией, а благодаря mypy и аннотациям, корректность используемых типов может быть проверена статически без непосредственного запуска программы. Помимо всех этих достаточно интересных особенностей, в Python есть возможность работать и с алгебраическими типами данных. Так что же это за типы данных, как они выглядят в Python, и какую практическую пользу приносят — попробуем разобраться в этой статье.

Александр Кушнарев прожил на Кипре два года. Оценил разнообразный климат, попробовал самую вкусную в мире картошку фри, побывал в непризнанной республике на севере, удивился кипрским холодам и отсутствию интернет-магазинов. Об этом уже есть история.

В итоге из Кипра он с женой переехал в Малайзию, где, спойлер, ему понравилось намно-оого больше. Про эту, во многом неизвестную в России, страну на этот раз и пойдет речь.

О еде, которой здесь очень много. О собаках, и почему их нельзя гладить. Об алкоголе, за которым выгодно летать на самолете. О том, почему в офисах всегда две кухни, а на крышах — две идентичные площадки для мангала. Про удивительно терпимую мусульманскую страну, жизнь в которой похожа на киберпанк.

Big Data by Batjorge

Традиционный подход к построению работы с большими данными — развернуть Hadoop-кластер, установить дополнительные инструменты и построить на нем платформу для работы с данными. Но в таком подходе есть несколько ограничений, вроде невозможности разделения Storage- и Compute-слоев, сложностей масштабирования и изоляции сред для разных приложений. Даже несмотря на то, что Hadoop можно арендовать у облачного провайдера как сервис (aaS), такой подход все равно мало чем отличается от развертывания на собственном оборудовании.

Однако есть другой, Cloud-Native подход работы с большими данными. Он позволяет решить эти проблемы, а также получить дополнительные возможности от облачных технологий. Для этого используют Kubernetes, интегрируя его с различными инструментами.

Я Александр Волынский, архитектор облачной платформы Mail.ru Cloud Solutions. Расскажу, как Kubernetes помогает в работе с Big Data, какие используются инструменты и какие преимущества можно получить по сравнению с классическим развертыванием.

Также вы можете посмотреть видеовыступление на митапе «Большие данные: не хайп, а индустрия».

Известно, что глубокие нейронные сети (DNN) и модели компьютерного зрения, в частности, хорошо справляются с конкретными задачами, но зачастую не могут сделать обобщение при работе с новыми. Так, модель, которая хорошо работает с данными о продуктах питания, может показать себя не очень хорошо на спутниковых изображениях и т. д..

В начале этого года OpenAI опубликовала модель под названием CLIP (Contrastive Language–Image Pre-training). В статье авторы модели привели потрясающие результаты по точности zero-shot-классификации изображений, а также сопоставили тексты и картинки в рамках одной системы. Однако модель OpenAI работает только с английским языком. Можно ли быстро адаптировать её для работы с русским?

Команды R&D SberDevices и Sber AI увлеклись этим вопросом. В этой статье мы расскажем про первые результаты наших исследований CLIP для русского языка, опишем ключевые идеи предложенной модели и поделимся с вами кодом для её использования — решения задач zero-shot image classification.

Что же можно сделать с помощью ruCLIP?

В прошлый раз я писал о том, как можно улучшить утилиту kubectl, дополнив и расширив ее функционал, а сегодня зайду с другой стороны: познакомимся с решением, которое позволит забыть о консольных командах и управлять Kubernetes-кластером в графическом интерфейсе. Речь пойдёт про Lens — бесплатное приложение с открытым кодом, которое позиционируется как полноценная Kubernetes IDE. Мы уже кратко рассматривали Lens в сравнительном обзоре GUI для K8s, а теперь попробуем это решение в деталях. Что ж, поехали!

Сейчас в сфере ML постоянно слышно про невероятные "успехи" трансформеров в разных областях. Но появляется все больше статей о том, что многие из этих успехов мягко говоря надуманы (из недавнего помню статью про пре-тренировку больших CNN в компьютерном зрении, огромную MLP сетку, статью про деконструкцию достижений в сфере трансформеров).

Если очень коротко просуммировать эти статьи — примерно все более менее эффективные нерекуррентные архитектуры на схожих вычислительных бюджетах, сценариях и данных будут показывать примерно похожие результаты.

Тем не менее у self-attention модуля есть ряд плюсов: (i) относительная простота при правильной реализации (ii) простота квантизации (iii) относительная эффективность на коротких (до нескольких сотен элементов) последовательностях и (iv) относительная популярность (но большая часть имплементаций имеет код раздутый раз в 5).

Также есть определенный пласт статей про улучшение именно асимптотических свойств self-attention модуля (например Linformer и его аналоги). Но несмотря на это, если например открыть список пре-тренированных языковых моделей на основе self-attention модулей, то окажется, что "эффективных" моделей там буквально пара штук и они были сделаны довольно давно. Да и последовательности длиннее 500 символов нужны не очень часто (если вы не Google).

Попробуем ответить на вопрос — а как существенно снизить размер и ускорить self-attention модуль и при этом еще удовлетворить ряду production-ready требований:

В этой статье я собрал несколько интересных сервисов с API, многие из которых вы можете использовать как основу для вашего приложения. Другие же отлично подходят как уникальные фичи, которые помогут разнообразить опыт использования вашей программы.

• покажу, как использовать PyTorch C++ API для интеграции нейросети в проект на движке Unity;
• сам проект я подробно описывать не буду, это не имеет значения для данной статьи;
• использую готовую модель нейросети, преобразовав её трассировку в бинарник, который будет подгружаться в рантайме;
• покажу, что такой подход существенно облегчает деплой сложных проектов (например, нет проблем с синхронизацией сред Unity и Python).

Добро пожаловать в реальный мир

Оцветнение видео под капотом

О чем думают молодые люди, когда заходит речь о «топоте маленьких ножек»? О бессонных ночах, грязных пеленках, детских истериках и потерянной карьере. Эти страхи значительно преувеличены. Не могу ничего сказать о беременности и родах — я мужчина. Это не помешало мне выйти в отпуск по уходу за ребенком.

Как это началось? Многие иностранные компании восприняли «Маленькую победоносную войну» 08.08.08 как четкий и недвусмысленный сигнал, отменив планы по развитию бизнеса России. В их числе оказалась компания, в которой я работал начальником СДО — меня сократили, выплатив полугодовой оклад.

Деньги мы тут-же потратили, отправившись в Таиланд — я был востребованным специалистом и без труда находил работу. Вот только вернувшись в Россию, мы словно оказались в другой стране — рынок вакансий в Перми сократился в десятки раз. И если моя беременная подруга смогла найти работу (она химик), то у меня все было глухо.

Подумав, я решил совершить рокировку — предложил подруге сразу после родов выйти на работу, оставив младенца мне. В России государство предоставляет возможность любому из родителей уйти в трехгодичный декретный отпуск, сохранив часть зарплаты. Именно этом опытом я и хочу поделиться.

Работа, которую нашла моя подруга, помимо сравнительно высокой по меркам кризисной Перми зарплаты имела и минусы — она была вахтовая. Так что заниматься новорождённым Андреем пришлось мне. И это оказалось неожиданно просто.

Оставшись тет-а-тет с младенцем, я несколько оробел. Младенец хныкал, бессмысленно таращился по сторонам, гугукал и пускал слюни. Я аккуратно взял его на руки, прижав к груди. Он слегка повозился, устраиваясь поудобнее. И уснул, предоставив мне возможность заниматься своими делами.

Идеальный способ отлаживать и отслеживать приложения — хорошо определённые, информативные и удобно структурированные логи. Они являются необходимым компонентом любого — малого, среднего или крупного — проекта на любом языке программирования, не только на Python. Не используйте print() или корневой логгер по умолчанию, вместо этого настройте логирование на уровне проекта. К старту нового потока курса по Data Science, мы перевели статью, автор которой решил поделиться своим шаблоном для логирования. Не лишним будет сказать, что этот шаблон пришёлся по душе многим специалистам — от дата-сайентистов профессионалов и до разработчиков ПО разного уровня.

«Хьюго» — одна из самых известных и авторитетных премий в области фантастики. Она присуждается с 1953-го и победителями в различные годы становились Роджер Желязны, Филип К. Дик, Роберт Сильверберг, Урсула Ле Гуин и многие другие признанные мастера жанра.

Несколько лет назад список номинаций «Хьюго» пополнился новой — за лучшую серию. В этой категории победа уже доставалась «Саге о Форкосиганах» и «Шалиону» Лоис Макмастер Буджолд, «Странники» Бекки Чамберс и «Пространство» Джеймса Кори. Хочется рассказать о тех циклах, которые претендуют на награду в этом году — среди них немало примечательных, правда, к сожалению, пока не все изданы на русском языке.

Ранее мы разобрались с тем, какую музыку слушали бразильцы в 40-х годах прошлого века и рассказали, какие радиостанции популярны на Тибете. Сегодня продолжаем тему находок и обсуждаем видеосервисы, позволяющие путешествовать, не вставая с кресла [привыкать к ним, конечно же, не нужно, а вот поискать что-то занимательное — вполне можно].

Увлекательные приключения кота Барсика в нидерландской деревне и его интеграция в интернет вещей с помощью LoRa радио и The Things Network.

Одним из направлений робототехники стали интеллектуальные игрушки для обучения детей творчеству, основам наук и программированию. Порой такие детские роботы уже обладают элементами искусственного интеллекта (ИИ) и способны самообучаться в процессе общения.  Воплотить в жизнь самые оригинальные идеи из детской игровой робототехники помогают небольшим стартапам платформы Кикстартер и Индигого. Из представленных на этих краудфандинговых платформах проектов мы сформировали подборку наиболее востребованных идей, получивших финансирование для дальнейшего развития проекта.

1. Подготовка к собеседованию: какую домашнюю работу провести, чтобы собеседование прошло легче.
2. Собеседование: как оно проходит и какие вопросы ждать джунам и мидл-разработчикам.
3. Что делать после собеседования и как быть, если вам отказали.

В этой подборке представлены полезные малоизвестные консольные Linux утилиты. В списке не представлены Pentest утилиты, так как у них есть своя подборка.

Осторожно много скриншотов. Добавил до ката утилиту binenv.

binenv — cамая интересная утилита для установки новых популярных программ в linux, но которых нет в пакетном менеджере.