Привет, меня зовут Оля, я Head of Processes&Practices, занимаюсь продуктовой трансформацией в inDriver. Сейчас у нас активная продуктовая и инженерная культура, система OKR, масштабное продуктовое планирование и смелые планы на будущее. Но так было не всегда. И в этой статье я расскажу о тех вызовах, с которыми мы столкнулись в процессе трансформации и о том, чего уже удалось достичь.
Пользователь
Terraform: новый подход к Infrastructure as code
Слово Камалу Мархуби (Kamal Marhubi) из компании Heap.
Big Data Tools EAP 11: Zeppelin в DataGrip и spark-submit во всех поддерживаемых IDE
Только что вышло очередное обновление EAP 11 для плагина под названием Big Data Tools, доступного для установки в IntelliJ IDEA Ultimate, PyCharm, and DataGrip. Можно установить его через страницу плагина на сайте или внутри IDE.
Big Data Tools — это плагин, позволяющий соединяться с кластерами Hadoop и Spark. Он предоставляет мониторинг узлов, приложений и отдельных задач. Кроме того, в IDEA и DataGrip можно создавать, запускать и редактировать ноутбуки Zeppelin. Можно не переключаться на веб-интерфейс Zeppelin и спокойно работать, не выходя из любимого IDE. Плагин позволяет удобно перемещаться по коду, делать умное автодополнение, рефакторинги и квик-фиксы прямо внутри ноутбука.
Определяем подходящий размер для кластера Kafka в Kubernetes
Apache Kafka — распределённая стриминговая платформа для создания надёжных, масштабируемых и высокопроизводительных потоковых систем реального времени. Её впечатляющие возможности можно расширить с помощью Kubernetes. Для этого мы разработали Open Source-оператор Kafka и инструмент под названием Supertubes. Они позволяют запускать Kafka в Kubernetes и использовать её различные функции, такие как тонкая настройка конфигурации брокера, масштабирование на основе метрик с ребалансировкой, rack awareness (осведомлённость об аппаратных ресурсах), «мягкое» (graceful) выкатывание обновлений и т.д.
Разбираемся с управлением памятью в современных языках программирования
В данной серии статей мне бы хотелось развеять завесу мистики над управлением памятью в программном обеспечении (далее по тексту — ПО) и подробно рассмотреть возможности, предоставляемые современными языками программирования. Надеюсь, что мои статьи помогут читателю заглянуть под капот этих языков и узнать для себя нечто новое.
Углублённое изучение концептов управления памятью позволяет писать более эффективное ПО, потому как стиль и практики кодирования оказывают большое влияние на принципы выделения памяти для нужд программы.
Книга «Вселенная. Путешествие во времени и пространстве»
«О если бы писали мы о том лишь, что доподлинно известно, подумайте, о трезвые умы, как было бы читать неинтересно!»
Это рассказ о наших шагах на пути познания Вселенной — от кипящей и бурлящей материи до разумных существ; от самых примитивных, сказочных и мифических представлений об устройстве космоса до сегодняшних, поражающих воображение теорий и гипотез; от черных дыр, тоннелей через время и пространство, до микроскопических частиц, в которых заключены свои миры со своими физическими законами.
А главное — эта книга о том, что будет дальше с человечеством и Вселенной. Ведь похоже, что мы в самом начале пути и впереди еще много интересного — того, что сбудется на самом деле!
Музей космонавтики
Что я узнал про оптимизацию в Python
Я использовал Python чаще, чем любой другой язык программирования в последние 4-5 лет. Python – преобладающий язык для билдов под Firefox, тестирования и инструмента CI. Mercurial также в основном написан на Python. Множество своих сторонних проектов я тоже писал на нем.
Во время своей работы я получил немного знаний о производительности Python и о его средствах оптимизации. В этой статье мне хотелось бы поделиться этими знаниями.
Мой опыт с Python в основном связан с интерпретатором CPython, в особенности CPython 2.7. Не все мои наблюдения универсальны для всех дистрибутивов Python или же для тех, которые имеют одинаковые характеристики в сходных версиях Python. Я постараюсь упоминать об этом во время повествования. Помните о том, что эта статья не является детальным обзором производительности Python. Я буду говорить только о том, с чем сталкивался самостоятельно.
10 фич для ускорения анализа данных в Python
Советы и рекомендации, особенно в программировании, могут быть очень полезны. Маленький шоткат, аддон или хак может сэкономить кучу времени и серьёзно увеличить производительность. Я собрала свои самые любимые и сделала из них эту статью. Какие-то из советов ниже уже известны многим, а какие-то появились совсем недавно. Так или иначе, я уверена, они точно не будут лишними, когда вы в очередной раз приступите к проекту по анализу данных.
1. Профилирование Pandas Dataframe
Профилирование помогает лучше понять наши данные, и пакет Pandas Profiling создан как раз для этого. Библиотека даст возможность просто и быстро выполнить разведочный анализ Pandas Dataframe. Обычно в таких случаях в качестве первого шага используются функции df.describe() и df.info(), но они сообщают мало и плохо справляются с большими наборами данных. Одна строка кода с использованием Pandas Profiling, напротив, выведет много информации в интерактивном HTML-отчете.
Вот что вычисляется для заданного набора данных:
Статистика выводимая Pandas Profiling.
Установка
pip install pandas-profiling
или
conda install -c anaconda pandas-profiling
Использование
Давайте используем набор данных о пассажирах Титаника, чтобы продемонстрировать возможности профайлера.
Как устроен ReactJS. Пакет React
Большинство людей, работающих во фронтенде, так или иначе сталкивались с реактом. Это JavaScript библиотека, помогающая создавать крутые интерфейсы, в последние годы набрала огромную популярность. При этом, не так много людей знает, как она работает внутри.
В этой серии статей мы почитаем код и попробуем разобраться за что отвечают пакеты, которые лежат у реакта под капотом, для чего они используются и как они работают. Самые основные, которые мы используем в браузере, – это react
, react-dom
, events
и react-reconciler
.
Будем двигаться по порядку и сегодня у нас статья про пакет react
. Кому интересно, что же есть в этом пакете, – заходите под кат.
Классические паттерны проектирования на Scala
Pavel Fatin работает над Scala plugin'ом для IntelliJ IDEA в JetBrains.
Введение
В этой статье будут представлены примеры того, как реализуются классические паттерны проектирования на Scala.
Содержание статьи составляет основу моего выступления на JavaDay конференции (слайды презентации).
Serverless CI/CD на AWS
Было бы круто, если бы развертывание в формате копи-пейст осталось в прошлом, но, увы, дела обстоят иначе. Бывает, разработчикам предпочтительней именно такой метод поставки. Хоть сейчас пиши статью о том, почему это не есть гуд, но вы и без меня все знаете. С тенденцией к бессерверной (serverless) архитектуре пайплайны CI/CD играют важную роль в поставке приложений. Я еще писал о них в статье "3 лучших совета для вашего следующего бессерверного проекта".
Темой CI и CD я интересуюсь давненько, а впервые столкнулся с ней несколько лет назад — благодаря TeamCity. В настоящее время TeamCity по-прежнему используется для большинства наших пайплайнов CI/CD. Работает TeamCity прекрасно, ничего против не имею, но я всегда стремлюсь улучшить работу. Например, было бы хорошо собирать пайплайны в виде кода — это одно из направлений, в которых TeamCity не так хорош.
Инструменты интеграции и поставки на AWS я изучил какое-то время назад, и, хотя мы используем CodeDeploy для другого проекта, который работает на EC2, бессерверный проект я с ними еще не развертывал. Ознакомившись с инструментами повторно, я обратил внимание вот на что: теперь есть встроенная функция интеграции для развертывания CloudFormation и Lambda, предположительно, на основе SAM AWS; мы используем serverless framework, — она генерирует шаблоны CloudFormation, но с инструментами AWS она “из коробки” не работает.
Реальный вклад в реальный Open Source
Сегодня я хочу рассказать о том реальном вкладе, который наша команда вносит в Open Source.
С точностью до сотых: топ-10 докладов SmartData 2017
Зрители конференции SmartData — люди, которые любят работать с данными. Надо полагать, что и оценки докладам после прошлогодней конференции они выставляли очень вдумчиво.
А теперь по этим оценкам мы составили топ-10 видеозаписей. И заодно, чтобы порадовать любителей данных, указали по каждому из десяти докладов все сопутствующие числа: место в топе, точный зрительский рейтинг, количество зрителей.
Вообще говоря, зачастую у соседних позиций в топе рейтинги различаются незначительно. Так что, пожалуй, не стоит придавать много значения «кто идёт за кем» — важнее, что все эти доклады получили высокие оценки. Но с другой стороны, как же это не придавать много внимания числам, когда это так увлекательно!
Лучшие книги, статьи и ресурсы для начинающих продактов: советуют авторы продуктовых Telegram-каналов
Владимир Миролюбов
CEO Epicstars, автор канала Product Management и бота The Unicorn Bot
Настоятельно рекомендую к прочтению книги от ребят из Intercom, которые подойдут для продактов любого уровня: Intercom On Starting Up и Intercom on Оnboarding. Книги хорошо описывают как процесс разработки онлайн-продуктов, так и дальнейший процесс работы с его пользователями и трафиком. Ну и не могу не посоветовать своё собственное пособие для всех начинающих продактов «Продукт-менеджемент: от идеи до продукта».
Спросите Итана: почему на Марсе небо яркое и красное?
Изображение с марсохода Оппортьюнити демонстрирует часть «Долины Марафона», как она выглядит с северной части. Изображение было сделано камерой марсохода Pancam 13 марта 2015.
О мире можно узнать очень многое, изучая его атмосферу. К примеру, на Земле оптические свойства света, проходящего через нашу атмосферу, сообщают нам о её составе, коэффициенте отражения, плотности и прочем. Если бы наша атмосфера была гораздо тоньше и менее плотной, небо было бы не таким голубым, закаты – не такими красными, и в целом яркость неба была бы меньше. На Марсе плотность атмосферы составляет 0,7% от Земной, так что даже с меньшей гравитацией его атмосфера очень тонкая и разреженная по сравнению с нашей. Так почему же на изображениях, полученных с марсоходов, марсианское небо кажется таким ярким? Именно такой вопрос задаёт наш читатель:
Мы, физики, знаем, что яркость небо приобретает благодаря солнечному свету, рассеивающемуся на материи атмосферы. Яркость неба напрямую связана с массой материи атмосферы. Но что мы видим на изображениях, полученных с Кьюриосити, Спирит и Оппортьюнити? Невероятно яркое небо и невероятно расплывчатые горы. Как вы можете это объяснить?
Как машины анализируют большие данные: введение в алгоритмы кластеризации
Перевод How Machines Make Sense of Big Data: an Introduction to Clustering Algorithms.
Взгляните на картинку ниже. Это коллекция насекомых (улитки не насекомые, но не будем придираться) разных форм и размеров. А теперь разделите их на несколько групп по степени похожести. Никакого подвоха. Начните с группирования пауков.
Как устроен поиск
Что значат для вас юнит-тесты?
Это очень простая штуковина, которая может кардинальным образом повлиять на процесс разработки в целом. С одной стороны существует TDD (“test-first approach"), при котором тесты «драйвят» не только процессом кодирования, но и процессом проектирования (т.е. дизайном системы). С другой стороны существуют разработчики с противоположной точкой зрения, которые считают юнит-тесты пустой тратой времени, потому что они не приносят никакой ценности пользователю.
Юнит-тестирование. Чип-тюнинг
Не важно, какой подход применяется при написании тестов: TDD, BDD, или какой-то другой. Юнит- тесты это первичный защитный барьер, который помогает избежать багов. А хорошо описанные кейсы помогут коллегам понять, что происходит в проекте и не наломать дров в коде.
Apache Kafka и миллионы сообщений в секунду
Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Информация
- В рейтинге
- Не участвует
- Откуда
- Алматы (Алма-Ата), Алма-Атинская обл., Казахстан
- Дата рождения
- Зарегистрирован
- Активность