Как стать автором
Обновить
0
0
Сейткенов Елдос Досымович @Classicstyle

Пользователь

Отправить сообщение

Team First: как мы перешли к кроссфункциональным командам и сохранили атмосферу стартапа

Время на прочтение9 мин
Количество просмотров3.9K

Привет, меня зовут Оля, я Head of Processes&Practices, занимаюсь продуктовой трансформацией в inDriver. Сейчас у нас активная продуктовая и инженерная культура, система OKR, масштабное продуктовое планирование и смелые планы на будущее. Но так было не всегда. И в этой статье я расскажу о тех вызовах, с которыми мы столкнулись в процессе трансформации и о том, чего уже удалось достичь.

Читать далее
Всего голосов 9: ↑8 и ↓1+7
Комментарии0

Terraform: новый подход к Infrastructure as code

Время на прочтение9 мин
Количество просмотров168K
Привет, коллеги! Пока блистательный Илон Маск вынашивает амбициозные планы терраформирования Марса, мы интересуемся новыми возможностями, связанными с парадигмой "Infrastructure as Code" и хотим предложить вам перевод статьи об одном из представителей «великолепной семерки» — Terraform. Книга Евгения Брикмана по теме неплохая, но ей скоро год, так что просим высказаться — хотите ли увидеть ее на русском языке

Слово Камалу Мархуби (Kamal Marhubi) из компании Heap.
Читать дальше →
Всего голосов 9: ↑9 и ↓0+9
Комментарии11

Big Data Tools EAP 11: Zeppelin в DataGrip и spark-submit во всех поддерживаемых IDE

Время на прочтение4 мин
Количество просмотров1.6K

Только что вышло очередное обновление EAP 11 для плагина под названием Big Data Tools, доступного для установки в IntelliJ IDEA Ultimate, PyCharm, and DataGrip. Можно установить его через страницу плагина на сайте или внутри IDE.


Big Data Tools — это плагин, позволяющий соединяться с кластерами Hadoop и Spark. Он предоставляет мониторинг узлов, приложений и отдельных задач. Кроме того, в IDEA и DataGrip можно создавать, запускать и редактировать ноутбуки Zeppelin. Можно не переключаться на веб-интерфейс Zeppelin и спокойно работать, не выходя из любимого IDE. Плагин позволяет удобно перемещаться по коду, делать умное автодополнение, рефакторинги и квик-фиксы прямо внутри ноутбука.


Читать дальше →
Всего голосов 11: ↑10 и ↓1+9
Комментарии2

Определяем подходящий размер для кластера Kafka в Kubernetes

Время на прочтение12 мин
Количество просмотров14K
Прим. перев.: В этой статье компания Banzai Cloud делится примером использования её специальных утилит для облегчения эксплуатации Kafka в рамках Kubernetes. Приводимые инструкции иллюстрируют, как можно определить оптимальный размер инфраструктуры и настроить саму Kafka для достижения требуемой пропускной способности.



Apache Kafka — распределённая стриминговая платформа для создания надёжных, масштабируемых и высокопроизводительных потоковых систем реального времени. Её впечатляющие возможности можно расширить с помощью Kubernetes. Для этого мы разработали Open Source-оператор Kafka и инструмент под названием Supertubes. Они позволяют запускать Kafka в Kubernetes и использовать её различные функции, такие как тонкая настройка конфигурации брокера, масштабирование на основе метрик с ребалансировкой, rack awareness (осведомлённость об аппаратных ресурсах), «мягкое» (graceful) выкатывание обновлений и т.д.
Читать дальше →
Всего голосов 39: ↑39 и ↓0+39
Комментарии3

Разбираемся с управлением памятью в современных языках программирования

Время на прочтение7 мин
Количество просмотров61K
Привет, Хабр! Представляю вашему вниманию перевод статьи «Demystifying memory management in modern programming languages» за авторством Deepu K Sasidharan.

В данной серии статей мне бы хотелось развеять завесу мистики над управлением памятью в программном обеспечении (далее по тексту — ПО) и подробно рассмотреть возможности, предоставляемые современными языками программирования. Надеюсь, что мои статьи помогут читателю заглянуть под капот этих языков и узнать для себя нечто новое.

Углублённое изучение концептов управления памятью позволяет писать более эффективное ПО, потому как стиль и практики кодирования оказывают большое влияние на принципы выделения памяти для нужд программы.
Читать дальше →
Всего голосов 27: ↑24 и ↓3+21
Комментарии23

Книга «Вселенная. Путешествие во времени и пространстве»

Время на прочтение1 мин
Количество просмотров5.8K
image «Вселенная. Путешествие во времени и пространстве» написана профессиональным астрономом, директором Астрономической обсерватории Иркутского государственного университета Сергеем Язевым.

«О если бы писали мы о том лишь, что доподлинно известно, подумайте, о трезвые умы, как было бы читать неинтересно!»

Это рассказ о наших шагах на пути познания Вселенной — от кипящей и бурлящей материи до разумных существ; от самых примитивных, сказочных и мифических представлений об устройстве космоса до сегодняшних, поражающих воображение теорий и гипотез; от черных дыр, тоннелей через время и пространство, до микроскопических частиц, в которых заключены свои миры со своими физическими законами.

А главное — эта книга о том, что будет дальше с человечеством и Вселенной. Ведь похоже, что мы в самом начале пути и впереди еще много интересного — того, что сбудется на самом деле!

Музей космонавтики
Читать дальше →
Всего голосов 13: ↑11 и ↓2+9
Комментарии1

Что я узнал про оптимизацию в Python

Время на прочтение12 мин
Количество просмотров17K
Всем привет. Сегодня хотим поделиться еще одним переводом подготовленным в преддверии запуска курса «Разработчик Python». Поехали!



Я использовал Python чаще, чем любой другой язык программирования в последние 4-5 лет. Python – преобладающий язык для билдов под Firefox, тестирования и инструмента CI. Mercurial также в основном написан на Python. Множество своих сторонних проектов я тоже писал на нем.

Во время своей работы я получил немного знаний о производительности Python и о его средствах оптимизации. В этой статье мне хотелось бы поделиться этими знаниями.

Мой опыт с Python в основном связан с интерпретатором CPython, в особенности CPython 2.7. Не все мои наблюдения универсальны для всех дистрибутивов Python или же для тех, которые имеют одинаковые характеристики в сходных версиях Python. Я постараюсь упоминать об этом во время повествования. Помните о том, что эта статья не является детальным обзором производительности Python. Я буду говорить только о том, с чем сталкивался самостоятельно.
Читать дальше →
Всего голосов 23: ↑21 и ↓2+19
Комментарии11

10 фич для ускорения анализа данных в Python

Время на прочтение5 мин
Количество просмотров21K

Источник

Советы и рекомендации, особенно в программировании, могут быть очень полезны. Маленький шоткат, аддон или хак может сэкономить кучу времени и серьёзно увеличить производительность. Я собрала свои самые любимые и сделала из них эту статью. Какие-то из советов ниже уже известны многим, а какие-то появились совсем недавно. Так или иначе, я уверена, они точно не будут лишними, когда вы в очередной раз приступите к проекту по анализу данных.


1. Профилирование Pandas Dataframe


Профилирование помогает лучше понять наши данные, и пакет Pandas Profiling создан как раз для этого. Библиотека даст возможность просто и быстро выполнить разведочный анализ Pandas Dataframe. Обычно в таких случаях в качестве первого шага используются функции df.describe() и df.info(), но они сообщают мало и плохо справляются с большими наборами данных. Одна строка кода с использованием Pandas Profiling, напротив, выведет много информации в интерактивном HTML-отчете.


Вот что вычисляется для заданного набора данных:


Статистика выводимая Pandas Profiling.

Установка


pip install pandas-profiling
или
conda install -c anaconda pandas-profiling

Использование


Давайте используем набор данных о пассажирах Титаника, чтобы продемонстрировать возможности профайлера.

Читать дальше →
Всего голосов 16: ↑15 и ↓1+14
Комментарии6

Как устроен ReactJS. Пакет React

Время на прочтение5 мин
Количество просмотров20K

Большинство людей, работающих во фронтенде, так или иначе сталкивались с реактом. Это JavaScript библиотека, помогающая создавать крутые интерфейсы, в последние годы набрала огромную популярность. При этом, не так много людей знает, как она работает внутри.


В этой серии статей мы почитаем код и попробуем разобраться за что отвечают пакеты, которые лежат у реакта под капотом, для чего они используются и как они работают. Самые основные, которые мы используем в браузере, – это react, react-dom, events и react-reconciler.


Будем двигаться по порядку и сегодня у нас статья про пакет react. Кому интересно, что же есть в этом пакете, – заходите под кат.

Читать дальше →
Всего голосов 18: ↑15 и ↓3+12
Комментарии3

Классические паттерны проектирования на Scala

Время на прочтение14 мин
Количество просмотров37K
Об авторе:
Pavel Fatin работает над Scala plugin'ом для IntelliJ IDEA в JetBrains.

Введение



В этой статье будут представлены примеры того, как реализуются классические паттерны проектирования на Scala.

Содержание статьи составляет основу моего выступления на JavaDay конференции (слайды презентации).

Читать дальше →
Всего голосов 40: ↑38 и ↓2+36
Комментарии29

Serverless CI/CD на AWS

Время на прочтение7 мин
Количество просмотров7.6K



Было бы круто, если бы развертывание в формате копи-пейст осталось в прошлом, но, увы, дела обстоят иначе. Бывает, разработчикам предпочтительней именно такой метод поставки. Хоть сейчас пиши статью о том, почему это не есть гуд, но вы и без меня все знаете. С тенденцией к бессерверной (serverless) архитектуре пайплайны CI/CD играют важную роль в поставке приложений. Я еще писал о них в статье "3 лучших совета для вашего следующего бессерверного проекта".


Темой CI и CD я интересуюсь давненько, а впервые столкнулся с ней несколько лет назад — благодаря TeamCity. В настоящее время TeamCity по-прежнему используется для большинства наших пайплайнов CI/CD. Работает TeamCity прекрасно, ничего против не имею, но я всегда стремлюсь улучшить работу. Например, было бы хорошо собирать пайплайны в виде кода — это одно из направлений, в которых TeamCity не так хорош.


Инструменты интеграции и поставки на AWS я изучил какое-то время назад, и, хотя мы используем CodeDeploy для другого проекта, который работает на EC2, бессерверный проект я с ними еще не развертывал. Ознакомившись с инструментами повторно, я обратил внимание вот на что: теперь есть встроенная функция интеграции для развертывания CloudFormation и Lambda, предположительно, на основе SAM AWS; мы используем serverless framework, — она генерирует шаблоны CloudFormation, но с инструментами AWS она “из коробки” не работает.

Читать дальше →
Всего голосов 16: ↑15 и ↓1+14
Комментарии4

Реальный вклад в реальный Open Source

Время на прочтение2 мин
Количество просмотров6K
Недавний пост о том как мы в Сбербанк-Технологиях разрабатываем Open Source раскрыл множество интересных подробностей о подходах, стремлениях и идеологии.

Сегодня я хочу рассказать о том реальном вкладе, который наша команда вносит в Open Source.


Читать дальше →
Всего голосов 22: ↑15 и ↓7+8
Комментарии0

С точностью до сотых: топ-10 докладов SmartData 2017

Время на прочтение5 мин
Количество просмотров4.2K


Зрители конференции SmartData — люди, которые любят работать с данными. Надо полагать, что и оценки докладам после прошлогодней конференции они выставляли очень вдумчиво.

А теперь по этим оценкам мы составили топ-10 видеозаписей. И заодно, чтобы порадовать любителей данных, указали по каждому из десяти докладов все сопутствующие числа: место в топе, точный зрительский рейтинг, количество зрителей.

Вообще говоря, зачастую у соседних позиций в топе рейтинги различаются незначительно. Так что, пожалуй, не стоит придавать много значения «кто идёт за кем» — важнее, что все эти доклады получили высокие оценки. Но с другой стороны, как же это не придавать много внимания числам, когда это так увлекательно!
Читать дальше →
Всего голосов 21: ↑19 и ↓2+17
Комментарии0

Лучшие книги, статьи и ресурсы для начинающих продактов: советуют авторы продуктовых Telegram-каналов

Время на прочтение4 мин
Количество просмотров16K
Камилла Салиева, автор Телеграм-канала для IT-специалистов Analysis Paradisis, рассказала блогу Нетологии, что рекомендуют читать практикующие продакты и авторы известных продуктовых Telegram-каналов начинающим продакт-менеджерам.

Владимир Миролюбов


CEO Epicstars, автор канала Product Management и бота The Unicorn Bot


Настоятельно рекомендую к прочтению книги от ребят из Intercom, которые подойдут для продактов любого уровня: Intercom On Starting Up и Intercom on Оnboarding. Книги хорошо описывают как процесс разработки онлайн-продуктов, так и дальнейший процесс работы с его пользователями и трафиком. Ну и не могу не посоветовать своё собственное пособие для всех начинающих продактов «Продукт-менеджемент: от идеи до продукта».

Всего голосов 14: ↑12 и ↓2+10
Комментарии0

Спросите Итана: почему на Марсе небо яркое и красное?

Время на прочтение5 мин
Количество просмотров11K


Изображение с марсохода Оппортьюнити демонстрирует часть «Долины Марафона», как она выглядит с северной части. Изображение было сделано камерой марсохода Pancam 13 марта 2015.

О мире можно узнать очень многое, изучая его атмосферу. К примеру, на Земле оптические свойства света, проходящего через нашу атмосферу, сообщают нам о её составе, коэффициенте отражения, плотности и прочем. Если бы наша атмосфера была гораздо тоньше и менее плотной, небо было бы не таким голубым, закаты – не такими красными, и в целом яркость неба была бы меньше. На Марсе плотность атмосферы составляет 0,7% от Земной, так что даже с меньшей гравитацией его атмосфера очень тонкая и разреженная по сравнению с нашей. Так почему же на изображениях, полученных с марсоходов, марсианское небо кажется таким ярким? Именно такой вопрос задаёт наш читатель:
Мы, физики, знаем, что яркость небо приобретает благодаря солнечному свету, рассеивающемуся на материи атмосферы. Яркость неба напрямую связана с массой материи атмосферы. Но что мы видим на изображениях, полученных с Кьюриосити, Спирит и Оппортьюнити? Невероятно яркое небо и невероятно расплывчатые горы. Как вы можете это объяснить?
Читать дальше →
Всего голосов 17: ↑15 и ↓2+13
Комментарии12

Как машины анализируют большие данные: введение в алгоритмы кластеризации

Время на прочтение13 мин
Количество просмотров15K


Перевод How Machines Make Sense of Big Data: an Introduction to Clustering Algorithms.

Взгляните на картинку ниже. Это коллекция насекомых (улитки не насекомые, но не будем придираться) разных форм и размеров. А теперь разделите их на несколько групп по степени похожести. Никакого подвоха. Начните с группирования пауков.


Закончили?
Всего голосов 19: ↑19 и ↓0+19
Комментарии7

Как устроен поиск

Время на прочтение15 мин
Количество просмотров38K
Привет, юзернейм! Каждый день мы сталкиваемся с поиском различных данных. Почти на каждом веб-сайте с большим количеством информации сейчас есть поиск. Поиск есть в домашних компьютерах, в мобильных телефонах, в различного рода программном обеспечении. Конечно, если спросить любого разработчика про поиск с точки зрения технологий, на ум сразу придет elasticsearch, lucene или sphinx. Сегодня я хочу заглянуть с тобой «под капот» полнотекстового поиска и разобраться в первом приближении, как же он работает, на примере hh.ru.

image
Читать дальше →
Всего голосов 56: ↑54 и ↓2+52
Комментарии11

Что значат для вас юнит-тесты?

Время на прочтение5 мин
Количество просмотров7.9K
С технической точки зрения юнит-тесты – это очень простой инструмент, основанный на паре несложных концепций: (1) тестируемый класс, (2) набор тестовых методов, завернутых в некоторый класс и (3) набор методов, с помощью которых можно удостовериться в том, что состояние тестового класса соответствует (или не соответствует) некоторому значению.

Это очень простая штуковина, которая может кардинальным образом повлиять на процесс разработки в целом. С одной стороны существует TDD (“test-first approach"), при котором тесты «драйвят» не только процессом кодирования, но и процессом проектирования (т.е. дизайном системы). С другой стороны существуют разработчики с противоположной точкой зрения, которые считают юнит-тесты пустой тратой времени, потому что они не приносят никакой ценности пользователю.

Читать дальше →
Всего голосов 52: ↑49 и ↓3+46
Комментарии71

Юнит-тестирование. Чип-тюнинг

Время на прочтение5 мин
Количество просмотров8.1K

image


Не важно, какой подход применяется при написании тестов: TDD, BDD, или какой-то другой. Юнит- тесты это первичный защитный барьер, который помогает избежать багов. А хорошо описанные кейсы помогут коллегам понять, что происходит в проекте и не наломать дров в коде.

Читать дальше →
Всего голосов 34: ↑31 и ↓3+28
Комментарии12

Apache Kafka и миллионы сообщений в секунду

Время на прочтение4 мин
Количество просмотров85K

Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Читать дальше →
Всего голосов 43: ↑38 и ↓5+33
Комментарии24
1
23 ...

Информация

В рейтинге
Не участвует
Откуда
Алматы (Алма-Ата), Алма-Атинская обл., Казахстан
Дата рождения
Зарегистрирован
Активность