Как стать автором
Обновить
5
0.1
Boris Moiseev @mBlaze

DBA BI DWH

Отправить сообщение

Заметки для новичка: Как провести первую ретроспективу и не облажаться?

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров3.8K

Ретроспектива, как погружение в прошлое, но без машины времени. Представьте себе, вы смотрите назад, чтобы понять, какие кочки на дороге были, а какие пряники вовсе не были сладкими.

Ретроспектива – мероприятие не самое легкое в его организации и тем более введении.
Не каждый опытный Scrum Master, Project manager справится с такой задачей, и я помню себя и свое волнение, когда пришло время проводить ретро в команде впервые.
В данной статье поделюсь своими мыслями, что помогло мне при планировании и проведении ретроспективы, также дам советы по подготовке. Хочу отметить, что я не претендую на звание искусного писателя и специалиста всея ретроспектив, у меня есть опыт и мне хочется верить в то, что он может помочь не только мне.

Читать далее
Всего голосов 9: ↑5 и ↓4+5
Комментарии13

Real-time мониторинг тормозящих запросов PostgreSQL своими руками за полчаса

Время на прочтение4 мин
Количество просмотров16K

В моей практике не раз были ситуации, когда хотелось посмотреть, какие именно запросы долго тупили в базе в определённый (конкретный) момент времени. А может, запросы не тупили, но каких-то запросов было слишком много.


Ключевое слово — в конкретный момент времени. Например, база непонятно от чего напряглась на 5 минут, потом всё само рассосалось, и очень хочется знать, почему. Отчёты за сутки, присылаемые dba на основе pg_stats_statements, не всегда проясняют ситуацию. Другие графики и логи могут помочь. Но всё же хочется не гадать на кофейной гуще, а конкретно посмотреть, что такому-то запросу в такое-то время было плохо, или его было много.


Можно, конечно, подключить системы а ля okmeter, но okmeter стоит денег. Да ещё и отсылает запросы в чужое облако — что, понятно, не в каждой организации можно считать безопасным.


На удивление, сделать такой мониторинг самому занимает всего полчаса времени, буквально с помощью нескольких строк Go-кода и палок.

Читать дальше →
Всего голосов 10: ↑9 и ↓1+11
Комментарии8

Как проверить навыки программирования на Python? Задачи от Яндекса

Время на прочтение9 мин
Количество просмотров64K

Хакатон в Школе бэкенд-разработки

В 2019 году нам потребовалось автоматизированно проверить умение писать Python-код у сотен разработчиков. Так мы отбирали будущих студентов для Школы бэкенд-разработки. Это не то же самое, что предложить решить задачу на листе бумаги, как на собеседовании. С другой стороны, мы также не могли переиспользовать условия задач, уже подготовленные для наших соревнований по программированию. Дело в том, что соревнования с целью определить лучших из лучших — это одно, а отбор специалистов с небольшим опытом в школу — совсем другое. Нам требовались задачи, по решению которых было бы видно, обладает ли разработчик базовыми навыками написания кода и умением грамотно использовать память и время. Вот какие условия мы составили.
Читать дальше →
Всего голосов 15: ↑12 и ↓3+15
Комментарии22

Возглавляя тренды

Время на прочтение8 мин
Количество просмотров5.9K
Кому и зачем надо отслеживать тренды технологического развития? Стартапам: стоит ли тратить свою жизнь на то, в чем не будет потребности через 5 лет? Венчурным инвесторам: во что вкладывать? Как не нарваться на мыльный пузырь? Крупному бизнесу: какие инвестиции позволят обогнать конкурентов? Настало ли время вкладываться в технологию Х или уже поздно, или еще подождать? Государственным институтам: какие технологии способны улучшить качество жизни? Образовательным учреждениям: чему учить студентов? Как обеспечить соответствие образовательных программ постоянно меняющимся требованиям рынка труда? Как перестать выпускать невостребованных специалистов?

Всем нам: какую специальность выбрать для обучения? В какой институт пойти? Какую сферу выбрать для работы? Какая компания не развалится через год? Как понять, что твоя предпринимательская идея востребованная и долгосрочная?



Меня зовут Павел Красовский, я заместитель директора Центра стратегических инноваций в Ростелекоме, и хочу рассказать о созданной нами системе отслеживания трендов, как и почему мы взялись за это, на чем все работает и какие у нас планы. Но начнем по порядку, и в этом посте — с проблематики.
Читать дальше →
Всего голосов 9: ↑7 и ↓2+12
Комментарии3

Node.js, Tor, Puppeteer и Cheerio: анонимный веб-скрапинг

Время на прочтение7 мин
Количество просмотров31K
Веб-скрапинг — это метод сбора данных с веб-сайтов. Этот термин обычно используется в применении к автоматизированному сбору данных. Сегодня мы поговорим о том, как собирать данные с сайтов анонимно. Причина, по которой некто может захотеть анонимности в деле веб-скрапинга, заключается в том, что многие веб-серверы применяют определённые правила к подключениям с IP-адресов, с которых за некий отрезок времени выполнено какое-то количество запросов. Здесь мы будем пользоваться следующими инструментами:

  • Puppeteer — для доступа к веб-страницам.
  • Cheerio — для парсинга HTML-кода.
  • Tor — для выполнения каждого запроса с различного IP-адреса.

Надо отметить, что правовые аспекты веб-скрапинга — вопрос непростой и часто неясный. Поэтому уважайте «Условия использования» тех страниц, данные которых вы собираете. Вот хороший материал на эту тему.


Читать дальше →
Всего голосов 27: ↑24 и ↓3+34
Комментарии17

БД мессенджера (ч.1): проектируем каркас базы

Время на прочтение5 мин
Количество просмотров19K
Как можно перевести бизнес-требования в конкретные структуры данных на примере проектирования «с нуля» базы для мессенджера.



Наша база будет не такой масштабной и распределенной, как у ВКонтакте или Badoo, а «чтобы было», но было хорошо — функционально, быстро и умещалось на одном сервере PostgreSQL — чтобы можно было развернуть отдельный экземпляр сервиса где-то на стороне, например.

Поэтому не будем затрагивать вопросы шардинга, репликации и геораспределенных систем, а сосредоточимся на схемных решениях внутри БД.
Читать дальше →
Всего голосов 3: ↑2 и ↓1+3
Комментарии21

Kaggle и Titanic — еще одно решение задачи с помощью Python

Время на прочтение23 мин
Количество просмотров79K
Хочу поделиться опытом работы с задачей известного конкурса по машинному обучению от Kaggle. Этот конкурс позиционируется как конкурс для начинающих, а у меня как раз не было почти никакого практического опыта в этой области. Я немного знал теорию, но с реальными данными дела почти не имел и с питоном плотно не работал. В итоге, потратив пару предновогодних вечеров, набрал 0.80383 (первая четверть рейтинга).



Читать дальше →
Всего голосов 31: ↑30 и ↓1+29
Комментарии6

Информация

В рейтинге
3 565-й
Откуда
Новосибирск, Новосибирская обл., Россия
Дата рождения
Зарегистрирован
Активность