Pull to refresh
6
0.3
Boris Moiseev @mBlaze

DBA BI DWH

Send message

Заметки для новичка: Как провести первую ретроспективу и не облажаться?

Level of difficultyEasy
Reading time4 min
Views3.5K

Ретроспектива, как погружение в прошлое, но без машины времени. Представьте себе, вы смотрите назад, чтобы понять, какие кочки на дороге были, а какие пряники вовсе не были сладкими.

Ретроспектива – мероприятие не самое легкое в его организации и тем более введении.
Не каждый опытный Scrum Master, Project manager справится с такой задачей, и я помню себя и свое волнение, когда пришло время проводить ретро в команде впервые.
В данной статье поделюсь своими мыслями, что помогло мне при планировании и проведении ретроспективы, также дам советы по подготовке. Хочу отметить, что я не претендую на звание искусного писателя и специалиста всея ретроспектив, у меня есть опыт и мне хочется верить в то, что он может помочь не только мне.

Читать далее
Total votes 9: ↑5 and ↓4+5
Comments13

Real-time мониторинг тормозящих запросов PostgreSQL своими руками за полчаса

Reading time4 min
Views15K

В моей практике не раз были ситуации, когда хотелось посмотреть, какие именно запросы долго тупили в базе в определённый (конкретный) момент времени. А может, запросы не тупили, но каких-то запросов было слишком много.


Ключевое слово — в конкретный момент времени. Например, база непонятно от чего напряглась на 5 минут, потом всё само рассосалось, и очень хочется знать, почему. Отчёты за сутки, присылаемые dba на основе pg_stats_statements, не всегда проясняют ситуацию. Другие графики и логи могут помочь. Но всё же хочется не гадать на кофейной гуще, а конкретно посмотреть, что такому-то запросу в такое-то время было плохо, или его было много.


Можно, конечно, подключить системы а ля okmeter, но okmeter стоит денег. Да ещё и отсылает запросы в чужое облако — что, понятно, не в каждой организации можно считать безопасным.


На удивление, сделать такой мониторинг самому занимает всего полчаса времени, буквально с помощью нескольких строк Go-кода и палок.

Читать дальше →
Total votes 10: ↑9 and ↓1+11
Comments8

Как проверить навыки программирования на Python? Задачи от Яндекса

Reading time9 min
Views64K

Хакатон в Школе бэкенд-разработки

В 2019 году нам потребовалось автоматизированно проверить умение писать Python-код у сотен разработчиков. Так мы отбирали будущих студентов для Школы бэкенд-разработки. Это не то же самое, что предложить решить задачу на листе бумаги, как на собеседовании. С другой стороны, мы также не могли переиспользовать условия задач, уже подготовленные для наших соревнований по программированию. Дело в том, что соревнования с целью определить лучших из лучших — это одно, а отбор специалистов с небольшим опытом в школу — совсем другое. Нам требовались задачи, по решению которых было бы видно, обладает ли разработчик базовыми навыками написания кода и умением грамотно использовать память и время. Вот какие условия мы составили.
Читать дальше →
Total votes 15: ↑12 and ↓3+15
Comments22

Возглавляя тренды

Reading time8 min
Views5.9K
Кому и зачем надо отслеживать тренды технологического развития? Стартапам: стоит ли тратить свою жизнь на то, в чем не будет потребности через 5 лет? Венчурным инвесторам: во что вкладывать? Как не нарваться на мыльный пузырь? Крупному бизнесу: какие инвестиции позволят обогнать конкурентов? Настало ли время вкладываться в технологию Х или уже поздно, или еще подождать? Государственным институтам: какие технологии способны улучшить качество жизни? Образовательным учреждениям: чему учить студентов? Как обеспечить соответствие образовательных программ постоянно меняющимся требованиям рынка труда? Как перестать выпускать невостребованных специалистов?

Всем нам: какую специальность выбрать для обучения? В какой институт пойти? Какую сферу выбрать для работы? Какая компания не развалится через год? Как понять, что твоя предпринимательская идея востребованная и долгосрочная?



Меня зовут Павел Красовский, я заместитель директора Центра стратегических инноваций в Ростелекоме, и хочу рассказать о созданной нами системе отслеживания трендов, как и почему мы взялись за это, на чем все работает и какие у нас планы. Но начнем по порядку, и в этом посте — с проблематики.
Читать дальше →
Total votes 9: ↑7 and ↓2+12
Comments3

Node.js, Tor, Puppeteer и Cheerio: анонимный веб-скрапинг

Reading time7 min
Views30K
Веб-скрапинг — это метод сбора данных с веб-сайтов. Этот термин обычно используется в применении к автоматизированному сбору данных. Сегодня мы поговорим о том, как собирать данные с сайтов анонимно. Причина, по которой некто может захотеть анонимности в деле веб-скрапинга, заключается в том, что многие веб-серверы применяют определённые правила к подключениям с IP-адресов, с которых за некий отрезок времени выполнено какое-то количество запросов. Здесь мы будем пользоваться следующими инструментами:

  • Puppeteer — для доступа к веб-страницам.
  • Cheerio — для парсинга HTML-кода.
  • Tor — для выполнения каждого запроса с различного IP-адреса.

Надо отметить, что правовые аспекты веб-скрапинга — вопрос непростой и часто неясный. Поэтому уважайте «Условия использования» тех страниц, данные которых вы собираете. Вот хороший материал на эту тему.


Читать дальше →
Total votes 27: ↑24 and ↓3+34
Comments17

БД мессенджера (ч.1): проектируем каркас базы

Reading time5 min
Views19K
Как можно перевести бизнес-требования в конкретные структуры данных на примере проектирования «с нуля» базы для мессенджера.



Наша база будет не такой масштабной и распределенной, как у ВКонтакте или Badoo, а «чтобы было», но было хорошо — функционально, быстро и умещалось на одном сервере PostgreSQL — чтобы можно было развернуть отдельный экземпляр сервиса где-то на стороне, например.

Поэтому не будем затрагивать вопросы шардинга, репликации и геораспределенных систем, а сосредоточимся на схемных решениях внутри БД.
Читать дальше →
Total votes 3: ↑2 and ↓1+3
Comments21

Kaggle и Titanic — еще одно решение задачи с помощью Python

Reading time23 min
Views79K
Хочу поделиться опытом работы с задачей известного конкурса по машинному обучению от Kaggle. Этот конкурс позиционируется как конкурс для начинающих, а у меня как раз не было почти никакого практического опыта в этой области. Я немного знал теорию, но с реальными данными дела почти не имел и с питоном плотно не работал. В итоге, потратив пару предновогодних вечеров, набрал 0.80383 (первая четверть рейтинга).



Читать дальше →
Total votes 31: ↑30 and ↓1+29
Comments6

Information

Rating
2,034-th
Location
Новосибирск, Новосибирская обл., Россия
Date of birth
Registered
Activity