YAML (.yml) — популярный язык для конфигурационных файлов, широко используемый DevOps в подходе «Инфраструктура как Код» (IaC). Несмотря на то, что работать с ним бывает проще, чем с тем же JSON (особенно в контексте взаимодействия с большими объемами данных), иногда использовать его бывает трудно. В этой статье мы рассмотрим несколько советов, которые помогут упростить процесс создания и редактирования yml-файлов.
Связующий между городом и мафией
Как проводят оценку качества данных в Airbnb
Сегодня, когда объем собираемых компаниями данных растет в геометрической прогрессии, мы понимаем, что больше данных — не всегда лучше. На самом деле слишком большой объем информации, особенно если вы не можете гарантировать ее качество, может помешать компании и замедлить процесс принятия решений. Или это приведет к принятию неправильных решений.
Рост показателей Airbnb до 1,4 миллиарда гостей на конец 2022 года привел нас в точку, когда снижение качества данных стало мешать нашим специалистам по работе с этими самыми данными. Еженедельные отчеты по метрикам стало сложно предоставлять вовремя, такие базовые показатели как «Активные объявления» стали иметь целую паутину зависимостей. Для полноценной работы с данными стали требоваться значительные институциональные знания, просто чтобы преодолеть все «подводные камни» в нашем информационном потоке.
Чтобы решить эту проблему, мы внедрили процесс под кодовым названием «Мидас» (Midas), который предназначался для сертификации наших данных. Начиная с 2020 года, процесс Midas, а также работа по реорганизации наших наиболее важных моделей позволили значительно повысить качество и оперативность получения важнейших данных Airbnb. Однако достижение всех критериев качества данных требует значительных межфункциональных инвестиций в такие вещи как проектирование, разработка, проверка и поддержка необходимых информационных ассетов и документации.
Главные проблемы сайта, которые показывает нагрузочное тестирование
Всем привет! На связи ITSumma.За 15 лет, что мы делаем нагрузочное тестирование, у нас накопился список самых распространенных ошибок, которые совершают, когда строят и отлаживают инфраструктуру.
Ну список и список скажете вы, но в этой статье мы хотим поделиться не только самими ошибками, но и инструкциями, как их найти. Так что не будем затягивать предисловие и сразу перейдем к делу.
Что в голове у программиста? ч.2
Всем привет! Меня зовут Сергей и я практикующий психолог.
В прошлой статье я начал обобщение своего опыта психологической практики со специалистами IT-сферы. В своей работе я обнаружил некие общие для них паттерны поведения и мышления, которые отражаются на их жизни и взаимодействии с окружающими. Более подробно свой подход я изложил в первой статье, где и описал часть особенностей. Рекомендую сперва ознакомиться с ней, чтобы получить более целостную картину.
Дисклеймер: это просто обобщение моего опыта, не претендующее на истину в последней инстанции. Вероятно, для многих из вас эти феномены знакомы по собственному опыту. Но я уверен, что для новичков сферы, у которых профдеформация только начинается, эта информация будет полезной.
Что в голове у программиста? ч.1
Все привет!
Меня зовут Сергей и я практикующий психолог.
Так складывается, что ко мне обращаются и остаются в работе преимущественно клиенты интеллектуального склада и рода деятельности. Это люди, которые всю жизнь решали любые проблемы "через голову" и находили рациональные причины всего и вся, старались докопаться до истины (и окружающих людей).Такой подход неизбежно накладывает отпечаток на личность и способствует формированию особенностей, о которых и пойдет речь.
В данной статье я постараюсь обобщить опыт своей работы с такими интеллектуалами. Ключевые слова "обобщить" и "мой опыт". То есть, эти буквы не претендуют на истину в последней инстанции, а являются осмыслением моего опыта, в котором, возможно, вы увидите себя.
Мониторинг мёртв? — Да здравствует мониторинг
Наша компания с 2008 года занимается преимущественно управлением инфраструктурами и круглосуточной технической поддержкой веб-проектов: у нас более 400 клиентов, это порядка 15% электронной коммерции России. Соответственно, на поддержке очень разнообразная архитектура. Если что-то падает, мы обязаны в течение 15 минут это починить. Но чтобы понять, что авария произошла, нужно мониторить проект и реагировать на инциденты. А как это делать?
Я считаю, что в организации правильной системы мониторинга происходит беда. Если бы беды не было, то мой спич состоял из одного тезиса: «Установите, пожалуйста, Prometheus + Grafana и плагины 1, 2, 3». К сожалению, теперь так не работает. И главная проблема заключается в том, что все продолжают верить во что-то такое, что существовало в 2008 году, с точки зрения программных компонентов.
В отношении организации системы мониторинга я рискну сказать, что… проектов с грамотным мониторингом не существует. И ситуация настолько плохая, если что-то упадёт, есть риск, что это останется незамеченным — все ведь уверены, что «всё мониторится».
Возможно, всё мониторится. Но как?
Все мы сталкивались с историей наподобие следующей: работает некий девопс, некий админ, к ним приходит команда разработчиков и говорит — «мы зарелизились, теперь замониторь». Что замониторь? Как это работает?
Ок. Мониторим по старинке. А оно уже изменяется, и выясняется, что ты мониторил сервис А, который стал сервисом B, который взаимодействует с сервисом C. Но команда разработчиков тебе говорит: «Поставь софт, он же должен все замониторить!»
Так что изменилось? — Всё изменилось!
Что происходит в интернете за 1 минуту? (инфографика)
за одну минуту —
- пользователи заливают на Youtube 48 часов видео;
- делают 2 миллиона запросов к Google;
- тратят в онлайн-магазинах 272 070 долларов;
- загружают 3125 фотографий на Flickr;
- создают 571 веб-сайт;
- отправляют 100 000 твитов;
Налоги в США. Часть 1. Введение, income tax, федеральный налог, налог штата, Social Security taxes
Введение
Последние месяцы на Хабре мне часто попадаются обсуждения налогов в США. Как правило, это происходит в топиках, где обсуждение по какой-то причине скатилось к вечным темам «у нас все плохо — у них хорошо», «у нас хорошо — у них все плохо», «пора валить отсюда», «Да в США такие налоги, что непонятно, как бедные люди вообще там выживают» и т.п.
В очередной раз наткнувшись на такое обсуждение, я спросил тут же в комментарии и даже задал соответствующий хабравопрос — народ, а может вместо того, чтобы беспорядочно спорить о налогах в США в куче разных топиков, давайте я напишу отдельный подробный пост на эту тему, и там и будем спорить? За этот комментарий и хабравопрос я получил изрядно кармы и хабрасилы, и, собственно, на этом можно было бы и остановиться
Обсуждающие налоги в таких топиках делятся, как правило, на три заметные группы:
- Те, кто о налогах в США знает мало, но хотел бы узнать побольше из первых рук, а так же задать в одном месте все интересующие вопросы и получить ответы
всего за 0.99$ за один ответ! - Те, кто реально разбирается в предмете (в 90% случаев это люди, работающие и живущие в США). В обсуждениях участвуют обычно короткими репликами, так как вопрос сложный и расписывать все в деталях каждый раз лень и вообще дело неблагодарное.
- Те, кто о налогах в США знает из разных сомнительных источников, вроде блогпостов диванных аналитиков, но мнение имеет.
Для первых я и решил написать этот пост. От вторых я с благодарностью приму замечания и дополнения. Третьи могут не беспокоиться.
В первой части я напишу про налоги вообще, про федеральный налог и налог штатов и как они вычисляются и про Social Security / Medicare tax.
Во второй части (coming soon) — про годовой цикл налогообложения и различные формы — W-2, W-4, 1040NZ и прочее и прочее.
В третьей части (coming soon) — про процесс подачи Tax Return, про сайты которые помогают заполнять здоровенные формы, про применение налоговых вычетов, и, ГЛАВНОЕ о налогах в США — если есть основания, как можно получить обратно существенную часть удержанных с вас налогов. Поэтому, читая этот пост, держите в голове — большинство людей платит существенно меньшие налоги, чем те, которые я тут вычисляю для примера без учета возможных вычетов.
Поехали.
Демо, которых никто никогда не видел
Расскажу как «это» было у меня. Начинал я с советского полу-IBM совместимого компьютера «Поиск». Конфа: аналог i8088 процессора, CGA монитор. Начал «программировать» с batch-файлов (.BAT) ибо была книжка по MS-DOS и дискетка с этим самым MS-DOS. Никаких бейсиков, ассемблеров, паскалей или, тем более, си в помине не было, и переписать их откуда-то то же не было возможности. Потому как у всех остальных школьников тогда был минимум — китайский тетрис а как максимум — Dendy, в качестве высшего достижения компьютерной индустрии.
Nikon D800 анонсирован, где же Canon 5D Mark III?
А что же Canon?
Canon EOS 5D Mark III, анонс которого ждали не менее долго, так и не вышел из под покрова тайны. Придется брать дело в свои руки. Давайте пофантазируем, чем производители ремней с красной каймой, смогут ответить производителям ремней с каймой желтой.
Portal: No Escape
Фильм снят Дэниэлом Трахтенбергом (Daniel Trachtenberg).
Интернет через ICMP
Groupon. Show me the money или как знание цифр может помочь бизнесу
Опыт заказа в китайских интернет-магазинах
GRUB всемогущий, или Делаем загрузочную флешку
А между тем абсолютное большинство выложенных в интернете дисков (особенно USB) как раз и используют isolinux и grub, что мешает их просто объединять? да ничего!
Я постараюсь с примерами рассказать, как сделать загрузочную, установочную и просто Live флешку, причем все в одном без заточенных под конкретный дистрибутив утилит. И иметь возможность, при необходимости, легко добавить на флешку еще что-то, без очередного ее переформатирования.
(С) Картинка оттуда
Разработка и модификация прошивки для Android телефонов на примере HTC Hero GSM. Часть 1
На данный момент уже существует превеликое множество самых невообразимых сборок для самых различных телефонов на базе Android. Иногда они даже появляются в той или иной форме на Хабре.
Я же хочу Вам рассказать о процессе и особенностях создания кастомной прошивки на основе официальной. Данные знания были получены в процессе разработки одной из не многих отечественных прошивок на базе Android 2.1 для HTC Hero GSM. И более или менее успешно опробованы на себе и других подвернувшихся пользователях одного крупного российского форума.
Не смотря на то, что все нижеследующее было сделано для HTC Hero, данные правила и особенности имеют полную силу для всех телефонов, особенно тех, которые разработаны компанией HTC и используют фирменную оболочку Sense.
Для экспериментов нам понадобится:
- Android SDK желательно последней версии
- Утилита apktool для реинжениринга системных приложений
- Утилиты smali/baksmali для де-оптимизации системных приложений
- Утилита unyaffs для извлечения системных файлов из образа
- Скрипт split_bootimg.pl для извлечения ядра и ramdisk-а
- Утилита testsign для подписывания пакета обновления и отдельных приложений
- установленное и настроенное JRE
- телефон с операционной системой Android
- права суперпользователя и модифицированная подпрограмма восстановления (recovery rom)
Все вышеперечисленное доступно в версиях как для системы Linux так и для Windows. Но в своих примерах я буду ориентироваться на использование Linux.
Конечно же ни root-права ни recovery нам не нужен для того, чтобы начать разработку, однако если мы захотим опробовать наше творение, они нам понадобятся. Для HTC Hero можно использовать RA-hero-v1.6.2.
Наверное, самое время напомнить, что использование неофициальных прошивок лишает нас гарантии, но где наша не пропадала. И несмотря на то, что большинство операций безопасно — всегда нужно четко понимать что и зачем делается, дабы не причинить необратимый вред своему андроиду
Тысяча чертей! Потребитель? Защищайтесь!
Но есть луч света в темном царстве!
Закон о защите прав потребителя. Замечательная штука, поверьте. При прокачанном скиле использования данного закона можно стать настоящим потреб. террористом. Это, кстати, полуофициальный термин — так называют людей, намеренно злоупотребляющих широкими возможностями, которые предоставляются вышеупомянутым законом.
Итак! На что вы имеете право!
По просьбе NermaN я попробую составить мануал, как и что.
Мой удобный дом
То есть, умный дом — это дом, который может все. А удобный дом — это дом, который все, что может, делает сам.
Давайте сначала я просто похвастаюсь тем, что умеет мой дом сейчас, а вы решите, имеет ли смысл читать про мой местами горький (а местами очень даже ничего) опыт дальше, ок?
Краткий обзор консольного рынка
Читая хабр, с недоумением заметил малую осведомленность хабровчан о консольном мире, порой в комментариях проскакивают серьезные неточности, и исправлять их никто не спешит. Комментировать у меня права нет, поэтому пишу краткий обзор рынка, особенно актуальный в связи с грядущим приходом нового поколения консолей. Статья станет отличным дополнением к недавней истории их развития, но опишет лишь текущую ситуацию.
Рынок игр для ПК затрону лишь вскользь. Так же проигнорирую портативные консоли, это тема для отдельного разговора.
Статья носит исключительно информационный характер. Любые замечания субъективного характера спрятаны под каты и опциональны для прочтения.
Сервер онлайн-вещаний на базе nginx
Введение
Привет всем! Несколько месяцев назад на Хабре была опубликована статья «Вещание онлайн-видео с помощью nginx» , в которой Aecktann рассказал о своем опыте внедрения разрабатываемого мной модуля к nginx для вещания видео — nginx-rtmp-module. С тех пор продукт активно развивался и в этой статье я более подробно расскажу о нем.
Вещатель нужен для передачи видео-потока клиенту. Речь идет либо о живом потоке, либо о вещании записанного видео (VOD, Video-on-demand). Существует большое количество технологий вещания видео. Среди них можно выделить традиционные протоколы, такие как RTMP или MPEG-TS, а также появившиеся в последнее время технологии адаптивного вещания поверх HTTP. К последним относятся HLS (Apple), HDS (Adobe), Smooth Streaming (Microsoft), MPEG-DASH. При выборе технологии основным фактором является ее поддержка на клиентской стороне. Именно поэтому вещание в формате RTMP на текущий момент является одним из самых распространенных. Протокол HLS поддерживается устройствами компании Apple, а также некоторыми версиями Android.
Информация
- В рейтинге
- Не участвует
- Откуда
- Санкт-Петербург, Санкт-Петербург и область, Россия
- Работает в
- Дата рождения
- Зарегистрирован
- Активность