Волею судеб, ко мне в руки попали данные о заработных платах, премиях и сверхурочных множества госслужащих одного крупного портового города, от мэра до сторожа бассейна. Не теряя ни минуты, я бросился вгрызаться в цифры. Нет ничего любопытнее, чем смотреть на чужие зарплаты, особенно, когда можно оправдать себя тем, что занимаешься Data Science!

Как только прошли первые приступы зависти, я осознал, что в датасете присутствует информация не только по крупным руководителям, но и по рядовым сотрудникам от самого низкого уровня. Получается, что по этим данным можно воочию наблюдать основные закономерности в распределении доходов в реальном мире. Пользуясь случаем, я приглашаю всех диванных экономистов в увлекательное турне в мир роскошных окладов и скупой статистики!

Сегодня мы поговорим про средние и медианные зарплаты, индекс социального неравенства Джини, отношения между богатыми и бедными (индекс Rich/Poor), непреодолимый разрыв доходов (эффект Матфея) и карьерный рост.

Когнитивные вычисления (cognitive computing) — тренд последних нескольких лет. Это технологии, которые силами многих специалистов развиваются очень быстрыми темпами и помогают человеку справляться с огромным потоком информации. Причем поток этот очень глубокий и широкий, образно говоря, это весь поток информации, генерируемый человечеством. Мозг человека — мощнейшая система, способная анализировать неструктурированные массивы данных, обрабатывать их и «раскладывать по полочкам». Но даже этот инструмент не справляется с информационными потоками современности, поэтому на службу себе человек поставил компьютеры, как обычные персональные, так и сверхпроизводительные системы. Но тут возникла проблема уже иного характера, а именно — необходимость структурирования данных, которые обрабатываются. Каждый день человечество генерирует около 2,5 квинтиллионов байтов данных, и 80% из них являются неструктурированными. А это означает, что эти 80% невидимы для современных компьютерных систем, созданных по обычной технологии.

На помощь приходят когнитивные вычисления, технологии, которые частично повторяют особенности работы мозга человека и способные работать во много крат эффективнее своего органического предтечи. Здесь стоит оговориться, что речь идет лишь о малой части функций мозга, ответственных за обработку и анализ поступающей извне информации. Также можно говорить и о самообучении системы, с определенными допущениями. Но, тем не менее, когнитивные технологии способны на многое, упрощая жизнь как отдельно взятому человеку, так и бизнес-структурам.

Так уж получилось, что 2015 год стал первым годом коммерческой жизни нашего ещё совсем молодого проекта Бонджойн. Несмотря на то, что мы набрали около 85 0000 партнёров, которые выполнили большинство заказов, понятно, что нам расти и расти. Мы уже рассказывали о некоторых муках разработки, а сегодня решили сделать староновогодний пост про шишки web-разработчиков: столь же популярные и неизбежные, как оливье на наших новогодних столах. Какие-то из них мы набивали сами, какие-то заботливо собрали у знакомых и не совсем знакомых разработчиков. В лучших традициях приготовления ещё не до конца ушедшего новогоднего настроения расскажем обо всём подряд, вразнобой, сдобрив комиксами, которые мы перевели специально по случаю. В общем, угощайтесь!

Началось так: мне написали из Envato, что они запускают раздел с шаблонами Скетча в Themeforest, а раз уж я такой идейный пользователь, то было бы неплохо, если бы я на открытие нарисовал шаблон какой-нибудь. Я, естественно, отказываться не стал.

Шаблон получился вот такой.

Дальше я опишу, что и как делал в процессе. Статья традиционно будет в нескольких частях.

Последние лет восемь я активно занимаюсь задачами, связанными с распознаванием образов, компьютерным зрением, машинным обучением. Получилось накопить достаточно большой багаж опыта и проектов (что-то своё, что-то в ранге штатного программиста, что-то под заказ). К тому же, с тех пор, как я написал пару статей на Хабре, со мной часто связываются читатели, просят помочь с их задачей, посоветовать что-то. Так что достаточно часто натыкаюсь на совершенно непредсказуемые применения CV алгоритмов.
Но, чёрт подери, в 90% случаев я вижу одну и ту же системную ошибку. Раз за разом. За последние лет 5 я её объяснял уже десяткам людей. Да что там, периодически и сам её совершаю…

В 99% задач компьютерного зрения то представление о задаче, которое вы сформулировали у себя в голове, а тем более тот путь решения, который вы наметили, не имеет с реальностью ничего общего. Всегда будут возникать ситуации, про которые вы даже не могли подумать. Единственный способ сформулировать задачу — набрать базу примеров и работать с ней, учитывая как идеальные, так и самые плохие ситуации. Чем шире база-тем точнее поставлена задача. Без базы говорить о задаче нельзя.

Тривиальная мысль. Но все ошибаются. Абсолютно все. В статье я приведу несколько примеров таких ситуаций. Когда задача поставлена плохо, когда хорошо. И какие подводные камни вас ждут в формировании ТЗ для систем компьютерного зрения.

CSS Refresher

Это большая коллекция практических советов и заметок по вёрстке. Своеобразная памятка для тех, кто каждодневно использует CSS. Освещаются самые разные темы, от деталей поведения плавающих элементов до использования SVG и спрайтов. Проект постоянно обновляется, активное сообщество github также принимает в нем участие, там добавляются интересные замечания, о которых, возможно, вы и не слышали.

От переводчика

Приветствую всех, меня зовут Максим Иванов, и сегодня я подготовил для вас перевод заметок разработчика из Сан-Франциско Васанта Кришнамурти (Vasanth Krishnamoorthy) «CSS Refresher». Web-программирование одна из самых быстро развивающихся отраслей в наше время. Казалось бы, возьми какой-нибудь видеокурс на tuts+ и освой html-верстку, однако, как говорил разработчик Opera Software Вадим Макеев, выступая на конференции CodeFest, они все равно это делают плохо. Но давайте посмотрим, может мы итак все это знаем.

Содержание

1. Позиционирование (position)
2. Отображение элемента в документе (display)
3. Плавающие элементы (float)
4. CSS селекторы
5. Эффективные селекторы
6. Переотрисовка и перерасчет
7. CSS3 свойства
8. CSS3 медиа-запросы
9. Адаптивный web-дизайн
10. CSS3 переходы
11. CSS3 анимации
12. Масштабируемая векторная графика (SVG)
13. CSS спрайты
14. Вертикальное выравнивание
15. Известные проблемы

Сегодня, в век информационных технологий и коммуникаций люди перестают читать. Люди перестают читать художественную литературу, газеты, журналы и уж тем более научные публикации. Если вдруг некто захотел узнать что-то новое, он залез в интернет, открыл статью и не стал её читать в полном смысле этого слова. Человек «сканирует» информацию глазами, находит интересные для себя моменты, бегло читает их, бежит дальше и вскоре все забывает. Как помочь человеку узнать что-то новое? Как сделать это интереснее? И как помочь запомнить хоть что-то из увиденного? Об этом дальше, но для начала небольшое видео.

Как-то я посчитал, что 1 минута простоя hh.ru в будни днем затрагивает около 30 000 пользователей. Мы постоянно решаем задачу снижения количества инцидентов и их длительности. Снизить количество проблем мы можем правильной инфраструктурой, архитектурой приложения — это отдельная тема, ее мы пока не будем брать во внимание. Поговорим лучше о том, как быстро понять, что происходит в нашей инфраструктуре. Тут как раз нам и помогает мониторинг.

В этой статье на примере hh.ru я расскажу и покажу, как покрыть мониторингом все слои инфраструктуры:

• client-side метрики
• метрики с фронтендов (логи nginx)
• сеть (что можно добыть из TCP)
• приложение (логи)
• метрики базы данных (postgresql в нашем случае)
• операционная система (cpu usage тоже может пригодиться)

Схема отработки аварии первого уровня в «Мультикарте»

Есть такой миф, что у нас отказоустойчивых инфраструктур у крупных компаний не было примерно до 2007 года. Мол, именно тогда начали появляться документы DRP (аварийного восстановления), выделяться отделы риск-менеджмента и так далее.

Это неправда. Просто до этого не было методологии и английского названия, а сами системы были. Первым проектом, который стали «называть по правилам», была инфраструктура «Альфы». В Сбербанке и «Транснефти», насколько я знаю, отказоустойчивая инфраструктура тоже была испокон веков, но только называлась «резервный центр обработки данных». И так далее.

А теперь поехали развеивать другие мифы про DRP и непрерывности. Ну и заодно расскажу про наш последний проект — аварийные планы «Мультикарты», то есть той системы, через которую идут все ваши оплаты картами в России.

Ну и, конечно, истории былинных провалов.

Привет всем! Делимся новостями проекта, о котором писали год назад.
Но сначала говорим спасибо каждому хабровчанину, поддержавшему Тех деревню! За отзывы, шеринг в соцсетях и письма об ошибках — мы это ценим.
Спустя год мы обновили проект и добавили новые возможности.

Немного про итоги.

За год в Тех деревне появилось 500 новых отзывов о городах. Карта стала ярче в разы, и уже с первого взгляда видно где хорошо, а где — не очень. Приятно, что пишут из самых разных мест. У нас собраны отзывы со всех континентов, кроме Антарктиды (не будет считать это минусом — вы вряд ли захотите работать там, где даже летом -30).

Несколько дней назад я написал статью про основные характеристики старого кода. Однако там было слишком мало конкретных практических рекомендаций о том, как жить в условиях старого кода.

Сегодня я постараюсь ответить на один из самых частых вопросов, которые я слышу, когда речь идёт о разработке систем с запредельным количеством legacy, и поделюсь своим взглядом на то, как «продать» бизнесу рефакторинг.

В этой статье я принципиально ограничиваюсь описанием взаимодействия с бизнесом и не касаюсь технических деталей (как именно рефакторинг проводить). Пост написан исключительно на личном успешном и не очень опыте «продажи» и «покупки» рефакторинга в разных командах и в разных компаниях.

Пару недель назад нам удалось вытащить на CodeFreeze с докладом Артема Гавриченкова aka ximaera, CTO в Qrator Labs — компании, которая является одним из мировых лидеров по вопросам борьбы с DDoS-атаками.



Собственно, я позвал Артема сделать нам обзорную лекцию о том, что такое DDoS-атаки, какие они бывают и как с ними бороться.

Если конкретнее:

• История термина. Чем отличаются DoS- и DDoS-атаки?
• DDoS-атаки с точки зрения специалистов по информационной безопасности, оценка рисков;
• Виды атак и их классификация;
• Противодействие для каждого вида атак;
• DDoS-атаки в Интернете будущего: как IPv6, IoT и рост числа участников Сети повлияет на её, Сети, безопасность?

Когда-то давно владелец магазина, он же продавец, мог легко запомнить все товары своего ассортимента. Рассказать об особенностях каждого, историю, насколько товар эффективен, знал точно как он продается, когда заказать еще…

С развитием ритейла управление движением товаров требует других подходов. Системы учета и аналитики продаж, управления ассортиментом дополняют опыт работников магазина или торговой сети.

Серьезные решения, например, о выведении товара из ассортимента, принимаются не так просто. И категорийному менеджеру, и управляющему магазином нужны обоснования для таких действий.

Поэтому одного вида анализа недостаточно. Применяют совмещение нескольких видов (по-другому, кросс-анализ).

В статье мы на примере товарной группы “Кондитерских изделий” рассмотрим основные подходы к организации кросс-анализа. А еще узнаем, кто виноват в том, что Рафаэлло — товар с нестабильными продажами.

Мы постоянно работаем над тем, чтобы IaaS был простым и понятным даже для тех, кто не сталкивался с ИТ-сферой. Для этого мы проводим оптимизацию всех систем и рассказываем о своем опыте в нашем блоге на Хабре.

Пара примеров:

• «Удобный хостинг»: Предустановка панели управления и дозаказ лицензий на лету
• Как работает API нашего IaaS-провайдера
• Как мы разработали свой DNS-менеджер

Сегодня мы поговорим о том, как ускорить загрузку страниц, и взглянем на советы эксперта по Ruby Нейта Беркопеца (Nate Berkopec).

Мы привыкли видеть истории проектов с миллионами клиентов и целым парком серверов, но разные интересные и курьезные ситуации могут встречаются и на относительно небольших проектах. Одна из них произошла недавно. Однажды работающий нормально сервер вдруг начал случайным образом тормозить…

Привет, Хабр!

Команда нашего образовательного проекта Хекслет состоит из людей, которые любят программирование. Еще бы! Любим так, что последовательно выпускаем практические курсы для начинающих программистов (и не только начинающих на самом деле), при этом мы по-настоящему дорожим этим ремеслом, поэтому не любим курсы в стиле «принт, а теперь цикл, а это называется класс, животное-собака, поздравляю, кодинг это легко, правда?», а начинаем свои «Основы программирования» с абстракции, чистых функций, рекурсии и структур данных. Хотя, конечно, курсы «стань программистом за 2 недели» позволили бы заработать получить больше денег.

Испытывают ли разработчики Хекслета страсть к этой сфере — лучше спросить у каждого по отдельности. Но, думаю, вы встречали (возможно, вы сам такой?) по-настоящему страстных, полностью увлеченных своим делом разработчиков. Они готовы часами обсуждать фреймворки и технологии, художественным книгам они предпочитают книги о коде, фильмам и сериалам — доклады с конференций. Если при это они любят говорить и выступать, то становятся звездами митапов и конференций. А еще мы все знаем людей, которые начинают эту карьеру, потому что «программистам хорошо платят». Естественно, это два крайних обобщения, и в реальности люди в разной степени мотивированы разными целями и желаниями.

Считается, что хороший программист страстно любит свою работу. В вакансиях наряду с «гуру», «суперстар» и «ниндзя» часто встречается «… who is passionate about programming...» в качестве требования к кандидату. Сказать, что ты не очень-то кайфуешь от кодинга, но доволен работой и зарплатой, и на вас как минимум посмотрят косо. Однако, есть большая разница между «не испытывать страсть» и «ненавидеть и не хотеть».

Сегодняшний перевод эссе Антонина Януска посвящен программированию без страсти, программированию как исключительно работе. В наши дни подобное мнение это уже олдскул, чуть ли не архаизм. Сегодня не принято сильно отдалять работу от жизни. Но, возможно, вы увидите в этом мнении что-то близкое себе.

Я разработчик, но это не моя страсть

Я senior веб-разработчик в хьюстонском стартапе, и я должен вам кое в чём признаться. По моим наблюдениям, мало кто из разработчиков в таком признаётся.

Веб-разработка — не моя страсть.

В момент создания, 4 года назад, наша компания понимала свое предназначение: мы упрощаем малому бизнесу использование SaaS. И хотя изначальная бизнес-модель была выбрана неверно, все это время мы находились в перманентном поиске собственной ниши. Мы застали всплеск облачных сервисов в России, видели спад и видим начинающийся второй подъем. Специфика нашего бизнеса в объединении SaaS-продуктов. И мы видим, как наши передовые SaaS-компании вставляют палки в колеса собственному рынку.

Разработчики SaaS упорно пытаются продавать ценностные продукты как массовые

SaaS не определяет подход к построению бизнеса, а характеризует способ доставки программного обеспечения. То, что к SaaS относятся как однозначные аппы (например, Google Keep), так и сложные продукты (например, Salesforce Sales Cloud), создает некоторую путаницу. Когда SaaS стал рассматриваться в России как перспективный бизнес, укоренились две противоречивые идеи. С одной стороны, SaaS стал синонимом продукта для массовых продаж, с другой стороны, создаваемые продукты ориентировались исключительно на бизнес.

Я часто езжу на велосипеде и мотоцикле, поэтому вопрос «а будет ли дождь» беспокоит меня достаточно часто. Как оказалось, Центральная Аэрологическая Обсерватория регулярно выкладывает у себя на сайте снимки с метеорологических радиолокаторов. Чтобы ими пользоваться не хватает двух вещей: возможности приблизить карту и посмотреть как двигались облака за последний час. Если добавить эти две фичи, получается полезная штука:

Плохие новости: Росгидромет запретил ЦАО публиковать данные в реальном времени, теперь они доступны с задержкой в 24 часа. Ставьте лайки, возможно, получится в каком-то виде получить актуальные данные обратно.
Ничоси, про это даже петиция есть — "Вернуть открытый доступ снимков ДМРЛ (радары)". И в Росгидромет уже письма писали.

Здравствуйте, меня зовут Константин, я работаю front-end-разработчиком на информационно-развлекательном портале, основную долю контента которого составляют новости и статьи. И, конечно же, нам было крайне важно организовать удобную работу с порталом для наших редакторов. О том, каких успехов мы добились на данном поприще, и будет эта статья.