Представьте лог на 2,5 гигабайта после неудачной сборки. Это три миллиона строк. Вы ищете баг или регрессию, которая обнаруживается на миллионной строке. Вероятно, найти одну такую строку вручную просто невозможно. Один из вариантов — diff между последней успешной и упавшей сборкой в надежде на то, что баг пишет в журналы необычные строки. Решение Netflix быстрее и точнее LogReduce — под катом.

7 августа Facebook представил Pysa — ориентированный на безопасность статический анализатор с открытым исходным кодом, помогающий работать с миллионами строк в Instagram. Раскрыты ограничения, затронуты проектные решения и, конечно, средства, помогающие избегать ложных положительных срабатываний. Показана ситуация, когда Pysa наиболее полезен, и код, в котором анализатор неприменим. Подробности из блога Facebook Engineering под катом.

Представляем настраиваемую и интерактивную структуру дерева решений, написанную на Python. Эта реализация подходит для извлечение знаний из данных, проверки интуитивного представления, улучшения понимание внутренней работы деревьев решений, а также изучение альтернативных причинно-следственных связей в отношении вашей проблемы обучения. Она может использоваться в качестве части более сложных алгоритмов, визуализации и отчётов, для любых исследовательских целей, а также как доступная платформа, чтобы легко проверить ваши идеи алгоритмов дерева решений.

Менеджер процессов для продакшна с балансировщиком нагрузки. Обёртки над отладкой и хуками Git, защита express-приложений через HTTP-заголовки, утилита в более чем 180 функциями для работы с датами и другие инструменты, которые сэкономят ваше время. Подборка особенно полезна начинающим разработчикам NodeJS, но может порадовать опытных скептиков.

По исследованиям HeadHunter и Mail.ru спрос на специалистов в области Data Science превышает предложение, но даже так молодым специалистам не всегда удается найти работу. Рассказываем, чего не хватает выпускникам курсов и где учиться тем, кто планирует большую карьеру в Data Science.

«Они приходят и думают, что сейчас будут зарабатывать 500к в секунду, потому что знают названия фреймворков и как из них запустить модель в две строчки»

Эмиль Магеррамов руководит группой сервисов вычислительной химии в компании biocad и на собеседованиях сталкивается с тем, что у кандидатов нет системного понимания профессии. Они заканчивают курсы, приходят с хорошо прокачанными Python и SQL, могут за 2 секунды поднять Hadoop или Spark, выполнить задачу по четкому ТЗ. Но при этом шаг в сторону — уже нет. Хотя именно гибкости решений работодатели ждут от своих специалистов в области Data Science.

Перевод выполнен в рамках набора студентов в онлайн-магистратуру по Data Science с гос.дипломом МИСиС.



В этой статье я хотел бы поделиться своим опытом научной карьеры в области Data Science, накопленным за последние полтора года.

Это мой первый пост на Medium, поэтому я хотел бы рассказать о себе и о своем предыдущем опыте. Я — аспирант Гарвардского университета по специальности «Экологическая инженерия и вычислительная техника», а также подрабатываю консультантом по машинному обучению и блокчейну в британской консалтинговой фирме Critical Future, специализирующейся на искусственном интеллекте. Мои исследования сосредоточены на внедрении машинного обучения и искусственного интеллекта в науку об окружающей среде с использованием сенсорных систем, основанных на дронах, способных самостоятельно перемещаться для составления картины химического состава нижних слоев атмосферы, преимущественно в тропических лесах Амазонки (для тех, кто интересуется этим проектом, я опубликую отдельные статьи по этой теме в ближайшем будущем).

Я начал свой путь к PhD в Гарвардском университете осенью 2017 года, получив степень бакалавра и магистра в области машиностроения в Имперском колледже Лондона, а последний год обучения я закончил за границей в Национальном университете Сингапура. Во время учебы в бакалавриате я был мало знаком с Data Science и статистикой в целом, но при этом я много знал о программировании на Matlab, C и Visual Basic, а также имел сильную математическую базу.

Вам кажется, что вы тонете в цифровых фотографиях? Такое ощущение, что телефон сам по себе заполняется вашими селфи и снимками, а вот выбор лучших кадров и систематизация фотографий никогда не происходит без вашего вмешательства. Для упорядочивания созданных вами воспоминаний требуется время, но ведь со структурированными фотоальбомами так приятно иметь дело. В операционной системе вашего телефона наверняка имеется сервис для хранения и сортировки фотографий, однако существует добрая доля проблем конфиденциальности вокруг сознательного предоставления копий фотографий вашей жизни, друзей, детей и отдыха корпорациям (ещё и бесплатно). К счастью, существует большой выбор альтернатив с открытым исходным кодом, в которых вы сами выбираете, кто может просматривать ваши фотографии, а также инструменты с открытым кодом, которые помогут вам найти и улучшить самые лучшие из ваших любимых фото.

Мой опыт разработки игры «Змейка» на Brython



«Погоди, что?» – думаю, большинство читателей отреагирует на заголовок именно так.

В смысле «просто использовать Python в браузере»?

Все знают, что в браузерах работает только JavaScript.

Ну, выше приведен скриншот с исходным кодом моего личного сайта. Взгляните, возможно вы увидите для себя что-то новое.

Да, это Python!

А теперь, давайте поговорим о том, как и насколько хорошо это работает, а также обсудим ряд других альтернатив JavaScript.

Знакомство с Brython

Brython — это реализация Python3, написанная на JavaScript, которая позволяет писать код на Python для веба.

По сути, это JavaScript-библиотека, которая преобразует ваш код на Python в эквивалентный JS и исполняет его в рантайме.

Поскольку написание браузерного кода на Python звучит круто, я решил попробовать.

«Впервые мы можем механически моделировать процесс познания» – сестра Мэри Кеннет Келлер.

Сестра Мэри Кеннет Келлер оказала сильное влияние на мир Computer Science в то время, когда нельзя было себе представить женщин в этой области. Ее работа проложила путь тому, что мы сейчас называем информационной экономикой – ключевой движущей силе рынка. Она была первой женщиной в США, получившей PhD в области информатики, а затем помогла разработать язык программирования BASIC, который изменил мир информатики.

О ранних годах жизни Келлер Известно немного. Она родилась 17 декабря 1913 года в Кливленде, штат Огайо, в семье Джона Адама Келлера и Кэтрин Джозефин (урожденная Салливан). В 1932 году она последовала Божьему призыву к Сестрам Милосердия Пресвятой Девы Марии в Дубьюке, Айова, а в 1940 году приняла обет с прихожанами. Затем она начала свою академическую карьеру в Чикаго, получив степень бакалавра математики и магистра математики и физики в Университете ДеПоля в 1943 и 1953 годах, соответственно.

Взгляните на практики, принципы и модели, которые повлияли на карьеры ведущих специалистов в DevOps, и поделитесь своей собственной мудростью.



Мне нравится изучать различные аспекты open-source проектов, особенно когда они набирают популярность в сфере DevOps. Проекты, которые относят к «технологиям DevOps», могут представлять собой масштабируемые системы для совместной работы, которые решают широкий спектр проблем – от методов передачи сообщений до мониторинга. Всегда есть что-то новое, что можно исследовать, устанавливать, раскручивать и исследовать.

Тем не менее, DevOps не может существовать без принципов. Некоторые из этих концепций – очевидные истины, для принятия которых требовалось некоторое время. В свою очередь, есть и другие идеи, которые помогают нам многое признавать и выходить за рамки наших когнитивных искажений.

Хотя, строго говоря, он не относится к DevOps, один из принципов, который изменил все для меня — это Канбан. Простая идея о том, что работа должна быть прозрачной и оптимизированной, была радикальной для такого хронически многозадачного человека, как я. Я поддерживаю наглядность рабочих процессов и по сей день. Возможность не теряться в задачах стала для меня огромным облегчением. Кроме того, я больше не радуюсь промежуточным успехам: теперь я радуюсь решенным задачам.

Чтобы узнать, что повлияло на моих коллег, я попросил членов DevOps-команды OpenSource.com поделиться своими мыслями по этому вопросу:

Какая из концепций DevOps (практика, принцип или модель) изменила вашу карьеру?

Мы живем в эпоху удаленной работы из дома, цифровых кочевников и международных офисов. И это возможно лишь благодаря тому, что мы можем оставаться на связи с помощью потрясающей технологии. Если вы работаете уже более десяти лет, вы, вероятно, помните высокую стоимость и сложность проведения аудио- и видеоконференций. Сторонние поставщики организовывали конференц-звонки, а для видеоконференций требовались отдельные комнаты с очень дорогим оборудованием на каждой конечной точке.

Все стало меняться в середине 2000-х годов, когда вебкамеры стали основным компьютерным оборудованием, а на рынок вышел Skype и похожие сервисы. Стоимость и сложность видео-конференций быстро снижались, поскольку все, у кого была вебкамера, быстрый интернет и недорогое программное обеспечение, могли общаться с коллегами, друзьями, членами семьи и даже незнакомцами прямо со своего домашнего или рабочего компьютера. Сейчас же при надежном мобильном интернете или WiFi-соединении и правильном программном обеспечение, видео-конференция может помещаться у вас на ладошке с помощью видео камеры вашего смартфона. Но большая часть этого программного обеспечения является коммерческой.
К счастью, существует несколько отличных альтернатив видео-конференций с открытым кодом, которые повторяют функции Skype, Zoom, Google Hangouts и похожих приложений.

Независимо от уровня ваших знаний, если вы хотите эффективно работать с данными и получать от этого удовольствие, вам необходимо знать о методах, не требующих написания кода.



Методы работы с данными, не требующие программирования, стали очень популярными и незаменимыми в наш информационный век. Если вы пользуетесь этими методами, то это не значит, что вы не умеете программировать. На самом деле, для работы с подобными инструментами навыки программирования необходимы. Data Science и искусственный интеллект – достаточно сложные области для применения методов работы с данными, не требующих написания кода. Тем не менее, ряд компаний и стартапов смогли использовать всю мощь искусственного интеллекта, чтобы раздвинуть границы технологий. Теперь утомительные задачи очистки данных и формирования прогнозов могут быть автоматизированы – и для этого не придется программировать. Obviously AI – одна из ведущих компаний, которой удалось создать платформу, дающую возможность специалистам в области Data Science и ИИ делать свою работу, не прибегая к написанию программного кода.

Как сделать крутые, полностью интерактивные графики с помощью одной строки Python



Когнитивное искажение о невозвратных затратах (sunk cost fallacy) является одним из многих вредных когнитивных предубеждений, жертвой которых становятся люди. Это относится к нашей тенденции продолжать посвящать время и ресурсы проигранному делу, потому что мы уже потратили — утонули — так много времени в погоне. Заблуждение о заниженной стоимости применимо к тому, чтобы оставаться на плохой работе дольше, чем мы должны, рабски работать над проектом, даже когда ясно, что он не будет работать, и да, продолжать использовать утомительную, устаревшую библиотеку построения графиков — matplotlib — когда существуют более эффективные, интерактивные и более привлекательные альтернативы.

За последние несколько месяцев я понял, что единственная причина, по которой я использую matplotlib, — это сотни часов, которые я потратил на изучение сложного синтаксиса. Эти сложности приводят к часам разочарования, выясняя на StackOverflow, как форматировать даты или добавить вторую ось Y. К счастью, это прекрасное время для построения графиков в Python, и после изучения вариантов, явным победителем — с точки зрения простоты использования, документации и функциональности — является библиотека plotly. В этой статье мы погрузимся прямо в plotly, изучая, как создавать лучшие графики за меньшее время — часто с помощью одной строки кода.

Ветеран DevOps Крис Байтаерт, стоявший у истоков DevOpsDays, делится своим опытом, и его выводы вас удивят.

Десять лет назад мы внезапно отправились в путешествие. Мы собрали нескольких наших хороших друзей в Генте (Бельгия), чтобы обсудить Agile, open-source и первый опыт работы с облачными технологиями. В 2009 году Джон Оллспоу и Пол Хаммонд выступили на Velocity с докладом «10+ развертываний в день: сотрудничество dev и ops в Flickr» (и запись этого доклада стоит посмотреть). Увидев это выступление, Патрик Дебуа решил основать DevOpsDays.

Верно ли, что мир DevOps очень сильно изменился за эти 10 лет? Я посещаю мероприятия DevOpsDays с самого основания конференции, и за это время я накопил значительный опыт. В этом посте я расскажу о 10 уроках, которые могут также быть полезны для вас.

1. Нет такого понятия, как DevOps-инженер

Лето. Вот список веселых и интересных идей для тренировки навыков программирования.

Приведенный список — это вызовы вашему мастерству, средство вдохновения, а не пошаговое руководство по разработке перечисленных проектов.

Клон чата на YouTube (только чат)

Я выбрал эту задачу, так как YouTube так распространен, и любой приличный работодатель потребует от вас реализовать аналогичные функции, хотя и в гораздо меньшем масштабе.

Заслуживающие внимания рекомендации из гайдлайнов по iOS



Последние несколько месяцев я разрабатывал приложение для IOS и постоянно обращался к Human Interface Design Guidelines от Apple. Я считаю это руководство обязательным для прочтения любым начинающим или нынешним дизайнером UI/UX.

Это руководство удивительно доступно и понятно. Оно не написано на излишне техническом жаргоне и сразу переходит к сути проектирования интерфейсов для IOS.

В этом посте приводится список наиболее примечательных выдержек из стандартов дизайна, приведенных в руководстве.

Я знаю, что большинство людей просто прокручивают эти статьи и на самом деле не читают их, так что изображения здесь только шутки ради – наслаждайтесь.

1. Протестируйте цветовую гамму вашего приложения в различных условиях освещения

«Освещение значительно варьируется как в помещении, так и на улице, в зависимости от обстановки в помещении, времени суток, погоды и многого другого. Цвета, которые вы видите на вашем компьютере, не всегда будут выглядеть точно так же, ведь ваше приложение используется в реальном мире. Всегда смотрите как ваше приложение выглядит в различных условиях освещения, в том числе на открытом воздухе в солнечный день, только так можно увидеть как могут меняться цвета. При необходимости отрегулируйте цветовую гамму, чтобы обеспечить наилучшее качество отображения в большинстве случаев использования».
— Руководство по использованию цветов от Apple

Я помню, когда я проходил свою первую зарубежную стажировку в CERN в качестве практиканта, большинство людей все еще говорили об открытии бозона Хиггса после подтверждения того, что он соответствует порогу «пять сигм» (что означает наличие p-значения 0,0000003).


Тогда я ничего не знал о p-значении, проверке гипотез или даже статистической значимости.

Я решил загуглить слово — «p-значение», и то, что я нашел в Википедии, заставило меня еще больше запутаться…

При проверке статистических гипотез p-значение или значение вероятности для данной статистической модели — это вероятность того, что при истинности нулевой гипотезы статистическая сводка (например, абсолютное значение выборочной средней разницы между двумя сравниваемыми группами) будет больше или равна фактическим наблюдаемым результатам.
— Wikipedia

Хорошая работа, Википедия.

Ладно. Я не понял, что на самом деле означает р-значение.

Углубившись в область науки о данных, я наконец начал понимать смысл p-значения и то, где его можно использовать как часть инструментов принятия решений в определенных экспериментах.

Поэтому я решил объяснить р-значение в этой статье, а также то, как его можно использовать при проверке гипотез, чтобы дать вам лучшее и интуитивное понимание р-значений.

Клон doodle-place

doodle-place — это онлайн-мир, населенный анимированными каракулями. Вы можете бродить и просматривать каракули, созданные пользователями по всему миру, или внести свой вклад.

Чему вы научитесь, сделав клон doodle-place:

• Использованию API для Canvas в JavaScript для рисования графики вроде каракулей на экране.
• Методам работы с 2D-графикой и API WebGL
• Работе с пользовательским вводом, например, с рисунками, и сохранению результатов в базе данных.

Разница в том, что происходит после разработки


Когда ПО только начали разрабатывать, процесс разработки не подходил ни под один вид управления. Затем появился водопад, который ввел идею о том, что разработка ПО может быть определена временем создания или сборки приложения.

Раньше тестирование и развертывание ПО занимало гораздо больше времени, чем сейчас, так как во время процесса разработки не было никакого баланса и проверок на промежуточных этапах. В результате мы получали ПО низкого качества с ошибками и багами, сделанное сильно позже установленных сроков. Основное внимание уделялось долгим и затяжным планированием проектов.

Водопадные проекты были связаны с моделью тройного ограничения, которую еще называют треугольником управления проектами. Каждая сторона треугольника представляет собой одно из ограничений управления проектами: масштаб, время и стоимость. Как пишет Анджело Беретта, модель тройного ограничения утверждает, что «стоимость является функцией времени и объема, а эти три фактора связаны определенным и предсказуемым образом… Если мы хотим сократить сроки выполнения плана (время), мы должны увеличить стоимость. Модель также подразумевает, что если мы хотим увеличить объем, то должны увеличить стоимость или сроки выполнения.»

Я изучал машинное обучение каждый день на протяжении девяти месяцев, а потом получил работу.

Я уволился из Apple. Запустил веб-стартап, но из этого ничего не вышло. Душа к этому не лежала.

Я хотел изучать машинное обучение. Это то, что меня воодушевляло. Я собирался изучить все до малейшей детали. Мне не нужно было программировать все эти правила, все сделают за меня. Но у меня не было работы.

А воодушевление не оплачивает мои счета.

По выходным я начал подрабатывать в Uber, чтобы платить за учебу.

Я обожал общаться с новыми людьми, но ненавидел постоянно быть за рулем. Пробки, тормоз, газ, постоянные мысли о бензине и заправке, воздух, кондиционер, переключение передач, куда можно и куда нельзя ехать, все эти мысли.

Я изучал машинное обучение. Днями напролет, пять дней в неделю. Было сложно. Да и сейчас не легче.

Uber по выходным. Машинное обучение по будням. Такой была моя повседневная жизнь. Я должен был учиться. Я был обязан научиться, я просто не мог водить. На тот момент у меня не было жизненной цели, но я точно знал, что это не вождение. Одним субботним вечером я заработал $280 и получил штраф в размере $290. Минус $10 за одну ночь.

Через девять месяцев после получения своей личной степени по ИИ, я нашёл работу. И это была лучшая работа в моей жизни.

Как у меня получалось заниматься каждый день?
А вот как.