Обработка данных и применение основных видов регрессий для решения задач на Kaggle, на примере соревнования "Предсказание оттока пользователей" от DeepLearningSchool МФТИ.
Разработчик
Почему Microsoft перестала бороться с пиратством своего ПО
5 мин
Перевод
Microsoft — одна из немногих корпораций, основанных десятки лет назад и по-прежнему остающихся одними из крупнейших технологических гигантов. Даже несмотря на множество технологических войн, она выдержала проверку временем, отсеявшую многих её конкурентов.
Однако одна из первых войн, с которой компания до сих пор сталкивается каждый день — это война против пиратов. Пираты программ продавали миллионы фальшивых копий продуктов Microsoft или загружали их на торрент-сайты.
Во сколько обходится Microsoft пиратство?
Официальных цифр нет, но можно уверенно сказать, что потери выражаются миллиардами долларов.
Вместо навязывания собственных цифр (что было бы губительно для PR), Microsoft приспособилась информировать о возможных потерях от спираченного ПО для бизнесов и потребителей. На основании исследований, проведённых в 2014 году, Microsoft выпустила публикацию, выполненную вместе с исследовательской фирмой IDC и Национальным университетом Сингапура.
В этом отчёте говорится, что в 2014 году потребители по всему миру потратили 25 миллиардов долларов и примерно 1,2 миллиарда часов (устранение неполадок) на пиратское ПО.
С другой стороны, компании потратили полтриллиона долларов на устранение проблем, связанных со скачиванием пиратского ПО. Эти проблемы вызваны обслуживанием, зловредными программами и вирусами.
Политика Microsoft против пиратства
В прошлом Microsoft вела активную войну против пиратства. Она даже проводила налёты в Мексике для ареста картелей, продающих её ПО.
Как выжить, если вы падаете со скоростью 190 км/ч с высоты 10 000 метров, и у вас в запасе есть три минуты
8 мин
Перевод
Вы оказались на высоте десяти километров, и падаете без парашюта. Шансов у вас немного, однако небольшое количество людей, оказавшись в подобной ситуации, сумели выжить.
6:59:00, высота 10 000 м
Вчера вы рано легли, а сегодня у вас был ранний рейс. Вскоре после взлёта вы засыпаете. И вдруг вы резко просыпаетесь – вокруг вас свистит холодный воздух и раздаётся шум. Ужасный и громкий. Где я? – думаете вы. Где самолёт?
Вы на высоте 10 км. Один. И вы падаете.
Эмуляция компьютера: интерпретатор CHIP-8, таймеры и обработка ввода
4 мин
Перевод
Мы уже создали вполне рабочий эмулятор CHIP-8, но он, к сожалению, получился очень медленным. Почему? Если заглянуть в его главный цикл — можно увидеть, что данные на экран выводятся после выполнения каждого шага цикла. При включённом vsync SDL пытается привязать скорость рендеринга к частоте обновления кадров дисплея (возможно это — 60 Гц). Для нас это означает то, что метод
Насколько быстро должен работать наш эмулятор? Точный ответ на этот вопрос дать не так уж и просто. На реальном компьютере на выполнение операций с разными кодами нужно разное время, но известны ориентировочные временные показатели выполнения различных операций. Можно выполнить инструкцию, выяснить то, сколько времени её выполнение должно занимать на реальном аппаратном обеспечении, а после этого «усыпить» программу до того момента, когда можно будет продолжать работу. Но тут есть одна проблема, которая заключается в том, что у нас, при таком подходе, нет доступа к временным параметрам работы CPU. На выполнение большинства этих инструкций должна уходить пара микросекунд, но на современных системах «усыплять» программы можно, как минимум, на одну миллисекунду.
SDLViewer::Update, почти при каждом его вызове, долго будет находиться в заблокированном состоянии, ожидая сигнала vsync от монитора.Насколько быстро должен работать наш эмулятор? Точный ответ на этот вопрос дать не так уж и просто. На реальном компьютере на выполнение операций с разными кодами нужно разное время, но известны ориентировочные временные показатели выполнения различных операций. Можно выполнить инструкцию, выяснить то, сколько времени её выполнение должно занимать на реальном аппаратном обеспечении, а после этого «усыпить» программу до того момента, когда можно будет продолжать работу. Но тут есть одна проблема, которая заключается в том, что у нас, при таком подходе, нет доступа к временным параметрам работы CPU. На выполнение большинства этих инструкций должна уходить пара микросекунд, но на современных системах «усыплять» программы можно, как минимум, на одну миллисекунду.
За пять дней я прошел собеседования в пяти компаниях Силиконовой долины и получил пять предложений о работе
12 мин
Перевод
За пять дней, с 24 по 28 июля 2017 года, я прошел собеседования в LinkedIn, Salesforce Einstein, Google, Airbnb и Facebook; все пять компаний предложили мне работу. Это был замечательный опыт и я понимаю, как мне повезло, что мои усилия оправдали себя, поэтому решил написать об этом. Здесь я расскажу о том, как готовился к собеседованиям, как они проходили и какое впечатление произвели на меня компании.
Я отработал в Groupon почти три года. Это моя первая работа, там были и прекрасные люди, и отличные проекты. Мы делали всякие интересные штуки, вводили перемены внутри компании, публиковали материалы и все в таком духе. Но со временем я стал ощущать, что темп моего самообразования стал затухать (попросту говоря, замедляться), мне не хватало пищи для ума. К тому же, как и всякого разработчика ПО из Чикаго, меня тянуло в Область залива Сан-Франциско — ведь там столько известных компаний.
Жизнь коротка, а профессиональная жизнь еще короче. Обговорив все с женой и заручившись ее полной поддержкой, я решил сделать решительный шаг и в первый раз в жизни поменять работу.
Как все началось
Я отработал в Groupon почти три года. Это моя первая работа, там были и прекрасные люди, и отличные проекты. Мы делали всякие интересные штуки, вводили перемены внутри компании, публиковали материалы и все в таком духе. Но со временем я стал ощущать, что темп моего самообразования стал затухать (попросту говоря, замедляться), мне не хватало пищи для ума. К тому же, как и всякого разработчика ПО из Чикаго, меня тянуло в Область залива Сан-Франциско — ведь там столько известных компаний.
Жизнь коротка, а профессиональная жизнь еще короче. Обговорив все с женой и заручившись ее полной поддержкой, я решил сделать решительный шаг и в первый раз в жизни поменять работу.
Собеседование на миддла за деньги, после которого я готов идти джуном за еду
3 мин
Как простое интервью, назначенное на вечер пятницы, перевернуло вверх дном все мои представления о разыскиваемой работе? Казалось бы, обычная встреча такая же, как сотни других, на которые мы, разработчики, ходим — митинги с командой, встречи с партнерами, тет-а-теты или собеседования. Привычный, теперь уже, Zoom, время встречи, формат — будь вовремя. Так и было. Но чтобы я пережил такую бурю эмоций, просто невероятно. Восторг и разочарование, уныние и вдохновение, боль и чистый кайф. Будь все собеседования такими, наш мир стал бы лучше (если бы их не приравняли к эйфоретикам).
# Стоит ли связываться с C#
4 мин
На рынке есть десятки популярных ЯПов, и сеть набита статьями для новичков: какой язык выбрать? Мы решили сделать подборку статей с субъективным обзором языков для профессионалов, которые ищут, в какую сторону можно расширить свой кругозор.
Первую статью цикла мы посвящаем языку C#.
Что я понял о праве на ремонт, восстанавливая 30-летнюю NES
6 мин
Перевод
В конце 1980-х кто-то купил в настоящем, не электронном, магазине Nintendo Entertainment System (NES), принёс её домой и, предположительно, играл на ней неизвестное количество лет. За последовавшие десятилетия консоль с серийным номером N12180601 сильно пострадала, в конечном итоге оказавшись на eBay в состоянии, которое можно описать только как «мусор». Продавец, находящийся в Англтоне, штат Техас, попросил скромную сумму в 11,99 доллара за повреждённую и неработающую систему, у которой к тому же отсутствовало множество деталей.
Я купил её.
Как на microSD помещается 1 ТБ? — Разбор
6 мин
Как на на маленькой карте памяти microSD размером буквально с ноготок помещается 1 терабайт данных? Такой вопрос нам задали в комментариях к видео про шифрование данных. Звучит интересно! Сегодня мы узнаем что находится внутри SD-карты и SSD-диска. Что объединяет современные чипы памяти со слоёным пирогом? И какой емкости будут наши диски и карты памяти через несколько лет?
Олды, кто помнит 2004 год? Тогда в продаже впервые появилась SD-карточка с рекордной на тот момент ёмкостью 1 гигабайт. Это было событием и карточку оценили в солидную сумму — 500 долларов США.
А спустя 15 лет представили карты памяти microSD объёмом 1 терабайт.
Но как за 15 лет мы научились размещать в тысячу раз больше информации на вдвое меньшем пространстве?
Олды, кто помнит 2004 год? Тогда в продаже впервые появилась SD-карточка с рекордной на тот момент ёмкостью 1 гигабайт. Это было событием и карточку оценили в солидную сумму — 500 долларов США.
А спустя 15 лет представили карты памяти microSD объёмом 1 терабайт.
Но как за 15 лет мы научились размещать в тысячу раз больше информации на вдвое меньшем пространстве?
В IT растет цензура, а мы не замечаем — разрешают только улыбаться и молчать
8 мин
У меня есть две статьи-интервью вот с такими странными абзацами. За обоими кроются неприятные истории для меня и для людей, про которых я писал.
Пока все праздновали мой день рождения, я до утра чинил кластер — а разрабы валили на меня свои ошибки
7 мин
Вот история, которая навсегда перевернула мой подход к работе девопса. Еще в доковидные времена, задолго-задолго до них, когда мы с парнями только задумывали свое дело и фрилансили на случайных заказах, мне в телегу упало одно предложение.
Компания, которая написала, занималась аналитикой данных. Ежедневно она обрабатывала тысячи запросов. К нам они пришли со словами: ребят, у нас есть ClickHouse и мы хотим автоматизировать его настройку и установку. Хотим Ansible, Terraform, Докер и чтобы это все хранилось в гите. Хотим кластер из четырех нод по две реплики в каждой.
Стандартная просьба, каких десятки, и нужно такое же хорошее стандартное решение. Мы сказали «окей», и через 2-3 недели все было готово. Работу они приняли и начали переезжать на новый кластер Кликхауса с помощью нашей утилиты.
Shodan — темный близнец Google
7 мин
Источник
S in IoT stands for SecurityПро Shodan уже не раз писали, в том числе и здесь. Я хочу предложить еще раз пробежаться по возможностям этого замечательного инструмента и принципам его работы. Сразу хочу оговориться, ситуация с этим поисковиком вполне классическая для исследователей в области информационной безопасности — инструмент может использоваться как с благими намерениями, так и сильно за чертой закона.
Disclamer:
Использование самого поисковика не является чем-то наказуемым. Успешный вход в незакрытую панель управления узла нефтяного терминала где-то в Сингапуре и эксперименты с открыванием заслонок — уже наказуемы. Могут прийти и постучаться недружелюбные люди. Поэтому будьте благоразумны и уважайте чужое пространство. Мы против применения Shodan для чего-то кроме исследовательских целей или анализа собственных систем.
Предлагаю еще раз пройтись по возможностям этого поисковика, особенностям его синтаксиса и попробовать найти что-то интересное. И давайте не будет печатать «Войну и Мир» на чужих сетевых принтерах.
Подкасты для разработчиков
10 мин
Интересно наблюдать за историей. Netflix, YouTube, Twitch постепенно вытеснили телевизор из нашей жизни. Сейчас похожий процесс происходит с подкастами и радио. За последние 2 года количество подкастов в мире выросло с 525 000 до 900 000, а количество эпизодов увеличилось с 18 000 000 до 30 000 000. В России эта волна началась в прошлом году, но уже сейчас становится сложно в них ориентироваться. Мы сделали для вас подборку из 57 техноподкастов и около того.
Сервисы, которые стали бесплатными на время карантина: курсы, радио, книги, кино и сериалы
5 мин
Кажется, на ближайший месяц почти все мы более или менее на карантине — сидим дома в самоизоляции. Грустно, конечно, но есть и плюсы. Не нужно тратить время на дорогу в офис и обратно, а сэкономленное время можно потратить на обучение, например. Ну или сериал посмотреть, который давно хотелось. Хорошие ребята вроде bang bang и GeekBrains на месяц открывают бесплатный доступ к своим материалам. А мы будем собирать здесь ссылки на такие аттракционы неслыханной щедрости.
10 отличных Github репозиториев, которые должен знать каждый веб-разработчик
3 мин
Перевод
Кроме огромных репозиториев с источниками для подготовки к интервью, здесь много чего интересного
Я собрал список из десяти отличных репозиториев на Github, которые помогут вам существенно расширить свои знания.
А я его перевел, т.к. показалось, что пост многим будет интересен. Перевод очень вольный: я опустил нерелевантные промо-ссылки и гипер эмоциональные похвалы автора оригинала, чтобы оставить только суть. Еще, обновил цифры, чтобы информация была более актуальной к моменту публикации этого перевода. Итак, перейдем к списку.
Кто живёт у нас на лице
5 мин
Клещ демодекс, например. Чаще всего десантируется на кожу век из настенных ковров.
На вашем лице живёт сапрофитная
Пугаться не надо. Меньше 5 клещей на квадратный сантиметр — медицинская норма. Кожа чувствует себя хорошо. А вот если появились, например, угри — это повод обратиться к врачу. Иначе есть реальный шанс попасть в порочный круг: рост популяции паразита вызовет угревую сыпь, а она поспособствует ещё большему размножению клеща. Потому что в угрях клещ чувствует себя тепло и прельстиво.
Вытравить этого гада довольно сложно: он не бактерия, и антибиотик широкого спектра его не возьмёт. Надо работать с транспортировкой определённых веществ в кожу. А это как раз специализация нашей лаборатории. Поэтому расскажу, что мы делали сразу после развала СССР.
Законы программирования
20 мин
Перевод
Законы, теории, принципы и закономерности, полезные для разработчиков
Введение
Перевод репозитория github.com/dwmkerr/hacker-laws
При обсуждениях, связанных с разработкой ПО, люди часто говорят о различных законах. В данном репозитории хранятся ссылки и описания некоторых из наиболее известных из них.
Здесь содержатся объяснения некоторых законов, принципов и закономерностей, но нет никакой агитации в их пользу. Применять их или нет – это всегда вопрос спорный, и всё зависит от того, над чем вы работаете.
Законы
Закон Амдала
Закон Амдала — это формула, демонстрирующая потенциал ускорения вычислительной задачи, которого можно достичь при увеличении количества ресурсов системы. Обычно он используется в параллельных вычислениях, и может предсказать наличие реальных преимуществ от увеличения количества процессоров с учётом ограничений параллелизуемости программы.
Анатомия накопителей: SSD
6 мин
Перевод
Часть 1. Анатомия накопителей: жёсткие диски
Твёрдый, как камень
Точно так же, как транзисторы совершили революцию в компьютерной области, увеличив скорость переключения и выполнения математических операций, использование полупроводниковых устройств в качестве накопителей привело к такому же результату.
Первые шаги на этом пути были сделаны компанией Toshiba, предложившей в 1980 году концепцию флеш-памяти. Четыре года спустя она создала NOR-память, а в 1987 году — NAND-память. Первый коммерческий накопитель с использованием флеш-памяти (solid state drive, или SSD) был выпущен SunDisk (позже переименованной в SanDisk) в 1991 году.
Компьютерные бренды 90-х
11 мин
Некоторые компании, работавшие на рынке компьютеров в 90-х годах, известны и поныне. Однако лет 25 назад их было значительно больше. Cloud4Y предлагает немножко поностальгировать и вспомнить компьютерные бренды, популярные в 90-х годах. Осторожно, будет много фото.
UPD: обновили статью, добавив фотографии Commodore 64 от ASh_XX
Названия из комментариев соберём, чтобы написать вторую часть. Спасибо за ваш интерес!
Фишеры icloud и где они обитают
12 мин
Внимание! Несмотря на то, что для работы над этой статьей я потратил не один десяток часов, но ты все еще можешь в ней поучаствовать.
Если у тебя чешутся руки — попробуй осилить этот текст.
История больше похожа на комикс, так как содержит более 50 изображений, поэтому аккуратнее, если ты с мобильного. А ещё — тут скорее всего нарушается 152-ФЗ, поэтому я не удивлюсь, если её удалят, так что читай быстрее. Эта история пока не имеет конца, но у нее есть начало…
Если у тебя чешутся руки — попробуй осилить этот текст.
История больше похожа на комикс, так как содержит более 50 изображений, поэтому аккуратнее, если ты с мобильного. А ещё — тут скорее всего нарушается 152-ФЗ, поэтому я не удивлюсь, если её удалят, так что читай быстрее. Эта история пока не имеет конца, но у нее есть начало…