Всем привет! Меня зовут Кирилл, я CTO Adapty Большая часть нашей архитектуры находится на AWS, и сегодня я расскажу о том, как мы сократили расходы на сервера в 3 раза за счёт использования спотовых инстансов на продакшн окружении, а также о том, как настроить их автомасштабирование. Сначала будет обзор того, как это работает, а потом подробная инструкция для запуска.

Что такое спотовые инстансы?

Спотовые инстансы — это сервера других пользователей AWS, которые в данный момент простаивают, и они продают их с большой скидкой (Amazon пишет до 90%, по нашему опыту ~3x, варьируется в зависимости от региона, AZ и типа инстанса). Основное их отличие от обычных в том, что они могут выключиться в любой момент. Поэтому мы долгое время считали, что их нормально использовать для дев окружений, либо для задач по расчёту чего-то, с сохранением промежуточных результатов на S3 или в базу, но не для прода. Существуют сторонние решения, которые позволяют использовать споты на проде, но там для нашего кейса много костылей, поэтому мы не внедряли их. Подход, описанный в статье, работает полностью в рамках стандартного функционала AWS, без дополнительных скриптов, кронов и тд.

Мы часто находим классные англоязычные статьи, которые кажутся полезными нашей команде, и решили, что было бы здорово делиться с читателями Хабры их переводом. Сегодня мы подготовили перевод статьи Тристана Хэнди, основателя компании Fishtown Analytics.

На Хабре периодически появляются обзоры курсов по машинному обучению. Но такие статьи чаще добавляют в закладки, чем проходят сами курсы. Причины для этого разные: курсы на английском языке, требуют уверенного знания матана или специфичных фреймворков (либо наоборот не описаны начальные знания, необходимые для прохождения курса), находятся на других сайтах и требуют регистрации, имеют расписание, домашнюю работу и тяжело сочетаются с трудовыми буднями. Всё это мешает уже сейчас с нуля начать погружаться в мир машинного обучения со своей собственной скоростью, ровно до того уровня, который интересен и пропускать при этом неинтересные разделы.

В этом обзоре в основном присутствуют только ссылки на статьи на хабре, а ссылки на другие ресурсы в качестве дополнения (информация на них на русском языке и не нужно регистрироваться). Все рекомендованные мною статьи и материалы я прочитал лично. Я попробовал каждый видеокурс, чтобы выбрать что понравится мне и помочь с выбором остальным. Большинство статей мною были прочитаны ранее, но есть и те на которые я наткнулся во время написания этого обзора.

Обзор состоит из нескольких разделов, чтобы каждый мог выбрать уровень с которого можно начать.
Для крупных разделов и видео-курсов указаны приблизительные временные затраты, необходимые знания, ожидаемые результаты и задания для самопроверки.

Здравствуйте, сегодня я хотел бы вам рассказать о том, как обновить проект с версии 1.9 до 2.0. Какие основные нюансы нужно учесть и переписать, дабы проект стартовал на новой версии Django.

Первый шаг

Это обновление Django до версии 2.0, а также обновление всех сопутствующих ваших пакетов, которые используются в проекте, т.к. я использую виртуальное окружение и requirements.txt, то для меня это один способ, для вас может быть другой.

После того как вы обновили все пакеты, не стоит запускать проект, он всё равно не запустится, поэтому сразу приступим к исправлению всех основных моментов, дабы проект стартанул.

Автор материала рассказывает, как ему удалось извлечь криптовалюту из сломанного ноутбука и кошелька с утерянным паролем.



Еще какой-нибудь месяц назад я и думать не мог, что мой октябрь будет таким. И все же вот он я, лечу в Гонконг в надежде, что мне удастся извлечь биткоины стоимостью 200 тыс. долларов из сломанного ноутбука.

Четыре года назад мы с моим приятелем и журналистом Майком (имя изменено) жили в Гонконге и решили тогда вложиться в Биткоин. Я купил 4 монеты, а он все 40. Мне эта инвестиция обошлась примерно в $2 тыс., а Майк заплатил $15 тыс. В те времена покупка биткоина считалась невиданной спекуляцией, но годы шли, монеты росли в цене и дальновидное решение Майка все больше становилось все более оправданным. Я с тех пор переехал в Лос-Анжелес, время от времени отправляя Майку сообщения об огромном росте наших инвестиций.

Но что-то было не так с ответами которые я от него получал. Они не были наполнены ожидаемым энтузиазмом. У него было в 10 раз больше биткоинов. Неужели это никак его не волновало? В итоге, когда цена 1 монеты перевалила за отметку 4 тыс. долларов этим летом, я отправил ему сообщение: «У тебя же все еще есть те биткоины?» И тут, наконец, последовало признание: «Может быть, уже и нет...»

И вот что случилось. В 2013 году мы с Майком вполне обоснованно побеспокоились о целости и сохранности своего вложения. Сначала он держал свои биткоины на LocalBitcoins. Обменники вроде этого обычно хорошо подходят для покупки или продажи биткоинов, но хранить их там на постоянной основе не следует. Все до сих пор помнят пожалуй самый печально известный скандал вокруг биткоина, связанный с располагавшейся некогда в Японии биржей Mt. Gox, действия которой обернулись для ее пользователей потерей 850 тыс. биткоинов.

Рис. 1. Беспилотный автомобиль в центре ничего не способен предпринять для обеспечения гарантированной безопасности. В случае неадекватных действий водителя-человека из соседней машины авария неизбежна, а потом — многомесячное расследование ДТП с пристальным вниманием прессы к аварии, где «автопилот убил человека». Никакое предварительное обучение нейросети не поможет обезопасить машину в такой ситуации. Единственное решение проблемы — заранее предусмотреть правила дорожного движения для робокаров, чтобы исключить возникновение такой ситуации в принципе

В последние годы автопроизводители и IT-компании участвуют в гонке, кто первым разработает полностью беспилотный автомобиль, способный действовать без участия человека в любых ситуациях (SAE Level 5). Массовое распространение таких автомобилей обещает грандиозные экономические и социальные преимущества для человеческого общества, среди них — кардинальное уменьшение смертности на дорогах, уменьшение количества инвалидов, более гибкая и эффективная транспортная система, доступная для всех.

Аннотация: Рассказ о том как я подошел к процессу оздоровления своего организма с «точки зрения химика» и что из этого получилось. Вкратце :– сильно похудел пока на 28кг(процесс сильно замедлился и вполне управляем), многие элементы физического состояния сильно улучшились. В общем – много плюсов, особенно при сидячей работе, как это и бывает при работе с компьютерами. Неожиданно – что удалось обойтись без угнетающих и неприемлемых для меня диет. Минусы – для этого процесса мне пришлось выделять очень много времени. Особенно в начале, когда организм еще не настроился должным образом. Бывает трудно заснуть, Однако, у меня получилось то что получилось, и это оказалось много лучше того, что я ожидал.

Цель написания:Среди знакомых эмоциональное воздействие моего примера расходится кругами, естественно, все хотят знать Секрет (секрет Полишинеля на самом деле). К сожалению, если объяснять в двух словах суть моих действий – ходьба и питание, хоть и досыта, но не часто, это приводит только к непониманию и отрицанию.-«Для меня это невозможно». Для меня это тоже было невозможно, вот потому-то я и решил написать эту статью, в которой постараюсь изложить мои рассуждения, предпринятые действия и способы облегчить процессы расщепления накопленных организмом жиров, при этом не страдая от голода и с минимальным риском для здоровья.

Если Вам это интересно – пожалуйте под кат, обещаю много букв и мало картинок.

Сейчас многие покупают точки доступа 802.11n, но хороших скоростей достичь удается не всем. В этом посте поговорим о не очень очевидных мелких нюансах, которые могут ощутимо улучшить (или ухудшить) работу Wi-Fi. Всё описанное ниже применимо как к домашним Wi-Fi-роутерам со стандартными и продвинутыми (DD-WRT & Co.) прошивками, так и к корпоративным железкам и сетям. Поэтому, в качестве примера возьмем «домашнюю» тему, как более родную и близкую к телу. Ибо даже самые администые из админов и инженеристые из инженеров живут в многоквартирных домах (или поселках с достаточной плотностью соседей), и всем хочется быстрого и надежного Wi-Fi.
[!!]: после замечаний касательно публикации первой части привожу текст целиком. Если вы читали первую часть — продолжайте отсюда.

После статьи о краткосрочных перспективах “сланцев” я бы хотел продолжить путешествие в будущее: когда же нефть уйдёт на покой? Чтобы говорить о столь далёком будущем имеет смысл обратиться уже к тому как происходят системные переходы и распространения инноваций.

Скорость распространения инноваций

В фильме “Матрица” есть эпизод, где Морфеус философствует о том, что виртуальный мир подчиняется собственным законам, кардинально отличающимся от законов реального мира. И сегодня это видно как никогда: в цифровом мире концепции и продукты расцветают и умирают за считанные годы, иногда дни. Например, дневная аудитория игры “Pokemon Go” за две недели достигла половины уровня твиттера, Фейсбук за пять лет охватил 10% мирового населения, а компания Майкрософт силой перевела сотню миллионов пользователей c Windows 7 на Windows 10 изменив механизмы обновления. Вследствие этого создаётся ложное впечатление, что быстр и весь остальной мир — со дня на день планета заполнится электромобилями, солнечными панелями и биткоинами.

В телеграм-канале tnews_ru опубликовали инструкцию по обходу возможной блокировки Telegram — популярного мессенджера, разработанного командой Павла Дурова. В статье описывается способ обхода, который основывается на использовании сетевого протокола SOCKS5. Этот протокол незаметно пересылает пакеты данных от клиента к серверу через прокси-сервер.

В комментариях к моим постам об ограничении калорий (1, 2) пару раз прозвучала мысль, что было б неплохо, если бы я привел данные по исследованиям и многдневного полного голодания. Что ж, попытаюсь.

Скажу сразу, что в сети очень много восторженных отзывов о том, как кому-то помогло длительное голодание (1, 2, 3). Отрицательных же (или хотя бы нейтральных) в разы меньше. Думаю, тут дело не только в мега-полезности голодания, но и в reporting bias — те, кому от голодания стало хуже, не особо горят желанием делиться опытом: ведь мало того, что неприятно рассказывать о своих неудачах, так еще и есть риск оскорбить религиозные чувства адептов голодания, которые расскажут, что ты всё делал неправильно, и вообще врёшь.

Наиболее взвешенная, на мой взгляд, научная статья по проблематике голодания была написана ещё в 1982 году. В её абстракте чётко изложены основные пункты, некоторые из которых я заметил и на себе:

"Какая форма заявления должна быть? Куда подавать?"

Я задал (кеш гугла) такой вопрос на Тостере. Его удалили через некоторое время, так как он "вне тематики ресурса". Далее я попросил у модератора разъяснить поподробней и он ответил: "Это вопрос дискуссионный и на него не существует однозначного ответа".

За время пока вопрос существовал я получил несколько ответов:

1 Обратиться в Конституционный суд.
2 Оформить визу и выехать из юрисдикции полномочий РосКомНадзора.

Задав такой же вопрос интернету, оказалось, что не я один задался этим вопросом. Пользователь zakabum сайта RuTracker.org выложил на форуме образец заявления (зеркало) которое необходимо подать провайдеру. А также выкладывает новые свои заявления в ходе переписки со своим провайдером.

Мы в Skyeng очень много внимания уделяем анализу данных. Он позволяет нам правильно планировать работу и распределять ресурсы между различными задачами. Сегодня разработчик аналитики Глеб Сологуб расскажет, как он собрал для нас инфраструктуру сбора и анализа данных по всему нашему зоопарку сервисов и приложений, уложившись в годовой бюджет 12 тыс долларов.

Различные способы ввода влияют на углы наклона, но нейросеть распознаёт ПИН-код в любом случае после сбора данных скриптом

Как известно, в любом смартфоне установлено множество датчиков — GPS, свет, датчики ориентации, движения и ещё около 20 сенсоров — все они непрерывно выдают данные, чтобы смартфон мог взаимодействовать с окружающим физическим миром. У разработчиков есть несколько способов доступа к информации с этих сенсоров, в том числе через мобильный браузер, согласно официальным Javascript API.

Именно этот способ открывает широкое поле возможностей для удалённого взлома. Например, специалисты из Школы информатики при Университете Ньюкасла разработали скрипт PINlogger.js, с помощью которого через браузер можно определять, какие кнопки нажимает пользователь на экранной клавиатуре. Скрипт считывает информацию с сенсоров наклона мобильного устройства при каждом нажатии. Удивительно, но в некоторых браузерах (Safari) запущенный в браузере скрипт продолжает собирать данные даже с залоченного экрана. Аналогично он работает, если на соседней вкладке вы набираете пароль в онлайн-банкинге, не закрыв предыдущую вкладку.

Все компьютеры Apple имеют похожий дизайн. Многие модели одной серии невозможно отличить по внешним признакам. Этим пользуются мошенники, которые завышают год выпуска или технические характеристики, с целью продать дороже Мак. Я много лет работаю мастером по ремонту компьютеров Apple, встречал и случаи такого мошенничества. Всех кому интересно, как не дать себя обмануть при покупке б/у Мака, приглашаю под кат.

Алекс Корб — нейрофизик, доктор наук. Его докторская диссертация, защищенная в Калифорнийском университете Лос-Анджелеса, касалась темы депрессий как и многие статьи.

Книга подходит для людей, подверженных излишней самокритичности и самокопаниям, а также для тех кто хочет улучшить качество жизни.

Стоит ли вам читать эту книгу — я не знаю, но постараюсь дать информацию достаточную для принятия решения.

В этой статье я разберу книгу Алекса Корба «Восходящая спираль» и поделюсь основными идеями из нее, а стоит ли она вашего времени — решать вам.

Как все начиналось

Этим летом я участвовал в разработке бота Datatron, предоставляющего доступ с открытыми финансовыми данными РФ. В какой-то момент я захотел, чтобы бот мог обрабатывать голосовые запросы, и для реализации этой задачи решил использовать наработками Яндекса.

Мы сейчас очень довольны внутренним устройством приложения Aword: его легко поддерживать, развивать и тестировать, а деплой новых версий происходит одновременно на всех платформах. Но так было не всегда. Сегодня мы расскажем о том, как мы шли по пути универсализации, наступая на грабли и набираясь опыта.

Дерево решений программы DeepStack в хедс-апе (игре один на один) безлимитного холдема на префлопе и флопе

Пионер современной теории игр Джон фон Нейман говорил: «Реальная жизнь вся состоит из блефа, из маленьких приёмов обмана, из размышлений о том, каких действий ожидает от тебя другой человек. Вот что представляет игра в моей теории» (цитата из 13-й серии документального сериала «Возвышение человечества»).

Другими словами, Джон фон Нейман предвидел, что для создания сильного ИИ компьютер должен научиться играть в игры с неполной информацией, которые наиболее соответствуют человеческому поведению в реальной жизни. Такие игры как покер.

Интернет-платформы вроде Amazon Mechanical Turk позволяют компаниям разбивать работу на небольшие задачи и предлагать их людям со всего света. Демократизируют ли они работу, или же эксплуатируют беспомощных?

Каждое утро после пробуждения Кристи Миланд [Kristy Milland] запускает свой компьютер в Торонто, логинится в Amazon Mechanical Turk и ждёт, когда раздастся сигнал звоночка.

Amazon Mechanical Turk (AMT), существующий уже более 10 лет, это онлайн-платформа, где люди могут за деньги выполнять небольшие задачи. Миланд ищет публикации с предложениями задач – в системе они называются «HIT» – и уведомления сообщают ей, когда задачи соответствуют её критериям. «Уведомления приходят раз в минуту,- говорит Миланд. – Я отрываюсь от своих дел и смотрю, хороший ли это HIT, перед тем, как принять предложение о работе».