• Мангровый лес: крутейший биом планеты



      Нормальные деревья растут на земле и уходят корнями вниз. Мангры в какой-то момент всё перепутали, и растут в воде, а корни уверенно запускают вверх, чтобы глотнуть воздуха. У нормальных деревьев экосистема строится вокруг, потому что много всяких опавших листьев и почвы рядом. Мангры — это космические корабли для почти всего биома — например, фауна старается жить в них, а не за их пределами. Потому за пределами дерева нет почвы и как-то мокро.

      И эти самые мангры делают острова плодородными.

      Но давайте начнём с клонирования кокосов. Или нет, даже с появления острова как такового. Или с того, почему дождю на островах течь интереснее, а рядом — нет.

      А потом в середине поста к острову приплывёт ветка мангра, и всё закрутится.
      Читать дальше →
    • Как уже снова не получить телефон (почти) любой красотки в Москве, или интересная особенность MT_FREE

      UPD0 14.03 8:21 — Телефон больше не получить. Остальные интересные данные пока остались.


      UPD1 14.03 10:39 — Дабы не очернять ребят из саппорта MaximaTelecom: Сообщил о ней я окольными путями, но раз пять переспросил и уточнил, дошло ли моё письмо до адресата — короче говоря, убедился, что оно у эфемерного (имена просили молчать) ответственного за вафли лица в метро. Я признаю, что это тупо, но цепочка "проблема в мосметро" → "у меня уже были связи со всяким мос, надо позвонить им" мне показалась весьма и весьма логичной в момент обнаружения уязвимости.


      UPD2 14.03 15:40 — Уязвимость была найдена в uid Antxak — суть в том, что в uid лежит md5 телефона без соли. Снова можно искать телефоны.


      Пример намайненного телефона

      image


      UPD3 14.03 18:55 — Уязвимый хэш в uid был заменен на тот же, что и в телефоне. Пока не раскололи последний.


      UPD4 15.03 20:51 — Значения и ключи почти всех полей были заменены на предположительно обфускованные.

      Читать дальше →
    • Как мы делали олимпиаду по SQL

        В самом начале осени 2016 года руководство поставило мне задачу подготовить техническую часть олимпиады по SQL. Обсудив ситуацию с коллегами, в том числе с бывшими, я был ткнут (ткнён?) в статью, где в декларативном стиле на SQL решалась задача по построению кратчайшего выхода из лабиринта. Собрав в одну кучку части запроса и запустив его на настоящей базе, я прошептал "магия!.." и понял, что олимпиаде быть.


        Думаю, что типичный читатель Хабра на олимпиадах хоть раз да бывал, но скорее в роли участника, а не организатора. Я тоже бывал на разных, и мне всегда было удивительно, почему на одних олимпиадах интересно, а на других тоска смертная. Могу показать, как выглядит этот театр с другой стороны занавеса, и как я старался, чтобы эта олимпиада оказалась из тех, которые интересные. Интриги, скандалы, расследования — ничего этого не будет. Зато расскажу как готовились задания, что от них ожидали и что получалось в результате.

        В кроличью норку сюда
      • Linux в одном файле для Macbook



          TL;DR Можно уместить полноценный Linux Live дистрибутив в один файл, если вкомпилировать в ядро initramfs с корневой файловой системой. Компьютеры с UEFI умеют загружать такой файл напрямую, без помощи загрузчика типа GRUB. У меня получилось уместить дистрибутив с программами aircrack-ng, reaver и драйверами для карт Wi-Fi в файл размером 12 мегабайт (наверняка можно еще меньше).

          Основные преимущества


          • Работает на любых компьютерах с UEFI — один и тот же файл будет работать на PC и Mac.
          • Не требует установки — достаточно скопировать один файл на EFI-раздел диска и указать в переменных NVRAM путь к этому файлу.
          • Не нужно устанавливать загрузчики GRUB, rEFInd — ядро Linux собранное с поддержкой EFI Stub можно грузить напрямую без промежуточного загрузчика.
          • Не нужны USB-флешки — скопированный на раздел EFI дистрибутив остается там навсегда, и его можно будет загрузить в любой момент. Он не занимает места на разделе основной системы, так как раздел EFI не используется в ОС.
          • Не изменяет процесс загрузки — систему можно загрузить один раз, без изменения порядка загрузки в настройках UEFI. Следующая перезагрузка компьютера загрузит обычную операционную систему. Никаких следов Linux в очередности загрузки не останется.
          • Совместимо с шифрованием диска FileVault и т.д. — файл копируется на EFI System Partition, специальный зарезервированный раздел диска. В компьютерах Mac его размер около 200 мегабайт. Он выделен под Boot Camp и обычно не используется
          Читать дальше →
        • SVG маски и вау-эффекты: о магии простыми словами



            О существовании SVG знают все, кто занимается фронтендом. Этой технологии уже не один год, про нее уже не раз писали на хабре. Но есть один момент. Частенько на разных ресурсах, в том числе и на тостере, начинающие задают вопросы о создании определенного семейства анимаций на сайте и получают довольно странные ответы от “бывалых” разработчиков. Возникает ощущение, что в такие моменты все думают в контексте HTML+CSS+JS и просто забывают о существовании SVG, предлагая все рисовать на canvas и попутно давая обещания дать тому, кто это придумал, клавиатурой по голове. Но этот путь (рисование на canvas) зачастую слишком сложен относительно решаемой задачи. В предыдущей статье мы обсуждали идеи создания частичных вау-эффектов, а в этой поговорим о масках и посмотрим пару анимаций, которые с их помощью можно сделать.
            Читать дальше →
          • Deep Learning in Natural Language Processing

              image

              Лаборатория нейронных сетей и глубоко обучения МФТИ открывает курс Deep Learning in Natural Language Processing. Он стартует 21 февраля и будет проходить каждую среду в 19:00 в 105 БК, необходимо зарегистрироваться. Длительность курса — 10 занятий, их проведёт сотрудник лаборатории Валентин Малых (madrugado). Курс открыт для всех желающих углубить свои знания в Deep Learning и Natural Language Processing. Занятия также будут транслироваться в режиме онлайн в Youtube-канале лаборатории.
              Читать дальше →
              • +18
              • 7,9k
              • 2
            • Руководство по аналитике для основателя стартапа

              • Перевод
              • Tutorial


              Вам нужна аналитика.


              Я совершенно уверен в этом, потому что сегодня всем нужна аналитика. Не только продуктовой команде, не только маркетингу или финансам, но и продажам, доставке, сегодня каждому в стартапе нужна аналитика. Аналитика помогает принимать все решения, от стратегических до тактических, как управляющим, так и рядовым сотрудникам.


              Это пост о том, как создать аналитику в вашей организации. Речь пойдёт не о том, какие метрики отслеживать (об этом уже написано много хороших постов), а о том, как сделать так, чтобы ваш бизнес их генерировал. На практике выясняется, что на вопрос реализации —  как мне построить бизнес, который добывает данные для принятия решений? —  ответить гораздо труднее.

              Читать дальше →
              • +21
              • 14,9k
              • 5
            • DPI мобильных операторов: от бесплатного интернета до раскрытия номера и местоположения

                Системы глубокого анализа трафика (Deep Packet Inspection, DPI) — программно-аппаратные комплексы для классификации проходящего интернет-трафика по типу данных (веб-страница, документ, аудио, видео), протоколу (HTTP, BitTorrent, VoIP/SIP) и конкретным программам (Skype, WhatsApp), зачастую обладающие дополнительной функциональностью. Системы DPI распространены и используются по всему миру продвайдерами проводного и беспроводного доступа.

                Мобильные операторы используют системы глубокого анализа трафика, прежде всего, для приоритизации разного контента в интернете (QoS), чтобы можно было одновременно скачивать большой файл и смотреть видео на YouTube, и чтобы один пользователь сотовой сети, активно использующий интернет, не создавал проблем другим пользователям. Операторы используют DPI примерно с начала двухтысячных, с приходом UMTS (3G), чтобы более-менее честно разделять беспроводной канал ограниченной пропускной способности.

                Мобильные операторы используют и другие возможности DPI, например, ускорение TCP и HTTP-трафика (TCP PEP, Performance-enhancing Proxy), для ускорения интернета в мобильных сетях и идентификации пользователей веб-сайтами. Если попытаться зайти в личный кабинет оператора с телефона, на многих операторах он откроется сразу, без необходимости ввода логина и пароля. Или, что можно было встретить лет 5 назад, простой заход на подозрительный веб-сайт или клик по рекламному баннеру из Android-игры оборачивался автоматической подпиской на платную услугу, о чем можно было узнать из СМС-сообщения.
                Читать дальше →
              • Отслойка сетчатки — что о ней важно знать

                  Отслойка сетчатки является грозным глазным заболеванием, которое без хирургического лечения чаще всего приводит к полной потере зрения.

                  Глаз человека упрощенно можно сравнить с устройством фотоаппарата, объектив которого – роговица с хрусталиком, а фотопленка – сетчатка, чрезвычайно сложно устроенная многослойная структура, которая с помощью нервных волокон соединена со зрительными отделами головного мозга. Поэтому можно считать, что сетчатка – это часть мозга.

                  Отслойка сетчатки чаще всего застает пациента врасплох – до ее появления у человека может быть отличное зрение и никаких жалоб он может не предъявлять. Скорость распространения процесса довольно стремительна, лечение в преимущественном большинстве случаев хирургическое.

                  Отслойка сетчатки глаза

                  Своевременность операции дает шанс на сохранение зрения, в Германии по стандарту операция должна быть выполнена в течение 24 часов после постановки диагноза. В России таких стандартов нет. Но каждому пациенту я говорю, что отслойка сетчатки «как свежезамороженная рыба» – через пару дней уже «не первой свежести».
                  Читать дальше →
                • Как правильно читать состав косметики



                    Ингредиенты перечисляются по понижению массовой доли: что ближе к началу, того больше по массе. Вещества, которых в составе менее 1% считаются равнозначными для этого списка, и их можно указывать после основных в любом порядке. В РФ по закону указывается всё без исключения (нет ситуации, когда при малом содержании можно пропускать вещество), и на практике это соблюдается. Почему — чуть ниже.

                    Нельзя писать «консервант» без указания, что это именно такое, нельзя писать «минеральный комплекс кислот» без детализации, что это такое, но можно писать коммерческие названия. То есть регистрируете свой минеральный комплекс кислот или консервант как товарный знак — и пишете уже его. Можно писать химические наименования или торговые, причём можно и латиницей, и на русском. В непонятных веществах, например, часто прячут то, что мнительные женщины не хотят увидеть на этикетке.
                    Читать дальше →
                  • Список лучших инструментов для web-анимации

                    image

                    Список лучших инструментов для web-анимации. SVG/CSS/Canvas/DOM анимация + GUI инструменты для генерации кривых Безье и CSS анимации.

                    В будущем список будет дополнен книгами и видео-курсами по web-анимации. Если вы заметите, что какого-то стоящего инструмента не присутствует — пожалуйста, напишите об этом и я добавлю его.

                    Также буду рад отзывам на инструменты из текущего списка, с помощью ваших отзывов я смогу сделать описание инструментов более полным.

                    Читать дальше →
                  • Как обложить сервис метриками и не облажаться

                      Меня зовут Евгений Жиров, я разработчик в инфраструктурной команде Контур.Экстерна. Этот пост — текстовая версия моего доклада с недавнего митапа Perm Tech Talks.


                      У нас в команде 200 микросервисов, которые должны быть отказоустойчивыми, чтобы пользователи не замечали никаких проблем. А проблемы, конечно, возникают. Поэтому мы собираем метрики, чтобы знать, как дела у конкретных сервисов и у системы в целом. Метрики помогают вовремя среагировать и всё починить.


                      Метрики можно собирать, хранить и визуализировать. И есть много способов собрать метрики неправильно, нарисовать с ошибками и сделать неверные выводы.


                      Я расскажу о нескольких примерах из своей работы и поделюсь советами.


                      Какие бывают метрики?



                      Метрика requests.count.byhost.*

                      Читать дальше →
                      • +28
                      • 14,1k
                      • 8
                    • “Без data engineer-а ценность модели аналитика стремится к нулю” — интервью с дата инженером Николаем Марковым

                        Привет, Хабр! Data Engineering становится все более популярным, многие компании постепенно открывают соответствующие вакансии. В связи с этим мы взяли интервью у Senior Data Science Engineer, Aligned Research Group LLC и преподавателя на программах “Специалист по большим данным” и “Data Engineer” Николая Маркова о том, что должны уметь data scientist-ы и data engineer-ы, чего им чаще всего не хватает и как найти свое место в анализе данных.


                        Читать дальше →
                      • Что за чёрт, Python

                        • Перевод


                        Недавно мы писали о забавных, хитрых и странных примерах на JavaScript. Теперь пришла очередь Python. У Python, высокоуровневого и интерпретируемого языка, много удобных свойств. Но иногда результат работы некоторых кусков кода на первый взгляд выглядит неочевидным.


                        Ниже — забавный проект, в котором собраны примеры неожиданного поведения в Python с обсуждением того, что происходит под капотом. Часть примеров не относятся к категории настоящих WTF?!, но зато они демонстрируют интересные особенности языка, которых вы можете захотеть избегать. Я думаю, это хороший способ изучить внутреннюю работу Python, и надеюсь, вам будет интересно.


                        Если вы уже опытный программист на Python, то многие примеры могут быть вам знакомы и даже вызовут ностальгию по тем случаям, когда вы ломали над ними голову :)

                        Читать дальше →
                      • Социнжиниринг в военной пропаганде



                          Во время Второй мировой англичане достали личные дела командиров немецких подлодок. Вроде бы не очень важная информация для военных целей – лодки-то уже вышли на задания, что им сделаешь. Но к делу подключились тёртые специалисты по пропаганде. У союзников были ежедневные радиопередачи, и вот пример:
                          — Мы обращаемся к вам, командир подводной лодки «U-507» капитан-лейтенант Блюм. С вашей стороны было очень опрометчиво оставить свою жену в Бремене, где в настоящее время проводит свой отпуск ваш друг капитан-лейтенант Гроссберг. Их уже, минимум, трижды видели вместе в ресторане, а ваша соседка фрау Моглер утверждает: ваши дети отправлены к матери в Мекленбург…
                          Цитата из «Операция «Гроза» — И. Бунич
                          Красота, правда? И, главное, в точности соответствует одному из базовых методов социнжинирингового проникновения внутрь инфраструктуры при направленной атаке.

                          В общем, так получилось, что многие современные методы пиара пошли от наших, английских и немецких разработок времён Второй Мировой войны. И пока я писал книгу про то, как рассказывать людям о своей компании, понадобилось залезть для подтверждения и поднять пару исторических фактов. Заодно вскрылся отличный слой совершенно диких — ну или прекрасных — историй и методик убеждения. Про них и расскажу.
                          Читать дальше →
                        • Как понять, что ваша предсказательная модель бесполезна

                          При создании продуктов на основе машинного обучения возникают ситуации, которых хотелось бы избежать. В этом тексте я разбираю восемь проблем, с которыми сталкивался в своей работе.


                          Мой опыт связан с моделями кредитного скоринга и предсказательными системами для промышленных компаний. Текст поможет разработчиками и дата-сайнтистам строить полезные модели, а менеджерам не допускать грубых ошибок в проекте.


                          image


                          Этот текст не призван прорекламировать какую-нибудь компанию. Он основан на практике анализа данных в компании ООО "Ромашка", которая никогда не существовала и не будет существовать. Под "мы" я подразумеваю команду из себя и моих воображаемых друзей. Все сервисы, которые мы создавали, делались для конкретного клиента и не могут быть проданы или переданы иным лицам.


                          Какие модели и для чего?


                          Пусть предсказательная модель — это алгоритм, который строит прогнозы и позволяет автоматически принимать полезное для бизнеса решение на основе исторических данных.

                          Читать дальше →
                          • +34
                          • 16,2k
                          • 5
                        • Пульсации яркости: факты, механизмы и нормы

                            Пульсации светового потока источников света ограничиваются санитарными нормами, и с каждым годом уменьшаются. А на пульсации яркости экранов санитарных норм нет. При том, что в мониторы и телефоны люди уже смотрят дольше, чем на офлайн-сцены.


                            Разберемся, как и на что влияет пульсация яркости наблюдаемых сцен, и как в действительности пульсируют источники света и экраны.
                            Читать дальше →
                          • Австралия: небольшая реколонизация Земли

                              Побывать в «ничейных землях» пустынь Австралии — это почти как попасть в научно-фантастический роман про колонизацию экзопланеты. Только взаправду. Белые люди системно пришли всего около 200 лет, и за это время успела сложиться молодая, эффективная и очень интересная инфраструктура. Так что ощущения просто космические.

                              В Австралии опасно. Не так, чтобы всё живое хотело вас убить, но близко. Смертей десятки в год, что близко не лежало в сравнении с ДТП, но зато они очень, скажем так, изобретательные. Например, к воде вообще нельзя подходить — там, в зависимости от водоёма, крокодилы, ядовитые кубомедузы, акулы и змеи. Благодаря одному немецкому туристу, последние слова которого были «Да нет тут никаких крокодилов», знаки об их наличии по шоссе Стюарта теперь на двух языках. А благодаря одной женщине, решившей искупаться во время менструации, мы теперь знаем, что акулы умеют подниматься вверх по течению ручья на 2 километра. Хворост около трассы для биваков туристов собирают строго гиды — отлучаться с асфальта опасно для жизни, потому что в топ-20 самых ядовитых змей мира всего 2 строки принадлежат неместным. К огромному неудовольствию австралийцев.


                              Дорога по берегу реки. Выходить из машины не рекомендуется. Последний раз тут сожрали мужика, решившего ополоснуть ведро.

                              А ещё Австралия постоянно либо затоплена, либо горит, либо находится в короткой передышке между этими состояниями. Но давайте начну с самого начала. Сначала мы оказались в Nowhere Land Северной территории.
                              Читать дальше →
                            • Как устроена и как работает слеза, и что бывает, когда глаз сохнет

                                Я около 5 лет занимаюсь биополимерами для лечения глаз. В конце расскажу немного, что такого удивительного есть в России в этом направлении.

                                Но начнём с того, что слёзная жидкость — очень интересная штука. Дело в том, что она выравнивает поверхность глаза для получения гладкой линзы, работает «антивирусом» на входе в организм через глаз, поддерживает ещё несколько сложных реакций, помимо иммунных.

                                Она работает барьером от пыли, защищает глаз от царапин как смазка, убивает экзогенные бактерии своими иммунными реакциями. При движении век жидкость размазывается по поверхности роговицы и образует перикорнеальную плёнку, которая выравнивает переднюю линзу глаза. Это важно, потому что неровности от 0,3 мкм² по площади уже хорошо заметны и искажают зрение. Кроме того, влажность важна для слоя неороговевающего эпителия глаза — благодаря этому слою наши глаза в конечном итоге могут получать достаточно кислорода.

                                Вопреки распространённому мнению, слёзная железа делает довольно мало для постоянной защиты глаза. Это своего рода резервный накопитель для жидкости, необходимой для промывания глаза, либо для повышения иммунитета глаза (к примеру, в результате эмоционального потрясения). Основная же слёзная жидкость, которая делает глаз влажным постоянно, поступает из относительно небольших желез Краузе и Вольфринга.
                                Читать дальше →
                              • Пресбиопия: «климакс» глаз у мужчин и женщин


                                  Первые симптомы — ухудшение зрения вблизи. Объекты при близком рассмотрении расплываются. Женщина с трудом справляется с маникюром. Мужчина едет на рыбалку и там понимает, что червяка он насаживает с трудом. А при этом дальнее зрения как бы не изменилось. Традиционно это состояние называют «болезнью коротких рук» — вроде и зрение хорошее, а вот длины рук не хватает для четкости вблизи. Это у тех, кому за 40.

                                  Это — пресбиопия. С возрастом зрение человека в плане легкости фокусировки на разные расстояния ухудшается. Точные причины такой «амортизации» зрительного аппарата ещё исследуются: известно, например, что этот механизм работает только у высших приматов. У собак и кошек пресбиопии нет, у обезьян есть. Кстати, отчасти поэтому пресбиопию сложно изучать: для исследования динамической рефракции (аккомодации) нужен живой объект.

                                  Хрусталик уплотняется и становится менее эластичным, страдает связочный аппарат, мышцы теряют способность действовать как раньше – возникает пресбиопия. До недавнего времени единственно верной признавалась теория аккомодации немецкого врача Гельмгольца, выдвинутая еще в 19 веке, которая затрагивает только хрусталик и его связочный аппарат, но более свежие исследования говорят, что участвуют все структуры глаза – роговица, стекловидное тело и даже сетчатка. Итог пресбиопии — утрата возможности аккомодировать, то есть способности рассматривать объекты на разные расстояния без дополнительной коррекции.
                                  Читать дальше →