• Чего бы почитать. Малоизвестные и замершие научно-популярные статьи и блоги

    Здесь я постарался собрать малоизвестные статьи и блоги, которые заслуживают больше просмотров.

    myak555 Мир сквозь нефтяные очки, автор нефтяник. Десятки статей, где популярно изложено о пике ресурсов и world3, мальтузианстве и уравнениях Ферхюльста, нефти и сланцах. Начните с этого поста.

    Роберт Ибатуллин, Вымышленные миры
    Старая страничка, есть любопытные прогнозы на ближайшие десятилетия. Будущее 2008 года.

    astronet.ru Астрономическая научная картинка Больше ста популярных статей о новых наблюдениях и достижениях астрономии, начиная с 2003 до 2014 года. Начиная с 2010 становится спорадическим, а потом замерзает. Сейчас нечто подобное можно найти на elementy.ru

    flavorchemist Химия вкуса, пищевая промышленность. Предупреждение: После чтения мороженое и йогурты станут менее вкусными.
    Читать дальше →
    • +25
    • 18.6k
    • 6
  • Маскировка UDP трафика в TCP/ICMP при помощи udp2raw



      В данной статье речь пойдет про утилиту udp2raw, которая позволяет обходить межсетевые экраны, настроенные на блокировку протокола UDP, используя RAW сокеты, а также туннелировать любые другие протоколы при работе в связке с OpenVPN.
      Читать дальше →
    • Пятничный JS: reqyire.js и очепятко-ориентированное программирование

        И вновь я приветствую уважаемых хабражителей в своей не то чтобы постоянной, но повторяющейся рубрике. Сегодня мы с вами поговорим о том, как стать более эффективным программистом под Node.js. А также, как вы могли догадаться из названия, об опечатках и их роли в этом процессе. Немного кода для привлечения внимания

        const reqyire = require("reqyire");
        const http = reqyire("htpp");
        
        const server = http.creteServer((req, res) => {
          res.statusCode = 200;
          res.setHeader('Content-Type', 'text/plain');
          res.end('Hello World\n');
        });
        
        server.listem(3000, "127.0.0.1");
        
        Вы ведь заметили, что здесь какой-то подвох?
      • Выключаем Intel ME 11, используя недокументированный режим



          В ходе исследования внутренней архитектуры Intel Management Engine (ME) 11-й версии был обнаружен механизм, отключающий эту технологию после инициализации оборудования и запуска основного процессора. О том, как мы нашли этот недокументированный режим, и о его связи с государственной программой построения доверительной платформы High Assurance Platform (HAP) мы расскажем в этой статье.

          Авторы предупреждают, что использование данных знаний на практике может повлечь за собой повреждение вычислительной техники, и не несут за это никакой ответственности, а также не гарантируют работоспособность или неработоспособность чего-либо и не рекомендуют экспериментировать без наличия SPI-программатора.
          Читать дальше →
        • Доступно о криптографии на эллиптических кривых

          • Translation
          image


          Тем, кто знаком с криптографией с открытым ключом, наверно известны аббревиатуры ECC, ECDH и ECDSA. Первая — это сокращение от Elliptic Curve Cryptography (криптография на эллиптических кривых), остальные — это названия основанных на ней алгоритмов.

          Сегодня криптосистемы на эллиптических кривых используются в TLS, PGP и SSH, важнейших технологиях, на которых базируются современный веб и мир ИТ. Я уже не говорю о Bitcoin и других криптовалютах.

          До того, как ECC стала популярной, почти все алгоритмы с открытым ключом основывались на RSA, DSA и DH, альтернативных криптосистемах на основе модулярной арифметики. RSA и компания по-прежнему популярны, и часто используются вместе с ECC. Однако несмотря на то, что магия, лежащая в фундаменте RSA и подобных ей алгоритмов легко объяснима и понятна многим, а грубые реализации пишутся довольно просто, основы ECC всё ещё являются для большинства людей загадкой.

          В этой серии статей я познакомлю вас с основами мира криптографии на эллиптических кривых. Моя цель — не создание полного и подробного руководства по ECC (в Интернете полно информации по этой теме), а простой обзор ECC и объяснение того, почему её считают безопасной. Я не буду тратить время на долгие математические доказательства или скучные подробности реализации. Также я представлю полезные примеры с визуальными интерактивными инструментами и скриптами.
          Читать дальше →
        • Автоматизация рыбной ловли для World of Warcraft

          Познакомился с World of Warcraft очень давно и люблю его весь, но одна вещь больше всего не давала мне покоя — рыбная ловля. Это нудное повторяющееся действие, где ты просто нажимаешь на кнопку рыбной ловли и тыкаешь на поплавок раз в 5-15 секунд. Мой навык разработки рос, а ситуация с рыбной ловле так и не улучшалась с каждым годом что я играл, поэтому я решил убить двух зайцев сразу — начать осваивать python и всё же сделать бота для себя.
          Читать дальше →
        • Автономный способ обхода DPI и эффективный способ обхода блокировок сайтов по IP-адресу

            Провайдеры Российской Федерации, в большинстве своем, применяют системы глубокого анализа трафика (DPI, Deep Packet Inspection) для блокировки сайтов, внесенных в реестр запрещенных. Не существует единого стандарта на DPI, есть большое количество реализации от разных поставщиков DPI-решений, отличающихся по типу подключения и типу работы.

            Существует два распространенных типа подключения DPI: пассивный и активный.

            Пассивный DPI

            Пассивный DPI — DPI, подключенный в провайдерскую сеть параллельно (не в разрез) либо через пассивный оптический сплиттер, либо с использованием зеркалирования исходящего от пользователей трафика. Такое подключение не замедляет скорость работы сети провайдера в случае недостаточной производительности DPI, из-за чего применяется у крупных провайдеров. DPI с таким типом подключения технически может только выявлять попытку запроса запрещенного контента, но не пресекать ее. Чтобы обойти это ограничение и заблокировать доступ на запрещенный сайт, DPI отправляет пользователю, запрашивающему заблокированный URL, специально сформированный HTTP-пакет с перенаправлением на страницу-заглушку провайдера, словно такой ответ прислал сам запрашиваемый ресурс (подделывается IP-адрес отправителя и TCP sequence). Из-за того, что DPI физически расположен ближе к пользователю, чем запрашиваемый сайт, подделанный ответ доходит до устройства пользователя быстрее, чем настоящий ответ от сайта.
            Читать дальше →
          • Что такое пространство?

            • Translation

            Не то, что вы думаете


            image

            Попросите группу физиков и философов определить «пространство», и вы, скорее всего, увязнете в долгой дискуссии, в которой будут встречаться такие глубокие, но бессмысленные комбинации слов, как «сама ткань пространства-времени является физическим проявлением концепций квантовой энтропии, сотканной воедино универсальной природой местоположения». Если подумать, может вам и не стоит затевать глубокие дискуссии между физиками и философами.

            Является ли пространство просто бесконечной пустотой, лежащей в основе всего? Или же это пустота между объектами? Что, если пространство – это ни то, ни другое, а вовсе даже и физическая сущность, способная плескаться, будто ванна с водой?

            Оказывается, что природа пространства – одна из величайших и самых странных загадок Вселенной. Так что приготовьтесь к… пространным рассуждениям.
            Читать дальше →
          • 10 типов структур данных, которые нужно знать + видео и упражнения

            Екатерина Малахова, редактор-фрилансер, специально для блога Нетологии адаптировала статью Beau Carnes об основных типах структур данных.

            «Плохие программисты думают о коде. Хорошие программисты думают о структурах данных и их взаимосвязях», — Линус Торвальдс, создатель Linux.

            Структуры данных играют важную роль в процессе разработки ПО, а еще по ним часто задают вопросы на собеседованиях для разработчиков. Хорошая новость в том, что по сути они представляют собой всего лишь специальные форматы для организации и хранения данных.

            В этой статье я покажу вам 10 самых распространенных структур данных.
            Читать дальше →
          • 37 причин, почему ваша нейросеть не работает

            • Translation
            • Tutorial
            Сеть обучалась последние 12 часов. Всё выглядело хорошо: градиенты стабильные, функция потерь уменьшалась. Но потом пришёл результат: все нули, один фон, ничего не распознано. «Что я сделал не так?», — спросил я у компьютера, который промолчал в ответ.

            Почему нейросеть выдаёт мусор (например, среднее всех результатов или у неё реально слабая точность)? С чего начать проверку?

            Сеть может не обучаться по ряду причин. По итогу многих отладочных сессий я заметил, что часто делаю одни и те же проверки. Здесь я собрал в удобный список свой опыт вместе с лучшими идеями коллег. Надеюсь, этот список будет полезен и вам.
            Читать дальше →
          • Пишем игру змейка с помощью JavaScript + Canvas

            Доброго времени суток, друзья. Сейчас я постараюсь вам показать как можно написать игру Змейка. Конечно, не самым быстрым способом и не самым маленьким в плане количества строк кода, но по-моему самым понятным для начинающих разработчиков, как я. Статья написана для людей, желающих чуть-чуть познакомиться с элементом canvas и его простыми методами для работы с 2D графикой.
            image
            Напишем змейку в «старом» виде, без особо красивой графики — в виде кубиков. Но это только упростит понимание разработки. Ну что же, поехали!
            Читать дальше →
          • Точное вычисление средних и ковариаций методом Уэлфорда

              Метод Уэлфорда — простой и эффективный способ для вычисления средних, дисперсий, ковариаций и других статистик. Этот метод обладает целым рядом прекрасных свойств:


              • достигает отличных показателей по точности решений;
              • его чрезвычайно просто запомнить и реализовать;
              • это однопроходный онлайн-алгоритм, что крайне полезно в некоторых ситуациях.

              Оригинальная статья Уэлфорда была опубликована в 1962 году. Тем не менее, нельзя сказать, что алгоритм сколь-нибудь широко известен в настоящее время. А уж найти математическое доказательство его корректности или экспериментальные сравнения с другими методами и вовсе нетривиально.


              Настоящая статья пытается заполнить эти пробелы.


              Читать дальше →
              • +53
              • 17.6k
              • 9
            • Использование VK Streaming API с оповещением в Telegram


              Вконтакте запустил Streaming API, инструмент для получения публичных данных из ВКонтакте по заданным ключевым словам.

              ВК сам присылает новый подходящий контент по мере его появления. Таким образом можно получать интересующие записи без вступление в десятки групп, сразу после публикации.

              Давайте напишем бота для телеграмма с оповещением о записях в ВК.
              Читать дальше →
              • +17
              • 15.6k
              • 6
            • Что читать о нейросетях


                Нейросети переживают второй Ренессанс. Сначала еще казалось, что сообщество, решив несколько прикладных задач, быстро переключится на другую модную тему. Сейчас очевидно, что спада интереса к нейросетям в ближайшем будущем не предвидится. Исследователи находят новые способы применения технологий, а следом появляются стартапы, использующие в продукте нейронные сети.


                Стоит ли изучать нейросети не специалистам в области машинного обучения? Каждый для себя ответит на этот вопрос сам. Мы же посмотрим на ситуацию с другой стороны — что делать разработчикам (и всем остальным), которые хотят больше знать про методы распознавания образов, дискриминантный анализ, методы кластеризации и другие занимательные вещи, но не хотят расходовать на эту задачу лишние ресурсы.


                Ставить перед собой амбициозную цель, с головой бросаться в онлайн-курсы — значит потратить много времени на изучение предмета, который, возможно, вам нужен лишь для общего развития. Есть один проверенный (ретроградный) способ, занимающий по полчаса в день. Книга — офлайновый источник информации. Книга не может похвастаться актуальностью, но за ограниченный период времени даст вам фундаментальное понимание технологии и способов ее возможной реализации под ваши задачи.

                Читать дальше →
              • Особенности национальной SMS-авторизации

                  SMS-пароли уже давно вошли в нашу жизнь как сравнительно удобный (особенно, если сравнивать с отправкой документов «Почтой России») способ дистанционного подтверждения личности. Способ этот, безусловно, не идеальный, поскольку успешность процесса доставки SMS зависит от корректности взаимодействия нескольких действующих лиц. Как правило, это: отправитель — сотовый оператор получателя — получатель. Поэтому на страницах сети Интернет можно найти 1000 и 1 ответ на вопрос «Почему не приходят SMS». Но, готов поспорить, что с такой оригинальной причиной как та, о которой я собираюсь сейчас вам поведать, вы еще не сталкивались…

                  image
                  Читать дальше →
                • Побеждая «математическое чудище»: дело не в числах, а в том, чтобы учиться думать

                  • Translation
                  Недавно по сети пробежал твит, содержание которого было следующим: в одной из кулинарий Питтсбурга появилась загадочная табличка со следующим обращением к посетителям: «Пожалуйста, откажитесь от обсуждения математики в очереди к кассе».

                  image

                  Жители Питтсбурга не смогли найти нашумевший магазин, потому что на самом деле он находится в Коннектикуте. Впрочем, это не помешало юмористам принять новость за чистую монету и поверить, что это настоящая табличка, якобы действительно помещенная в заведении кассиром, которому надоело, что какие-то всезнайки спорят с ним по поводу итоговой суммы. А так все и было?

                  На самом деле нет, ничего подобного (в качестве подтверждения можете почитать про эту историю). Но в целом это объяснение вполне правдоподобно. Кассиры в наши дни не умеют делать расчеты в уме, не так ли?

                  С другой стороны, кто вообще сегодня умеет считать? Математика слишком сложна. Только те, кто работает с числами умеют производить вычисления в уме.

                  Это утверждение, опять же, неверно. Неверно, но популярно? Что ж, вполне может быть.
                  Читать дальше →
                • Копируем человеческий мозг: операция «Свертка»

                  • Translation

                  Чему уже научились сверточные искусственные нейронные сети (ИНС) и как они устроены?


                  1. Предисловие


                  Такие статьи принято начинать с экскурса в историю, дабы описать кто придумал первые ИНС, как они устроены и налить прочую, бесполезную, по большей части, воду. Скучно. Опустим это. Скорее всего вы представляете, хотя бы образно, как устроены простейшие ИНС. Давайте договоримся рассматривать классические нейронные сети (типа перцептрона), в которых есть только нейроны и связи, как черный ящик, у которого есть вход и выход, и который можно натренировать воспроизводить результат некой функции. Нам не важна архитектура этого ящика, она может быть очень разной для разных случаев. Задачи, которые они решают — это регрессия и классификация.


                  2. Прорыв


                  Что же такого произошло в последние годы, что вызвало бурное развитие ИНС? Ответ очевиден — это технический прогресс и доступность вычислительных мощностей.


                  Приведу простой и очень наглядный пример:

                  Читать дальше →
                • Автоэнкодеры в Keras, Часть 2: Manifold learning и скрытые (latent) переменные

                  • Tutorial

                  Содержание






                  Для того, чтобы лучше понимать, как работают автоэнкодеры, а также чтобы в последствии генерировать из кодов что-то новое, стоит разобраться в том, что такое коды и как их можно интерпретировать.
                  Читать дальше →
                  • +32
                  • 17.9k
                  • 5
                • Типичные распределения вероятности: шпаргалка data scientist-а

                  • Translation

                  У data scientist-ов сотни распределений вероятности на любой вкус. С чего начать?


                  Data science, чем бы она там не была – та ещё штука. От какого-нибудь гуру на ваших сходках или хакатонах можно услышать:«Data scientist разбирается в статистике лучше, чем любой программист». Прикладные математики так мстят за то, что статистика уже не так на слуху, как в золотые 20е. У них даже по этому поводу есть своя несмешная диаграмма Венна. И вот, значит, внезапно вы, программист, оказываетесь совершенно не у дел в беседе о доверительных интервалах, вместо того, чтобы привычно ворчать на аналитиков, которые никогда не слышали о проекте Apache Bikeshed, чтобы распределённо форматировать комментарии. Для такой ситуации, чтобы быть в струе и снова стать душой компании – вам нужен экспресс-курс по статистике. Может, не достаточно глубокий, чтобы вы всё понимали, но вполне достаточный, чтобы так могло показаться на первый взгляд.
                  Читать дальше →
                • Разбор статистической языковой модели от Google — часть 1: векторное представление символов

                  • Translation
                  В этом году исследователи из Google Brain опубликовали статью под названием Exploring the Limits of Language Modeling (Исследование границ языкового моделирования), в которой была описана языковая модель, позволившая значительно снизить перплексию (с примерно 50 до 30) на словаре One Billion Word Benchmark.

                  В этом посте мы расскажем про самый низкий уровень этой модели — представление символов.


                  Читать дальше →