• W for Wikipedia

      Что такое «BigData»? Это те данные, которые нельзя просто так переварить. Или нельзя просто так приготовить. Или это вы думаете что нельзя.
      Особо сильный «перекос», в этом понимании бигдаты спрятался в web-картографии, в картах на различных сайтах.
      И так уж получилось — на протяжении нескольких лет я катался по различным конференциям, и рассказывал про организацию передачи данных с сервера на Карту. Иногда меня спрашивали — «а где же взять эти ваши много данных».
      Это не правильные вопросы, правильные вопросы это:
      — как данные хранить
      — какие данные, когда и почему передавать на клиент
      — что такое серверная кластеризация, как она выглядит и почему она нужна
      — что с данными делать
      — и зачем это все нужно %username%

      А насчет откуда взять данные… Есть один такой детский стишок

      Весь покрытый метками
      Абсолютно весь
      Остров Википедии
      В океане есть


      И на этом острове растет примерно десять миллионов геотегированных статей, которыми мы и воспользуемся.
      Но с флорой и фауной там не все так просто — статьи растут на разных языках, в разных местах, и их на само деле много…
      Поэтому мы, как настоящие герои, немного усложним задачу и добавим немного агрегатных функций, Левенштайна, Мorton кодов, esosedi и немного здравого смысла.

      Поехали!
      • +25
      • 12,8k
      • 7
    • Борьба с потерями пакетов в видеоконференциях

        Введение



        Когда говорят о передачи видео по сети, в основном речь идёт о видео-кодеках и разрешении. Собственно о передаче видео слышно не так и много. Здесь я бы хотел пролить немного света на проблему борьбы с потерями в сети при передачи видео в режиме видеоконференций. Почему потери — это так важно? Да потому что нельзя просто так взять и пропустить хоть один видео пакет (в отличии от аудио), т.к. любой приличный видео-кодек основан на том, что последовательные кадры отличаются не сильно и достаточно закодировать и передать только разницу между кадрами. Получается, что (почти) любой кадр зависит от предыдущих. И картинка при потерях разваливается (хотя некоторым это даже нравится). Почему видеоконференции? Потому что есть очень жесткое ограничение на реальное время, ведь задержка в 500мс на круг (туда-обратно) уже начинает раздражать пользователей.
        Какие же существуют методы борьбы с потерями видео-пакетов?
        Читать дальше →
      • Конференция 4SICS: уязвимый коллайдер, троян Havex и другие «русские угрозы»

          image

          Современные АСУ ТП всё чаще оказываются уязвимы перед хакерами — однако вендоры и пользователи не торопятся признавать и исправлять опасную ситуацию. Это наблюдение стало основной темой для дискуссий на международном саммите по безопасности промышленных систем управления 4SICS, который прошёл в конце октября в Стокгольме.

          «Несмотря на всю интернет-революцию, мы до сих пор недостаточно озабочены безопасностью, поскольку старая IT-парадигма говорит нам: мы функционируем автономно, ни к кому не подключены, у нас собственный хитрый софт, и никто не сможет нас атаковать. Но реальность давно уже изменилась», — так выразился один из ключевых спикеров мероприятия Стефан Лёдерс, руководитель отдела безопасности Европейского центра ядерных исследований (CERN).
          Читать дальше →
        • Железо на службе у алгоритма

            Борис Бабаян о прошлом, настоящем и будущем вычислительной техники

            Борис Бабаян
            Каким представляется развитие вычислительной техники человеку, который уже более полувека занимается разработкой компьютерных технологий?

            Мне удалось побеседовать на эту тему с Борисом Арташесовичем Бабаяном, директором по архитектуре компании «Интел».

            Борис Бабаян известен как главный архитектор компьютерных вычислительных систем «Эльбрус-1», «Эльбрус-2» и «Эльбрус-3». Некоторые из его идей использованы в архитектуре Transmeta. В настоящее время Борис возглавляет разработку новой микропроцессорной архитектуры в компании «Интел».

            Чтобы совсем покончить с формальностями, перечислю звания, степени и должности Бориса: член-корреспондент РАН, доктор технических наук, профессор, заведующий кафедрой «Микропроцессорные технологии» МФТИ, Intel Fellow, лауреат Государственной и Ленинской премий.

            Дальнейшее повествование построено от лица Бабаяна. Мои скупые комментарии оформлены в виде врезок либо ссылок на интернет-страницы.

            Поехали!
          • Android-приложение для дистанционного управления Canon DSLR



              Благодаря программе DSLR Controller появилась возможность управлять камерой Canon EOS напрямую с Android-устройства (2.3.3+). Подключив USB-кабель, вы получаете на экране планшета предпросмотр (около 15 fps) и все кнопки управления. Можно даже выбирать точки для фокусировки пальцем (!) на тачскрине.
              Читать дальше →
            • Используем Google Voice Search в своем приложении .NET



                Функция распознавания речи с некоторого времени доступна в браузере Google Chrome. Посмотреть как это выглядит можно, например, здесь.

                Так как исходный Chromium открыт, возникает закономерное желание подсмотреть, можно ли использовать технологию в своих корыстных целях наступления мира на земле.

                Как это часто бывает, все уже сделано за нас в этой статье. Все оказывается очень просто, необходимо сделать POST запрос на адрес www.google.com/speech-api/v1/recognize со звуковыми данными в формате FLAC или Speex. Реализуем демонстрацию распознавания WAVE-файлов с помощью C#.

                Читать далее
              • Бесплатный BlackBerry PlayBook для разработчиков


                  Совершенно незаслуженно оказалась обойдённой вниманием потрясающая акция от компании Research In Motion: напиши приложение для BlackBerry Playbook, которое будет утверждено — и получи BlackBerry PlayBook бесплатно! Огромная благодарность хабраюзеру gene4000, который её обнаружил.

                  Акция уже подходит к концу (крайний срок подачи приложения — 15 марта 31 марта), но если у вас есть готовое (или почти готовое) приложение на Adobe AIR или веб-приложение, которое вы можете быстро портировать под BlackBerry Tablet OS — это ваш шанс!
                  Читать дальше →
                • Одиннадцать сбывшихся фантастических предсказаний

                    image
                    Многое из того, о чем писали фантасты десятки (а то и сотню) лет назад, уже обстоятельно вошло в наш мир: подводные лодки, атомные бомбы, iPad. Некоторые отрывки из произведений НФ на удивление точно описывают вещи, познакомиться с которыми сами авторы могли только в своем воображении.

                    Это вызывает дискуссии среди почитателей НФ, на что Эрик Рабкин (Eric Rabkin), профессор Мичиганского университета, обладатель НФ премии Пилигрим-2010 за вклад в изучение фантастики, заявляет:

                    «Во-первых, существует задача о бесконечных мартышках. Если у вас есть бесконечное количество оных, притом вооруженных пишущими машинками, то по теории вероятностей, хотя бы одна напишет Гамлета. Перенеся это знание на авторов научной фантастики, тысячи их, и на десятки тысяч созданных ими видений будущего, мы опять-таки получаем высокую вероятность того, что некоторые изобретения они предскажут со стопроцентной точностью».

                    Ниже приводится список, составленный с помощью членов Ассоциации Исследователей Фантастики, который должен наилучшим образом отразить высокую степень тождественности фантастических описаний с их реальными уже воплощениями.
                    Читать дальше →
                  • Покупаем “зеркалку” б/у

                      В результате недавно отшумевших дебатов на тему “зеркалка vs. мыльница” и собственных размышлений на эту тему, я принял решение приобрести “зеркалку”. Тут как раз оказалось, что мой хороший приятель в Штатах продает свой фотоаппарат Сanon Rebel XSI. Я решил купить у него эту камеру т.к. хорошо его знаю и доверяю ему. Плюсов у ситуации много: дешевле чем на ebay или amazon? дополнительные бонусы в виде запасного аккумулятора, парочки емких sd-карт, известная мне ответственность продавца и его аккуратное обхождение с техникой. Однако, в ситуации покупки б.у. «зеркалки» могут присутствовать минусы, о которых меня любезно предупредил один из моих слушателей. Он написал мне объемное письмо, в котором дал рекомендации, которым лучше следовать при попытке приобрести б/у камеру. С его разрешения я публикую ее здесь. Надеюсь кому-нибудь еще поможет. В комментариях приветствуются дополнения. Ниже приведен текст из письма Андрея Екатова:
                      Я хотел бы дать несколько «жизненно» необходимые и важнейшие советов при покупки б/ушной, тоесть использованной, зеркальной камеры и пару предостережений при её начальном использование.

                      Внешний вид

                      На самом деле весьма банальный, но на мой взгляд один из важнейших аспектов при покупке б/у камеры является её внешний вид. Если вы видите, что камера сильно потёрта или на корпусе имеются несколько глубоких царапин или, не дай Бог, скрученных болтов, то бегите прочь! Зеркалка- создание нежное и неаккуратное обращение с ней (падение, удары) могут сбить точную настройку фокуса и в дальнейшем негативно сказаться на output, иначе говоря, на качестве ваших фотографий
                      Читать дальше →
                    • Использование IPv4 адресов с российским размахом

                        По мотивам bash'а.

                        Для тех, кто недостаточно хорошо помнит гимн РФ:
                        for i in {200..225}; do nslookup 62.76.96.$i | grep "(?<=name = ).*$" -o -P ; done

                        upd Варианты улучшенные:

                        лаконичный
                        dig -t ptr +short {200..225}.96.76.62.in-addr.arpa

                        винда с PowerShell
                        for ($i=200; $i -le 223; $i++){(nslookup 62.76.96.$i)[3].ToString().Replace('.', ' ').Substring(9)}

                        винда без PowerShell
                        for /l %i in (200,1,255) do nslookup 62.76.96.%i