• Регистрация колебаний зданий и мостов на видео с помощью алгоритмов



      Ранее было продемонстрировано, что с помощью обработки результатов записи видеороликов можно усилить микродвижения и, к примеру, восстановить пульс человека, даже если он носит маску, или даже воссоздать звук по крошечным вибрациям предметов на записи. Новая техника предлагает удешевить мониторинг колебаний от ветра больших и жёстких структур — зданий, мостов, трубопроводов — до такой степени, чтобы это стало повседневностью.
      Читать дальше →
    • Chatbot на нейронных сетях

        Недавно набрел на такую статью. Как оказалось некая компания с говорящим названием «наносемантика» объявила конкурс русских чатботов помпезно назвав это «Тестом Тьюринга»». Лично я отношусь к подобным начинаниям отрицательно — чатбот — программа для имитации разговора — создание, как правило, не умное, основанное на заготовленных шаблонах, и соревнования их науку не двигают, зато шоу и внимание публики обеспечено. Создается почва для разных спекуляций про разумные компьютеры и великие прорывы в искусственном интеллекте, что крайне далеко от истины. Особенно в данном случае, когда принимаются только боты написанные на движке сопоставления шаблонов, причем самой компании «Наносемантика».

        Впрочем, ругать других всегда легко, а вот сделать что-то работающее бывает не так просто. Мне стало любопытно, можно ли сделать чатбот не ручным заполнением шаблонов ответа, а с помощью обучения нейронной сети на образцах диалогов. Быстрый поиск в Интернете полезной информации не дал, поэтому я решил быстро сделать пару экспериментов и посмотреть что получится.
        Читать дальше →
        • +20
        • 54,2k
        • 9
      • Детальный анализ Хабрахабра с помощью языка Wolfram Language (Mathematica)


          Скачать пост в виде документа Mathematica, который содержит весь код использованный в статье, вместе с дополнительными файлами, можно здесь (архив, ~147 МБ).

          Анализ социальных сетей и всевозможных медиа-ресурсов является сейчас довольно популярным направлением и тем удивительнее для меня было обнаружить, что на Хабрахабре, по сути, нет статей, которые содержали бы анализ большого количества информации (постов, ключевых слов, комментариев и пр.), накопленного на нем за довольно большой период работы.

          Надеюсь, что этот пост сможет заинтересовать многих участников Хабрахабра. Я буду рад предложениям и идеям возможных дальнейших направлений развития этого поста, а также любым замечаниям и рекомендациям.

          В посте будут рассматриваться статьи, относящиеся к хабам, всего в анализе участвовало 62000 статей из 264 хабов. Статьи, написанные только для корпоративных блогов компаний в посте не рассматривались, а также не рассматривались посты, не попавшие в группу «интересные».

          Ввиду того, что база данных, построенная в посте, формировалась за некоторое время до публикации, а именно 26 апреля 2015 г., посты, опубликованные на Хабрахабре после этой даты (а также, возможно, новые хабы) в данном посте не рассматривались.

          Оглавление


          Импорт списка хабов
          Импорт ссылок на все статьи Хабрахабра
          Импорт всех статей Хабрахабра
          Функции извлечения конкретнных данных из символьного XML представления поста
          Создание базы данных постов Хабрахабра с помощью Dataset
          Результаты обработки данных
          Краткий анализ хабов
          Граф связей хабов на Хабрахабре
          Количество статей в зависимости от времени
          Количество изображений (видео), используемых в постах в зависимости от времени
          Облака ключевых слов Хабрахабра и отдельных хабов
          Сайты, на которые ссылаются в статьях на Хабрахабре
          Коды, которые приводят в статьях на Хабрахабре
          Частота встречи слов
          Рейтинг и числа просмотров постов, а также вероятность достижения их определенных значений
          Зависимость рейтинга и числа просмотров поста от времени публикации
          Зависимость рейтинга поста от его объема
          Заключение
          Читать дальше →
        • 10 полезных фреймворков, о которых нужно знать разработчику

          • Перевод
          image

          Постоянное создание и развитие динамических кросс-браузерных вебсайтов и приложений требует выхода за рамки стандартных техник. К счастью, в сети есть несколько фреймворков, дающих всё необходимое разработчикам для того, чтобы они увеличили эффективность своей работы и своих разработок. Главное, фреймворки предлагают гибкие варианты решения и возможности для экономии ценного времени.

          1) UIkit


          getuikit.com

          99% проблем юзабилити возникают из-за медленного ответа веб-интерфейсов. Очень важно создавать быстрые интерфейсы. UIKit полезен именно для этого. Он лёгкий, модульный, и идеальный для разработки фронтенда. Предоставляет богатый набор HTML, JavaScript и CSS компонентов.
          Читать дальше →
        • Практикум «Intel IoT». Edison — могучая «кроха»

            В предыдущих частях «практикума» мы рассматривали Intel Galileo, который производителем позиционируется как плата «для изучения». Но есть ещё и устройство, которое можно использовать не только для ознакомления и прототипирования, но и для встраивания в конечные изделия.

            Речь идет об Intel Edison. Модуль очень мощный (CPU – двухъядерный Intel Atom 500МГц, MCU – Intel Quark 100МГц), 4Гб флеш-памяти, 1Гб «оперативки», компактный (чуть больше SD-карточки), может «питаться» от батареек или аккумуляторов, оснащён беспроводными интерфейсами (Wi-Fi и Bluetooth 4.0) и многое другое.

            Но не будем забегать вперёд.
            Обо всём по порядку
          • Реализуем безопасный VPN-протокол

              Снова тема VPN, конфиденциальной передачи данных, безопасности и криптографии. Сейчас, в эру пост-Сноудена, стало модно клепать безопасные, уважающие приватность, невзламываемые, защищённые от спецслужб и цензуры программы. Однако эта статья – не очередной маркетинговый пиар, а, скорее, демонстрация того, как применяются криптографические примитивы и на что стоит обращать внимание при разработке подобного программного обеспечения.



              Результатом этой работы предполагается создание работающего клиент-сервера, пригодного для review разработчиками (то есть немного кода на высокоуровневом языке), достаточно производительного, чтобы использоваться в промышленных условиях, имеющего высокий порог безопасности: GoVPN.
              Читать дальше →
            • Обфускация программ

                Обфускация программ — это прорывная, самая горячая сегодня, область криптографии. За последние два года написано свыше 70ти статей по этой теме, она вызывает жаркие дискуссии, создает настоящие гонки между исследовательскими группами, открывает полигон для научных изысканий. Более того, оказывается, что обфускация — фундаментальный, образующий примитив, который порождает практически всё, что мы имеем в криптографии сегодня. Разберемся, с тем что же это такое.

                Давая пользователям доступ к установочным файлам программ, компании неизбежно раскрывают свои профессиональные секреты и наработки, и ничто не останавливает злобонравных конкурентов от беззастенчивого копирования и воровства чужих алгоритмов. Обратим внимание и на другой пример, это важные обновления (патчи), исправляющие ошибки в операционных системах. Почти мгновенно очередное обновление анализируется хакерами, они выявляют проблему которую это обновление чинит, и атакуют несчастных, не успевших вовремя обновиться, пользователей.
                imageЭти две ситуации связывает одна фундаментальная проблема, а именно: написанная человеком программа может быть человеком же и понята, проанализирована, разобрана. А что если существовал бы алгоритм, который бы мог до неузнаваемости, необратимо переделать программу при этом сохраняя ее функциональность? Так чтобы программу совершенно невозможно было бы понять, но при этом она работала бы ничуть не хуже исходной? Такой алгоритм и называется «обфусцирующий» или «обфускатор».
                Читать дальше →
              • RS-анализ (анализ фрактальной структуры временных рядов)

                Стандартная гауссова статистика работает на основе следующих предположений. Центральная предельная теорема утверждает, что при увеличении числа испытаний, предельное распределение случайной системы будет нормальным распределением. События должны быть независимыми и идентично распределены (т.е. не должны влиять друг на друга и должны иметь одинаковую вероятность наступления). При исследовании крупных комплексных систем обычно предполагают гипотезу о нормальности системы, чтобы далее мог быть применен стандартный статистический анализ.

                Часто на практике изучаемые системы (от солнечных пятен, среднегодовых значений выпадения осадков и до финансовых рынков, временных рядов экономических показателей) не являются нормально-распределенными или близкими к ней. Для анализа таких систем Херстом [1] был предложен метод Нормированного размаха (RS-анализ). Главным образом данный метод позволяет различить случайный и фрактальный временные ряды, а также делать выводы о наличии непериодических циклов, долговременной памяти и т.д.

                Алгоритм RS-анализа


                1. Дан исходный ряд image. Рассчитаем логарифмические отношения:

                  image
                2. Разделим ряд image на image смежных периодов длиной image. Отметим каждый период как image, где image. Определим для каждого image среднее значение:

                  image

                Читать дальше →
                • +15
                • 21,5k
                • 5
              • Книги для работы в IT компаниях

                  Доброго времени!
                  Представляем вам подборку книг для трудоустройства и работы в IT компаниях.

                  image

                  Мы считаем, что книги должны быть доступны, предлагаем воспользоваться скидкой 50% и прийти к нам в издательство забрать безвозмездно другие книги. Подробности внутри.
                  Читать дальше →
                • Собираясь на выставку…

                    В жизни не столько ИТ-человека, сколько ИТ-предпринимателя может случиться такой момент, когда придётся идти на выставку — не в качестве посетителя, а в качестве участника. Каких тогда припасти гаджетов, чтобы не ударить лицом в грязь.
                    Читать дальше →
                  • Как собрать робота своими руками за 6 часов и стать душой компании

                      Сейчас уже мало кто помнит, к сожалению, что в 2005 году были Chemical Brothers и у них был замечательный клип — Believe, где роботизированная рука гонялась по городу за героем видео.



                      Тогда у меня появилась мечта. Несбыточная на тот момент, т. к. ни малейшего понятия об электронике у меня не было. Но мне хотелось верить — believe. Прошло 10 лет, и буквально вчера мне удалось впервые собрать своего собственного робота-манипулятора, запустить его в работу, затем сломать, починить, и снова запустить в работу, а попутно найти друзей и обрести уверенность в собственных силах.

                      Внимание, под катом спойлеры!
                      Читать дальше →
                      • +19
                      • 67k
                      • 5
                    • Google успешно использует новый интернет-протокол QUIC в работе браузера Chrome

                        image

                        На этой неделе программисты Google в своём блоге рассказали, что уже половина запросов от браузера Chrome к серверам интернет-гиганта проходит по новому интернет-протоколу QUIC, который компания начала разрабатывать в прошлом году. Протокол работает поверх UDP и содержит возможности шифрования, эквивалентные TLS и SSL.

                        Разработка протокола была начата в попытках ускорить работу интернет-соединений по сравнению с текущим протоколом TCP. Протокол UDP работает быстрее, поскольку он изначально проще устроен, и не рассчитан на коррекцию ошибок. Обычно его используют программы, которым необходимо работать в реальном времени (например, многопользовательские игры). В таких случаях нет смысла проверять прохождение всех пакетов и пересылать заново потерявшиеся.
                        Читать дальше →
                      • Как мы придумывали конструктор для детской робототехники. Часть 0. Акрил

                          Существует достаточно много различных конструкторов для занятия робототехникой с детьми. Это Lego, Fischertechnik, Huna, Multiplo, Трик. Можно ознакомится с ними в отличной статье MakeItLab
                          Казалось бы — выбирай не хочу! Но на детских соревнованиях по робототехнике мы неизменно видим одно и то же. С одной стороны стенды со стройными рядами Lego-роботов. С другой стороны акриловые блины с деталями из советского конструктора, синей изолентой, подручными средствами и палками на базе Arduino. А ещё у них есть один фатальный недостаток.
                          «Хватит это терпеть» — подумали мы, и запилили свой конструктор, с Arduino и доступным конструктивом.



                          Читать дальше →
                          • +11
                          • 11,9k
                          • 9
                        • 7 сумок для вашего велосипеда



                            Хорошая сумка — кому функциональная, а тем, кто не выходит из образа даже на велике, стильная — в общем, сумка нужна всем. Причем не важно, едешь ты, как некоторые, от Каира до Кейптауна или ежедневную десятку до офиса. К каждой оказии можно подобрать свою сумку. Этим мы сегодня и займемся.
                            Читать дальше →
                          • Маркетинг на Кикстартере, или Спасение утопающих

                              Так уж получилось, что в последние несколько месяцев я регулярно, много и с разными людьми говорю о том, как выводить проекты на краудфандинг — в том числе иногда пересекаюсь с командами, выводившими или собирающимися выводить проект на краудфандинг, иногда сам замечают какие-то проекты, иногда знакомые присылают ссылку на посмотреть и сказать что-то о перспективах стороннего проекта, который интересен им. Да, проекты меня интересуют исключительно из области разработки «железа». Так уж сложилось.

                              В маркетинге — в нормальном маркетинге, который product, price, place, promotion, а не «ищем опытного маркетолога для написания текстов емейл-рассылок» — есть такая задача, про которую прямо обычно не говорят, но которая принципиально важна: уметь взглянуть на свой продукт глазами потребителя. Собственно, из решения этой задачи вытекают все четыре «P».



                              Не говорят о ней по простой причине — в крупных компаниях этот процесс стараются формализовать с помощью фокус-групп, исследований, сбора статистики и прочих инструментов маркетингового анализа. Соответственно, и говорят больше об инструментах, чем об исходной проблеме. Это нормальный корпоративный путь — в отсутствие формализации процессов на конечном результате начинают сильно сказываться разные посторонние вещи, типа политических игр менеджеров среднего и верхнего звеньев.

                              В компаниях среднего размера, которым стандартные инструменты уже недоступны, ибо слишком дороги, проблема так или иначе решается за счёт того, что над любым проектом и продуктом работает достаточно много людей — и часть из них к этому продукту относятся совершенно нейтрально, поэтому могут смотреть на него непредвзято, то есть — как обычный покупатель в магазине. Впрочем, в некоторых компаниях с этим яростно борются, так как всем надо шагать в ногу и продуктом восхищаться.

                              А вот в стартапах дела обстоят хуже всего. Во-первых, нет не только денег на исследования, но и, как правило, умения интерпретировать их результаты (отсюда растут ноги победных кличей «наш продукт востребован, мы провели опрос на Хабре и получили 1462 голоса за!», а также сборы фокус-групп по знакомым во ВКонтакте). Во-вторых, за редкими исключениями, 100 % участников проекта — отцы-основатели, у которых к собственному детищу развилось много тёплых чувств, препятствующих тому, чтобы посмотреть на него объективно.

                              Вот про этот случай я и хочу поговорить подробнее — причём с примерами трёх российских проектов, один из которых в краудфандинге с треском провалился, второй трещит сейчас в прямом эфире, а третий собирается разделить их судьбу в будущем. В первом случае для получения шанса на успех надо было менять весь продукт, во втором — рисовать красивую концепцию, в третьем — сочетать оба подхода. Во всех трёх случаях авторы проектов этого не делают. И вот это всё я хочу проиллюстрировать и прокомментировать.

                              Да не обидятся на меня авторы проектов.

                              Читать дальше →
                            • Устройство и работа портов ввода-вывода микроконтроллеров AVR. Часть 3

                              Подключение транзистора к линии порта ввода/вывода

                              Изучив данный материал, в котором все очень детально и подробно описано с большим количеством примеров, вы сможете легко овладеть и программировать порты ввода/вывода микроконтроллеров AVR.


                              Пример будем рассматривать на микроконтроллере ATMega8.

                              Программу писать будем в Atmel Studio 6.0.

                              Эмулировать схему будем в Proteus 7 Professional.
                              Читать дальше →
                            • Левитрон на Arduino

                              Добрый вечер! В этой публикации я расскажу о своей маленькой самоделке, задумал которую я достаточно давно.

                              Некоторое время назад я прочитал статью об интересных устройствах – левитронах, которые бывают как чисто механическими, так и с электронным управлением.

                              Естественно, захотел собрать себе такую игрушку, но, поискав в интернете, к своему удивлению обнаружил(по крайней мере на тот момент), что большинство схем были исключительно аналоговыми. Так как в аналоговой технике я понимаю мало, решил «изобрести» левитрон заново. Для экспериментов под рукой оказался Arduino Uno. Заказал в Китае линейный датчик Холла (что такое эффект Холла), а именно UGN3503UA, насобирал некоторое количество старых трансформаторов для намотки пробных катушек и приступил к экспериментам.

                              Вот что из этого получилось:


                              Читать дальше →
                            • Bubot: Scout — машинка с управлением через веб интерфейс без строчки кода

                                Давно хотел сделать машинку с камерой, управляемую через веб-интерфейс. Предлагаю вашему вниманию видео о том, как запрограммировать такую машинку, не написав при этом ни строчки кода.



                                Видео сделано в продолжение обзорной статьи по фреймворку для робототехники и домашней автоматизации.
                                Читать дальше →
                                • +9
                                • 12,3k
                                • 7
                              • Пишем кросс-платформенную библиотеку на Python

                                  Привет, Хабр! Сегодня немного поговорим про кроссплатформенную разработку, а именно – на языке Python.

                                  Язык Python сам по себе считается кросс-платформенным, но до тех пор, пока дело не доходит до взаимодействия python-скрипта и внешних платформозависимых компонентов. Например, механизм подключения сетевой папки в Windows и Linux кардинально отличается. И если Вы пишите кросс-платформенный скрипт или даже библиотеку, то без организации кросс-платформенного кода на самом высоком уровне абстракции вам не обойтись.
                                  Читать дальше →
                                  • +23
                                  • 18,7k
                                  • 8
                                • Пермские учёные получают наноцеллюлозу при помощи грибков плесени

                                    image
                                    Наноцеллюлоза в вязком состоянии

                                    Учёные из Пермского государственного национального исследовательского университета (ПГНИУ) разработали новый процесс получения сверхпрочного материала — наноцеллюлозы. В обычных условиях материал вязкий, при воздействии на него механическим путём он показывает свойства жидкости, а в твёрдом состоянии становится прочнее стали.

                                    «Структура этого материала представлена плотно упакованным массивом игловидных кристаллов. Это обусловливает его прочность, которая превосходит нержавеющую сталь»,- поделился с прессой сотрудник лаборатории Александр Максимов
                                    сообщил он.
                                    Читать дальше →
                                    • +17
                                    • 7,3k
                                    • 5