Раньше серьезную инфраструктуру для хранения и анализа Больших данных (Big Data) могли позволить себе только масштабные организации, например, государственные структуры или крупные предприятия. Сегодня же, по мере того, как технологии становятся все более доступными, большие данные находят все более разнообразное применение в самых различных областях. При этом, как и в случае многих других новых технологий, развитие больших данных не только открывает возможности, но и сопряжено с многочисленными сложностями, и многие организации задаются вопросом, каким образом им лучше всего поступить с накапливаемыми данными?

Содержание первой части:


Содержание второй части:

2.1 — Введение во вторую часть. Смотрим на сеть и протоколы. Wireshark.
2.2 — Таблицы Firewall. Transport Layer. Структуры TCP, UDP. Расширяем Firewall.
2.3 — Расширяем функциональность. Обрабатываем данные в user space. libnetfilter_queue.
2.4 — Бонус. Изучаем реальную Buffer Overflow атаку и предотвращаем с помощью нашего Firewall'а.

В статье я хочу познакомить читателя с задачей идентификации: пройтись от основных определений до реализации одной из недавних статей в данной области. Итогом должно стать приложение, способное искать одинаковых людей на фотографиях и, что самое главное, понимание того, как оно работает.

В предыдущей статье мы обсудили как натренировать чат-бот на базе рекуррентной нейронной сети на AWS GPU инстансе. Сегодня мы увидим, как легко можно обучить такую же сеть с помощью Google Cloud ML и Google Cloud Shell. Благодаря Google Cloud Shell не нужно будет делать практически ничего на локальном компьютере! Кстати, сеть из прошлой статьи мы взяли лишь для примера, можно спокойно брать любую другую сеть, которая использует TensorFlow.

Предыдущая статья о простой электронной подписи (ПЭП) сделала акцент на юридические нюансы, и только вскользь затрагивала технические решения. Первый же комментарий к статье отметил этот момент. Отсутствие описания технических решений среди «подводных камней ПЭП» не случайно, так как на законодательном уровне вопросы практического применения ПЭП регламентированы только для сферы государственных услуг. Для частного бизнеса применение ПЭП не стандартизируется, поэтому практический опыт отражает лишь личное видение заинтересованных сторон конкретного проекта. Это сильно ограничивает, но, судя по комментариям, не стандартизированное описание также востребовано. Родилось продолжение статьи, с целью компенсировать этот информационный пробел. Продолжение состоит из нескольких частей, каждая из которых кратко рассматривает шаги анализа и проектирования функциональности ПЭП. Описание базируется на реальных проектах, в частности, на успешном внедрении ПЭП в информационную систему крупного поставщика технологических услуг.

Почти два года назад мы делали подборку любопытных фантастических книг, вышедших в 2014 году. И в начале этого года мы решили поддержать это начинание — предлагаем вам одни из самых интересных, по мнению читателей, фантастических произведений, вышедших в 2016-м (как на русском, так и на английском).

Одна из причин, почему Bitcoin продолжает привлекать столько внимания — это его исключительная «математичность». Сатоши Накамото удалось создать систему, которая способна функционировать при полном отсутствии доверия между ее участниками. Все взаимодействия основаны на строгой математике, никакого человеческого фактора — вот в чем была революционность идеи, а не в одноранговой сети, как многие думают. Поэтому первую главу я решил посвятить именно математическим основам Bitcoin.

Ниже я постараюсь объяснить вам самые базовые вещи — эллиптические кривые, ECC, приватные / публичные ключи и так далее. По возможности я буду иллюстрировать свои слова примерами кода, преимущественно на Python 2.7, если что-то непонятно — спрашивайте в комментариях.

Под катом в этом материале — рассказ о том, что такое AaaS, почему модель Application as a Service считается более перспективной, чем знакомые нам SaaS, PaaS и IaaS, и как разработчики и ученые Университета ИТМО реализуют такую модель в рамках проекта CLAVIRE.

В последнее время термин “NoSQL” стал очень модным и популярным, активно развиваются и продвигаются всевозможные программные решения под этой вывеской. Синонимом NoSQL стали огромные объемы данных, линейная масштабируемость, кластеры, отказоустойчивость, нереляционность. Однако, мало у кого есть четкое понимание, что же такое NoSQL хранилища, как появился этот термин и какими общими характеристиками они обладают. Попробуем устранить этот пробел.

По работе мне периодически приходится править и дописывать скрипты для авто-тестов. И так исторически сложилось, что написаны они на Powershell. Но статья будет не об этом.

Обычно Powershell описывается как средство автоматизации для системных администраторов. И естественно, что к нему проявляют мало интереса. Поэтому я хочу рассказать, что его можно использовать не только для скучных рабочих задач.

Здравствуйте, меня зовут Александр Зеленин, и я на дуде игрец веб-разработчик. Полтора года назад я рассказывал о разработке онлайн игры. Так вот, она немного разрослась… Суммарный объём исходного кода превысил «Войну и мир» вдвое. Однако в данной статье я хочу рассказать не о коде, а об организации инфраструктуры проекта.

В данной статье речь пойдёт о машинном обучении в целом и взаимодействии с датасетами. Если вы начинающий, не знаете с чего начать изучение и вам интересно узнать, что такое «датасет», а также зачем вообще нужен Machine Learning и почему в последнее время он набирает все большую популярность, прошу под кат. Мы будем использовать Python 3, так это как достаточно простой инструмент для изучения машинного обучения.

Начитавшись разных постов о Google Voice и его использовании, решил написать что-то свое. А именно — голосовое управление компьютером. Сразу оговорюсь, что ОС — Windows.

Нам понадобится:

— Python 2.7
— библиотеки:
pyaudio
pycurl
pywin32
+ набор стандартных библиотек
— какой-либо аудиоконвертер поддерживающий flac и wav, а также работу из командной строки, я использовал этот.

В подавляющем большинстве источников информации о нейронных сетях под «а теперь давайте обучим нашу сеть» понимается «скормим целевую функцию оптимизатору» лишь с минимальной настройкой скорости обучения. Иногда говорится, что обновлять веса сети можно не только стохастическим градиентным спуском, но безо всякого объяснения, чем же примечательны другие алгоритмы и что означают загадочные и в их параметрах. Даже преподаватели на курсах машинного обучения зачастую не заостряют на этом внимание. Я бы хотел исправить недостаток информации в рунете о различных оптимизаторах, которые могут встретиться вам в современных пакетах машинного обучения. Надеюсь, моя статья будет полезна людям, которые хотят углубить своё понимание машинного обучения или даже изобрести что-то своё.

Под катом много картинок, в том числе анимированных gif.

Продолжение (часть 2).
Не понимаю, почему никто не кричит «полундра» (поискал здесь и на Хабре по слову «iknowwhatyoudownload», но ничего).

Итак, некий сайтик iknowwhatyoudownload.com по IP-адресу показывает список торрентов, скаченных и розданных с этого адреса.
Судя по всему, запустились недавно. Домен зарегистрирован 14 сентября 2016. Отображается статистика примерно за месяц. Но как долго она собиралась, неизвестно.

Что такое облака, и когда имеет смысл строить облачные решения? И если строить, то какие платформы использовать? Нужно ли предоставлять клиентам облачные сервисы? А может, лучше использовать виртуализацию? И чем отличается виртуализация от облаков? Эти вопросы задают все IT и «не IT» компании: от крупных операторов связи до небольших стартапов. Давайте попробуем разобраться! В предыдущей статье мы рассмотрели понятия SDN и NFV. Возникает вопрос — если и то и другое связано с виртуализацией и сетями, то это получились облака? Ведь все мы прекрасно знаем, что облака — это виртуализация ресурсов где-то в сети. Я попробовал найти формальное определение облаков, но не нашел. Определения были расплывчаты и нечетки, как настоящие облака. И тогда у меня возникло чувство, что ОБЛАКАМ невозможно дать четкого определения, они как ЛЮБОВЬ, которую можно только описывать и характеризовать с разных сторон. Дальнейшее расследование подтвердило это предположение. Для начала нашел стандарт Cloud Computing, который разрабатывает NIST (National Institute of Standards and Technology). Он выделяет 3 измерения облачных сервисов:

Привет, Хабр! Спешим сообщить тебе, что трансляции с Хайлоада уже выложены на Youtube-канале Хабра. Напоминаем — что это плод специального проекта Хабра и Хайлоад. 7 ноября, текстовая трансляция, несколько сотен постов (доступна здесь). 8 ноября, текстовая трансляция – тут. Наверняка не у всех была возможность наблюдать за этим онлайн, поэтому спешим сообщить, что теперь доступна запись конференции, которую вы можете посмотреть в любое удобное для вас время на YouTube канале Хабра. Страницу специального проекта просмотрели больше 25 000 раз, текстовую трансляцию прочитали больше 9 000 человек, а видео на ютубе посмотрели на данный момент 10 000 человек.  Ну что ж, надеемся, что это помогло читателям Хабра немного погрузиться в новое или горячо любимое, расширить свой кругозор и найти для себя что-то полезное в самой гуще высококонцентрированных докладов о высоких нагрузках.

В Санкт-Петербурге 14 декабря в 19:00 в магазине «Буквоед» на Восстания (Лиговский пр., д. 10) состоится дискуссия на тему «Гармония небесных сфер».



Встреча посвящена бестселлеру серии «New Science» — книге Шинтана Яу и Стива Надиса «Теория струн и скрытые измерения Вселенной» издательства «Питер».

Как квантовые пары сшивают пространство-время

Первая часть

Брайан Свингл изучал физику в аспирантуре Массачусетского технологического института, когда он решил сходить на парочку занятий по теории струн, чтобы усовершенствовать своё образование – как он сам вспоминает, по принципу «почему бы и нет» – хотя изначально он не обращал внимания на концепции, с которыми он познакомился на этом курсе. Но погружаясь глубже, он начал замечать неожиданные связи с его собственной работой, в которой он использовал т.н. тензорные сети для предсказания свойств экзотических материалов и подход к физике чёрных дыр и квантовой гравитации, взятый из теории струн. «Я понял, что происходит нечто удивительное»,- говорит он.

Тензоры периодически неожиданно возникают в разных областях физики – это математические объекты, которые могут представлять множество чисел сразу. К примеру, вектор скорости – это простейший тензор: он включает как скорость, так и направление. Более сложные тензоры, связанные в сети, можно использовать для упрощения подсчетов для сложных систем, составленных из множества взаимодействующих частей – включая замысловатые взаимодействия огромного количества субатомных частиц, составляющих материю.

Набор задач для обучения с подкреплением сильного ИИ в рамках универсальной платформы OpenAI

Основанная Илоном Маском и соратниками некоммерческая организация OpenAI, которая ставит целью создание безопасного (то есть общедоступного и открытого) искусственного интеллекта, сделала очередной шаг для осуществления своих планов. OpenAI представила связующее программное обеспечение Universe для тренировки и обучения сильного ИИ. Теоретически, обучение может происходить на всей информации человечества, доступной через интернет. Это игры, веб-сайты и прочие приложения.

Всего девять строчек кода — и вашему ИИ доступны тысячи окружений для тренировки.