Развеиваем страхи, ликвидируем безграмотность и уничтожаем мифы про железнорождённого слона. Под катом обзор экосистемы Hadoop-а, тенденции развития и немного личного мнения.

Иногда нужно быстро сделать мониторинг для нового сервиса, а готовой инфраструктуры/экспертизы под рукой нет. В этом гайде мы за полчаса реализуем инструмент для мониторинга любых веб-сервисов, используя только встроенные средства ubuntu: bash, cron и curl. Для доставки оповещений будем использовать telegram.

«Вишенкой на торте» будет эмоциональное вовлечение пользователей. Проверено на людях — работает.

Перед выбором темы диплома я обратил внимание, что широко распространена ситуация, когда при компьютерных атаках человек рассматривается только с одной стороны — того, кого атакуют, в качестве уязвимости.

Во время атаки всем интересны только инструменты и действия нарушителей и только после того как всё случилось — кто стоял за атакой и какие цели они хотели достичь.

Прошли годы (уже почти шесть лет), но эта тема меня до сих пор не оставляет в покое.

При написании диплома стало понятно, что я сильно переоценил свои силы и проект такого масштаба одному человеку за полгода не создать. По крайней мере мне не удалось.

Недостаток опыта работы на реальных системах также оказал свое влияние и некоторые проектные решения были переосмыслены ещё при написании диплома, но до некоторых моментов я дошёл только спустя годы.

Эта статья про эскизный проект и те недочёты и вопросы, которые возникли в ходе проектирования.

Я был бы рад, если бы кого-то заинтересовала эта сторона компьютерных атак и он смог бы использовать мои скромные наработки.

И да, «хакер» в названии статьи используется только в одном, строго определенном значении — нарушитель информационной безопасности.

Data Science для начинающих

1. Sentiment Analysis (Анализ настроений через текст)

Посмотрите полную реализацию проекта Data Science с использованием исходного кода — Sentiment Analysis Project в R.

Sentiment Analysis — это анализ слов для определения настроений и мнений, которые могут быть положительными или отрицательными. Это тип классификации, при котором классы могут быть двоичными (положительными и отрицательными) или множественными (счастливыми, злыми, грустными, противными ...). Мы реализуем этот Data Science проект на языке R и будем использовать набор данных в пакете «janeaustenR». Мы будем использовать словари общего назначения, такие как AFINN, bing и loughran, выполнять внутреннее соединение, и в конце мы создадим облако слов, чтобы отобразить результат.

Язык: R
Набор данных/Пакет: janeaustenR

Как проверить идеи, архитектуру и алгоритмы без написания кода? Как сформулировать и проверить их свойства? Что такое model-checkers и model-finders? Что делать, когда возможностей тестов недостаточно?

Привет. Меня зовут Васил Дядов, сейчас я работаю программистом в Яндекс.Почте, до этого работал в Intel, ещё раньше разрабатывал RTL-код (register transfer level) на Verilog/VHDL для ASIC/FPGA. Давно увлекаюсь темой надёжности софта и аппаратуры, математикой, инструментами и методами, применяемыми для разработки ПО и логики с гарантированными, заранее определёнными свойствами.

Это вторая статья из цикла (первая статья тут), призванного привлечь внимание разработчиков и менеджеров к инженерному подходу к разработке ПО. В последнее время он незаслуженно обойдён вниманием, несмотря на революционные изменения в подходе и инструментах поддержки.