Pull to refresh
  • by relevance
  • by date
  • by rating

Дорогая редакция… Или какие новости в Феврале?

ScrumTrek corporate blog

Немного об Agile и офисе


Недавно прошел тренинг Agile Development with Scrum и 2-х дневный workshop (тренингом не совсем это назовешь — 50% времени этого тренинга работа с живими документами и генерацией артефактов для получения информации о проекте) по сбору требований в Agile — REQ-Agile Requirements Analysis.

Было достаточно интересно. Первый тренинг проходил почти в виде круглого стола. В течении 4 часов мы обсуждали Agile — что это такое, почему подход рекомендует те или иные практики. Пришли к тому, что магии особой в этом нет и это здравый смысл в организации работы проектов.

Один из участников приятно отозвался об этом тренинге
Читать дальше →
Total votes 30: ↑21 and ↓9 +12
Views 2.8K
Comments 0

MakeMeLaughNow — анализ червя нового поколения в Facebook (перевод)

Information Security *
Translation
В недавнем топике высказали пожелание, что было бы хорошо, если бы кто-то перевел. Я посмотрел текст — вроде не так много. Поэтому, кому интересно, смотрим…
Читать дальше →
Total votes 67: ↑62 and ↓5 +57
Views 841
Comments 15

Дело на триллион. В 2015-ом капитализация рынка SaaS достигнет $1 трлн

«Rizzoma» corporate blog Self Promo
Сейчас много проектов по созданию новых сервисов совместной работы. Несмотря на то что инвесторы уже начали понимать перспективность SaaS-рынка, еще остается определенный скепсис, и если такой стартап приходит к инвестору, то может услышать: «Зачем еще один тысяча первый сервис совместной работы?». Нужно наглядно показать, что рынок растет и готов вместить еще одного игрока. Мы делаем именно такой сервис, и нам пришлось подготовить разумные объяснения.

Инвестор вкладывает в бизнес, рассчитывая на рост капитализации, поэтому нужно быть готовым рассказать про капитализацию рынка. Выяснилось, что инвесторы тоже люди и, как все люди, больше интереса проявляют к интересным историям о том, как развитие продукта и рынка изменят мир.

Если кратко, рынок очень большой, быстро растет и можно без страха на него заходить. Выручка в целом по рынку за 2003 год составила $3b, за 2011 год — $12b. На 2015 год Gartner прогнозирует $21b. Облачные сервисы стоят в 40 раз дороже прибыли, отсюда капитализация рынка получается $840b.


Читать дальше →
Total votes 16: ↑11 and ↓5 +6
Views 5.5K
Comments 24

God object. Анализ сложных проектов

Abnormal programming *.NET *

Введение


Ни для кого не секрет, что такой архитектурный антипаттерн как God object препятствует эффективному поддерживанию кода проекта. Однако его все равно можно встретить в Legacy-системах корпоративного сектора. Со временем код становится настолько сложным, что изменить его функциональность, даже при наличии Unit-тестирования, становится большой проблемой. Такие системы никто не хочет поддерживать, все боятся что-либо улучшать, количество проблем в трекере держится постоянным числом, но может и расти. Как правило, у команды упавшее настроение, которое со временем становится чемоданным: все хотят свалить.
Иллюстрация проблемы
Читать дальше →
Total votes 35: ↑30 and ↓5 +25
Views 5.8K
Comments 18

Analyst Days: Ирина Сурова — Использование трассировок на практике

Лаборатория тестирования corporate blog System Analysis and Design *
Tutorial
Публикуем статью, написанную на основании предыдущего доклада Ирины Суровой с прошлой конференции Analyst Days. В этом году Ирина выступает не только в роли докладчика, но и члена программного комитета будущей московской конференции.


Читать дальше →
Total votes 21: ↑10 and ↓11 -1
Views 7.9K
Comments 8

Борьба с утечками памяти в Android. Часть 1

Badoo corporate blog Development of mobile applications *Development for Android *
Этой статьей мы открываем цикл статей на Хабре о нашей разработке под Android.
Согласно докладу компании Crittercism от 2012 года, OutOfMemoryError — вторая по распространенности причина «крашей» мобильных приложений.
Честно говоря, и в Badoo эта ошибка была в топе всех крашей (что неудивительно при том объеме фотографий, которые просматривают наши пользователи). Борьба с OutOfMemory — занятие кропотливое. Мы взяли в руки Allocation Tracker и начали играться с приложением. Наблюдая за данными зарезервированной памяти, мы выявили несколько сценариев, при которых выделение памяти росло с подозрительной стремительностью, забывая при этом уменьшаться. Вооружившись несколькими дампами памяти после этих сценариев, мы проанализировали их в MAT (http://www.eclipse.org/mat/).
Результат был занимательный и позволил нам в течение нескольких недель снизить количество крашей в разы. Что-то было специфично для нашего кода, но также выявились типичные проблемы, присущие большинству Android приложений.
Сегодня поговорим о конкретном случае утечки памяти. О нем многие знают, но часто закрывают на это глаза (а зря).
Читать дальше →
Total votes 59: ↑55 and ↓4 +51
Views 47K
Comments 18

В чем разница между наукой о данных, анализом данных, большими данными, аналитикой, дата майнингом и машинным обучением

.io corporate blog System Analysis and Design *Data Mining *Big Data *
Recovery mode
В последнее время слово big data звучит отовсюду и в некотором роде это понятие стало мейнстримом. С большими данными тесно связаны такие термины как наука о данных (data science), анализ данных (data analysis), аналитика данных (data analytics), сбор данных (data mining) и машинное обучение (machine learning).

Почему все стали так помешаны на больших данных и что значат все эти слова?

image
Читать дальше →
Total votes 29: ↑20 and ↓9 +11
Views 36K
Comments 8

Impact анализ на примере инфраструктуры корпоративного хранилища данных

TINKOFF corporate blog System Analysis and Design *SQL *Data visualization
В этой статье я хочу рассказать, как можно решать задачу impact анализа или анализа влияния в сложной, многоуровневой инфраструктуре корпоративного хранилища данных на примере нашего DWH в Тинькофф Банке.



Работая с DWH все наверняка задавались хоть раз вопросами:
  • «Что будет, если поменять поле в таблице?»
  • «На каких ETL процессах это скажется?»
  • «Какие отчеты будут затронуты?»
  • «Какие бизнес процессы могут пострадать?»

Ответить на этот вопрос как правило непросто, т.к. нужно просмотреть дюжину ETL процессов, потом залезть в BI инструмент, найти нужные отчеты, что-то держать в голове, помнить о том, что что-то там строится ручным кодом и всё это выливается в большую головную боль.
Даже самое порой безобидное изменение может сказаться, например, на отчете, который каждое утро приходит на почту к председателю правления банка. Немного утрирую, конечно:)

Далее в статье я расскажу, как и с помощью чего можно уменьшить головную боль и быстро проводить impact-анализ в инфраструктуре DWH.

Читать дальше →
Total votes 14: ↑13 and ↓1 +12
Views 12K
Comments 16

Вышел GitLab 9.5: Верификация коммитов GPG и шаблоны проектов

Softmart corporate blog Open source *Git *Version control systems *Build automation *
Translation

image


В GitLab 9.5 мы представляем верификацию коммитов GPG, шаблоны проектов, автоповтор неудавшихся работ CI, навигацию по дифф-файлу мерж реквестов, существенные улучшения производительности и многое другое.


Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 5K
Comments 0

Анализ Буткита FinFisher

OTUS corporate blog Reverse engineering *
Translation
Добрый вечер! Ровно через неделю у нас стартует курс «Реверс-инжиниринг», и сегодня мы хотим поделиться с вами переводом материала, который имеет прямое отношение к этому курсу. Поехали.

Недавно мы исследовали вредоносный буткит FinFisher, опубликованный WikiLeaks. Большинство компонентов версии для Windows были достаточно простыми, так что перейдём сразу к драйверу режима ядра и загрузочному коду.



Драйвер режима ядра напрямую считывает сырые данные с жесткого диска, либо записывает их на него. С упрощенной версией метода, используемого драйвером, можно ознакомиться в этой статье.
Читать дальше →
Total votes 20: ↑19 and ↓1 +18
Views 2.6K
Comments 3

System Analysis MeetUp UPD2 Трансляция и презентации

Райффайзенбанк corporate blog System Analysis and Design *Agile *Product Management *Conferences
13 июня System Analysis Community Райффайзенбанка приглашает на свой первый открытый Meetup, который пройдет в офисе в Нагатино. Мы ждём системных и бизнес аналитиков, а также всех тех, кто связан с анализом или только планирует связать свою профессиональную деятельность с ним.


Total votes 13: ↑12 and ↓1 +11
Views 1.8K
Comments 2

Ваш выход, граф: как мы не нашли хороший сетевой граф и создали свой

Group-IB corporate blog Information Security *IT Infrastructure *Network technologies *


Расследуя дела, связанные с фишингом, бот-сетями, мошенническими транзакциями и преступными хакерскими группами, эксперты Group-IB уже много лет используют графовый анализ для выявления разного рода связей. В разных кейсах существуют свои массивы данных, свои алгоритмы выявления связей и интерфейсы, заточенные под конкретные задачи. Все эти инструменты являлись внутренней разработкой Group-IB и были доступны только нашим сотрудникам.

Графовый анализ сетевой инфраструктуры (сетевой граф) стал первым внутренним инструментом, который мы встроили во все публичные продукты компании. Прежде чем создавать свой сетевой граф, мы проанализировали многие подобные разработки на рынке и не нашли ни одного продукта, который бы удовлетворял нашим собственным потребностям. В этой статье мы расскажем о том, как мы создавали сетевой граф, как его используем и с какими трудностями столкнулись.

Дмитрий Волков, CTO Group-IB и глава направления киберразведки
Читать дальше →
Total votes 16: ↑14 and ↓2 +12
Views 4.3K
Comments 2

Вокруг Света за 4 Секунды на Columnstore (Часть 1)

PostgreSQL *
Sandbox
В этой статье я собираюсь рассмотреть вопрос повышения скорости отчетов. Под отчетом я понимаю любой запрос в базу данных, который использует агрегирующие функции. Также, я собираюсь затронуть вопросы, касающиеся затрачиваемых ресурсов на производство и поддержку отчетов, как людские, так и машинные.

В примерах я буду использовать набор данных, содержащий 52 608 000 записей.

На примере не сложных аналитических запасов я продемонстрирую, что даже слабый компьютер можно превратить в неплохое средство анализа «приличного» объема данных без особых усилий.

Поставив не сложные эксперименты, мы увидим, что обычная таблица не является подходящим источником для аналитических запросов.

Если читатель без труда может расшифровать аббревиатуры OLTP и OLAP, возможно есть смысл перейти сразу к разделу Columnstore

Два подхода к работе с данными


Здесь я буду краток, т.к. информации по этой теме в интернете более, чем достаточно.

Итак, на самом верхнем уровне существует всего два подхода к работе с данными: OLTP и OLAP.

OLTP — можно перевести, как моментальная обработка транзакций. На самом деле, речь идёт об онлайн обработке коротких транзакций, работающих с небольшим объёмом данных. Например, запись, обновление или удаление заказа. В подавляющем большинстве случаев заказ — это крайне малый объём данных, при обработке которого можно не бояться длительных блокировок, накладываемых современными РСУБД.

OLAP — можно перевести как аналитическая обработка большого количества транзакций за один раз. Любой отчет использует именно этот подход, ведь в подавляющем большинстве случаев отчет выдаёт сводные, агрегированные цифры по определённым разрезам.
Читать далее
Total votes 17: ↑16 and ↓1 +15
Views 3.9K
Comments 6

ruleguard: динамические проверки для Go

Open source *Perfect code *Compilers *Go *Development Management *


В этой статье я расскажу о новой библиотеке (и утилите) статического анализа go-ruleguard, которая адаптирует gogrep для использования внутри линтеров.


Отличительная особенность: правила статического анализа вы описываете на особом Go-подобном DSL, который на старте ruleguard превращается в набор диагностик. Возможно, это один из самых легко конфигурируемых инструментов для реализации кастомных инспекций для Go.


В качестве бонуса, мы поговорим об go/analysis и его предшественниках.

Читать дальше →
Total votes 21: ↑19 and ↓2 +17
Views 3.8K
Comments 16

Эксперименты с нейронными сетями на данных сейсморазведки

Open Data Science corporate blog Python *Geoinformation services *Machine learning *Artificial Intelligence
Сложность интерпретации данных сейсмической разведки связана с тем, что к каждой задаче необходимо искать индивидуальный подход, поскольку каждый набор таких данных уникален. Ручная обработка требует значительных трудозатрат, а результат часто содержит ошибки, связанные с человеческим фактором. Использование нейронных сетей для интерпретации может существенно сократить ручной труд, но уникальность данных накладывает ограничения на автоматизацию этой работы.

Данная статья описывает эксперимент по анализу применимости нейронных сетей для автоматизации выделения геологических слоев на 2D-изображениях на примере полностью размеченных данных из акватории Северного моря.

Проведение акваториальной сейсморазведки
Рисунок 1. Проведение акваториальной сейсморазведки (источник)
Читать дальше →
Total votes 40: ↑40 and ↓0 +40
Views 12K
Comments 14

Настройка функции потерь для нейронной сети на данных сейсморазведки

Open Data Science corporate blog Python *Geoinformation services *Machine learning *Artificial Intelligence
В прошлой статье мы описали эксперимент по определению минимального объема вручную размеченных срезов для обучения нейронной сети на данных сейсморазведки. Сегодня мы продолжаем эту тему, выбирая наиболее подходящую функцию потерь.

Рассмотрены 2 базовых класса функций – Binary cross entropy и Intersection over Union – в 6-ти вариантах с подбором параметров, а также комбинации функций разных классов. Дополнительно рассмотрена регуляризация функции потерь.

Спойлер: удалось существенно улучшить качество прогноза сети.


Читать дальше →
Total votes 34: ↑34 and ↓0 +34
Views 14K
Comments 0

Почему в 21 веке геофизики верят в теорию плоской Земли?

History of IT Popular science Physics

Значительная часть геофизических публикаций в "солидных" журналах используют широко известную поправку к гравитационным данным — редукцию Буге. И все глобальные модели гравики ее используют. Наверное, это что-то очень важное и основано на детально проработанной теории? Давайте посмотрим, как можно графически проиллюстрировать смысл этой поправки. На рисунке показана идеальная плоскопараллельная пластина радиусом 200км, применяемая для вычисления поправки Буге согласно определению:



Рисунок из книги К.Ф. Огородникова «На чем Земля держится», 1953 г.

Читать дальше →
Total votes 45: ↑23 and ↓22 +1
Views 9.5K
Comments 32

Kibana Tips & Tricks: How to view events in Discover mode

Data visualization
Tutorial
image

Hi Habrausers!

As you may know Kibana is a visualization instrument, part of ELK (Elastic, Logstash, Kibana) stack. With the help of Kibana you may analyze and visualize your data, build different charts and combine them on the dashboard to present data in the most beautiful way.
People who use Kibana in our company have different background — some of them are technical who process data, some are managers who simply want to monitor some KPIs. And all have various questions. In spite of Kibana is rather popular in IT companies, there are not many articles or courses about it. To fill the gap I have created Kibana Tips & Tricks — weekly letters with frequently asked questions or themes. Such letters help our users to become more familiar with Kibana. There are no secrets — just detailed description of how you may work with your data.
I would like to share the first part of 'Kibana Tips & Tricks' with you — series of simple how-to articles for people who would like to know more about data analysis and visualization in Kibana. Today we will see how to view events in Kibana.
Read more →
Total votes 7: ↑7 and ↓0 +7
Views 2.8K
Comments 0

How the PVS-Studio analyzer began to find even more errors in Unity projects

PVS-Studio corporate blog C# *Unity3D *
image1.png

When developing the PVS-Studio static analyzer, we try to develop it in various directions. Thus, our team is working on plugins for the IDE (Visual Studio, Rider), improving integration with CI, and so on. Increasing the efficiency of project analysis under Unity is also one of our priority goals. We believe that static analysis will allow programmers using this game engine to improve the quality of their source code and simplify work on any projects. Therefore, we would like to increase the popularity of PVS-Studio among companies that develop under Unity. One of the first steps in implementing this idea was to write annotations for the methods defined in the engine. This allows a developer to control the correctness of the code related to calls of annotated methods.
Read more →
Total votes 3: ↑3 and ↓0 +3
Views 411
Comments 0

Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности

Python *Data Mining *Big Data *Data visualization Urbanism
Это серия статей посвящена исследованию строительной активности главного города Кремниевой Долины — Сан-Франциско. Сан-Франциско — технологическая «Москва» нашего мира, на примере которого (при помощи открытых данных) можно наблюдать за развитием строительной отрасли в больших городах и столицах.

Построение графиков и расчётов проводилось в Jupyter Notebook (на платформе Kaggle.com).

Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последнии тенденции и историю развития строительной отрасли за последние 40 лет, в период с 1980 по 2019 год.

Открытые данные дают возможность исследовать основные факторы, которые влияли и будут влиять на развитие строительной отрасли в городе, разделив их на “внешние” (экономические бумы и кризисы) и “внутренние” (влияние праздников и сезонно-годовых циклов).
Читать дальше →
Total votes 4: ↑4 and ↓0 +4
Views 1.9K
Comments 14
1