Как стать автором
Обновить
4
0

Пользователь

Отправить сообщение

Управление качеством данных: роли, процессы, инструменты

Время на прочтение16 мин
Количество просмотров15K

Данные — это кровь любой организации и основа её коммерческого успеха. Вероятно, вы слышали подобные лозунги от лекторов на конференциях или в онлайн-заголовках. Но так оно и есть: вам нужно полагаться на точную информацию, чтобы выполнить задачу или создать сервис, будь то планирование оптимального маршрута для доставки суши разным заказчикам или отправка персонализированных новостных рассылок. В первом случае необходимы точные подробности заказа. Во втором случае нужно сегментировать клиентов на основании их активности и интересов. Для этого необходимо собрать и проанализировать соответствующие данные, а для этого потребуются время и усилия.
Читать дальше →
Рейтинг0
Комментарии1

Информационная Система с данными и без

Время на прочтение11 мин
Количество просмотров3K

В нашей прошлой статье мы рассказывали о функциональных зависимостях и их применении в эксплорации и очистке данных. Сейчас расскажем о разработке информационных систем. Как сделать нужную для бизнеса информационную систему (ИС), которая полностью работает, и при этом не работает? Очень просто. Предоставьте разработчикам ИС ограниченный набор тестовых данных и лишите их возможности сопровождения системы на реальных данных.

Очень часто заказчики забывают важность предоставления своевременного и полного набора данных для информационных систем, что в итоге приводит к весьма плачевным результатам. В этой статье мы поделимся своим опытом в этой сфере и попытаемся обосновать важность получения правильных тестовых данных.  

Читать далее
Всего голосов 4: ↑4 и ↓0+4
Комментарии1

Как мы писали книгу по управлению данными. Часть 2

Время на прочтение17 мин
Количество просмотров3.1K

В предыдущей нашей публикации, «Как мы писали книгу по управлению данными» мы подробно рассказали о всех нюансах создания книги «Ценность Ваших Данных» [2] – от замысла до работы с издательством. В этой статье мы расскажем о создании труда с точки зрения научной составляющей – от нашего перевода и научной редактуры DAMA-DMBOK2 до создания собственной работы в области управления данными. В данной публикации хотелось бы еще раз проследить историю создания книги, более подробно рассмотрев основные вехи в формировании ее концепции. Во-первых, чтобы дополнительно прояснить замысел авторов. А во-вторых, чтобы поделиться полученным опытом трансформации изначального замысла в процессе написания и подготовки окончательного варианта текста. Возможно, изложенные нами сведения окажутся интересными как для читателей книги, так и для тех коллег, которые планируют издание собственного труда подобного рода.  

Отправная точка

Началось все с того, что в течение 2018-2019 годов мы приняли участие в работе над переводом и научной редактурой второго издания руководства Международной ассоциации управления данными (DAMA) к своду знаний по управлению данными - DAMA-DMBOK2 [7]. Наша компания включилась в эту деятельность совершенно осознанно, поскольку мы хорошо понимали важность и полезность переводимого документа, уже давно ориентировались в своей проектной работе на его основные положения и англоязычный текст был нам хорошо знаком. Работа, с учетом необходимых организационных и подготовительных мероприятий, длилась почти полтора года. Особенно напряженными были последние шесть месяцев, когда первоначальный вариант перевода был подвергнут кардинальной переделке, связанной с преодолением целого ряда препятствий [4]. Тем приятнее осознавать, что результат нашего труда оказался востребованным. Мы получили много положительных отзывов о русском издании DMBOK2, его тираж уже несколько раз допечатывался, а варианты перевода отдельных терминов и ключевые текстовые фрагменты все чаще используются в различных отечественных публикациях.   

Читать далее
Всего голосов 3: ↑3 и ↓0+3
Комментарии0

Поздравить пользователя 00 февраля с минус семитысячелетием или Заблуждения о паспортах в базе

Время на прочтение6 мин
Количество просмотров6.7K

Времена, когда «усы, лапы и хвост» достаточно хорошо удостоверяли личность любых двуногих и четвероногих миновали. Времена, когда достаточно показать «мультипасс» ещё не наступили.
И пока мы ждём светлого будущего, постараюсь развеять некоторые заблуждения разработчиков и пользователей о хранении паспортов в базе.

Мифы и легенды про документы
Всего голосов 24: ↑23 и ↓1+27
Комментарии48

Пять факторов, которые влияют на выбор базы данных

Уровень сложностиСредний
Время на прочтение10 мин
Количество просмотров10K

При выборе баз данных для текущего проекта (или при замене тех, которые не отвечают вашим текущим потребностям) количество возможных вариантов очень велико. Это и хорошо, и плохо, ведь нужны какие-то критерии фильтрации.

Сегодня есть гораздо больше баз данных, чем когда-либо. В декабре 2012 года, когда DB-Engines.com впервые начал ранжировать базы данных, у него получился список из 73 систем (существенный рост по сравнению с самым первым списком из 18 систем). Спустя десять лет, на декабрь 2022 года в списке было уже почти четыреста систем. За последнее десятилетие произошёл настоящий кембрийский взрыв технологий баз данных. Нужно ориентироваться в обширном пространстве вариантов: SQL, NoSQL, множество «многомодельных» баз данных, которые могут быть сочетанием SQL и NoSQL, или множественные модели данных NoSQL (сочетающие две или более опций: документы, ключи-значения, широкие столбцы, графы и так далее).

Кроме того, пользователи не должны путать популярность с применимостью для них. Хотя сетевой эффект имеет свои преимущества («Все пользуются X, поэтому не ошибусь, если выберу её»), он также может привести к групповому мышлению, торможению инноваций и конкуренции.

Мы с моим коллегой Артуром Песа недавно рассмотрели пять факторов, которые пользователи должны учитывать в первую очередь при выборе и сравнении баз данных.
Читать дальше →
Всего голосов 30: ↑25 и ↓5+29
Комментарии3

Оценка стоимости разработки программного продукта, информационной системы, сервиса или задачи

Время на прочтение11 мин
Количество просмотров33K

Оценка стоимости разработки программных продуктов нацелена на получение реальной картины ситуации на основании разных факторов, влияющих на процесс разработки. В статье представлена базовая теория, которую необходимо знать при проведении оценок, несколько основных методов оценки, а также ключевые ошибки. Материал рассчитан на начинающих владельцев продуктов и ИТ-аналитиков.

Читать далее
Всего голосов 6: ↑6 и ↓0+6
Комментарии12

Завхоз ландшафта в поисках хозяина дыры: зачем и как я шантажирую начальство

Время на прочтение14 мин
Количество просмотров21K

Защищать данные — это как лечить хронь вроде диабета. С одной стороны, пациент менеджмент понимает, что пренебрегать правилами нельзя, а с другой — думает, что глазки отвалятся потом и вообще не факт, а тортик вкусный — прямо сейчас. Искушение сэкономить на ИБ неодолимо.

Сама идея безопасности, отличной от настройки файервола, всё ещё нова для некоторых компаний. Средний возраст уязвимости, через которую влезают злодеи, составляет семь лет. СЕМЬ. То есть это не новое и модное, за которым не успели, это старое и известное, на которое забили.

Заставить высший менеджмент шевелиться тут могут только хорошо организованные шантаж и угрозы. И вот как я это делаю. 

Читать далее
Всего голосов 45: ↑44 и ↓1+61
Комментарии39

Обзор книги «Data Science. Наука о данных с нуля», отличная книга для начинающих

Время на прочтение10 мин
Количество просмотров18K

Всем доброго времени суток! Так как о Data Science мы слышим всё чаще и чаще, предлагаю вам обзор книги, что будет полезна для начинающих.

Публикую обзор книги с моего телеграмм-канала IT-старт t.me/it_begin на книгу "Data Science.Наука о данных для начинающих".

Автор книги Джоэл Грас.

Стоит читать? Да! Почему? Опишу в статье.

Читать далее
Всего голосов 8: ↑6 и ↓2+6
Комментарии3

Информация, как много в этом слове…

Время на прочтение8 мин
Количество просмотров8.2K

Очень сложно дается для понимания (уж поверьте, проверено много раз) простая мысль, что одним и тем же словом в разных предметных областях, на разных уровнях анализа, разными людьми могут обозначаться принципиально разные понятия. Например, большинство убеждено, что существует некое реальное, как оно есть на самом деле, сознание, и проблема только в том, что у нас не получается описать его словами. Сколько человек ни возьмется за это, у всех получается как-то про разное. Хотя можно просто признать, что слово «сознание» многие используют в разных значениях, то есть обозначают им разные понятия, и на этом завершить бесконечные споры. Ту же историю мы наблюдаем и со словом «информация» – можно насчитать под сотню различных, порой очень далеких друг от друга по содержанию определений.

Согласно одним, информация – это «любые данные, представленные в электронной форме», согласно другим –  «универсальное свойство материи», и  тут же – «мера организованности системы», а еще «сведения, воспринимаемые человеком». Кто-то пытается объяснить наличие множества определений информации тем, что само понятие ‘информация’ является многогранным, сложным, и даже объявляет его базовым, неопределяемым. Но ведь очевидно, что приведенные определения никак не могут описывать нечто одно: потоки символов, передаваемый по каналам связи, не могут быть мерой сложности системы, а воспринимаемые человеком сведения – универсальным свойством материи.

Далее я попытаюсь убедить вас в следующем: во-первых, нет никакой самой по себе информации, про которую можно говорить, что именно она и есть информация (сложная, первичная, вездесущая) и требуется только дать ей единственно правильное определение; во-вторых, мы имеем дело с рядом несводимых друг к другу понятий, которые в разных областях разными людьми обозначаются одним и тем же словом «информация». 

Читать далее
Всего голосов 15: ↑6 и ↓9-2
Комментарии42

Страдающее ML: как мы автоматизировали проверку данных, чтобы не было мучительно больно

Время на прочтение6 мин
Количество просмотров6K

Работать с данными — муторно, но есть кое-что похуже — проверять их качество. Больше данных — больше изматывающих ручных проверок и меньше уверенности, что с массивом всё в порядке.

Я разрабатываю ML-модели для розничного бизнеса, провожу A/B-тесты и оцениваю бизнес-эффекты в Газпромбанке. Год назад мы разработали систему, которая показывает, где и насколько данные плохи, а инженерам остаётся только разобраться почему. Раньше они сначала вручную выясняли, что в данных пошло не так, а теперь есть система, которая даёт подсказки. Расскажу об алгоритме, лежащем в основе системы, и о том, что она сейчас собой представляет и как используется в наших бизнес-процессах.

Читать далее
Всего голосов 28: ↑28 и ↓0+28
Комментарии11

Слепые капитаны ищут дно: почему российский бизнес – это болото, в котором барахтаются идиоты-«менеджеры»

Время на прочтение12 мин
Количество просмотров143K

Владельцы компаний часто жалуются на сложности ведения бизнеса: людишки уже не те, кредиты дорогие, страна тоже не та. Так ли это на самом деле? Частично да, но есть и другие нюансы. Главная проблема – совокупность негативных факторов: общество зацементировалось и развивается не потому что, а вопреки.

Как часто вас подставляли или динамили разные невменяемые люди на работе? Бывало ли так, что вы орали матом в бессилии и хотели кому-нибудь сломать ноги за эпические фейлы? Сейчас я расскажу о том, почему так всё складывается.

Читать далее
Всего голосов 259: ↑183 и ↓76+149
Комментарии1361

Величайшая мистификация 21 века – «Технические собеседования»

Время на прочтение11 мин
Количество просмотров45K

Собеседование в айти это как игра - «кто хочет стать миллионером». Сопоставима по трудности, и с каждым ответом ты приближаешься к цели,

Только тут цель не миллион и не работа мечты, а очередная галера.

Читать далее
Всего голосов 112: ↑30 и ↓82-44
Комментарии395

Новые мини-ПК, представленные на CES 2023: больше моделей хороших и разных

Время на прочтение4 мин
Количество просмотров19K

Мы довольно часто пишем о миниатюрных ПК, которые занимают минимум поверхности рабочего стола. Зато они приносят максимум пользы, поскольку устройства такого формата — самые разные, от производительных моделей, способных работать с медиаконтентом, до специфических устройств вроде сетевых девайсов. На CES 2023 производители представили несколько новых интересных моделей, о которых стоит рассказать.
Читать дальше →
Всего голосов 33: ↑32 и ↓1+42
Комментарии26

Качество данных, или как заставить аналитика красить траву в зелёный цвет

Время на прочтение13 мин
Количество просмотров2.6K

Данные и информация — это и ценность, и риск одновременно. На основе данных принимаются разного рода управленческие решения, и если данных мало, они недостоверные или в них множество ошибок, то возникает вопрос: какой вектор развития будет лежать на основе анализа таких данных?

Эксперт-аналитик направления сервисов для работы с большими данными Группы «Иннотех» Владимир Ловцов поделился своим мнением о том, как организовать корректную работу с данными.

Читать далее
Всего голосов 6: ↑1 и ↓5-4
Комментарии0

Гори это ИТ синим пламенем

Время на прочтение5 мин
Количество просмотров122K

Когда-то давно я мечтал стать программистом. Еще со средних класов школы начал ездить на олимпиады по программированию, писал игровые моды и просто нереально кайфовал от того, что делал. Начинал еще с Turbo Pascal, потом С, потом скриптовые языки, в универе математическое моделирование на С++ и matlab. Только в универе пришлось на теор.физике тусоваться, ибо не прошел по балах на программирование, но да ладно. Спустя 3 года я все таки решил кинуть физику, так как просто не видел денег в этой сфере в своей стране, и получил все таки первую долгожданном ИТ. Это была серверная разработка на Python.

С тех пор прошло уже 6 лет. Не могу сказать, что я сверх нерд и мое мнение авторитетное - но какой-то опыт в своей сфере все таки имею. Повидать успел с десяток различных компаний - от крупнейших в СНГ и крупных на диком западе, до мелких стартапов ( не думайте, что я во всех них успел поработать - это тема отдельная). Это печально...

Читать далее
Всего голосов 231: ↑188 и ↓43+182
Комментарии650

Требования ГОСТ на автоматизированные системы в ИБ-проектах. Что изменилось и как это применять?

Время на прочтение17 мин
Количество просмотров115K

Традиционно разработчики документации на автоматизированные системы при создании и обеспечении защиты этих систем применяли ГОСТы 34-й серии. С 2022 года наконец-то произошло обновление старых стандартов в рамках новой серии национальных и межгосударственных стандартов на автоматизированные системы (далее — ГОСТ на автоматизированные системы).

В этой статье мы проясним основные особенности применения ГОСТ на автоматизированные системы, а также разберемся в изменениях, которые произошли в 2022 году.

Читать далее
Всего голосов 13: ↑13 и ↓0+13
Комментарии7

Что учесть при разработке интеграций информационных систем

Время на прочтение7 мин
Количество просмотров5.5K

Невозможно представить современную информационную систему (далее – ИС), которая бы стояла особняком, и не была бы интегрирована с другими. Особенно, если мы говорим о корпоративных или государственных данных. Вопросу интеграций посвящены целые книги, такие как «Шаблоны интеграции корпоративных приложений» Грегора Хопа. Некоторые издания пытаются рассматривать не только технические, но и организационные вопросы интеграции (например, «Предметно-ориентированное проектирование (DDD)» Эрика Эванса). Между тем, современный уровень технологий и высокий уровень компетентности разработчиков очень сильно снижает технические риски, выставляя на первый план организационные. В этой статье мы рассмотрим интеграции информационных систем именно с точки зрения организационных рисков. 

Читать далее
Всего голосов 6: ↑5 и ↓1+5
Комментарии1

Информация

В рейтинге
Не участвует
Зарегистрирован
Активность

Специализация

Специалист
Lead