Как стать автором
Обновить
3
0
Михаил @rakerunner

project manager

Отправить сообщение

Какой софт использует ЦРУ и АНБ для дата-майнинга

Время на прочтение6 мин
Количество просмотров16K


После утечки данных от Сноудена стало понятно, что АНБ собирает данные на всех граждан до совершения преступлений, а не на конкретных подозреваемых после преступления.

Аналогичную практику сбора разведданных на всех граждан до совершения преступления начали практиковать и в других странах, в том числе России. Речь идёт о длительном хранении интернет-трафика, сведений о перемещении, звонков, записей видеонаблюдения и т.д. Это очень удобно, ведь в случае необходимости найдутся улики практически на любого человека.

Разумеется, для быстрого поиска в таком огромном массиве данных требуется специальный софт.
Читать дальше →
Всего голосов 31: ↑31 и ↓0+31
Комментарии8

DARPA: как создавшее Интернет агентство родилось из продаж бытовой химии и страха перед «Спутником»

Время на прочтение11 мин
Количество просмотров10K

Интернет родился в недрах DARPA/ARPA — Управления перспективных оборонно-исследовательских проектов министерства обороны США (Advanced Research Projects Agency, с то появляющимся, то исчезающим первым словом Defence, «оборонных») — утверждение по банальности и общеизвестности сравнимое с «Земля вращается вокруг Солнца». Даже его первая итерация Интернета, заработавшая 29 октября 1969 года, называлась ARPAnet — «сеть ARPA». Однако не только созданием этих наших интернетов знаменито DARPA. Если вбить слово DARPA в поиск Хабра, мы получим множество публикаций: смесь исторических обзоров и новостей о всевозможных разработках повышенной степени масштабности и безумности (от боевых насекомых-киборгов до беспилотного преемника «Шаттлов»).
Читать дальше →
Всего голосов 36: ↑33 и ↓3+40
Комментарии8

Интерпретируемость в машинном обучении: итоги 2021 г

Время на прочтение10 мин
Количество просмотров6.6K

В 2021-2022 годах уже ни для кого не секрет, что понимать логику работы моделей машинного обучения важно и нужно. Иначе можно насобирать множество проблем: от того, что модель не будет принята конечным пользователем, потому что непонятна, до того, что она будет работать неправильно, а поймем мы это уже слишком поздно.

Для интерпретируемости в машинном обучении устоялись термины Interpretable ML и Explainable AI (XAI). Объединяет их одно - стремление сделать модели машинного обучения понятными для конечного пользователя.

Под катом поговорим о том, что интересного произошло в интерпретируемости в 2021 г.

Читать далее
Всего голосов 19: ↑18 и ↓1+20
Комментарии1

Как мы прогнозируем цены на наши продукты с помощью Machine Learning

Время на прочтение5 мин
Количество просмотров3.9K

Привет, Хабр!

Меня зовут Александр Крот, я руководитель по разработке аналитических продуктов СИБУР Диджитал. Сегодня я расскажу о проекте, связанном с цифровизацией процесса ценообразования, – прогнозировании ценовых котировок.

Если кратко, мы создали более 60 моделей, которые прогнозируют цены на наши продукты на разных рынках. Раньше маркетологи собирали эту информацию вручную, эти 60-70 прогнозов занимали у нас несколько дней. На результат влиял человеческий фактор – возникали неточности, прогнозы приходили не вовремя. Сейчас модели пересчитывают котировки автоматически.

Польза от инструмента стала особенно очевидной в прошлом году, когда началась пандемия и связанные с ней карантинные ограничения: вставали и снова запускали целые предприятия, закрывались и открывались границы, цены на продукцию под влиянием большого количества внешних менялись круглосуточно, а нам надо было точно и, главное, быстро управлять материальными потоками.

Как прогнозирование цен позволяет компании получать дополнительные сотни миллионов рублей; как просчитать влияние множества событий на эти цены; почему даже при хорошем ML-фреймворке без человека всё равно никак. Все подробности – в посте.

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии0

Хорошие BPM — инструменты, которых нет и нет. Моделирование процессов

Время на прочтение15 мин
Количество просмотров19K

Поговорим о том, какие инструменты хотелось бы иметь при описании бизнес-процессов. Инструментов BPMS (BPM systems) много, но выбрать то особо нечего …  

Ниже перечислим некоторые важные инструментальные возможности некоторых сред моделирования процессов (в основном ARIS и MS visio).

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии49

Автоматизируем работу с ArchiMate в CI пайплайнах

Время на прочтение6 мин
Количество просмотров19K

В этой статье я дам краткую вводную, что такое Archi и ArchiMate. Расскажу о коллективной работе с Archi используя расширение coArchi, после чего предоставлю контейнер позволяющий автоматизировать работу по созданию HTML и PDF документов с ArchiMate моделями. Завершим же, созданием своего GitHub Action, настроим GitHub и GitLab пайплайн с последующей публикацией модели в GitHub/GitLab Pages.

Читать далее
Всего голосов 7: ↑7 и ↓0+7
Комментарии19

Как строилась Data-практика в EPAM

Время на прочтение10 мин
Количество просмотров6.4K

Компания EPAM давно работает с данными, первые крупные заказчики с проектами по Big Data появились в далёком 2001 году. В то время известные аналитические компании Gartner и Forrester, а также крупные поставщики Oracle, Microsoft и IBM отмечали, что компании должны двигаться в сторону Big Data, поскольку эти технологии незаменимы во всех областях, связанных с обработкой больших объёмов данных. С того времени команда экспертов EPAM постепенно росла, работая над всё более сложными проектами и предлагая проверенные решения и качественные продукты для работы с большими данными. Сегодня только в российском EPAM более 500 человек работают в Data-практике. О том, как всё начиналось, какие проекты встречались, какие провалы случались, к чему должны готовиться Data-специалисты и о том, какие вообще бывают Data-специалисты, я поговорила с руководителем Data-практики EPAM в России — Ильей Герасимовым

Читать далее
Всего голосов 3: ↑2 и ↓1+1
Комментарии6

Где и как в EPAM прототипируют будущее

Время на прочтение11 мин
Количество просмотров9.5K

Привет, Хабр! Меня зовут Александр Бобко, я работаю руководителем проектов в инновационной лаборатории EPAM – Made Real Lab. Это уникальное подразделение, которое занимается созданием прототипов инновационных идей и проверкой концепций в реальном мире для клиентов компании из самых разных отраслей. 

В этом посте хочу познакомить вас с Made Real Lab поближе и рассказать о некоторых наших проектах.  

Читать далее
Всего голосов 8: ↑5 и ↓3+3
Комментарии3

Введение в Data Vault

Время на прочтение6 мин
Количество просмотров127K


Большинство компаний сегодня накапливают различные данные, полученные в процессе работы. Часто данные приходят из различных источников — структурированные и не очень, иногда в режиме реального времени, а иногда они доступны в строго определенные периоды. Все это разнообразие нужно структурированно хранить, чтоб потом успешно анализировать, рисовать красивые отчеты и вовремя замечать аномалии. Для этих целей проектируется хранилище данных (Data Warehouse, DWH).

Существует несколько подходов к построению такого универсального хранилища, которые помогают архитектору избежать распространенных проблем, а самое главное обеспечить должный уровень гибкости и расширяемости DWH. Об одном из таких подходов я и хочу рассказать.

Кому будет интересна эта статья?


  • Ищете более функциональную альтернативу схеме «звезды» и Третьей Нормальной Форме?
  • У Вас уже есть хранилище данных, но его тяжело дорабатывать?
  • Нужна хорошая поддержка историчности, а текущая архитектура для этого не подходит?
  • Возникают проблемы при сборе данных из нескольких источников?

Если на какой-либо из этих вопросов Вы ответили утвердительно, и при этом не знакомы с Data Vault — прошу заглянуть под кат!
Читать дальше →
Всего голосов 9: ↑9 и ↓0+9
Комментарии2

Enterprise Architecture vs алхимия предприятия. Часть 2. Проще некуда: простой фреймворк и простое предприятие

Время на прочтение20 мин
Количество просмотров11K


Продолжаем популяризацию направления «Архитектура предприятия» и робкие попытки очищения его от алхимии и наукообразия. Начало: «Enterprise Architecture vs алхимия предприятия. Ключевые мифы»

Наш подход к изучению — классический: от простого к сложному. Начинаем с самого простого: самого простого фреймворка – таблички Джона Захмана и самого простого предприятия – домохозяйства. Проще некуда. Соответственно, на выходе должна получиться самая простая «Архитектура предприятия». Не так ли?

Напоминаю, что главная проблема Enterprise Architecture (ЕА) – это отсутствие конкретных примеров этой самой ЕА в открытом доступе. Алхимики их хранят «как зеницу ока», видимо потому, что если их публиковать, то откроется страшный секрет «платья короля» и все скажут: А король то голый!

В первой статье мы проговорили правила участия в «Конкурсе на описание «household architecture» (см. раздел №3). Конкурс задуман как практический шаг к формированию научного архитектурного подхода (архитектурика) к описанию предприятия типа «домохозяйство», т.е. «household architecture» (НА).

На мой взгляд, подобная тема – отразить собственную НА по какому-либо существующему «классическому» фреймворку или оригинальной методе описания ЕА, — прекрасная тема как для дипломных работ по специализации Enterprise Architecture специальности «Бизнес-информатика», так и возможность практикующим консультантам показать, насколько они знают толк в консалтинге ЕА.
Надеюсь, что URL ссылка на свою НА (или эталонную) станет обязательным реквизитом квалификационной работы и визитки консалтера по данному направлению.

Читать дальше →
Всего голосов 21: ↑12 и ↓9+3
Комментарии60

Enterprise Architecture vs алхимия предприятия. Ключевые мифы

Время на прочтение29 мин
Количество просмотров27K


Алхимиками двигало примерно то же, что и современными учёными — им хотелось понять, как устроен мир. Они изучали это как могли. Позже древние протонауки эволюционировали до современного состояния наук.

Это справедливо и для современной дисциплины «Архитектура предприятия», нужно лишь сделать два уточнения: «алхимиками в 21 веке двигало …» и «… понять, как устроено предприятие».


На страницах ИТ-интернета тема Enterprise Architecture (ЕА) — одна из популярнейших. Она дает возможность поговорить о «высоком», — об «архитектурном» подходе, десятках framework, почувствовать себя Архитектором «с большой буквы».

Пишут многие и пишут много. Читатели статей «Архитектура предприятия» одобрительно кивают, восхищаясь … «платьем короля». На «благодатной почве» ЕА развелись всевозможные «архитекторы».

Книги, учебные дисциплины, консалтинговые проекты, группы, консорциумы, целые институты со специализацией ЕА (IFEAD, iEAi и др.), глобальные организации (GEAO), одноименные журналы (Journal of Enterprise Architecture), международные стандарты (ISO 15704, 42010 и др.) и прочее — прочее.

Тем не менее, в контексте ЕА, остаются вопросы: что такое «архитектура», что такое «предприятие» и что такое «архитектура предприятия», а также — кто главный потребитель ЕА и почему конкретных примеров этой самой ЕА нигде нет.

Методик, эталонных моделей и архитектурных фреймворков (обычно с окончанием на «AF»: FEAF, TEAF, DoDAF и т.п.) — «как грязи», а реальных результатов посмотреть негде.

Да-да, ключевая особенность этого направления: нет ни одного конкретного полного примера этой самой загадочной enterprise architecture в открытом доступе.

Архитекторы говорят, что это NDA, «большой секрет», ДСП (возможно даже «гос-тайна»). Но как вообще «архитектура» может быть секретной? На то она и «архитектура», чтобы быть узнаваемой: различимой и сопоставимой. А вот «Алхимия предприятия» — как раз и должна держаться в строгом секрете.
Читать дальше →
Всего голосов 21: ↑18 и ↓3+15
Комментарии87

50 самых интересных клавиатур из частной коллекции

Время на прочтение20 мин
Количество просмотров32K

Уже совсем скоро благодаря Кикстартеру выйдет книга, посвящённая клавиатурам. Для тех, кто не имеет возможности её купить, предлагаем краткий обзор 50 клавиатур, которые есть в коллекции автора. Интересно? Тогда я продолжаю.

Будет много фото (специально вас предупреждаю).

Читать далее
Всего голосов 82: ↑81 и ↓1+102
Комментарии70

2003–2023: Краткая история Big Data

Время на прочтение17 мин
Количество просмотров16K
Когда, играя в ту или иную RPG, я оказываюсь в библиотеке, то обязательно перечитываю все книги на полках, чтобы лучше вникнуть во вселенную игры. Помнит кто-нибудь «Краткую историю империи» в Morrowind?

Большие данные (Big Data) и, в частности, экосистема Hadoop появились немногим более 15 лет назад и развились к сегодняшнему дню так, как мало кто мог тогда предположить.

Ещё только появившись, опенсорсный Hadoop сразу стал популярным инструментом для хранения и управления петабайтами данных. Вокруг него сформировалась обширная и яркая экосистема с сотнями проектов, и он до сих пор используется многими крупными компаниями, даже на фоне современных облачных платформ. В текущей статье я опишу все эти 15 лет1 эволюции экосистемы Hadoop, расскажу о её росте в течение последнего десятилетия, а также о последних шагах в развитии сферы больших данных за последние годы.

Так что пристегнитесь и настройтесь на путешествие во времени вглубь 20 последних лет, поскольку наша история начинается в 2003 году в маленьком городке к югу от Сан-Франциско…

Дисклеймер: изначально я планировал оформить статью логотипами упоминаемых в ней компаний и программ, но на TDS запрещено обширное использование логотипов, поэтому я решил украсить содержание случайными изображениями и справочной информацией. Весело вспоминать, где мы в те времена находились и чем занимались.

Читать дальше →
Всего голосов 44: ↑43 и ↓1+60
Комментарии9

Семь прогнозов: что ждет data-инжиниринг в 2023 году

Время на прочтение7 мин
Количество просмотров4.9K


Команда VK Cloud перевела статью о том, что ждет дата-инжиниринг в новом 2023 году. Предсказания на грядущий год редко претендуют на серьезность, но и у них есть своя цель. Они помогают нам отвлечься от повседневности и задуматься о том, на что стоит ставить в долгосрочной перспективе.
Читать дальше →
Всего голосов 9: ↑8 и ↓1+15
Комментарии2

Что ждёт дата-инжиниринг в 2023 году? Семь прогнозов

Время на прочтение7 мин
Количество просмотров5.3K
Количество поисковых запросов по профессиям

Что таит в себе будущее дата-инжиниринга? В этой статье я поделюсь своими прогнозами на 2023 и последующие годы.

Статьи с прогнозами на следующий год — это банально, но у них есть своя цель. Они помогают нам подняться над повседневной рутиной и подумать над тем, что принесёт выгоду в долгосрочной перспективе.

Кроме того, они обычно бывают упражнениями в смирении: мы пытаемся нарисовать целостную «общую картину» отрасли, стремительно эволюционирующей во множестве направлений. Попробуйте-ка найти отрасль, в которой людям сильнее нужно поддерживать актуальность своих знаний!

Эти возможные направления развития становятся ещё более важными, когда занимающиеся данными организации начинают оценивать и переоценивать свои приоритеты в свете экономической рецессии и когда от инвестиций в дата-инжиниринг зависит способность компании оставаться гибкой, инновационной и конкурентоспособной.
Читать дальше →
Всего голосов 30: ↑30 и ↓0+30
Комментарии0

Расширенная визуализация связанных данных. Простые инструменты для простых задач

Время на прочтение8 мин
Количество просмотров5.2K

Даже сложные картинки часто читаются проще чем, простые столбики связанных данных (например, взаимосвязанных табличек). Такова особенность восприятия человека. Поэтому он постоянно пытается данные (знания) визуализировать в графике. В принципе любой граф с информацией к узлам или ребрам (сеть сущностей, их семантические типы, свойства и отношения) можно «громко» назвать графом связанных данных и даже Графом знаний (Knowledge graph).

Точных определений «Связанные данные» и его направления Knowledge graph – полагаю, что нет, поэтому не углубляясь в теорию, обозначим лишь базовый принцип «Связанных данных»: «субъект – связь (предикат) - объект» (тройки , triples). Принцип лежит во всех прикладных задачах визуализации этих самых «троек»: анализ больших графов (Gephi, Cytoscape), BPM (ARIS, ARPO), «графовые» Zettelkasten (Roam Research, Obsidian, Loqseq) - Personal Memory Manager / Personal Knowledge Management (TiddlyMap), всевозможные концептуальные - ментальные карты (мозгового штурма, карты разума mind-map) и заканчивая semantic Web. 

Читать далее
Всего голосов 1: ↑0 и ↓1-1
Комментарии0

Планковские единицы: существует ли фундаментальный предел пространства и времени?

Время на прочтение10 мин
Количество просмотров47K

По поводу планковского масштаба в научно-популярных материалах творится большая путаница. Здесь сказывается основная проблема поп-физики: гуляя от дилетанта к дилетанту, суть вопроса деградирует с каждой итерацией. Выглядит это примерно так:

  • Учёный в интервью оговаривается, что «длина Планка — это минимальное значимое расстояние», что является сильным упрощением.
  • Журналисты и популисты передают фразу дальше, пока она не деформируется в «длина Планка — это как размер пикселя для Вселенной», что неверно.
  • Учёные замечают ошибку и начинают поправлять, чтобы устранить недоразумение: «Планковская длина не похожа на размер пикселя для Вселенной. Это как раз тот масштаб, где квантовая гравитация становится актуальной». Что, безусловно, правильно, но…
  • Научпоп пережёвывает это, пока понятие не трансформируется в «планковская длина никогда не была минимальным расстоянием, это заблуждение. Это просто масштаб, на котором наши нынешние теории разрушаются, и ничто не указывает на то, что мы не можем достичь меньших масштабов». Это звучит разумно, но неверно.

Так что будет полезным разобраться, откуда все-таки следуют эти единицы и, собственно, для чего они задают предел.
Читать дальше →
Всего голосов 95: ↑94 и ↓1+127
Комментарии111

Самая большая ошибка в истории физики

Время на прочтение19 мин
Количество просмотров47K
© 2018 HOWSTUFFWORKS

Сегодня мы обсудим одну из величайших нерешённых проблем фундаментальной физики — знаменитую катастрофу энергии вакуума. Что делает эту проблему такой увлекательной, так это то, что она сплетает воедино две самые успешные теории 21 века: квантовую теорию поля и общую теорию относительности, при этом демонстрируя, что что-то пошло катастрофически не так в нашей попытке понять происхождение расширения Вселенной. Чтобы разобраться, в чём собственно дело, нам придётся совершить путешествие по самым захватывающим идеям современной физики — от мельчайших квантовых флуктуаций вакуума до загадочной тёмной энергии, которая является движущей силой эволюции Вселенной.
Читать дальше →
Всего голосов 117: ↑117 и ↓0+117
Комментарии37

Сверхлёгкие частицы размером с галактику

Время на прочтение41 мин
Количество просмотров37K

Расправившись со статьёй про «волны-убийцы», я ещё некоторое время по инерции запускал описанную там модель с различными начальными условиями. На каком-то этапе пришла мысль обобщить код на большие измерения и произвести расчёт для поля, заполненного случайными возмущениями. Результат крайне озадачил и увёл меня в совсем другое направление, заставив на несколько месяцев погрузиться в космологию и физику тёмной материи.
Читать дальше →
Всего голосов 108: ↑107 и ↓1+135
Комментарии34

Применение онтологии к решению практических задач ИБ (часть 1)

Время на прочтение11 мин
Количество просмотров21K

В мире каждый день появляется много нового, все чаще возникают новые предметные области, о возможности появления которых мы даже не задумывались еще несколько лет назад. При этом старые предметные области уходят, не выдержав конкуренции. Каждая предметная область характеризуется прежде всего специальными знаниями, описывающими объекты этой области и их свойства. Практическое использование таких знаний является уделом экспертов. Собственно, в обладании такими знаниям и состоит профессиональная компетентность эксперта. Однако оставаться всезнающим экспертом в наши дни становится все сложнее...

Познакомиться с онтологиями
Всего голосов 7: ↑6 и ↓1+5
Комментарии9

Информация

В рейтинге
Не участвует
Откуда
Тбилиси, Грузия, Грузия
Дата рождения
Зарегистрирован
Активность