Predictive Analytics — или по-русски плановая или прогнозная аналитика, в основе которой лежит ответ на вопрос: «Что может произойти?»

Привет, я Алекс Степанов – независимый разработчик бизнес-приложений. В настоящее время я также сотрудничаю в роли ИТ-аналитика с топовой федеральной розничной сетью и консультирую их ИТ-менеджеров по технологиям интеграции и функциональной разработки, написанию ТЗ. Но то, о чём я сообщу далее, было получено мною задолго до этого сотрудничества.

Если вам приходилось проектировать ИТ-решения для бизнеса, то никогда не задавались такими вопросами? - Конечно ли вообще пространство вариантов создаваемых ИТ-решений? - И если да, то что определяет границы этого пространства? - И из каких областей, это пространство может состоять? Или говоря другими словами: то, что нашей проектной команде предстоит сделать, имеет вообще объективные разумные границы и счетное количество вариантов реализации? Эти вопросы и ответы на них отделяют ИТ, как ремесло и бизнес, от ИТ, как инженерия и наука. В данной статье я решил поделить с вами некоторой частью своей системы знаний…

Когда я участвовал в проектах разработки, внедрения и сопровождения бизнес-приложений в роли консультанта, аналитика/проектировщика, программиста/кодера и даже специалиста техподдержки, то часто чувствовал дискомфорт, связанный со множеством проектных и технических неопределенностей. В основном это происходило на этапе обработки исходных требований и формирования замысла (образа) ИТ-решения и на этапе его проектирования. Это самые ответственные этапы, ошибка на которых может привести к кратному превышению затрат и времени ИТ-проекта. Корень этих неопределенностей в том, что понять, чего на самом деле хотят бизнес-заказчики часто непросто, а не поняв это достаточно глубоко, возникает целое поле альтернатив, выбрать из которого что-то одно наиболее подходящее еще сложнее.

Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников.

Рассмотрим сильные и слабые стороны самых популярных методологий.

В Отусе я прошла курс ML Advanced и открыла для себя интересные темы, связанные с анализом временных рядов, а именно, их сегментацию и кластеризацию. Я решила позаимствовать полученные знания для своей дипломной университетской работы по ивент-анализу социальных явлений и событий и описать часть этого исследования в данной статье.

Шаг 1. Сбор данных

В качестве источника данных я взяла информационно-новостной ресурс Лента.ру, так как с него легко парсить данные, новости разнообразны и пополняются в большом объеме ежедневно. Для теста я спарсила новости за последний год (март 2023 – март 2024) с помощью питоновских BeautifulSoup и requests.

В коде происходит процедура сбора заголовка, даты и тематики новостей:

В этой заметке я хочу разобрать несколько «парадоксов» в данных, о которых полезно знать как начинающему аналитику данных, так и любому человеку, кто не хочет быть введенным в заблуждение некорректными статистическими выводами.

За рассматриваемыми примерами не кроется сложной математики помимо базовых свойств выборки (таких, как среднее арифметическое и дисперсия), зато такие кейсы могут встретиться и на собеседовании, и в жизни.

Базы данных — явление не новое. Способы хранения, поиска и предоставления данных пользователям являются ключевыми аспектами разработки веб-приложений на протяжении многих лет. Однако это не означает, что все осталось по-прежнему.

Сегодня мы узнаем про перспективы развития баз данных — 8 тенденций управления информацией и рассмотрим 11 наглядных примеров.

В сети не так много короткой информации по написанию компиляторов, оформленных в виде краткой статьи, поэтому я решил попробовать восполнить этот пробел.

В рамках данной статьи будет написан простой компилятор на C++, транслирующий код в ассемблер для MS-DOS, а также опробован на реальных боевых задачах.

Доброго времени суток, друзья!

Изучение настоящей шпаргалки не сделает вас мастером SQL, но позволит получить общее представление об этом языке программирования и возможностях, которые он предоставляет. Рассматриваемые в шпаргалке возможности являются общими для всех или большинства диалектов SQL.

Я стратегический партнер Яндекса. В 2022-м открыл свой таксопарк в Сочи, у нас 40 машин для тарифа комфорт, из них 11 электрокаров и виртуальный парк (подключашка) на 300 водителей. Я слышал, что бизнес в сфере такси — прибыльное дело и мне захотелось рассказать, как здесь обстоят дела на самом деле.

Оговорюсь, что я не испытываю лютой ненависти к корпорации Яндекс. Все‑таки не жадный монополист подмял рынок. Яндекс сделал удобное приложение, и сами пользователи подмялись под него, а вслед за ними водители и таксопарки. Но есть нюансы.

Приветствую, Хабр! Моя предыдущая статья была посвящена формализованным критериям выбора базовой технологии хранения и обработки данных, совокупность которых позволяла ответить на вопрос, использовать ли в конкретной системе блокчейн-технологии или ограничиться хорошо изученными СУБД. При этом ответ на данный вопрос при использовании формализованных методов выбора мог быть получен именно на основе технических факторов, не принимая во внимание различные «политические» аспекты выбора, такие как, например, повышенный информационный шум, продолжающийся вокруг блокчейна.

Приведенная в предыдущей статье классификация известных применений блокчейн-технологий позволила проиллюстрировать, с одной стороны, их широту, а с другой – тот факт, что применения блокчейн-технологий значительно различаются по степени полезности данных технологий для систем, в которых они могут использоваться.

Одним из известных направлений применения блокчейн-технологий является хранение идентификационных данных граждан. Предлагаю далее рассмотреть варианты хранения идентификационных данных на основе блокчейн-технологий и традиционных баз данных и сравнить подобные решения для формулировки вывода об оптимальной технологии для данного применения.

Привет, хаброчеловек!

В этой статье мы обсудим путь среднестатистического обывателя в Machine Learning, а именно — как стать ML-инженером. Поговорим о специфике области, какие требуются знания и скиллы, что нужно делать и с чего начать.

Речь пойдет о сборке, настройке и запуске охранной системы с датчиками, камерой, хранением видеозаписей на удаленном домашнем NAS, встроенным UPS, web-интерфейсом и оповещением через Telegram.

Чтобы быть предельно кратким, оформил статью в стилистике hackster.io. Информация рассчитана на читателей с опытом работы с одноплатным компьютером Raspberry и пониманием принципов работы VPN.

Привет, меня зовут Мария, когда-то я работала на шахте, потом на заводе, а 3.5 года назад пришла в Ozon Tech. Сейчас я старший Golang-разработчик в команде product-facade. Это самый высоконагруженный сервис маркетплейса, но так было не всегда.

Хотите узнать, что скрывается под витриной маркетплейса? Что держит нагрузку в 1 миллион запросов в секунду? Толстые кэши или нечто большее? Про то, как устроено наше кэширование и как мы к этому пришли, — рассказываю в статье.

В конце февраля 2022 года крупнейший тайваньский производитель полупроводников TSMC объявил о прекращении поставок и производства отечественных микропроцессоров из-за новых санкционных ограничений, введённых Бюро экспортного контроля Минторга США в ответ на военные действия на Украине. Под удар попали дизайн-центры МЦСТ, Байкал Электроникс, Ядро, НТЦ «Модуль», МТЦ «Элвис». Это буквально задушило все существующие и планируемые разработки микропроцессоров, включая всю линейку процессоров Байкал и практически все процессоры Эльбрус. Прямо сейчас Байкал Электроникс находится в подвешенном состоянии, поскольку производство порядка 200 тысяч процессоров на TSMC уже оплачено, 150 тысяч кристаллов готовы, но их предстоит корпусировать и ещё 50 тысяч чипов должны находиться в производстве. Ситуация критическая – никто не знает что будет дальше и вероятность того, что в дальнейшем с российскими разработчиками микросхем не будет работать ни одна фабрика в мире, включая китайские, выше 50%. На данный момент положение микроэлектронного производства в России таково, что ни одна процессорная разработка малой топологии невозможна по определению – у нас просто нет собственных производственных мощностей.

Меня зовут Георгий Цыганков, я занимаюсь/специализируюсь на построении BI решений в ИТ-компании Tieto. Мы занимаемся бизнес-аналитикой и визуализацией данных. Уже порядка 7 лет работаю с различными BI-платформами и есть достаточно разнообразный опыт проектов в нескольких индустриях: логистике, производстве, ретейле и сфере оказания услуг населению. Мне интересно сравнивать платформы с точки зрения разработчиков, аналитиков, бизнес-пользователей, а также анализировать боли бизнеса и сложности на проектах. 

В этой статье я расскажу, как визуализация влияет на восприятие информации, что важно при выборе BI-систем и почему почти ни один проект внедрения не обходится без внешних консультантов.

Сейчас мы можем встретить программиста без высшего образования, сисадмина с дипломом психолога или искусствоведа, тестировщика, начавшего осваивать профессию после 30. Но существуют и обратные примеры: кто-то делает первые шаги в IТ, но потом возвращается в старую профессию, кто-то выбирает другое направление для карьерного роста. Мы собрали истории профессионалов, подтверждающие, что работа в IT — это сложно.

Нейронные сети повсеместно используются для выполнения самых разных задач, можно даже сказать, что это самый настоящий «универсальный солдат». Однако, может показаться, что начать работать с нейросетями довольно сложно, несмотря на наличие огромного количества информации в источниках, существование готовых фреймворков, например, tensorflow, pytorch и других.

И всё же, существует инструмент, позволяющий легко совершить «быстрый старт» и опробовать нейронные сети в деле самостоятельно – это fast ai. Вообще, fast ai – это прежде всего группа исследователей, занимающихся вопросами искусственного интеллекта и глубокого обучения в частности, которая выпустила одноимённую библиотеку в свободное пользование в 2018 году. Если говорить простыми словами – fast ai представляет собой надстройку над упомянутым выше фреймворком pytorch и упрощает работу с ним, делает это быстрее. Отсюда и слово «быстро» в названии статьи.

Пожалуй, перейдём к практике и покажем, насколько просто работать с fast ai на простом примере задачи классификации изображений – постараемся обучить нейронную сеть различать две модели автомобильной марки Subaru: Impreza и Legacy. Как и обычно, в первую очередь выполняем установку библиотеки, выполнив в консоли команду: