Европейские ученые в середине 2021 года приступят к созданию цифровой копии Земли, чтобы бороться с изменением климата и экологическими катастрофами. Им понадобится суперкомпьютер мощностью 20 МВт с 20 тысячами графических процессоров для запуска полномасштабного моделирования.
Исследователи из Columbia Engineering Колумбийского университета разрабатывают алгоритм компьютерного зрения для прогнозирования поведения людей путем анализа языка тела в видео. Технология может найти свое применение в автономных транспортных средствах и при создании роботов.
Cтартовал прием заявок на третий онлайн-хакатон AgroCode Hack и студенческий Data science-чемпионат AgroCode Data Science Cup. Финал обоих соревнований состоится 16-18 сентября 2022 года, а призовой фонд составляет 1,4 млн рублей.
Часто при составлении любого прогноза — забывают про способы оценки его результатов. Потому как часто бывает, прогноз есть, а сравнение его с фактом отсутствует. Еще больше ошибок случается, когда существуют две (или больше) модели и не всегда очевидно — какая из них лучше, точнее. Как правило одной цифрой (R2) сложно обойтись. Как если бы вам сказали — этот парень ходит в синей футболке. И вам сразу все стало про него ясно )
В статьях о методах прогнозирования при оценке полученной модели я постоянно использовал такие аббревиатуры или обозначения.
В прошлых статьях я описал проверенные статистические методы прогнозирования.
А теперь давайте подумаем. Все, что мы можем делать — это прогнозировать, используя короткие временные периоды. Ведь современные компании живут очень мало: многие ли из вас работают там, где есть статистика хотя бы за пять лет? Наша цель — построить достоверный прогноз на год, к примеру. Но современный бизнес кривляется и не желает быть предсказуемым.
Узнал вчера на «Подмосковных вечерах» о том, что существует актуальное научное обоснование определенного мирового порядка. Разработана, ни много ни мало, программа «новый путь мирового развития»
Докладчики вообще-то рассказывали всего лишь о своей прогнозирующей системе. Эта вещь хранит статистическую информацию за годы работы компании-заказчика и пытается помогать ее руководству в принятии управленческих решений. Софтину продают для прогнозирования будущих нагрузок в телеком, энергетикам и т.п. Погрешности предсказаний неплохие получаются, пара процентов для телекома и пять для энергетиков. Очень забавно они перед началом проекта заказчика убеждают в точности софтины. Либо экстраполируют более поздние данные на более ранние. Либо ось времени не крутят, но прогнозируют на конец уже известного периода по неполным статистическим данным. Это мне уже на порядок понятнее, чем «ничего-не-скажу-но-оно-может-все» бывших разведчиков. На этом закончим о конкретном решении, речь все же не о системе, а об интересной истории развития ее коллег и «новом пути мирового развития»
Как понимание законов развития систем и S-образной кривой развития в частности, может помочь выбрать область, в которой стоит начинать свой стартап?
Допустим, Вам пришла идея на миллион, и хочется срочно брать ее и делать. Но как же узнать, выстрелит она или нет? Как подстраховать себя от бессмысленных трат времени и денег?
Профилактика преступлений – это скучно, а вот прогнозирование – значительно более веселое занятие. Нам приходилось читать о проектах по предотвращению преступлений и раньше, но большинство из них попахивало сумасбродством. Но это были цветочки по сравнению с недавней разработкой компании DARPA под названием SMITE (расшифровка аббревиатуры переводится на русский как «устранение угрозы злонамеренного инсайдерского проникновения" — Suspected Malicious Insider Threat Elimination). Детали проекта пока почти неизвестны, поскольку находятся на стадии проработки, а его суть – создать базу данных действий, которые попадают под понятие злонамеренного поведения – например, шпионаж. Предполагается, что злостные намерения можно выявить до совершения преступления. Как минимум затея вызывает массу этических и философских вопросов. А как максимум, поскольку речь идет о DARPA, есть шансы, что дальше идеи проект не продвинется.
Но, как оказалось, английские ученые тоже решили не отставать от осьминога и разработали модель, которая позволила предсказать победу Испании в финале и объяснить поражении Англии против Германии.
Привет.
Я хочу рассказать об одной задаче, которая очень заинтересовала меня в свое время, а именно, о задаче прогнозирования временных рядов и решении этой задачи методом муравьиного алгоритма.
4 мая 2011 года крупнейшая здравоохранительная организация штата Калифорния «Heritage Provider Network» сообщила о проведении конкурса на лучший алгоритм прогнозирования, благодаря которому станет возможным сократить расходы на здравоохранение.
Конкурс стартовал ещё 4 апреля 2011 года в 19:00 по Гринвичу и будет длиться почти 2 года — до 3 апреля 2013 года.
Главный приз конкурса, а именно 3 000 000 $, получит тот, кто разработает алгоритм, позволяющий предсказать с наибольшей достоверностью на основе данных за предыдущие годы, сколько дней в этом году пациенты проведут в больнице.
В качестве исходных данных предоставляются анонимные выборки аналогичных данных за минувшие 3 года.
Если бы античный человек попал в наше время и взглянул на ночное небо, он бы наверное начал немедленно молиться своим богам, а может быть подумал, что пришёл судный день. Для нас, людей, чьё небо скрыто за световым загрязнением городов и деревень, такое утверждение может показаться абсурдным: «Звёзды такие же звёзды, что с них взять то?». Но если разобраться — оно обретёт смысл.
Выйдете вечером на природу и посмотрите в небо. Ничего не видите? Смотрите внимательнее! Практически в любой момент по небу будут лететь 2-3 ярких точки, а если присмотреться, то можно найти ещё с пяток более медленных и тусклых. Иногда (раза 3-4 за ночь) вам может посчастливиться и вы увидите ярчайшую вспышку на небе, лишь луна сравниться с ней по яркости. Всё это достижения человеческого прогресса — спутники. Для античного человека, для которого небо было символом постоянности, которое он видит над собой из ночи в ночь всё это мельтешение было бы воспринято как что-то противоестественное.
Вступление прагматическое
Хаброюзер — он не античный человек и в звёздах в большинстве своём не разбирается. И даже если воспользуется специальным софтом и литературой , то научиться разбираться на уровне древних ему потребуется не одна неделя втыкания в небо и зубрёжки античных легенд. Но, Хаброюзер, — он человек современный, технически подкованный и в своём большинстве разбирается в науке. А это значит, что среди древних он бы смог прослыть мудрецом — предсказателем, умеющим предсказывать появление этих новомодных летающих звёзд. Если бы знал, как это сделать. А вот именно о том как это сегодня делается я тут и расскажу.
В статье описывается метод обработки сложных событий с помощью цепочек. В качестве практического приложения была выбрана относительно простая задача — прогнозирование движения валютного курса.
При построении цепочек использовалась методология, описанная в статье “Автоматический анализ текстов без модераторов” и в комментариях к ней. После описания алгоритма будут предложена стратегия с положительным математическим ожиданием прибыли.
Уже много лет учёные экспериментируют с алгоритмами, способными предсказывать преступность. Предполагается, что преступники склонны повторять успешные действия — по крайней мере, они не используют ГСЧ для выбора места и времени преступлений, так что их действия предсказуемы по определению.
Например, год назад калифорнийский город Санта-Крус первым в мире внедрил математическую модель расчёта вероятности преступлений, которая каждый день составляет новый маршрут для патрульных машин, основываясь на статистике преступлений по улицам. Учитываются день недели, время суток, наличие/отсутствие футбольных матчей по ТВ и другие факторы.
Исследователь из Бирмингемского университета Мирко Мусолези (Mirco Musolesi) применил совершенно другой подход. Его метод основан не на статистике, а на оперативных данных из сетей сотовой связи. Мусолези начал с того, что научил алгоритм с высокой степенью вероятности прогнозировать перемещения каждого абонента: он даже выиграл конкурс Nokia Mobile Data, наиболее точно предсказав перемещения 25-ти добровольцев по сигналам их телефонов, истории звонков и текстовым сообщениям. Иногда алгоритм прогнозирует координаты пользователя с точностью до 20 м2.
Затем, чтобы помогать водителям непосредственно во время движения, мы добавили в мобильные Яндекс.Карты (и, как следствие, в Яндекс.Навигатор) автоматическое перестроение маршрута. Приложения научились адаптировать маршрут при каждом заметном изменении ситуации в городе.
Собрав на десктопе и в мобильном информацию про «сейчас», мы перешли к решению вопроса «а как будет потом?»:
Первым шагом стала статистическая карта пробок — на ней можно посмотреть, как в среднем стоит и едет город в конкретный час конкретного дня недели. Мы предполагали, что у карты «обычных» пробок может быть полезный побочный эффект — возможность по ним спрогнозировать заторы на ближайшее время. Но практика показала, что усреднённая картина помогает примерно спланировать только, например, завтрашнюю поездку в аэропорт — но не помогает выезжающим сейчас избежать новых пробок. По нашим измерениям, даже в конце часового маршрута картина пробок на момент выезда обычно ближе к фактической, чем усреднение:
Все больше внимания уделяется оптимизации процессов, в-основном, в виде снижения затрат на производство продукции. Снижения затрат можно достигнуть модернизированием оборудования, но данный подход влечет за собой множество затрат на проектирование, покупку, реконструкцию и пр., а также сопровождается недополученной прибылью во время простоя реконструируемого объекта. Но также возможно использовать математический подход для поиска неэффективности в технологическом процессе, об и этом и пойдет речь далее.
В рамках своей диссертации «Модель прогнозирования по выборке максимального подобия» мне нужно было делать обзор моделей прогнозирования. Кроме обзора, я сделала вариант классификации, который мне тогда не очень удался. Классификацию уже немного поправила, теперь хочется разобраться в существующих моделях прогнозирования временных рядов. Такие модели называют стохастическими моделями (stochastic models).
По оценке некто Тихонова в его «Прогнозировании в условиях рынка» на сегодняшний день (2006 год) существует около 100 методов и моделей прогнозирования. Эта оценка звучит бредово, я полно разбирала ее! Давайте теперь вместе разберемся, какие же модели прогнозирования временных рядов существуют на сегодняшний день.
Регрессионные модели прогнозирования
Авторегрессионные модели прогнозирования (ARIMAX, GARCH, ARDLM)
Модели экспоненциального сглаживания (ES)
Модель по выборке максимального подобия (MMSP)
Модель на нейронных сетях (ANN)
Модель на цепях Маркова (Markov chains)
Модель на классификационно-регрессионных деревьях (CART)
При разработке/создании web-сайта, мобильного приложения, WEB-сервиса – иными словами Информационной системы (ИС) встает вопрос о требующих аппаратных ресурсах – количестве серверов (виртуальных машин).
Приведённая методика описывает расчет количества пользователей и «оборудования» для территории Российская федерация.
Исходные данные
Веб сайт «Визитка»;
WEB-сервис для мобильных приложений, работающий по протоколу http/https, взаимодействующий с Базой данных;
База данных SQL (NOSQL);
WEB-клиент – реализующий функционал мобильного приложения для web пользователей, также взаимодействующий с Базой данных.