Pull to refresh

Европейские ученые начали создавать цифрового двойника Земли

Reading time 2 min
Views 4.4K
High performance *Supercomputers Ecology

Европейские ученые в середине 2021 года приступят к созданию цифровой копии Земли, чтобы бороться с изменением климата и экологическими катастрофами. Им понадобится суперкомпьютер мощностью 20 МВт с 20 тысячами графических процессоров для запуска полномасштабного моделирования.

Читать далее
Total votes 9: ↑8 and ↓1 +7
Comments 6

ИИ обучили предсказывать поведение человека по видео

Reading time 3 min
Views 1.9K
Algorithms *Machine learning *Artificial Intelligence

Исследователи из Columbia Engineering Колумбийского университета разрабатывают алгоритм компьютерного зрения для прогнозирования поведения людей путем анализа языка тела в видео. Технология может найти свое применение в автономных транспортных средствах и при создании роботов.

Читать далее
Total votes 5: ↑5 and ↓0 +5
Comments 6

Старт AgroCode 2022: главные агротехнологические задачи хакатона – поиск новых терруаров и помощь ветеринарам

Reading time 2 min
Views 910
РСХБ-Интех (Россельхозбанк) corporate blog System Analysis and Design *Big Data *Hackathon Artificial Intelligence

Cтартовал прием заявок на третий онлайн-хакатон AgroCode Hack и студенческий Data science-чемпионат AgroCode Data Science Cup. Финал обоих соревнований состоится 16-18 сентября 2022 года, а призовой фонд составляет 1,4 млн рублей.

Читать далее
Total votes 6: ↑6 and ↓0 +6
Comments 0

Fujitsu передала властям Японии суперкомпьютер для прогнозирования штормов

Reading time 2 min
Views 528
High performance *Popular science Supercomputers

Fujitsu предоставила Японскому метеорологическому агентству суперкомпьютер для прогнозирования разрушительных штормов и проливных дождей. Он заработал 1 марта.

Читать далее
Total votes 1: ↑1 and ↓0 +1
Comments 0

Методы оценки качества прогноза

Reading time 3 min
Views 29K
Lumber room
Часто при составлении любого прогноза — забывают про способы оценки его результатов. Потому как часто бывает, прогноз есть, а сравнение его с фактом отсутствует. Еще больше ошибок случается, когда существуют две (или больше) модели и не всегда очевидно — какая из них лучше, точнее. Как правило одной цифрой (R2) сложно обойтись. Как если бы вам сказали — этот парень ходит в синей футболке. И вам сразу все стало про него ясно )

В статьях о методах прогнозирования при оценке полученной модели я постоянно использовал такие аббревиатуры или обозначения.
  • R2
  • MSE
  • MAPE
  • MAD
  • Bias

Попробую объяснить, что я имел в виду.
Читать дальше →
Total votes 7: ↑6 and ↓1 +5
Comments 16

Когда прогнозирование бессильно

Reading time 2 min
Views 1.3K
Lumber room
В прошлых статьях я описал проверенные статистические методы прогнозирования.

А теперь давайте подумаем. Все, что мы можем делать — это прогнозировать, используя короткие временные периоды. Ведь современные компании живут очень мало: многие ли из вас работают там, где есть статистика хотя бы за пять лет? Наша цель — построить достоверный прогноз на год, к примеру. Но современный бизнес кривляется и не желает быть предсказуемым.


Читать дальше →
Total votes 28: ↑25 and ↓3 +22
Comments 21

Новый путь мирового развития

Reading time 3 min
Views 1.2K
Lumber room
Узнал вчера на «Подмосковных вечерах» о том, что существует актуальное научное обоснование определенного мирового порядка. Разработана, ни много ни мало, программа «новый путь мирового развития»

Докладчики вообще-то рассказывали всего лишь о своей прогнозирующей системе. Эта вещь хранит статистическую информацию за годы работы компании-заказчика и пытается помогать ее руководству в принятии управленческих решений. Софтину продают для прогнозирования будущих нагрузок в телеком, энергетикам и т.п. Погрешности предсказаний неплохие получаются, пара процентов для телекома и пять для энергетиков. Очень забавно они перед началом проекта заказчика убеждают в точности софтины. Либо экстраполируют более поздние данные на более ранние. Либо ось времени не крутят, но прогнозируют на конец уже известного периода по неполным статистическим данным. Это мне уже на порядок понятнее, чем «ничего-не-скажу-но-оно-может-все» бывших разведчиков. На этом закончим о конкретном решении, речь все же не о системе, а об интересной истории развития ее коллег и «новом пути мирового развития»

Читать дальше →
Total votes 6: ↑3 and ↓3 0
Comments 11

Прикладная S-образность: Планируем Стартап

Reading time 7 min
Views 1.4K
Lumber room
Как понимание законов развития систем и S-образной кривой развития в частности, может помочь выбрать область, в которой стоит начинать свой стартап?

Допустим, Вам пришла идея на миллион, и хочется срочно брать ее и делать. Но как же узнать, выстрелит она или нет? Как подстраховать себя от бессмысленных трат времени и денег?
Читать дальше →
Total votes 44: ↑38 and ↓6 +32
Comments 25

Программа DARPA: в погоне за злоумышленниками

Reading time 1 min
Views 594
Popular science
Профилактика преступлений – это скучно, а вот прогнозирование – значительно более веселое занятие. Нам приходилось читать о проектах по предотвращению преступлений и раньше, но большинство из них попахивало сумасбродством. Но это были цветочки по сравнению с недавней разработкой компании DARPA под названием SMITE (расшифровка аббревиатуры переводится на русский как «устранение угрозы злонамеренного инсайдерского проникновения" — Suspected Malicious Insider Threat Elimination). Детали проекта пока почти неизвестны, поскольку находятся на стадии проработки, а его суть – создать базу данных действий, которые попадают под понятие злонамеренного поведения – например, шпионаж. Предполагается, что злостные намерения можно выявить до совершения преступления. Как минимум затея вызывает массу этических и философских вопросов. А как максимум, поскольку речь идет о DARPA, есть шансы, что дальше идеи проект не продвинется.

via engadget.com
Total votes 8: ↑6 and ↓2 +4
Comments 4

Прогнозирование результатов матчей чемпионата мира

Reading time 2 min
Views 3.4K
Artificial Intelligence
Недавно завершился чемпионат мира, в котором победила сборная Испании. Самым известным «предсказателем» мундиаля стал осьминог Пауль, безошибочно предсказавший восемь результатов футбольных матчей подряд (в том числе исход финала).

Но, как оказалось, английские ученые тоже решили не отставать от осьминога и разработали модель, которая позволила предсказать победу Испании в финале и объяснить поражении Англии против Германии.
Читать дальше →
Total votes 61: ↑37 and ↓24 +13
Comments 82

Прогнозирование временных рядов

Reading time 3 min
Views 37K
Algorithms *
Sandbox
Привет.
Я хочу рассказать об одной задаче, которая очень заинтересовала меня в свое время, а именно, о задаче прогнозирования временных рядов и решении этой задачи методом муравьиного алгоритма.

Для начала вкратце о задаче и о самом алгоритме:
Читать дальше →
Total votes 45: ↑38 and ↓7 +31
Comments 15

3 000 000 $ за лучший алгоритм

Reading time 2 min
Views 1.5K
Algorithms *
Привет, Хабр!

4 мая 2011 года крупнейшая здравоохранительная организация штата Калифорния «Heritage Provider Network» сообщила о проведении конкурса на лучший алгоритм прогнозирования, благодаря которому станет возможным сократить расходы на здравоохранение.

Конкурс стартовал ещё 4 апреля 2011 года в 19:00 по Гринвичу и будет длиться почти 2 года — до 3 апреля 2013 года.

Главный приз конкурса, а именно 3 000 000 $, получит тот, кто разработает алгоритм, позволяющий предсказать с наибольшей достоверностью на основе данных за предыдущие годы, сколько дней в этом году пациенты проведут в больнице.

В качестве исходных данных предоставляются анонимные выборки аналогичных данных за минувшие 3 года.

Подробнее под катом
Total votes 78: ↑75 and ↓3 +72
Comments 118

О современных методах околоземной астрономии

Reading time 7 min
Views 1.6K
Popular science Astronautics

Вступление лирическое


Если бы античный человек попал в наше время и взглянул на ночное небо, он бы наверное начал немедленно молиться своим богам, а может быть подумал, что пришёл судный день. Для нас, людей, чьё небо скрыто за световым загрязнением городов и деревень, такое утверждение может показаться абсурдным: «Звёзды такие же звёзды, что с них взять то?». Но если разобраться — оно обретёт смысл.
image
Выйдете вечером на природу и посмотрите в небо. Ничего не видите? Смотрите внимательнее! Практически в любой момент по небу будут лететь 2-3 ярких точки, а если присмотреться, то можно найти ещё с пяток более медленных и тусклых. Иногда (раза 3-4 за ночь) вам может посчастливиться и вы увидите ярчайшую вспышку на небе, лишь луна сравниться с ней по яркости. Всё это достижения человеческого прогресса — спутники. Для античного человека, для которого небо было символом постоянности, которое он видит над собой из ночи в ночь всё это мельтешение было бы воспринято как что-то противоестественное.

Вступление прагматическое


Хаброюзер — он не античный человек и в звёздах в большинстве своём не разбирается. И даже если воспользуется специальным софтом и литературой , то научиться разбираться на уровне древних ему потребуется не одна неделя втыкания в небо и зубрёжки античных легенд. Но, Хаброюзер, — он человек современный, технически подкованный и в своём большинстве разбирается в науке. А это значит, что среди древних он бы смог прослыть мудрецом — предсказателем, умеющим предсказывать появление этих новомодных летающих звёзд. Если бы знал, как это сделать. А вот именно о том как это сегодня делается я тут и расскажу.



Читать дальше →
Total votes 26: ↑25 and ↓1 +24
Comments 12

Обработка сложных событий с помощью цепочек

Reading time 10 min
Views 6K
Programming *Algorithms *
В статье описывается метод обработки сложных событий с помощью цепочек. В качестве практического приложения была выбрана относительно простая задача — прогнозирование движения валютного курса.

При построении цепочек использовалась методология, описанная в статье “Автоматический анализ текстов без модераторов” и в комментариях к ней. После описания алгоритма будут предложена стратегия с положительным математическим ожиданием прибыли.
Читать дальше →
Total votes 19: ↑17 and ↓2 +15
Comments 18

Алгоритм предсказывает преступления, отслеживая мобильные телефоны

Reading time 2 min
Views 5.4K
Data Mining *Algorithms *
Уже много лет учёные экспериментируют с алгоритмами, способными предсказывать преступность. Предполагается, что преступники склонны повторять успешные действия — по крайней мере, они не используют ГСЧ для выбора места и времени преступлений, так что их действия предсказуемы по определению.

Например, год назад калифорнийский город Санта-Крус первым в мире внедрил математическую модель расчёта вероятности преступлений, которая каждый день составляет новый маршрут для патрульных машин, основываясь на статистике преступлений по улицам. Учитываются день недели, время суток, наличие/отсутствие футбольных матчей по ТВ и другие факторы.

Исследователь из Бирмингемского университета Мирко Мусолези (Mirco Musolesi) применил совершенно другой подход. Его метод основан не на статистике, а на оперативных данных из сетей сотовой связи. Мусолези начал с того, что научил алгоритм с высокой степенью вероятности прогнозировать перемещения каждого абонента: он даже выиграл конкурс Nokia Mobile Data, наиболее точно предсказав перемещения 25-ти добровольцев по сигналам их телефонов, истории звонков и текстовым сообщениям. Иногда алгоритм прогнозирует координаты пользователя с точностью до 20 м2.
Читать дальше →
Total votes 55: ↑51 and ↓4 +47
Comments 70

Как устроен краткосрочный прогноз на Яндекс.Пробках

Reading time 8 min
Views 75K
Яндекс corporate blog Data Mining *Algorithms *
Информация о пробках появилась на Яндексе в 2006 году. Начинали мы с необходимого — научились строить схему загруженности городских улиц и учитывать текущую ситуацию при прокладывании маршрутов. Автомобилисты, ориентируясь перед выездом на эту информацию, уже могли сэкономить время в пути:
image

Затем, чтобы помогать водителям непосредственно во время движения, мы добавили в мобильные Яндекс.Карты (и, как следствие, в Яндекс.Навигатор) автоматическое перестроение маршрута. Приложения научились адаптировать маршрут при каждом заметном изменении ситуации в городе.

Собрав на десктопе и в мобильном информацию про «сейчас», мы перешли к решению вопроса «а как будет потом?»:
image

Первым шагом стала статистическая карта пробок — на ней можно посмотреть, как в среднем стоит и едет город в конкретный час конкретного дня недели. Мы предполагали, что у карты «обычных» пробок может быть полезный побочный эффект — возможность по ним спрогнозировать заторы на ближайшее время. Но практика показала, что усреднённая картина помогает примерно спланировать только, например, завтрашнюю поездку в аэропорт — но не помогает выезжающим сейчас избежать новых пробок. По нашим измерениям, даже в конце часового маршрута картина пробок на момент выезда обычно ближе к фактической, чем усреднение:

image

Неделю назад на Яндекс.Картах появилась возможность посмотреть изменения пробок в ближайший час — следующий наш шаг в решении вопроса про будущее. Для тех, кто в этом году не смог приехать на Yet another Conference, мы сегодня расскажем, что у нашего прогноза внутри, и как оно там оказалось.
Переходим к подробностям!
Total votes 133: ↑128 and ↓5 +123
Comments 131

Система прогнозирования на базе нейронных сетей в промышленности

Reading time 5 min
Views 55K
Website development *
Sandbox
Все больше внимания уделяется оптимизации процессов, в-основном, в виде снижения затрат на производство продукции. Снижения затрат можно достигнуть модернизированием оборудования, но данный подход влечет за собой множество затрат на проектирование, покупку, реконструкцию и пр., а также сопровождается недополученной прибылью во время простоя реконструируемого объекта. Но также возможно использовать математический подход для поиска неэффективности в технологическом процессе, об и этом и пойдет речь далее.
Читать дальше →
Total votes 11: ↑8 and ↓3 +5
Comments 8

Обзор моделей прогнозирования временных рядов: проба пера

Reading time 4 min
Views 96K
Mathematics *
Tutorial
В рамках своей диссертации «Модель прогнозирования по выборке максимального подобия» мне нужно было делать обзор моделей прогнозирования. Кроме обзора, я сделала вариант классификации, который мне тогда не очень удался. Классификацию уже немного поправила, теперь хочется разобраться в существующих моделях прогнозирования временных рядов. Такие модели называют стохастическими моделями (stochastic models).

По оценке некто Тихонова в его «Прогнозировании в условиях рынка» на сегодняшний день (2006 год) существует около 100 методов и моделей прогнозирования. Эта оценка звучит бредово, я полно разбирала ее! Давайте теперь вместе разберемся, какие же модели прогнозирования временных рядов существуют на сегодняшний день.

  1. Регрессионные модели прогнозирования
  2. Авторегрессионные модели прогнозирования (ARIMAX, GARCH, ARDLM)
  3. Модели экспоненциального сглаживания (ES)
  4. Модель по выборке максимального подобия (MMSP)
  5. Модель на нейронных сетях (ANN)
  6. Модель на цепях Маркова (Markov chains)
  7. Модель на классификационно-регрессионных деревьях (CART)
  8. Модель на основе генетического алгоритма (GA)
  9. Модель на опорных векторах (SVM)
  10. Модель на основе передаточных функций (TF)
  11. Модель на нечеткой логике (FL)
  12. Что еще?...

Разберемся по очереди со всеми
Total votes 43: ↑35 and ↓8 +27
Comments 33

Методология расчета нагрузки, количества пользователей информационной системы — web-сайта или сервиса

Reading time 2 min
Views 29K
Designing and refactoring *
Sandbox
При разработке/создании web-сайта, мобильного приложения, WEB-сервиса – иными словами Информационной системы (ИС) встает вопрос о требующих аппаратных ресурсах – количестве серверов (виртуальных машин).

Приведённая методика описывает расчет количества пользователей и «оборудования» для территории Российская федерация.

Исходные данные


  • Веб сайт «Визитка»;
  • WEB-сервис для мобильных приложений, работающий по протоколу http/https, взаимодействующий с Базой данных;
  • База данных SQL (NOSQL);
  • WEB-клиент – реализующий функционал мобильного приложения для web пользователей, также взаимодействующий с Базой данных.

Читать дальше →
Total votes 11: ↑7 and ↓4 +3
Comments 1