С момента описания первого искусственного нейрона Уорреном Мак-Каллоком и Уолтером Питтсом прошло более пятидесяти лет. С тех пор многое изменилось, и сегодня нейросетевые алгоритмы применяются повсеместно. И хотя нейронные сети способны на многое, исследователи при работе с ними сталкиваются с рядом трудностей: от переобучения до проблемы «черного ящика».

Если термины «катастрофическая забывчивость» и «регуляризация весов» вам пока ни о чем не говорят, читайте дальше: попробуем разобраться во всем по порядку.

Читайте оригинал статьи в Блоге DTI.

В работе Oxford Martin School 2013 года говорилось о том, что 47% всех рабочих мест может быть автоматизировано в течение следующих 20 лет. Основным драйвером этого процесса является применение искусственного интеллекта, работающего с большими данными, как более эффективной замены человеку.



Машины теперь способны решать все больше процессов, за которые раньше отвечали люди. Кроме того, делают это качественнее и во многих случаях дешевле. О том, что это значит для рынка труда, в июле этого года говорил Герман Греф, выступая перед студентами Балтийского федерального университета им. Канта:

“Мы перестаём брать на работу юристов, которые не знают, что делать с нейронной сетью. <...> Вы — студенты вчерашнего дня. Товарищи юристы, забудьте свою профессию. В прошлом году 450 юристов, которые у нас готовят иски, ушли в прошлое, были сокращены. У нас нейронная сетка готовит исковые заявления лучше, чем юристы, подготовленные Балтийским федеральным университетом. Их мы на работу точно не возьмем.”

Продолжая освещать #технобудущее, команда DTI подготовила все, что необходимо знать для первого погружения в нейронные сети: как они устроены, почему все больше компаний предпочитают нейросети живым сотрудникам и какой потенциал по оптимизации различных процессов несет эта технология.

Привет, в данном примере я хочу показать, как можно реализовать сеть Хопфилда для распознавания образов.

Я сам, как и многие в один день решил поинтересоваться программным обучением, ИИ и нейро сетями. Благо в сети есть много разборов и примеров, но все они оперируют изобилием формул функции и если ты не подкован в математике(как я), постараюсь продемонстрировать простой пример сети Хопфилда с использованием языка Golang(GO).

Так получилось, что в университете тема нейросетей успешно прошла мимо моей специальности, несмотря на огромный интерес с моей стороны. Попытки самообразования несколько раз разбивались невежественным челом о несокрушимые стены цитадели науки в облике непонятных «с наскока» терминов и путанных объяснений сухим языком вузовских учебников.

В данной статье (цикле статей?) я попытаюсь осветить тему нейросетей с точки зрения человека непосвященного, простым языком, на простых примерах, раскладывая все по полочкам, а не «массив нейронов образует перцептрон, работающий по известной, зарекомендовавшей себя схеме».

Заинтересовавшихся прошу под кат.

Каждая компания это не звездные технологии и супер крутые программисты, а огромная гора bottleneck, неэффективностей и сумма плохих решений, которая как-то да едет и делает свою работу. Но вот вы решили сделать какие-то изменения и сразу начинаете сталкиваться с тем, что в огромном кол-ве бизнес процессов у вас проблемы. Ну и эти проблемы, конечно, нужно решать не идеальным способом, а оптимальным по трудозатратам.

Хочу поделится одним таким примером, связанных с моей темой анализа данных и управления данными. Во многих организациях существует финансовые службы, основная цель которых предоставлять финансовую информацию руководству о состоянии предприятия. Среди многих работ этих людей есть одна такая задача: составление прогноза выручки на следующий период (год, квартал у кого как). Этот прогноз выручки часто бывает первым этапов в согласовании планов на следующий период и составлении общего прогноза по прибылям и убыткам предприятия.

Все, кто занимается такого рода прогнозированием, понимают, что в этом вопросе важна не столько точность прогнозов, сколько правильные взаимосвязи между вашими предпосылками и результатами. Ведь что мы хотим от прогноза? Мы хотим узнать, что будет, если делать все как обычно (AS IS) и что будет, если мы что-то поменяем (сценарии). Для того, чтобы сделать эту работу финансовая служба должна придумать какую-то модель предприятия, которой она может легко управлять, легко объяснять бизнесу как она работает и легко предоставлять данные в различных разрезах, в которых бизнес захочет это дело посмотреть.

Это все отличные намерения, но тут мы сталкиваемся с суровой реальностью: методологические и технические навыки для выполнения этих задач в конкретных предприятиях откровенно слабы. Модели неудобные, быстро не изменяемые, не обновляемые, легко ничего не объясняется, файлы не удобные, а разрезы получить невозможно или очень долго. Давайте посмотрим конкретный пример, где всё плохо и как это можно исправить.

Я решил написать эту статью для сотрудников нашей компании, так как понял, что они очень образованные и умные люди, но не перестают беспокоиться о пенсионной реформе
эффективно обращаться с финансами их никто не научил. Как руководитель, заботящийся не только о своем благосостоянии, но и о благосостоянии своих коллег, я постарался взять на себя роль финансового наставника. А мои наставления о том, как стать финансово-эффективным вы можете прочесть под катом.

Идея написать данную статью возникла после прочтения вышедшей на днях статьи Эффективные личные финансы. Уровень 1. В ней озвучены очень правильные мысли, но в основе лежит необходимость ведения финансового учета, который нужно вести весьма кропотливо и постоянно, а анализ проводить постфактум, когда деньги уже потрачены. Ранее я дважды делал попытки вести финансы подобным образом и мотивация кончалась уже через пару месяцев.

В данной статье я расскажу о способе ведения финансов, который использую уже продолжительное время. Он требует меньше усилий и позволяет быстрее оценить (не)эффективность своих трат.

Ведя бюджет описанным в статье способом можно:

1. Ответить на вопрос «почему я неплохо зарабатываю, но в конце месяца у меня всегда ноль?»
2. Быстро определить и устранить неэффективные траты
3. Накопить резервный капитал
4. Подойти вплотную к составлению капитала для инвестиций.

Обычно Splunk ассоциируется с решениями по аналитике ИТ и ИБ. Так происходит не случайно, так как многие надстройки и приложения ориентированы именно на эти сферы.
Но, кроме того, Splunk способен решать вопросы, которые выходят за традиционные кейсы по ИТ и ИБ, связанные, например, с бизнес аналитикой. Причем примеры решений есть не только для распространенных случаев, которые не зависят от специфики бизнеса, но и для конкретных отраслей, в частности, для отрасли финансовых услуг, о которой мы поговорим под катом.

Привет!

10 ноября (уже завтра!) в Москве в киноцентре «Октябрь» пройдет большая конференция Sberbank Data Science Day, где будут награждение победителей SDSJ 2018, выступления большого количества международных и российских экспертов в области Data Science, секции про ML и применение искусственного интеллекта в науке и бизнесе. И еще много интересного!

Прямую трансляцию можно посмотреть тут. Под катом и на сайте программа. Также рассказываем, как оценивали победителей Sberbank Data Science Journey.

Привет, Хабр! Представляю вам перевод двух материалов: Creating a Personal
Financial Plan и How to Write a Personal Financial Plan.

Финансовый план это написанная на бумаге структурированная стратегия по достижению финансового здоровья и выполнению финансовых целей. Создание вашего личного финансового плана позволит не только контролировать финансовую ситуацию, но и улучшит качество жизни за счет снятия неопределенностей во всем что связано с денежными вопросами и будущими потребностями. Хотя вы можете нанять и профессионального финансового консультанта, самостоятельное составление это вполне посильная задача. Большинство экспертов по финансовому планированию советуют придерживаться следующих 6 этапов.

В мире и в России появляется все больше компаний в области Финтеха, а 21 декабря 2018 года после вступления в силу поправок в закон «О рынке ценных бумаг» появится новая отрасль — независимые финансовые консультанты. В связи с чем еще один перевод статьи.

Основным требованием к финансовому консультанту являются знания в области финансов, однако истинные профессиональные компетенции состоят из гораздо бОльшего. Фактически, для качественного выполнения работы, финансовые консультанты должны сидеть сразу на нескольких стульях. Те, кто рассматривает эту специальность в качестве карьеры, должны знать как выглядит повседневная жизнь фин. консультанта.

Один из самых главных советов, который дают начинающим инвестором – это важность диверсификации вложений. Советники, авторы статей в интернете в один голос твердят о том, как важно не «держать все яица в одной корзине». Это хороший совет, который в действительности позволяет снижать уровень риска для инвестиционного портфеля, однако в реальности далеко не у всех инвесторов получается осуществлять диверсификацию грамотно.

Портал Investopedia опубликовал описание распространенных ошибок, которые на этом пути совершают инвесторы, а мы подготовили адаптированную версию этого материала.

Понять, когда именно стоит покупать, а когда продавать акции на бирже – самая важная задача любого инвестора. От правильного выбора времени зависит как сам факт наличия прибыли, так и ее размер.

Тренд последних лет – появление автоматизированных инструментов, которые помогают поймать такой момент на основе анализа Big Data и машинного обучения. Мы в ITI Capital также разработали такой продукт под названием ITI Global, и в сегодняшнем материале расскажем о том, какие данные анализируют подобные системы.

Еще недавно Apple была источником положительных новостей – компания стала первым американской организацией, достигшей оценки в $1 трлн. К началу октября акции компании подорожали почти на 40% с начала 2018 года.

Однако затем ситуация изменилась. Акции обвалились на 17%, что принесло серьезные убытки многим акционерам. Согласно подсчетам ресурса Barron's, общие потери в этот период примерно равны $190 млрд.

В сентябре Apple выпустила новые iPhone XS за $999 и iPhone XS Max за $1099, а также более дешевую модель iPhone XR за $749. Многие аналитики предсказывали успех новой линейке устройств, но не все оказалось так гладко.

Изображение: Unsplash

Многим людям хочется повысить финансовую грамотность и попробовать какие-то новые способы вложения свободных денег, помимо банковских депозитов. Логичным продолжением такого желания становятся мысли изучить биржевую торговлю.

При этом, платить за любую ошибку потерей собственных денег мало кто захочет. Это отпугиват потенциальных инвесторов, однако существует целый ряд способов, которые позволяют значительно снизить риск таких инвестиций и в некоторых случаях приблизить его к вложениям в банковские депозиты. Сегодня мы поговорим о полезных инструментах для начинающих инвесторов.

В нашем блоге мы уже затрагивали тему предсказания цен акций с помощью алгоритма адаптивной фильтрации. Финансист из Нью-Йорка Ватсал Шах (Vatsal Shah) в своей работе рассмотрел возможность использования для этих целей алгоритмов машинного обучения. Мы представляем вашему вниманию главные мысли этого документа.

На Хабре и в аналитическом разделе нашего сайта мы много пишем о тенденциях финансового рынка и стратегиях поведения на нем. Очень часто финансовые модели, так или иначе, построены на умозрительных заключениях. И то, насколько сильно модель полагается на такие данные, зависит ее пригодность для использования. Этот показатель можно рассчитать при помощи риска модели.

Создатель сайта Turing Finance и аналитик хедж-фонда NMRQL Стюарт Рид опубликовал интересный материал на тему анализа возможных рисков использования финансовых моделей. В материале рассматриваются несколько факторов, влияющих на возникновения рисков — то есть вероятности финансовых потерь при использовании модели. Мы представляем вашему вниманию главные моменты этой работы.

В рамках своей диссертации «Модель прогнозирования по выборке максимального подобия» мне нужно было делать обзор моделей прогнозирования. Кроме обзора, я сделала вариант классификации, который мне тогда не очень удался. Классификацию уже немного поправила, теперь хочется разобраться в существующих моделях прогнозирования временных рядов. Такие модели называют стохастическими моделями (stochastic models).

По оценке некто Тихонова в его «Прогнозировании в условиях рынка» на сегодняшний день (2006 год) существует около 100 методов и моделей прогнозирования. Эта оценка звучит бредово, я полно разбирала ее! Давайте теперь вместе разберемся, какие же модели прогнозирования временных рядов существуют на сегодняшний день.

1. Регрессионные модели прогнозирования
2. Авторегрессионные модели прогнозирования (ARIMAX, GARCH, ARDLM)
3. Модели экспоненциального сглаживания (ES)
4. Модель по выборке максимального подобия (MMSP)
5. Модель на нейронных сетях (ANN)
6. Модель на цепях Маркова (Markov chains)
7. Модель на классификационно-регрессионных деревьях (CART)
8. Модель на основе генетического алгоритма (GA)
9. Модель на опорных векторах (SVM)
10. Модель на основе передаточных функций (TF)
11. Модель на нечеткой логике (FL)
12. Что еще?...

В современном мире всё с большей остротой проявляется интерес к качественному прогнозированию финансовых рынков. Это связано с быстрым развитием высоких технологий и, соответственно, с появлением новых инструментов анализа данных. Однако тот технический анализ, которым привыкли пользоваться большинство участников рынка, не эффективен. Прогнозы на основе экспоненциальных скользящих средних, осцилляторах и прочих индикаторах не дают ощутимый результат, т.к. экономика часто бывает иррациональна, потому что движима иррациональными мотивациями людей.

В последние годы, у финансовых аналитиков стали вызывать большой интерес так называемые искусственные нейронные сети – это математические модели, а также их программные или аппаратные реализации, построенные по принципу организации и функционирования биологических нейронных сетей – сетей нервных клеток живого организма. Это понятие возникло при изучении процессов, протекающих в мозге при мышлении, и при попытке смоделировать эти процессы. Впоследствии эти модели стали использовать в практических целях, как правило, в задачах прогнозирования.

Благодаря стремительному развитию информационных технологий, появилась возможность за считанные секунды проводить анализ большого объёма информации, строить сложные математические модели, решать задачи многокритериальной оптимизации. Учёные, занимающиеся вопросами циклического развития экономики, стали разрабатывать теории, полагая, что отслеживание тенденций ряда экономических переменных позволит прояснить и предсказать периоды подъёма и спада. Одним из объектов для изучения был выбран фондовый рынок. Предпринимались многократные попытки построить такую математическую модель, которая успешно бы решала задачу прогнозирования приращения цены акций. В частности, широкое распространение получил «технический анализ».