Матчасть

• функциональная — торговая площадка, где производятся действия с ценными бумагами, например, фондовая биржа;
• техническая — организации, которые способствуют совершению сделки, например депозитарии, хранящие информацию об участниках рынка (наличие тех или иных ценных бумаг);
• инвестиционная — сами участники рынка;
• информационная — СМИ и другие источники информации о текущем состоянии рынка.

Всем привет, меня зовут Дарья Пронина, я специалист по анализу данных и машинному обучению в отделе R&D в Lamoda. Я расскажу о том, что специалист по Data Science может подсмотреть у разработчиков, чтобы сделать свою работу эффективнее, production-процессы — устойчивее, а работу с разработчиками и дата инженерами — приятнее. 

Из статьи вы узнаете, как хранить большие данные и поддерживать порядок в продакшн-процессе, а также зачем улучшать свои навыки программирования, если вы дата-сайентист.

Прежде чем приступить к раскрытию темы, необходимо ознакомиться с общими понятиями.

Обратное распространение — это способ обучения нейронной сети. Цели обратного распространения просты: отрегулировать каждый вес пропорционально тому, насколько он способствует общей ошибке. Если мы будем итеративно уменьшать ошибку каждого веса, в конце концов у нас будет ряд весов, которые дают хорошие прогнозы.

Каждый узел в нейронной сети представляет собой нейрон, поэтому мы можем сказать, что нейронная сеть — это цепь нейронов.

Размышление, которые привели меня к использованию алгоритма обратного распределения:

1.       Прежде всего, если я хочу создать нейронную сеть мне нужно инициализировать некоторые веса.

2.       Какие бы значения я ни выбрала для весов, я не знаю насколько они верны.

3.       Чтобы проверить правильность или неправильность выбранных значений веса, я должна вычислить ошибку модели.

4.       Предположим, моя ошибка модели произошла слишком много раз.

5.       Это означает, что мой прогнозируемый результат сильно отличается от фактического. Так что мне делать? Постараюсь минимизировать ошибку.

Мы провели довольно большое исследование о том, что сейчас нужно с точки зрения технологий производителям фармы, аптекам и врачам. Фокус — на доставке препаратов до потребителя, то есть в случае России — скорее на фармкомпаниях. 

Если коротко, то в фарме нас ждёт примерно то же самое, что когда-то случилось с банками и ритейлом. Возможно, потому что на рынок эти самые банки уже пришли (СберЗдоровье и Магнит Фарма, например), и конкурировать придётся с их экосистемами. Фарма хочет собирать о вас максимум данных на своих платформах данных, развивать прямые контакты с вами (например, мобильные приложения пациентов, маркетплейсы и пр.) и строить из всех своих решений экосистему, чтобы от первого чиха до самой смерти вы были на подписке или постоянно покупали. Точнее, чтобы обмен был двусторонний: ваше состояние отслеживалось и передавалось в экспертную систему, которая позволяла бы вам жить дольше, пользуясь правильными препаратами и БАДами. 

В общем, добро пожаловать в срез результатов нашего исследования российского рынка. 

В материале, переводом которого мы решили поделиться к старту курса о машинном и глубоком обучении, простым языком рассказывается о семантическом поиске, статья охватывает шесть его методов; начиная с простых сходства по Жаккару, алгоритма шинглов и расстояния Левенштейна, автор переходит к поиску с разреженными векторами — TF-IDF и BM25 и заканчивает современными представлениями плотных векторов и Sentence-BERT. Простые примеры сопровождаются кодом и иллюстрациями, а в конце вы найдёте ссылки на соответствующие блокноты Jupyter.

Большинство из нас нет не сделает замечание в отношении чьих-то вредных привычек — но мы почему-то очень любим критиковать других, когда дело касается полезных привычек. Один объедается и пьет на вечеринках — считается, что с ним весело. Другой решает питаться умеренно и выпивает немного воды — и его называют занудой. Часто выбор здорового образа жизни в компании приравнивается к испорченному удовольствию.

Это может прозвучать странно, но когда я представляю, как меня воспримут в компании семьи и друзей, если я отдам предпочтение более полезным вариантам еды и времяпрепровождения, мне становится неуютно: вдруг меня больше не захотят видеть?

Начнем подборку с новостей из области NLP. Языковых моделей становится все больше, некоторые из них уже активно используются в продакшне, про других пока есть только громкие пресс-релизы. Коротко пройдемся по самым важным новостям.  

Как вы помните, в прошлом году Microsoft получила уникальные права на использование GPT-3. И вот за прошлый месяц на базе языковой модели от Open AI были представлены два продукта.

Научный метод, каким мы его знаем, формировался на протяжении тысяч лет в ходе преодоления череды философских кризисов. В этом посте я хочу рассказать про две величайшие проблемы в философии науки и вызовы, стоящие перед ней в настоящем.

Проблема неполной индукции

Знаменитый древнегреческий философ Аристотель в своем трактате «Аналитика» выделяет два вида возможных умозаключений - индуктивное и дедуктивное.

Дедуктивное умозаключение - это логический вывод о частных случаях исходя из общего правила. Индуктивное умозаключение - это логический вывод об общем правиле исходя из частных случаев.

Классическим примером дедукции, которую сам Аристотель называл силлогизм, является следующее рассуждение: все люди смертны (общее правило), Сократ - человек (частный случай), следовательно Сократ смертен (дедуктивный вывод).

Индукцию Аристотель делил на два вида: полную и неполную. Полная индукция - это вывод общего правила на основе свойств всех элементов множества, а неполная - это предположение об общем правиле на основе части элементов множества.

Нейронные сети – это статистические вычислительные модели, применяемые к множеству практических задач, в том числе обработка изображений, машинный перевод и поиск шаблонов. При обучении с учителем, нейросеть тренируется на примере уже известных объектов, то есть для всех исходных данных у нас есть предопределенный правильный ответ. Главная идея обучения нейросети – это настроить такую конфигурацию, при которой ответы модели будут максимально приближены к корректным. Что же до рекуррентных нейросетей, то они не только обучаются на исходных объектах, но и предоставляют контекст для каждого следующего предсказания. Это помогает нейросети сохранять состояние, в котором было принято решение. В этой статье мы обсудим применение рекуррентных нейросетей (РНС) в проблеме исследования процесса в process mining.

Задача исследования процесса состоит в получении модели, которая будет отражать поведение, заложенное в исходных данных. Так как это похоже на задачу распознавания шаблонов, то в этой статье мы сфокусируемся на решении задачи исследования процесса с использованием рекуррентных нейросетей. Касательно лога событий в качестве обучающих данных, для каждого события в логе мы будем тренировать нашу нейросеть предсказывать следующее событие. Наша конечная цель извлечь систему переходов, которая представляет собой модель процесса, представленного в логе событий.

Для прояснения подхода возьмём лог событий L = [(a, b, c, d, e), (a, b, d)] в качестве примера. Внутренние вычисления нейросети требуют предобработку последовательностей событий следующим образом.

Я разрабатывал один проект по недвижимости и появилась задача показывать объекты расположенные в радиусе 20 км с просматриваемым. Т.е. у нас есть объект, в нашем случае это поселок, и нужно отображать находящиеся рядом поселки из нашей базы данных в радиусе 20 км, при этом имея только координаты их расположения.

Как говорил доктор Хаус: Все врут.

Я решил написать данный текст после прочтения недавнего поста на хабре от "скептика" а так же после длительных дискуссий с разными людьми, которые уверены что все это фейк и даже больше. В данном тексте я не оцениваю политизированность темы, ошибочность принятых решений или необходимость каких-то действий. Цель данного текста исключительно в развеивании мифов, которыми люди бросаются либо из-за невежества, лени, злости или с целью ввести оппонента в заблуждение. Я так же стараюсь не касаться вопросов кому это нужно и какова цель, так как прекрасно понимаю, что если у вас параноя, то это не значит, что за вами не следят.

Текст разделен на две части: Ковид в частности и вирусология в общем.

Если у вас есть дополнения или исправления, пожалуйста - пишите их в комментариях с аргументацией и, если необходимо с приведением источников.

Если у вас есть вопрос или утверждение которое вы хотите добавить, постарайтесь написать его в таком же формате (вопрос, объяснение, источники) и так же оставляйте во комментарии я постараюсь добавить все по мере возможностей.

Несмотря на злободневность, идея этой заметки родилась задолго до известных событий. Задачка является любопытным математическим этюдом и прямо просится к рассмотрению через призму теории игр, хотя в этом ключе практически не освещается. Даже люди с хорошим математическим пониманием склонны игнорировать её игровую природу. В прогрессивных кругах при взгляде на людей, выступающих против вакцинации, принято задумчиво хмуриться и пожимать плечами, но было бы странно, если бы такое мощное социальное явление не имело под собой никаких фундаментальных основ. Есть ли в отказе от прививок рациональное? Большинство заявлений антивакцинаторов не имеют под собой никаких оснований, но причины поступков человека часто не совпадают с тем, что он декларирует. В этой статье я немножко поиграю с математической моделью конфликта и покажу, почему антивакцинаторство необоримо. Если вы заинтересовались, прошу к тексту.

Статья небольшая, но важная для понимания!

Известно, что в зеркалах меняются право и лево. Но почему там не меняются верх и низ? Изменилось бы наше восприятие зеркал, если бы мы жили в нулевой гравитации? А если бы мы были морскими звёздами с пятью осями симметрии?

Вы, наверное, в последнее время часто слышите о новых продуктах Сбера, со многими из них сталкиваетесь как клиенты.

А есть в Сбере крупные и сложные технологические проекты, которые напрямую не видны для клиентов, но от их запуска сильно зависит успех клиентских продуктов. Сложность связана с необходимостью трансформировать приложения, которые каждую секунду обеспечивают непрерывность текущего бизнеса Сбера, а масштаб обусловлен большим количеством функционала, который востребован 68 млн клиентов. В статье я расскажу об одном из таких очень больших изменений — запуске новой платформы для СберБанк Онлайн.

Привет Хабр!

Так уж повелось, что о синдроме самозванца в IT-мире знает, наверное, каждый из нас. Об этом часто можно услышать на конференциях, блогах, твиттере, разглядеть в коллегах или в себе…

Как человеку, связанному с IT, мне удалось создать подборку рассказов знакомых и коллег по этой теме. И сегодня мы поговорим про это интересное явление и узнаем, как подвержены данному синдрому разные люди из нашей отрасли в зависимости от опыта и занимаемой роли. 

Вместе с практикующим врачом-психотерапевтом Романом Вишняковым на основе собранной выборки попытаемся понять, так ли подвержена индустрия синдрому самозванца, как часто о нем говорят.

Под катом много всего интересного! Поехали!

Изучение любого языка - очень долгий процесс, в ходе которого могут возникать ситуации, когда очевидные с виду вещи ведут себя странно. Даже спустя много лет изучения языка не все и не всегда могут с уверенностью сказать “да, я знаю этот на 100%, несите следующий”.

Python - один из самых популярных языков программирования на сегодняшний день, но и он имеет ряд своих нюансов, которые на протяжении многих лет изменялись, оптимизировались и теперь ведут себя немного не так, как это может показаться, глядя на строчки незамысловатого кода.

Этот парень учился на 3 курсе и позвонил мне за помощью по профориентации в направлениях ИТ-сферы. После двух длинных бесед выяснилось, что он не может дышать без языка С++ и программирования микроконтроллеров, разобрали с ним направления развития, выбрали авионику (благо в городе есть куда податься). Через два месяца он подался мыслями в инфобез и лихорадочно искал место практики, от С++ не осталось и следа. Наконец, всё пришло к машинному обучению, но так, чтобы минимум поиск Яндекса, а не какая-нибудь там обработка изображений с камер или видеоаналитика. Весной 2020 начался ковид, желание учиться пропало вместе с дистанционным образованием. Сейчас он работает курьером Я.Еды и мечтает стать продажником, но в ИТ. Говорит, денег больше. На вопрос, почему бы тогда не в нефтянке или стали, отвечает, что ИТ — круто и если ты не в ИТ, то вроде как за бортом времени, упряжка на стоянке Tesla. Да, кстати, Tesla по его мнению хороша только тем что её создал великий айтишник. Как тебе такое, Илон Маск?

И знаете что, такие метания в его возрасте пока простительны — он правда умён, шарит в математике, любит физику, кодит в свободное время. А вот когда в ИТ идёт твоя знакомая с филфака и говорит, что за 3 месяца в онлайн-школе стала миддл веб-разработчиком, становится очень страшно. Потому что у неё получится стать хотя бы проджектом, а нам с такими работать. А нам с таким ИТ жить. Есть в этом что-то глубинно неправильное.