Недавно в уютном чатике дата сатанистов подняли вопрос, как правильно "продавать" внутренние проекты по машинному обучению. Оказалось, что многие из нас весьма брезгливо относятся к экономическому обоснованию своей деятельности. Меж тем, чтобы провести минимальную оценку рентабельности проекта, никакого MBA не нужно — в небольшой статье (10 страниц текста, ке-ке-ке) я расскажу вам, что такое рентабельность инвестиций, как оценить её для внутреннего проекта, какую роль в этом играет Proof of Concept, и почему в реальной жизни всё может пойти не так. Делать мы всё это будем вокруг вымышленного проекта по автоматизации составления расписаний для колл-центра. Добро пожаловать под кат!

Data Science начал приходить не только в большие компании, но и в маленькие, и даже в стартапы. Однако очень часто у топ-менеджеров нет понимания, что требуется для его успешного применения. Многие думают, что один дата-саентист за месяц решит все проблемы компании, а искусственный интеллект по щелчку начнет идеально работать во всех отделах. К сожалению, это не так. Меня зовут Иван Серов и в этом посте я расскажу, с чего нужно начинать создавать отдел DS и с какими трудностями это сопряжено.

У многих парализованных людей, не имеющих возможности говорить, сигналы того, что они хотят сказать сокрыты в их мозге. И никто не мог расшифровать эти сигналы. Но недавно три команды исследователей достигли прогресса в переводе данных, поступающих от электродов помещенных на мозг хирургическим способом, в синтезированную компьютером речь.

Используя модели, построенные на нейронных сетях, они реконструировали слова и даже целые предложения, которые, в некоторых случаях, были вполне вразумительными для обычного слушателя-человека.

Подводя итоги 2018 года для блога Intel, мы, прежде всего, вспоминаем историческое воссоединение GeekTimes и Хабра (кто из них Бендер, а кто Бендер — решайте сами). В свое время мы много писали о том, что идея разделения Хабрахабр не кажется нам удачной и безмерно рады, что здравый смысл, наконец, восторжествовал. Кроме того, год оказался богат на памятные даты и воспоминания — это немного скрасило отсутствие важных новостей.

Kaggle — известная платформа для проведения соревнований по машинному обучению на которой количество зарегистрированных пользователей перевалило за 2.5 миллиона. В соревнованиях участвуют тысячи data scientist из разных стран, и Kaggle стал интересоваться тем, что из себя представляет аудитория. В октябре 2018 года был организован уже второй опрос и на него ответило 23859 людей из 147 стран.

В опросе было несколько десятков вопросов на самые разные темы: пол и возраст, образование и сфера работы, опыт и навыки, используемые языки программирования и софт и многое другое.

Но Kaggle — не просто площадка для соревнований, там также можно публиковать исследования данных или решения соревнований (они называются кернелы и похожи на Jupyter Notebook), поэтому датасет с результатами опроса был выложен в открытый доступ, и было организовано соревнование на лучшее исследование этих данных. Я тоже принимал участие и пусть денежный приз не получил, но мой кернел занял шестое место по количеству голосов. Я хотел бы поделиться результатами моего анализа.

Данных довольно много и их можно рассматривать с разных сторон. Меня заинтересовали различия между людьми из разных стран, поэтому большая часть исследования будет сравнивать людей из России (поскольку мы тут живём), Америки (как самая продвинутая страна в плане DS), Индии (как бедная страна с большим количеством DS) и других стран.

Большая часть графиков и анализа взята из моего кернела (желающие могут там увидеть код на Python) но есть и новые идеи.

Изображение: Unsplash

Компания, которая работает уже на протяжение 24 лет, в начале 2019 года обошла Microsoft и стала самой дорогой публичной компанией мира. Капитализация Amazon превысила $796 млрд, в то время как стоимость Microsoft находится на уровне $783 млрд.

Издание CNBC перечислило главные причины того, почему компании удалось добиться таких результатов, а ее основателю Джеффу Безосу стать самым богатым человеком в мире. Мы представляем вашему вниманию главные мысли этого материала.

Доцент Лаборатории разработки промышленного ПО Университета Иннополис Джу Йонг Ли предложил лучшее исследование в области скоростной автоматизации устранения багов и вошёл в десятку победителей The Facebook Testing and Verification Research Awards. Всего на грант прислали заявки 145 исследователей со всего мира. Учёный рассказал нам о работе над своим исследованием.

Изображение: Unsplash

Журналисты Reuters выяснили, что использование схемы налоговой оптимизации под названием «двойная ирландская с голландским сэндвичем» позволило Google в 2017 году вывести из-под налогообложения почти $23 млрд.

Изображение: Waymo

Несколько дней назад стартап Waymo, принадлежащий Alphabet (головная компания Google), запустил в коммерческую эксплуатацию беспилотное такси. Согласно оценкам аналитиков инвестиционного банка UBS, развитие этого направления бизнеса к 2030 году будет генерировать $114 млрд выручки.

Я с удивлением обнаружил, что многие разработчики, даже давно использующие postgresql, не понимают оконные функции, считая их какой-то особой магией для избранных. Ну или в лучшем случае «копипастят» со StackOverflow выражения типа «row_number() OVER ()», не вдаваясь в детали. А ведь оконные функции — полезнейший функционал PostgreSQL.
Попробую по-простому объяснить, как можно их использовать.

Привет!

10 ноября (уже завтра!) в Москве в киноцентре «Октябрь» пройдет большая конференция Sberbank Data Science Day, где будут награждение победителей SDSJ 2018, выступления большого количества международных и российских экспертов в области Data Science, секции про ML и применение искусственного интеллекта в науке и бизнесе. И еще много интересного!

Прямую трансляцию можно посмотреть тут. Под катом и на сайте программа. Также рассказываем, как оценивали победителей Sberbank Data Science Journey.

Разгадав тайну гравитации, мы сможем ответить на величайшие вопросы науки: что такое пространство? Что такое время? Что такое Вселенная? Откуда все это взялось? Прославленный научно-популярный автор Маркус Чаун приглашает вас в увлекательное путешествие – с того момента, как в 1666 году гравитация была признана физической силой, до открытия гравитационных волн в 2015 году. Близится тектонический сдвиг в наших представлениях о физике, и эта книга рассказывает, какие вопросы ставит перед нами феномен гравитации.

Отрывок. Луна: попытка к бегству

Приливное влияние Луны на Землю замедляет движение нашей планеты, уменьшая ее вращательный момент. Существует фундаментальный принцип физики, называемый сохранением количества движения при вращении, согласно которому вращательный момент изолированной (замкнутой) системы никогда не меняется. Значит, если вращательный момент Земли уменьшается, вращательный момент другого элемента системы должен компенсировать это, увеличившись. В нашем случае вариант только один — Луна.

Этим летом мы научили нейронную сеть определять, присутствует ли на изображении документ, и если да — то какой именно.

Для чего это понадобилось

Чтобы разгрузить сотрудников и обезопасить людей от мошенников. Мы применяем новую нейросеть в двух сферах: когда пользователь восстанавливает доступ к странице и для скрытия личных документов из общего поиска.

А рассматривали ли вы развитие технологий интернета вещей, машинного обучения, робототехники и облачных вычислений, сквозь призму приближения четвертой индустриальной революции (Индустрия 4.0)? Уже в конце 2017 года регуляторы в ЕС отмечали рост подачи заявок на технологии индустрии 4.0 на 54%. Для визуализации картины на данном поле был внедрен термин — патентный ландшафт. В этой статье мы рассмотрим не только природу данного определения, но и подходы к подготовке соответствующей отчетности.

Почти всех новых сотрудников Яндекса поражают масштабы нагрузок, которые испытывают наши продукты. Тысячи хостов с сотнями тысяч запросов в секунду. И это только один из сервисов. При этом отвечать на запросы мы должны за доли секунды. Даже незначительное изменение в продукте может оказать существенное влияние на производительность, поэтому важно тестировать и оценивать влияние своего кода на сервис.

В нашем сервисе рекламных технологий тестирование работает в рамках методологии Continuous integration, более подробно об организации которой мы расскажем 25 октября на мероприятии Яндекс изнутри, а сегодня мы поделимся с читателями Хабра опытом автоматизации оценки важных продуктовых метрик, связанных с производительностью сервиса. Вы узнаете, как доверить анализ машине, а не следить за ними на графиках. Поехали!

Веб превращает письмо в обсуждение. Двадцать лет назад, писатели писали, а читатели читали. Веб позволяет читателям отвечать, и они все больше пользуются этой возможностью — в ветках комментариев, в форумах и постами в собственных блогах.

Многие отвечающие автору несогласны с ним. Это естественно. Согласие менее мотивирует людей, чем несогласие. И когда ты согласен, у тебя есть меньше чего сказать. Ты можешь развить какую-то из мыслей автора, но он, вероятно, уже рассмотрел самые интересные моменты. А когда ты не соглашаешься — ты на территории, которую он, скорее всего, не изучал.

В результате несогласия гораздо больше, особенно если считать слова. Это не означает, что люди больше злятся. Это просто из-за структурного изменения того, как мы общаемся. Но несмотря на то, что рост несогласия вызван не гневом, есть опасность, что это сделает людей злее. Особенно в онлайне, где легко говорить вещи, которые никогда не скажешь лицом к лицу.

Если между нами будет всё меньше согласия, нам лучше быть осторожными, и выражать несогласие правильно. Что это означает? Большинство читателей может отличить простое обзывание и тщательно обоснованное опровержение, но я думаю, будет лучше обозначить и промежуточные стадии. Вот попытка описать иерархию несогласия:

Большинство статей и выступлений про качественные исследования посвящены методам сбора информации. Но очарование качественных методов в маркетинговых и UX-исследованиях исчезает на этапе анализа и представления результатов. Эту непростую задачу исследователи решают по-разному. Иногда ради быстрого результата, или по незнанию они нарушают методологию качественных исследований, отчего работа выглядит непрофессионально и не вызывает доверия.

В статье рассмотрим один из методов качественного анализа – Метод тематических сетей:

— обсудим частые ошибки качественных исследований и вспомним «кальсонных гномов»;
— разберем пошаговый алгоритм метода и его возможные ловушки;
— применим метод к анализу ИТ-продукта и нарисуем тематическую карту.

Статья будет интересна:

— исследователям;
— менеджерам продуктов и маркетологам;
— тем, кто использует в работе результаты исследований;
— тем, кто давно искал удобный метод структурирования нецифровой информации.

Лучше один раз день потерять, а потом за 5 минут все согласовать

Формирование бюджета и обоснование затрат на ИТ — достаточно простая процедура, которая позволяет руководству компании увидеть выгоды инвестирования в технологии, а техническим специалистам разделять ответственность за состояние ИТ-инфраструктуры с руководством.

Ежегодное планирование ИТ-бюджета для технического специалиста – это возможность сосредоточиться на планомерной технической работе, покончив с практикой лоскутно-кусочного инвестирования и постоянного выбивания денег. Я решил поделиться своим опытом формирования бюджетов и составил небольшую памятку.

Планирование бюджета на ИТ можно разделить на три этапа:

«Когда человек не знает, к какой пристани он держит путь, для него ни один ветер не будет попутным». (С) Сенека, Луций Анней

Предисловие

Как-то один из топов уважаемой компании, которая занимается продуктовой разработкой ПО, пригласил меня, как эксперта, чтобы я оценил качество нового продукта. Я внимательно просмотрел и прослушал презентацию. Видно было, что коллеги очень старались и работали по 10-12 часов, чтобы продукт выглядел на высшем уровне. После чего меня спросили: «хороший получился продукт или нет?» Я поблагодарил за представленную презентацию, но попросил ответить на свой последний вопрос: «А какие процессы, и с какой целью вы собираетесь автоматизировать с помощью этого инструмента?» Вопрос почему-то вызвал замешательство у докладчиков. После небольшой паузы, топ, который, видимо, был идеологом нового продукта, ответил: «Был бы инструмент хороший, а какие процессы с его помощь автоматизировать мы найдем!» Мне пришлось сказать, что оценить продукт я не смогу. Не зная бизнес-целей, невозможно понять степень их достижения.

Большинство провалившихся программных проектов, которые приходилось наблюдать, были провальными еще до их старта. Миссия изначально была невыполнима потому, что никто не удосужился ответить на девять простых, но обязательных вопросов, которые определяют концепцию будущего проекта. Судьба подобных проектов плачевна. Вложив существенные средства в разработку какой-то хрени, которая не полетела, инвестор, как правило, продолжает вкладывать средства дальше и дальше, в надежде на то, что она, таки, полетит и затраты окупятся. И только озаботившись концептуальным определением проекта, он понимает, что миссия невыполнима и, чтобы не впасть в еще большие убытки, проект надо срочно закрывать.

Для иллюстрации используем проект «Экспедиция за сокровищами Флинта»

В статье я расскажу, как обосновываю стоимость веб-проектов заказчикам, на примере нашей веб-студии.

Вводная

Для того, чтобы было понятно, о чем речь, введу несколько констант:

1. Мы — типичная региональная студия. Сидим в Уфе.
2. Работаем в среднем ценовом сегменте. От 100 тыс. р. и выше. Бывает, берем заказы дешевле.
3. У нас в штате 5 человек: один java-разработчик, один front-end разработчик, один дизайнер-верстальщик, менеджер по продажам и я (всем остальным занимаюсь).