Comments 8
Где все эти люди? Читаю и диву даюсь: твердые знания математики, машинное обучение, написание кода. Являясь представителем заказчика (гос. Сектор) приходиться посещать конференции по big data, bi и т. Д. Уровень предложений аналитики и анализа-просто никакой.., пример одного онлайн магазина собирающего информацию о покупателях, когда я спросил, что делайте с этими данными-"ну если человек купил молоток, мы ему через неделю предложим купить гвозди..."
Мы как органы власти, научились агрегировать данные.... Но не можем найти того кто скажет, а что на основе этих данных можно глубинного, кроме линии тренда получить)...
Простите крик души)
Ну так а чего вы хотите?
Ни в одном ПО нет кнопки "сделать по красоте", как ни одна фирма не предложит что-то без конкретной задачи, кроме стартапов или добровольных энтузиастов, которым важен не результат а процесс.
А как оценить результат если нет задачи?
Если не секрет, то какого рода у вас данные?
Встречный вопрос, а как сформулировать задачу, если ты не понимаешь возможностей, а лучших практик никто сформулировать не может. Я могу поставить задачу общими словами- прогнозирование, выявление рисков, могу сферу обозначить..
Данные по самым разным областям (разумеется обезличенная) , медицина. образование, демография,экономика, цены, ЖКХ..есть нетипичные данные обращения или сообщения граждан...причем были очевидные гипотезы (закономерности)- что-то вроде по весне течет крыша, зимой холодно в домах, зависимость возраста, веса, роста, давления человека от риска смерти и т.д. но как это в некоторые математические алгоритмы обернуть так и не нашли.......(последний кейс-просто выборку делали без мудреных алгоритмов)
Ну может и правда задачу не так ставили )
Основная проблема видимо в бюджете..
В Яндексе, в VK, в Ozon, в Алиэкспресс, в Тинькофф и Сбере и во многих других компаниях с более-менее зрелым DS. Конечно, многие в стартапах или уехали.
Это если говорить о том, куда эти ребята идут работать после учёбы.
Сам вариант постановки вопроса "Мы собрали много совсем данных, но не знаем что с ними делать" не верный.
Во-первых, как я уже сказал, люди уходят в компании с развитым DS, как правило это крупные корпораты. Людей этих нанимают для решения конкретных внутренних задач компании, а не чтобы решать задачи гос.сектора. Поэтому никто вам внешний не поможет. Можно, конечно, нанять консультантов, чтобы подсказали какую пользу можно из собранных данных извлечь, но это максимум, чем они смогут помочь.
Если вы знаете (или вам подсказали), что вы хотите от данных, то есть несколько путей:
1) Если задачка маленькая и для внутреннего пользования (например, пришёл запрос из министерства, по данным демографии понять эффект от программы маткапитал и ответить на вопрос имеет ли смысл её продолжать), можно отдать задачку на аутсорс: как правило это либо отдельные научные или проектные команды или тот же консалтинг.
2) Если есть большой поток однотипных задач или же вы хотите на основе данных сделать какой-то сервис, то нужно нанимать команду к себе. Тут главная проблема в том, что в гос. никто не хочет идти. Есть как минимум несколько объективных факторов для этого: уровень компенсации (мало денег, мало плюшек), комфорт (бюрократия, ограничения и тд, офис тот же), рабочая среда (совсем другой культурный срез, ценности и тп).
Если задачи внутренней нет, а есть просто желание придать ценности данным, то не нужно искать DSов. Нужно открывать датасет или на каких-то иных условиях предоставлять к ним доступ и повышать осведомленность об их доступности участникам рынка. Примеры такой схемы от тривиального MNIST, продолжая бесплатные датасеты на том же Kaggle (или, кстати, Росстат, биржи и тд) и заканчивая платными подписка и на Блумберг и тп.
Ну я пока склонен полагать, что в каком-то смысле это виток эволюции по работе с данными- накопление. Рынок сатанистов наполнится, компетенций по сбору данных прибавится, самих данных станет больше, появятся лучшие практики--и дело сдвинется с мертвой точки.
PS-1:
1-Общался с мобильными операторами, я бы тоже сказал , что там направление DS только зараждается, достаточно простые закономерности, без прогнозов предиктивной аналитики и т.д.
2-С Яндексом не работал в этой части и ВК, а вот по сбераналитики вопросов много было..(но наверное это вопрос ограниченных исходных данных)
PS-2: )) Ничего себе маленькая задачка )))) Я молчу про то что данным росстата вообще никто "на земле" не верит (там банально численность населения не бьется с другими альтернативными данными )
"Если задачка маленькая и для внутреннего пользования (например, пришёл запрос из министерства, по данным демографии понять эффект от программы маткапитал и ответить на вопрос имеет ли смысл её продолжать"
Эпичный "анализ"!
Думаю у очень моодых и не опытных не возникнет в голове, ну очень важного вопроса... Так, я этот вопрос задам за них, где искать работу после этих курсов? Data science в России нн было, нету, и не будет !
Какую Data Science школу выбрать?