Пользователь
Я проанализировал по 500 статей ? из топов VC, Пикабу и Хабра за последний год и сделал выводы для своих материалов. Все выводы можно применять сейчас — я уже их применяю и мои статьи попадают в Популярное и Горячее, уходят в рассылку VC, паблики ВК VC, Хабра и Пикабу.
Возможно, вы ловили себя на мысли, что было бы неплохо провести для коллег-новичков в Linux небольшой курс с практическими задачками. Такой курс, чтобы после его прохождения, они могли использовать ОС на уровне продвинутого пользователя, активно пользоваться терминалом, писать bash-скрипты, шарить за wildcard и SSH-туннели и прочую магию Linux. При этом было бы здорово, чтобы оценка за выполнение практической работы выставлялась в LMS автоматически, а вы бы только отслеживали прогресс коллег в электронном журнале и помогали с затыками. Если вы узнали себя в описании - эта статья для вас. Материалы этого курса также могут быть полезными для преподавателей учебных заведений, желающих добавить практики в свои курсы по Linux.
Инженеры данных (англ. data engineer) готовят данные для анализа, машинного обучения и других целей. В деталях это означает множество операций с данными: сбор, хранение, обработка, интеграция, трансформация и представление в нужной для работы приложений и систем форме.
Из краткого определения сложно понять нюансы профессии и тем более захотеть стать инженером данных. Поэтому мы с коллегами собрали мифы о data engineering и выделили наиболее популярные.
Если вы неплохо знакомы с работой дата-инженера, мифы про бесконечный кодинг или однообразие задач могут показаться глупыми и смешными. Но не делайте поспешных выводов: при подготовке статьи мы тоже узнали что-то новое.
Вдохновились мы ребятами из PHYGITALISM и их статьей «Как мы заставляли нейронку пялится на ржавчину», а тему подкинул заказчик. Мы – это компания Alter Еgo и специализируемся на стыке технологий машинного зрения, симуляции и добыче данных для задач неразрушимого контроля. Была поставлена задача – детекция стальных тросов (кстати, чаще применяется термин "канаты") гражданских лифтов на предмет его повреждений. Подводные камни не заставили себя долго ждать – оказывается ни вида повреждений, ни их классификации нет (дык откуда взяться такому богатству – с ними то лифт «не выпустят в рейд»). На наши горестные вздохи, что не на чем нейронки обучать, дали документ РД РОСЭК 012-97 «Канаты стальные, контроль и нормы выбраковки» и, судя по лицу главного технолога, мысленно перекрестились.
В вышеуказанном документе были перечислены повреждения и дано их детальное описание, черно-белое.
Всем привет! В этой статья я хочу посмотреть, как AI видит мир математики, а точнее, какие разделы знает, насколько понимает, про что они и какие основные результаты может выделить.
Для этого я буду использовать популярный сейчас ChatGPT, который как-то так предложил мне начать эту статью.
Лонгриды и рефлексия людей из твоей сферы — один из способов понять, что ты делаешь правильно и каких ошибок стоит избегать. Если кто-то испытывает те же переживания, то обычно становится легче — ты не одинок со своими мыслями и проблемами.
Я хочу поговорить о том, в чем отличия между разными ступенями развития аналитиков и что может помочь перейти с одного из них на другой. Мне повезло — путь от джуна до сеньора я прошла в прекрасном Wrike, и я уверена, что среда внутри компании в том числе позволила мне вырасти за такое короткое время.
Эта статья пригодится тем, кто не имеет хоть какой‑то системы по управлению делами, но которому она нужна, так как, например, стало тяжело справляться лишь только за счёт своей памяти или каких‑то мелких чек‑листов на обрывках салфеток. Статья предполагает, что вы будете читать и делать всё в ней написанное. Иначе говоря, статья является практически пошаговой инструкцией, т. е. в ней не будет каких‑то уж совсем незаурядных методов или взглядов.
В статье будет показана базовая реализация системы по управлению делами. В ней будет также кратко объяснено, что делать с привычками, рассказано про планирование работы с источниками. Статья пройдётся по проблеме делегирования дел. Также будет показана важность комментариев к задачам. В конце будет предложен наиболее общий алгоритм работы с системой.
Будет нелишним, если вы прочитаете мою прошлую статью про основные принципы систем, которые помогают достигать поставленных целей.
Наверно, в мире данных нет подобного феномена настолько неоднозначного понимания того, что же такое Hadoop. Ни один подобный продукт не окутан таким большим количеством мифов, легенд, а главное непонимания со стороны пользователей. Не менее загадочным и противоречивым является термин "Big Data", который иногда хочется писать желтым шрифтом(спасибо маркетологам), а произносить с особым пафосом. Об этих двух понятиях — Hadoop и Big Data я бы хотел поделиться с сообществом, а возможно и развести небольшой холивар.
Возможно статья кого-то обидит, кого-то улыбнет, но я надеюсь, что не оставит никого равнодушным.
Демонстрация Hadoop пользователям
В последние два месяца лета в управлении хранилищ данных (Data Warehouse, DWH) Тинькофф Банка появилась новая тема для кухонных споров. 
Вот уже два года как одна из лучших распределённых аналитических СУБД enterprise-уровня вышла в open source. Что изменилось за это время? Что дало открытие исходников проекту? Как дальше будет развиваться Greenplum?
Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт».
Я расскажу вам о замечательном инструменте для разработки ETL-процессов — Apache Airflow. Но Airflow настолько универсален и многогранен, что вам стоит присмотреться к нему даже если вы не занимаетесь потоками данных, а имеете потребность периодически запускать какие-либо процессы и следить за их выполнением.
И да, я буду не только рассказывать, но и показывать: в программе много кода, скриншотов и рекомендаций.
Что обычно видишь, когда гуглишь слово Airflow / Wikimedia Commons
Что такое Airflow?
Apache Airflow — это продвинутый workflow менеджер и незаменимый инструмент в арсенале современного дата инженера.
Airflow позволяет создавать рабочие процессы в виде направленных ациклических графов (DAG) задач. Разнообразные служебные программы командной строки выполняют сложные операции на DAG. Пользовательский интерфейс легко визуализирует конвейеры, работающие в производственной среде, отслеживает ход выполнения и при необходимости устраняет неполадки.