Pull to refresh
0
@kisyakamusyakaread⁠-⁠only

User

Send message

Дизайн таблиц для чайников

Reading time4 min
Views31K

Привет, Хабр!

Меня зовут Костя, и я отвечаю за дизайн в AGIMA. Недавно, рассказывая коллеге, как надо было оформить таблицу, я словил дежавю: делал я это явно не первый раз. Поэтому я решил написать эту совсем базовую статью о том, как делать приличные таблицы, чтобы у меня всегда было куда послать следующего спрашивающего. Статья будет полезна как начинающим дизайнерам, так и просто жаждущим приподнять уровень своих документов чуть выше плинтуса. А в конце ,elen ссылки, которые помогут вам достичь табличного совершенства.

Читать далее
Total votes 43: ↑42 and ↓1+48
Comments18

Python, pandas и решение трёх задач из мира Excel

Reading time5 min
Views82K
Excel — это чрезвычайно распространённый инструмент для анализа данных. С ним легко научиться работать, есть он практически на каждом компьютере, а тот, кто его освоил, может с его помощью решать довольно сложные задачи. Python часто считают инструментом, возможности которого практически безграничны, но который освоить сложнее, чем Excel. Автор материала, перевод которого мы сегодня публикуем, хочет рассказать о решении с помощью Python трёх задач, которые обычно решают в Excel. Эта статья представляет собой нечто вроде введения в Python для тех, кто хорошо знает Excel.


Читать дальше →
Total votes 33: ↑33 and ↓0+33
Comments14

Статистика в кармане: Портативная СУБД с базой Росстата для исследователей и не только

Reading time45 min
Views12K
image

Возможно, глядя на этот старый советский плакат, вы подумаете, что я здесь буду агитировать сознательных граждан России участвовать в переписи населения… Но спешу вас разуверить: статья вовсе не об этом. Скорее это рассказ о том, какая официальная статистика собирается в России, где ее искать и как скачать все данные к себе на компьютер или портативное устройство (отсюда и название) и удобно ей пользоваться. Если вам это интересно, читайте дальше!
Читать дальше →
Total votes 6: ↑5 and ↓1+6
Comments9

MVP: что это такое и как работает?

Reading time14 min
Views329K
Читая новости про проекты и сервисы, вы могли часто сталкиваться с понятием MVP. Но что скрывается под этой аббревиатурой и почему MVP так часто используют на начальных этапах развития продукта? Давайте прямо сейчас вместе разберемся в этом.

Что собой представляет MVP


image
Читать дальше →
Total votes 8: ↑8 and ↓0+8
Comments3

Прогнозирование временных рядов с помощью рекуррентных нейронных сетей

Reading time16 min
Views94K
Удалённый режим работы на фоне всеобщей самоизоляции может привести к весьма дурным последствиям. И эмоциональное выгорание – это ещё куда ни шло: там ведь и до крыши недалеко. В этой связи, как и многие, попробовал «успокоить» себя выделением времени на другие занятия – и начал переводить наиболее интересные статьи с английского языка на русский: «Даёшь машинлёрнинг в массы!».) Нужно воздать должное: здорово отвлекает. Если у вас есть предложения как по смысловому наполнению, так и по переводу данного текста для русскоязычного читателя, присоединяйтесь к обсуждению.

image
Читать дальше →
Total votes 9: ↑9 and ↓0+9
Comments6

MLOps: DevOps в мире Machine Learning

Reading time9 min
Views18K
В 2018 году в профессиональных кругах и на тематических конференциях, посвященных AI, появилось понятие MLOps, которое быстро закрепилось в отрасли и сейчас развивается как самостоятельное направление. В перспективе MLOps может стать одной из наиболее востребованных сфер в IT. Что же это такое и с чем его едят, разбираемся под катом.


Читать дальше →
Total votes 8: ↑8 and ↓0+8
Comments1

Получение котировок акций при помощи Python

Reading time2 min
Views54K
Привет, Хабр! Представляю вашему вниманию перевод статьи «Historical Stock Price Data in Python» автора Ishan Shah.

Статья о том, как получить ежедневные исторические данные по акциям, используя yfinance, и минутные данные, используя alpha vantage.

Читать дальше →
Total votes 17: ↑9 and ↓8+5
Comments9

Геокодирование. Как привязать 250 тысяч адресов к координатам за 10 минут?

Reading time10 min
Views17K


Привет, Хабр!

В этой статье я хотел бы поделиться опытом решения маленькой проблемы с большим количеством адресов. Если вы когда-либо работали с API геокодирования или пользовались онлайн инструментами, то думаю вы разделяете мою боль ожидания результата в течение нескольких часов, а то и больше.

Речь идет не о сложных алгоритмах оптимизации, а об использовании сервиса пакетного геокодирования, который принимает на вход список адресов и возвращает файл с результатами. Тем самым можно сократить время обработки с нескольких часов до минут.
Читать дальше →
Total votes 4: ↑3 and ↓1+6
Comments16

Выращиваем ИИ — Генетические алгоритмы: введение

Reading time19 min
Views23K


(сгенерированое изображение)


Существует множество способов создать искусственную нейронную сеть или даже "искусственный интеллект". Но все эти способы обескураживают, от части сложностью которую я не до конца понимаю, отчасти от того, что все сводится к математическим формулам.


В таких подходах нет нечего плохого, они помогают решать поставленные перед ними задачи. Но похоже мне очень хочется написать велосипед.

Total votes 13: ↑10 and ↓3+11
Comments5

Тестировщик больших и маленьких данных: тренды, теория, моя история

Reading time10 min
Views22K
Всем привет, меня зовут Александр, и я Data Quality инженер, который занимается проверкой данных на предмет их качества. В этой статье речь пойдёт о том, как я к этому пришёл и почему в 2020 году это направление тестирования оказалось на гребне волны.


Читать дальше →
Total votes 4: ↑4 and ↓0+4
Comments0

Плоды изоляции: интерактивная карта COVID-19 с историческими графиками и миграционными ограничениям

Reading time5 min
Views9K

image


Три недели назад мы с командой в Routitude переключились с наших привычных задач на создание сервиса для мониторинга распространения вируса COVID-19. За это время мы реализовали:


  • дашборд с регулярно обновляющимися данными для всех стран (а также административных субъектов России и штатов США);
  • интерактивную карту распространения инфекции;
  • карту миграционных ограничений, введенных в связи с эпидемией;
  • исторические графики развития эпидемии по каждой стране.

Все это было добавлено к уже существующей информации по визовым ограничением, климатическим показателям и данным по авиаперелетам.


Результат нашей работы можно посмотреть здесь: routitude.com/map/covid, а детали о том как все устроено — под катом.

Читать дальше →
Total votes 19: ↑12 and ↓7+12
Comments25

COVID-19: прогнозируем число больных коронавирусом

Reading time7 min
Views12K
Коронавирус окончательно захватил весь мир — и выражается это не в том, что им успел переболеть каждый житель планеты. На данный момент эта тема является главной и единственной — как в мировых, так и в российских новостях. В этой статье мы постараемся максимально абстрагироваться от политики и рассуждений о том, запустили ли вирус китайские военные, или же Дональд Трамп. Вместо этого мы посмотрим на проблему с математической точки зрения — а именно, выясним, как можно описать эпидемию одним уравнением, а в конце статьи предскажем итоговое число зараженных COVID-19 — в том числе в России.


Читать дальше →
Total votes 26: ↑9 and ↓17-4
Comments10

Коронавирус: почему надо действовать прямо сейчас

Reading time19 min
Views5.6M

Вступление


Учитывая всё, что происходит с коронавирусом, может оказаться очень сложно принять решение, что делать прямо сейчас. Стоит ли подождать, пока станет больше информации? Надо ли предпринять что-то уже сегодня? Если да, то что?

В этой статье со множеством графиков, данных и моделей из большого числа источников мы постараемся ответить на вопросы:

  • Сколько людей заболеют коронавирусом в вашем регионе?
  • Что случится, когда они начнут заболевать?
  • Что вы должны делать?
  • Когда?

Когда вы закончите читать статью, вы придёте к следующим выводам:

  • Коронавирус приближается к вам.
  • Он приближается с экспоненциальной скоростью: сперва постепенно, а потом внезапно.
  • Это вопрос нескольких дней. Может быть, неделя или две.
  • Когда это случится, ваша система здравоохранения будет перегружена.
  • Ваши сограждане будут лечиться в коридорах.
  • Изможденные медицинские работники сломаются. Некоторые погибнут.
  • Им придётся решать, кто из пациентов получит лечение, а кто умрет.
  • Единственный способ предотвратить это — социальная изоляция уже сегодня. Не завтра. Сегодня.
  • Это значит держать как можно больше людей дома, начиная с сегодняшнего дня.

Если вы политик, общественный деятель или руководитель, у вас есть власть и ответственность, чтобы предотвратить описанное выше.

Сейчас вы можете опасаться: что, если это избыточная реакция? Не станут ли люди смеяться надо мной? Вдруг они разозлятся на меня? Не буду ли я выглядеть глупо? Не лучше ли подождать, пока другие сделают первые шаги? Что, если это слишком навредит бизнесу?

Однако через 2-4 недели, когда весь мир будет закрыт и изолирован, когда окажется, что несколько драгоценных дней социальной изоляции, которые вы организовали, спасли жизни, вас больше не будут критиковать. Люди будут благодарить вас за то, что вы приняли правильное решение.

Итак, давайте разбираться.
Много графиков и длинный текст
Total votes 424: ↑368 and ↓56+456
Comments2074

Самые важные и полезные материалы по коронавирусу COVID-19

Reading time5 min
Views26K
Тележка будет медленно толкать своих жертв со скалы в больницу, удобно ожидающую внизу. Они, вероятно, переживут падение (физика мультфильмов!), но потребуют интенсивной медицинской помощи. Если вы потяните рычаг, отправив тележку на нижнюю колею, вы, по крайней мере, сможете выиграть немного времени на подготовку, сократить количество пострадавших и распределить их сильнее, тем самым предотвращая перегруженность персонала больницы. Но черт, это тяжелый рычаг, и тянуть его будет не приятно. (перевод Андрей Дунаев)

Я хочу инициировать создание ситуационного центра, где можно оперативно и централизованно получать информацию ДЛЯ САМОСТОЯТЕЛЬНЫХ выводов о текущем положении дел и принимаемых мерах по поводу:

а) вируса
б) действий правительств
в) действий медиков
г) действий работников и работодателей
д) действий каждого отдельного человека

Я не знаю пока как это грамотно структурировать (а может и вынести на отдельный сайт), но пока что я хочу собрать вместе в кучу тексты и заинтересованных людей. Пишите в комментах ссылки на полезное и рацпредложения.
Total votes 29: ↑16 and ↓13+14
Comments38

Covid-19, ваше общество и вы с точки зрения науки о данных

Reading time15 min
Views28K

Как датасайентисты, мы обязаны уметь анализировать и интерпретировать данные. И мы были очень обеспокоены результатами анализа данных, касающихся covid-19. Наибольшему риску подвержены самые уязвимые категории – пожилые люди и люди с достатком ниже среднего, но для контроля распространения и влияния заболевания все мы должны изменить свое поведение. Тщательно и регулярно мойте руки, избегайте скоплений людей, отменяйте мероприятия и не касайтесь своего лица. В этом сообщении мы объясним причину нашего беспокойства, и расскажем, почему вам также следует беспокоиться. Краткое изложение ключевой информации можно найти в публикации Итана Алли (Ethan Alley) Corona in Brief (автор — президент некоммерческой организации, разрабатывающей технологии для уменьшения риска пандемий).


Содержание:


  1. Нам нужна работоспособная медицинская система
  2. Это не что-то типа гриппа
  3. Подход «Не паникуйте, сохраняйте спокойствие» не помогает
  4. Это касается не только Вас
  5. Мы должны сделать кривую более пологой
  6. Реакция общества имеет значение
  7. Мы в США плохо проинформированы
  8. Заключение
Читать дальше →
Total votes 27: ↑23 and ↓4+32
Comments46

Яндекс.Практикум – Аналитик данных. Окончание обучения

Reading time4 min
Views31K
Первая статья здесь.

Обучение в Яндекс.Практикуме закончилось, получен сертификат и можно подвести итоги по обучению.


Так же, после первой статьи, у многих возникли дополнительные вопросы, поэтому хотелось и на них ответить и показать немного практики. Кейсов освоено достаточно много, поэтому в рамках одной статьи все охватить не получится.
Читать дальше →
Total votes 7: ↑6 and ↓1+7
Comments28

Python для тестировщика: как маленькие скрипты c pandas помогают в тестировании больших наборов данных

Reading time13 min
Views20K
Я работаю тестировщиком на проекте, суть которого состоит в сборе и хранении различных данных и формировании на их основе разных отчетов и файлов-выгрузок. При формировании таких отчетов учитывается большое количество условий для отбора данных и поэтому при тестировании приходится много работать с SQL-запросами в БД. Но для проверки правильности отбора данных и поиска лишних/пропавших данных этого зачастую не хваетает, поэтому пришлось искать дополнительные инструменты для этого.

Поскольку у меня были уже какие-то базовые знания python, я решила попробовать написать небольшие скрипты, которые позволяли бы что-то делать с имеющимися данными и тем самым облегчать и ускорять процесс тестирования. В этой статье я расскажу, что из этого вышло.
Читать дальше →
Total votes 14: ↑14 and ↓0+14
Comments9

Как интерпретировать предсказания моделей в SHAP

Reading time5 min
Views45K
Одной из важнейших задач в сфере data science является не только построение модели, способной делать качественные предсказания, но и умение интерпретировать такие предсказания.

Если мы не просто знаем, что клиент склонен купить товар, но так же понимаем, что влияет на его покупку, мы сможем в будущем выстраивать стратегию компанию, направленную на повышение эффективности продаж.
Читать дальше →
Total votes 9: ↑9 and ↓0+9
Comments0

Немного про кино или как делать интерактивные визуализации в python

Reading time5 min
Views70K


Введение


В этой заметке я хочу рассказать о том, как можно достаточно легко строить интерактивные графики в Jupyter Notebook'e с помощью библиотеки plotly. Более того, для их построения не нужно поднимать свой сервер и писать код на javascript. Еще один большой плюс предлагаемого подхода — визуализации будут работать и в NBViewer'e, т.е. можно будет легко поделиться своими результатами с коллегами. Вот, например, мой код для этой заметки.


Для примеров я взяла скаченные в апреле данные о фильмах (год выпуска, оценки на КиноПоиске и IMDb, жанры и т.д.). Я выгрузила данные по всем фильмам, у которых было хотя бы 100 оценок — всего 36417 фильмов. Про то, как скачать и распарсить данные КиноПоиска, я рассказывала в предыдущем посте.


Читать дальше →
Total votes 55: ↑54 and ↓1+53
Comments8

Открытый курс машинного обучения. Тема 2: Визуализация данных c Python

Reading time15 min
Views426K

Второе занятие посвящено визуализации данных в Python. Сначала мы посмотрим на основные методы библиотек Seaborn и Plotly, затем поанализируем знакомый нам по первой статье набор данных по оттоку клиентов телеком-оператора и подглядим в n-мерное пространство с помощью алгоритма t-SNE. Есть и видеозапись лекции по мотивам этой статьи в рамках второго запуска открытого курса (сентябрь-ноябрь 2017).


UPD 01.2022: С февраля 2022 г. ML-курс ODS на русском возрождается под руководством Петра Ермакова couatl. Для русскоязычной аудитории это предпочтительный вариант (c этими статьями на Хабре – в подкрепление), англоговорящим рекомендуется mlcourse.ai в режиме самостоятельного прохождения.


Сейчас статья уже будет существенно длиннее. Готовы? Поехали!

Читать дальше →
Total votes 52: ↑52 and ↓0+52
Comments45
1

Information

Rating
Does not participate
Registered
Activity

Specialization

Data Analyst, BI Developer
From 120,000 ₽
PowerBi
Microsoft Excel
Microsoft PowerPoint
Data Analysis
Visualization
BI
Pandas
Math statistics
Presentations
System analysis