Pull to refresh
72.31
Wunder Fund
Мы занимаемся высокочастотной торговлей на бирже

За кулисами публикации «24 часа невидимой эпидемии»

Level of difficultyEasy
Reading time12 min
Views2.4K
Original author: Alvin Chang

Сегодня я расскажу о том, как был подготовлен материал об одиночестве, «24 hours in an invisible epidemic», опубликованный на платформе Pudding.

Всё началось с моей одержимости материалами Американского обследования использования времени (American Time Use Survey, ATUS). Каждый год в ходе соответствующего мероприятия проводится опрос десятков тысяч американцев. Им предлагают проследить за одним днём своей жизни. Полученные данные позволяют получить некие общие показатели и, при желании, добраться до каждого респондента и узнать о том, чем занимался именно он.

Вот, например, журнал учёта времени 36-летнего мужчины в 2012 году:

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F3d6a3e8d-6007-43d9-9f85-f35f37fb276e_1056x1794.png
Журнал учёта времени

Мощь данных ATUS, в применении к большинству проектов, заключается в том, что это обследование включает в себя сведения об огромном количестве людей. Это значит, что соответствующие данные можно агрегировать и узнать о том, как десятки тысяч человек тратят своё время.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F38d28ae0-7e93-4264-8894-a52a9ede89fd_2328x1166.png
Анализ данных с применением Python/Pandas

Иногда делаются разные визуализации этих показателей, которые напоминают нам о том, что в соответствующий набор данных входят сведения об отдельных людях. Мне, среди материалов, где есть такие визуализации, больше всего нравится «A Day in the Life of Americans», подготовленный Натаном Яу из FlowingData. Вот пример из той статьи.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F52503b74-a1d8-499b-9cad-235625cacf01_2212x1538.png
Кадр из интерактивной визуализации данных

Это — общие данные. А меня увлекли журналы отдельно взятых людей. После того, как я прочёл несколько дюжин таких журналов, я отметил, что многие из них навевают на меня грусть. Двадцатилетние заперты в ловушке работы, сорокалетние несут ответственность за пятерых детей, а люди, вышедшие на пенсию, попадают в полную изоляцию.

Мне захотелось узнать о том, на самом ли деле они несчастливы.

В 2021 году в опросник ATUS добавили модуль «благополучие» (well‑being). Там содержатся вопросы относительно того, как люди оценивают свой уровень удовлетворённости жизнью. В частности, респондентам предлагается представить себе лестницу. Их наилучшая возможная жизнь находится на верхней ступеньке (10), наихудшая (0) — на нижней. Далее — их спрашивают о том, на какую ступень они поместили бы свою нынешнюю жизнь.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4df26da2-5e62-466f-bdf0-e9d7ac643e2f_1380x1316.png
Это называется «Лестница Кантрила» (Cantril Ladder). Не во всех культурах ценится личное счастье, поэтому лестница Кантрила устроена так, чтобы не зависеть от культуры

Когда я узнал об этом показателе, я подумал, что моя публикация будет посвящена корреляции между повседневными делами людей и уровнем их счастья.

Поначалу я собирался показать читателям агрегированный крупномасштабный анализ, а затем — дать возможность добраться до исходных данных, чтобы увидеть журналы отдельных людей. Вот — один из моих первых набросков к публикации.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F95ccc767-2b4e-4799-9bb3-f903847ea4e7_1172x1448.png
Один из первых набросков к материалу

Поэтому я начал с тщательного анализа данных ATUS. Я обнаружил, что люди, которые счастливее других, сообщают о хорошем здоровье, и о том, что чувствуют себя отдохнувшими. Они тратят больше времени на отдых, обучение, на уход за собой, на домашние дела. И они проводят больше времени с другими людьми.

Я нашёл кое-что интересное!

К сожалению, когда я визуализировал данные, эти находки оказались не особо заметными. Ниже, на крайней левой схеме, показано, как тратят время самые счастливые люди. А на крайней правой — данные по самым несчастливым людям. Проблема в том, что эти схемы, по большей части, получились одинаковыми!

Визуализация того, как тратят время разные группы людей
Визуализация того, как тратят время разные группы людей

Это приводит нас к одной из основных сложностей, связанных с визуализацией. Дело в том, что иногда можно обнаружить в данных интересные находки, но визуализация данных эти находки чётко не отражает. Когда рассказываешь историю, основанную на иллюстрациях, это превращается в проблему.

Поэтому я начал задавать себе вопросы. Могу ли я рассказать эту историю, не показывая читателю агрегированные данные? Могу ли я рассказать её, сосредоточившись на отдельных респондентах?

У меня был лишь один способ это проверить: взять и рассказать эту чёртову историю.

Ниже показан первый шаг моей работы над интерактивными материалами к статье. Каждая карточка описывает одного человека. В верхней части карточек находится временная шкала, показывающая дела, которыми человек занимается в течение суток. Ниже находится целая куча демографической информации. Панель инструментов в верхней части (g1, g2, g3) позволяет отфильтровывать людей, находящихся на разных ступенях лестницы Кантрила. На скриншоте показаны карточки людей, сообщивших о том, что находятся на самой низкой, первой, ступени лестницы.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F1449efa5-448f-4bae-8e51-52182ca84ee8_2478x1342.png
Эта конструкция основана на больших объёмах HTML- и CSS-кода, она создана с использованием фреймворка Svelte

Самой привлекательной частью этой визуализации явно стала временная шкала с цветовой кодировкой. Проблема, правда, была в том, что даже после того, как я сгруппировал дела, которыми занимались люди, и перенёс их на шкалу, там, всё равно, оказалось слишком много цветов. (Я сгруппировал деятельность по следующим категориям: сон, поездка, работа/обучение, домашние дела/потребительская активность, взаимодействие с другими людьми/досуговая деятельность). А значит — с временными шкалами сложно было разобраться.

Тогда меня посетила следующая мысль: «Что если, на самом деле, не важно — чем именно мы занимаемся, а важно то — с кем мы этим занимаемся?».

Я начал с разделения занятий, подразумевающих взаимодействие с другими людьми, и индивидуальной деятельности. Чем выше расположен столбик диаграммы в карточке респондента на следующем рисунке — тем более «социальным» является тот или иной вид деятельности. Тут, как и прежде, в верхней части имеются переключатели, фильтрующие респондентов по их позиции на лестнице Кантрила.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc0d8badf-75b9-412d-b6e5-90d99c61eb77_2458x1020.png
Дела, которыми занимаются в одиночку, находятся в нижней части схем. Если в них принимает участие семья респондента — они попадают в центральную область. Дела, которыми занимаются с друзьями, размещены в верхней части

Именно в этот момент я начал видеть реальное положение дел. А именно, когда я смотрел карточки людей, находящихся ниже других на лестнице — их временные шкалы выглядели довольно‑таки пустыми. А карточки людей, находящихся выше, были полны социальных взаимодействий.

Момент прозрения и нахождение путеводной звезды

Я вернулся к данным и поинтересовался тем, как то количество времени, которое мы проводим с другими людьми, изменилось в последние несколько десятилетий. Сначала я взглянул на то время, которое проводят с семьёй. Когда я впервые увидел этот график, у меня перехватило дыхание.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F5b611bdf-cfb3-4bed-b1b1-4c3cac59647b_1376x1002.png
Время, проведённое с семьёй (с 2003 года)

Потом я посмотрел на время, проведённое с друзьями:

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6f34475f-bdff-44b9-8aa2-627a9316feee_1372x1040.png
Время, проведённое с друзьями (с 2003 года)

И наконец — я визуализировал время, проведённое в одиночестве:

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc48909d7-c417-4eb3-b57d-0f5f6e12f1ca_1388x1024.png
Время, проведённое в одиночестве (с 2003 года)

Я знал, что медицинские эксперты предупреждали об «эпидемии одиночества». Но я не осознавал того, что на моём веку произошло резкое изменение в том, как люди проживают свои жизни.

Эта находка, кроме того, помогла мне увидеть цель моего исследования. Я, чтобы лучше разобраться с тем, что пишут по этому вопросу, наряду с кучей научных публикаций, прочёл несколько книг. Вот некоторые из них:

До этого проекта я читал какие‑то статьи о так называемой «эпидемии одиночества». Но я не понимал, что социальная изоляция повышает у людей уровень тревоги, стресса, пугливости, раздражения. Одиночество крадёт у нас лучшие версии нас самих. Вивек Мурти писал в своей книге о том, что это убеждает нас в том, что мы, возможно, не достойны любви.

Я почувствовал это на себе. Я потратил долгие отрезки жизни, борясь с одиночеством и справляясь с эмоциями, истощающими психику, которые ему сопутствуют. Даже сейчас они — это самая больная, самая личная часть моей жизни. Поэтому мне сложно было размышлять обо всём этом как об общенациональном кризисе.

Но эта напряжённость дала мне путеводную звезду. Мне захотелось сделать так, чтобы что‑то такое личное, как одиночество, ощущалось бы как нечто общечеловеческое. И я знал, что смогу это сделать, визуализировав отчёты отдельных людей.

Визуальное оформление: «кукольный домик»

Имеющиеся у меня данные было сложно визуализировать. Это так из‑за того, что в них было много отдельных показателей, которые, как мне казалось, были важны. Например:

  • Виды деятельности. Моим первым желанием было создание шкалы времени, которая свела бы все 24 часа к одному графическому элементу. Но, как мы уже видели — это сложно!

  • Социальные взаимодействия. Ещё мне нужно было показать то, с кем взаимодействуют люди.

  • Демографические данные. Я подумал, что важно будет показать некие демографические сведения о людях. Это очеловечивает всю визуализацию.

Сотрудники портала Pudding посоветовали мне сделать «кукольный домик», в котором будут «жить» люди. Это значит что мне нужно было думать лишь о том, чем кто‑то занимается в определённое время, а не о том, как изобразить весь его день.

Эта идея сразу же привела к тому, что всё встало на свои места.

В первом черновике людей я изобразил в виде чёрных прямоугольников. А потом добавил серые прямоугольники — тех, с кем они проводили время.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F88a340c0-ae5e-4211-a8f2-ab03c1f0be66_1730x1153.png
Первый черновик

На следующем шаге я добавил на схему демографическую информацию, описание того, чем люди заняты в любое заданное время, а так же, слева, сведения о том, к какой ступени лестницы Кантрила они себя относят.

Начиная с этого момента я разделил людей на группы по уровню счастья и начал выводить показатель кумулятивного времени социальных взаимодействий для каждого человека.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F15a19890-6ee9-42de-8a70-81a7fed33852_2117x479.png
Тут, по позиции на лестнице Кантрила, проведена визуальная группировка людей. Слева — те, кто находится на самых низких ступенях (наихудший уровень удовлетворённости жизнью), а справа — те, кто находится на самых высоких ступенях (наилучший уровень удовлетворённости жизнью)

Изначально осуществлялось автоматическое воспроизведение того, что происходит с людьми в течение дня. Мне постоянно казалось, что это воспроизведение идёт то слишком быстро, то слишком медленно. Поэтому я сделал так, чтобы читатели могли бы самостоятельно прокручивать анимацию для того чтобы ускорить воспроизведение событий.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F13ff3980-f215-459a-a0af-77e2d5cf8954_2292x1634.png
Воспроизведение событий, происходящих с людьми в течение дня

Меня пугал процесс подготовки анимации. Но у меня была догадка относительно того, что наилучшим вариантом будет использование спрайтовой анимации, сделанной по такой методике, которая используется в олдскульных видеоиграх. Я представлял это себе как нечто вроде цифровой версии мультфильма из флипбука.

Разобраться с анимацией мне помог этот фантастический пост на StackOverflow.

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fe40247c6-b4c7-4194-9c4b-928c530be62a_2120x1282.png
На ранних набросках анимации были коты. Только коты

Эта идея сработала, поэтому я приступил к созданию собственного спрайт-листа.

Я сделал огромный список видов деятельности, которые мне нужно было анимировать. Потом, с помощь Aseprite, подготовил отдельные анимации. Далее — я написал shell-скрипт, который собрал все анимации в один большой спрайт-лист. Вот что у меня получилось:

Да, на это ушла целая вечность
Да, на это ушла целая вечность

Я всё это собрал и в итоге у меня получилось вот это:

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Ffde3a72c-6345-4a71-82f7-0d03e83233d9_2618x1066.png
Готовая визуализация с группировкой по уровню респондентов на лестнице Кантрила

Изначально я хотел найти корреляцию между изоляцией и счастьем, группируя людей по уровню счастья. Это, вроде бы, и видно на рисунке, но о 100% очевидности такой корреляции говорить не приходится.

Поэтому я, в итоге, избавился от группировки и создал один большой массив карточек респондентов:

Визуализация без группировки
Визуализация без группировки

Потом я переписал код, что позволило сортировать карточки по уровням кумулятивного социального взаимодействия и по уровню на лестнице Кантрила.

Визуализация с сортировкой на большом дисплее
Визуализация с сортировкой на большом дисплее

С технической точки зрения и с точки зрения дизайна это было самой сложной частью проекта. Если говорить о дизайне, то мне нужно было понять то, как показать тренд на любом используемом размере экрана. С точки зрения программирования — надо было понять то, как сортировать карточки и размещать их в правильных местах. Сложностей не возникло бы в том случае, если бы статью всегда читали на экране одного размера. Но код должен был выдавать правильную картинку на всём — от моего огромного внешнего монитора, до маленького экрана iPhone SE.

Правда, я знал, что это — краеугольный камень, на котором основано представление моей истории читателю. Поэтому… Я потратил бесчисленное множество часов на то, чтобы сделать всё как надо.

Выше приведён скриншот, сделанный на моём мониторе с соотношением сторон 21:9. Думаю, выглядит это великолепно (хочу выставить эту картинку в каком‑нибудь музее). Но всё это довольно прилично выглядит и на экране iPhone:

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F12192fbe-32b5-42d9-a094-e200c05cb121_860x1434.png
Визуализация с сортировкой на экране телефона

Формирование повествования

В этот момент можно было перемещаться по событиям, происходящим с людьми в течение дня. То, что получилось, выглядело очень прилично. Но мне ещё нужно было облечь это всё в повествовательную форму.

Я знал, что хотел начать материал со сведений об одном человеке, так как это мгновенно очеловечивает данные. Я выбрал 62-летнего мужчину и назвал его «Мартин»:

https://substackcdn.com/image/fetch/f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F6c60e21d-2f15-46a0-bf45-c1fc3b02a5d8_960x1210.png
Карточка мужчины

После этого мне хотело создать несколько ситуаций, когда у читателя невольно вырвалось бы «Ух ты!». Первый такой момент — это когда я показываю большой массив карточек людей:

Большой массив карточек людей
Большой массив карточек людей

Второе «Ух ты!» приходит, когда я начинаю наблюдать за социальным взаимодействием людей:

Начало наблюдения за уровнем социального взаимодействия
Начало наблюдения за уровнем социального взаимодействия

Третий раз у читателя должно захватить дух после реорганизации карточек на основе показателя кумулятивного социального взаимодействия:

Реорганизация карточек по уровню кумулятивного социального взаимодействия
Реорганизация карточек по уровню кумулятивного социального взаимодействия

Если подумать обо всём этом с точки зрения технологий построения новостного сюжета, то начало истории с рассказа об одном человеке — это аналог необычного первого абзаца. Показ сведений обо всех людях с добавлением некоторого объёма текста, который указывает на то, в каком направлении развивается история — это основная суть статьи. А вершина повествовательной дуги достигается тогда, когда я реорганизую карточки респондентов. Ещё мне хотелось, чтобы при продвижении по статье читатели не забывали бы о том, что перед ними картинки, за которыми стоят реальные люди. Поэтому я периодически возвращался к Мартину.

Если поразмышлять о моей публикации с позиции информационного дизайна, то все эти повороты сюжета созданы для того чтобы ознакомить читателя с чем‑то новым, но при этом не перегрузить его новой информацией. Если показать все данные сразу — это может оказаться для читателя чем‑то вроде удара обухом по голове. Поэтому я знакомил читателя с новыми данными постепенно. И я стремился к тому, чтобы новые слои информации естественным образом смешивались бы с повествованием. В конце концов, всё это — лишь разные способы рассказать одно и то же.

Эта история, на самом деле, начала приобретать законченный вид после того, как мой партнёр, Аманда, сказала мне, что многие фрагменты текста ощущаются как нечто такое, что написано просто потому, что «так надо», и что в них особой необходимости нет. Причина их появления в тексте заключается в том, что я, после проведения большого исследования, хотел поделиться с читателями всем тем, что узнал. Но хороший редактор сообщает автору текста о том, в какие моменты он думает о себе, а не о читателе. Поэтому я убрал из статьи всё лишнее.

Личное и общечеловеческое

Визуализация информации — это не только инструмент, который позволяет представить её в графическом виде. Это — ещё и инструмент, который помогает нам думать.

Лингвисты говорят, что наше восприятие реальности формируется языком. Поэтому я полагаю, что визуализация — это всего лишь одна из разновидностей языка, позволяющего осмысливать реальность. Это — способ организации моих мыслей в пространстве и инструмент, помогающий формированию новых идей.

На ранних стадиях работы я столкнулся с проблемами при описании индивидуального одиночества в контексте «тихой эпидемии». От каких‑то вещей мне было очень больно. Что‑то ещё выглядело слишком заумным. В процессе работы над этим материалом я понял, что моё исследование визуализации данных — это, на самом деле, попытка уложить в голове все эти идеи.

Меня очень тронула реакция читателей на эту публикация. Я узнал о том, что многие люди тихо страдают от одиночества, и о том, что это — важный фактор их повседневной жизни.

И я закончил статью освещением личной точки зрения, отчасти, именно из‑за этого. Каждый раз, когда я пытался выражаться неким официальным языком, текст становился каким‑то ненастоящим. Но я обнаружил, что когда я говорил кому‑то что работаю над статьёй об одиночестве, этот человек почти всегда рассказывал мне о своей борьбе с этой напастью. В итоге — надеюсь, что моя статья побудила вас к подобным разговорам.

О, а приходите к нам работать? ? ?

Мы в wunderfund.io занимаемся высокочастотной алготорговлей с 2014 года. Высокочастотная торговля — это непрерывное соревнование лучших программистов и математиков всего мира. Присоединившись к нам, вы станете частью этой увлекательной схватки.

Мы предлагаем интересные и сложные задачи по анализу данных и low latency разработке для увлеченных исследователей и программистов. Гибкий график и никакой бюрократии, решения быстро принимаются и воплощаются в жизнь.

Сейчас мы ищем плюсовиков, питонистов, дата-инженеров и мл-рисерчеров.

Присоединяйтесь к нашей команде

Tags:
Hubs:
Total votes 10: ↑10 and ↓0+10
Comments2

Articles

Information

Website
wunderfund.io
Registered
Founded
Employees
11–30 employees
Location
Россия
Representative
xopxe