Ненаучная революция: как недостаток реальных исследований губит технологические проекты

    Современные технологии сделали знания доступными практически для каждого. Вооруженный информацией, человек как никогда раньше независим и самодостаточен.

    Однако даже в такую пору информационной свободы действительные факты очень часто опережаются ложными, но более привлекательно упакованными данными (что очень часто случается, например, в сфере инновационных разработок).

    Мы уже писали о том, какие ловушки подстерегают ученых в процессе проведения количественных и качественных исследований. Сегодня расскажем, как важно бывает подкреплять результаты своей работы точными научными данными в бизнесе, основанном на технологиях.

    PROPaul Albertella / Flickr / SS

    Theranos на страже здоровья


    Один из самых известных примеров в этой области — убыточная для своих клиентов биотехнологическая компания Theranos. Научная заявка основательницы, Элизабет Холмс, состояла в отказе от взятия крови из вены и сборе малого объема крови, из которого компания обещала получить 240 различных анализов.

    Инновационность метода была отражена в слогане компании: One tiny drop changes everything — «Одна крошечная капелька меняет всё». Это стало возможным благодаря уникальной разработке компании — оборудованию для проведения анализов Edison.

    Технологии Theranos, по заявлению создателей, позволяли исследовать кровь в том числе на наличие онкологических маркеров и проверять уровень холестерина, что позволило компании заручиться поддержкой и уважением ведущих специалистов, а Элизабет Холмс — получить звание члена научного общества Гарварда.

    Несмотря на то, что разработанное оборудование описано в патентах только в общих чертах и не представлено в научных изданиях, компания заявила о надежности методов исследования. Более того, создатели проекта установили рекордно низкую стоимость анализов, которая составила 50% от среднего показателя в США. Стартап быстро собрал инвестиции в размере $400 млн и был оценен в $9 млрд, подарив своей создательнице миллиардное состояние и место в рейтинге Форбс.

    Однако мгновенный успех не может не настораживать. Ученые и исследователи забили тревогу после того, как стала появляться информация о случаях, когда врачи отправляли пациентов пересдавать анализы крови, не удовлетворяясь результатам, подсчитанными Theranos.

    В 2014 году инновационность методов компании была поставлена под сомнение после того, как издание Vademecum проверило патенты компании и не обнаружило революционно новых технологий.

    Спустя некоторое время скандальное разоблачение Theranos было опубликовано в Wall Street Journal. На основе переписки бывших сотрудников компании, эксперты обвинили стартап в нарушении законодательства. Как оказалось, полученного объема крови было недостаточно для заявленного количества анализов, поэтому на оборудовании Edison проводилось не больше 15 видов тестов, а все остальные осуществлялись стандартными методами и с помощью технологий других производителей.

    Более того, исследователи обнаружили, что сданного пациентами объема крови не хватало для полноценного проведения анализов, поэтому сотрудники разбавляли кровь. В ответ на нападки Wall Street Journal, Theranos заявила о несостоятельности обвинений и о соответствии своих методов работы федеральным законам Соединенных Штатов. Однако точное количество тестов, проводимых на собственном оборудовании Edison, создатели проекта назвать не смогли.

    Вслед за Wall Street Journal изменил свою позицию и Forbes. Издание обнародовало информацию о том, что годовая выручка компании не превышает $100 млн, а стоимость самого стартапа равняется $800 млн, причем $724 из них — привлеченные инвестиции. При таком раскладе доля Элизабет Холмс в проекте оказалась практически нулевой.

    Активное обсуждение Theranos спровоцировало интерес государственных структур, и в апреле 2016 года власти Соединенных Штатов осуществили проверку деятельности компании, после которой она была вынуждена пересмотреть результаты проведенных за 2 года анализов и отправить своим клиентам скорректированные данные. Кроме того, Theranos больше не проводила тесты на собственном оборудовании Edison.

    Неудивительно, что в случае с Theranos дело получило широкую огласку и вызвало резонанс общественности, ведь от действий компании напрямую зависело здоровье тысяч клиентов. Вызывает недоумение то, как стартапу удалось продержаться так долго на рынке, подвергающемся жесткому контролю правительственными структурами. В настоящее время Элизабет Холмс ведет диалог с федеральными властями с целью доказать научную состоятельность собственной разработки.

    Кружка вместо диетолога


    Сомнительным оказался и результат трудов исследователей из Сан-Франциско, представивших на обозрение общественности умную кружку под названием Vessyl. Инновационность разработки заключалась в определении налитой в кружку жидкости на основе данных, считываемых встроенным сенсором, в который заложена информация о нескольких тысячах видов напитков. Сенсор передает информацию на iPhone, и собственное приложение компании помогает оптимизировать потребление жидкости в течение дня.

    Было заявлено, что умная кружка также способна подсчитывать калорийность напитка, содержание в нем сахара, кофеина и других элементов. Создатели гарантировали, что держать заряд умная кружка должна в течение недели, а для подзарядки достаточно одного часа.

    Сомнения в научной среде вызвал сенсор, встроенный в кружку. По словам производителя, он выполнен по новейшей технологии, однако при рассмотрении сенсор совершенно незаметен для глаза. Любопытство научной среды не было удовлетворено и после прямого обращения к компании, которая отказалась раскрывать производственную технологию.

    Продажи продукта должны были начаться в первом квартале 2015 года, но создатели отложили их на несколько кварталов. Тем не менее, небольшая часть заказчиков получила товар, хоть и ненадлежащего качества. Подозрения ученых оказались обоснованными: ни о какой инновационной технологии речи и не шло, ведь кружку даже невозможно было зарядить.

    BioRing, кольцо будущего


    В некоторых случаях компании даже не выпускали продукт, собирая состояние на предпродажах и доверчивых венчурных капиталистах. Таким оказался многообещающий проект BioRing. Его создатели говорили о революционной методике, которая позволит обладателю кольца контролировать поступление и расход калорий, сердечный ритм, интенсивность физической нагрузки, считать пройденное расстояние и бороться со стрессом.

    Лаконичный дизайн кольца, представленный в черном, белом и синем цветах, дополнялся водонепроницаемостью и защитным покрытием от царапин. Кольцо должно определять уровень глюкозы в крови, что само по себе могло заткнуть за пояс любые попытки изобрести средство от сахарного диабета. Слоган компании «Eat better. Sleep better. Train better. Live better» обещал качественное повышение уровня жизни. Кроме того, создатели сообщали о своей готовности к дальнейшим разработкам различных приложений, совместимых с кольцом.

    На странице продукта на платформе Indiegogo размещена схема кольца, представлено видео от со-основателя компании Джеймса Ли, технические характеристики кольца, а также график реализации проекта, согласно которому после зарождения идеи в ноябре 2014 года к ноябрю 2016 года компания должна была наладить массовое производство и отправить первые партии товара.

    Создатели сообщали о готовности действующего прототипа и отлаженном производстве и логистике, однако до реализации проекта дело так и не дошло. В итоге бизнес по производству «волшебных колец» остался в прошлом, а сама технология подверглась резкой критике, опровергнуть которую представители проекта не смогли.

    Осознанные сны вместе с Luci


    Ещё один призрачный проект под названием Luci гарантировал покупателям, что благодаря их продукту сны могут стать осознанными. Создатель проекта Luci, название которого происходит от англ. lucid — осознанный, рассказывает о том, что концепция разработки зародилась после того, как ему посчастливилось впервые в жизни увидеть осознанный сон.

    На тот момент ни одна технология не позволяла ещё раз пережить подобный опыт, что и побудило к созданию нового продукта. Разработчики рассказывали, что после продолжительных исследований различных видов воздействия на мозг человека было определено, что продукт будет пробуждать сознание человека вовремя сна при помощи голосового сигнала.

    Luci представляет собой неширокую ленту для головы, которую располагают выше бровей. Согласно официальной странице продукта на платформе Kickstarter, до производства товара стартапу требовалось всего 3 месяца, однако проект закрылся, не показав реальных результатов. Правда, впоследствии на платформе появилось сообщение о том, что проект Luci реален, а устройство должно поступить в продажу позднее.

    Чем опасны неподтвержденные данные


    Однако подобное мошенничество не является признаком исключительно последних лет, и порой за очередной иллюзией даже не стоит конкретное заинтересованное лицо. История содержит много примеров, когда ошибочные представления укореняются в сознании человека благодаря сильным эмоциям, которые они вызывают, пусть даже безосновательно.

    Показательным можно назвать отношение общества к вакцинам. В свое время изобретение вакцин спасло многие жизни, остановив распространение эпидемий. Однако четверть века назад результаты одного из исследований в области медицины показали на возможную связь между аутизмом и применением тимеросала, соединения, входящего в состав некоторых вакцин.

    Позднее результаты анализов были признаны несостоятельными, однако страх перед вакцинацией успел зародиться. Исследования в данной области были продолжены, причем прямое отношение вакцинации к аутизму обнаружено не было. Тимеросал больше не использовался в медицинских целях, однако уровень заболеваемости аутизмом не уменьшился, что должно было снять подозрение к вакцинам. Однако подсознательная боязнь прививок осталась у многих.

    Так, британские ученые заявляли о связи между возникновением аутизма у восьми детей и недавней вакцинацией против кори, свинки и краснухи. Результаты анализов были признаны недействительными после того, как была обнаружена фальсификация автором данных. Другие попытки подтвердить влияние прививок на появление аутизма оказались также неуспешными.

    Однако многие стали отказываться от прививок, что привело несколько лет назад к вспышкам кори и свинки у тысяч детей на территории США, Канады и европейских стран. Очевидно, что люди оказались напуганы нашумевшими исследованиями, которые хоть и оказались потом ошибочными, но успели оказать влияние на сознание масс.

    Устойчивость таких заблуждений лишь демонстрирует, насколько легко ложное представление или идея могут укрепиться в сознании человека. Даже если предположить, что основатели всех этих проектов — не аферисты и действительно верили в свой бизнес, их истории (и в особенности неутешительный итог работы Theranos) — показательный пример того, как опасно игнорировать принципы проведения исследований и не подкреплять громкие заявления реальной научной базой.

    Другие наши посты на Хабре:



    Университет ИТМО
    132,00
    IT's MOre than a University
    Поделиться публикацией

    Комментарии 21

      0
      Проблема скорее в значимости и численности научного сообщества в целом, чем просто в количестве исследований.
        0
        Главное — не забывать о качестве самих исследований :)
          0
          Вопрос — кому не забывать? Производитель критически подойти к своему продукту не хочет, потребитель не может.
        +2
        Уж не обессудьте, но так и напрашивается фраза «Без лоха и жизнь плоха» :)
          +2
          По-моему, во всех приведенных в пример проектах речь вообще не шла о науке. Просто бизнес и ничего личного.
            0
            Только преподносилось все как очень научное и основанное на куче рисерчей
              0
              Вот-вот и всякие дополнительные серьезные научные исследования в таких случаях не только не нужны, но и вредны подобному бизнесу. Поэтому сразу же в ход идут патенты, коммерческая тайна и т.п.
                0
                Как раз наоборот все. Если нет исследований, то потом патенты не помогут (см. выше про Theranos)
              +1
              Наука наукой, а бизнес бизнесом. Когда внезапно начинается поток денег — кто в здравом уме будет проводить исследования, опровергающие «денежную» теорию.
              +1
              Пример с вакцинами совсем не так однозначен, как вы пытаетесь показать. Вообще исследований о эффективности вакцин и о возможных негативных последствиях для здоровья — относительно мало, а те, что есть — не все надежны с научной точки зрения.
              Попробуйте найти описание исследований с контрольными группами, двойным слепым методом и статистически значимым количеством участников. Таких исследований почему-то намного меньше, чем ожидаешь.

              Хотя лично у меня главная претензия к вакцинации (а скорее к бизнесу фармкомпаний по производству вакцин) лежит в немного иной области.
              Даже самые горячие сторонники вакцинации признают, что как минимум часть вакцин в отдельных (редких) случаях должна давать негативные последствия для здоровья вакцинируемых людей. Предполагается, что это небольшая цена за то, что прекратились эпидемии.
              Но попробуйте найти нормальную статистику о таких случаях, с описанием методик сбора данных. У меня не получилось. Но я ладно, к медицине и фармакологии не имею отношения, но и у знакомых, которые работают врачами и фармацевтами — тоже не получилось найти эти данные. И насколько они знают, просто не существует каких то четких инструкций / процедур / стандартов, согласно которым можно (нужно) связывать проблему со здоровьем с применением вакцины (по крайней мере в России и Украине).

              Я лично знаю два случая с моими знакомыми, когда у детей существенные проблемы со здоровьем начались в течении нескольких дней после вакцинации. И их мамы однозначно связывают эти проблемы с вакцинацией. Учитывая, что одна из этих мам — фармацевт, а вторая — врач, эти случаи заставляют задуматься о реальном уровне безопасности вакцин. Ведь если вакцинация очень безопасна, маловероятно, что среди лично знакомых людей столкнешься сразу с двумя случаями. И настораживает, что в этих случаях не только никто не признал, что проблемы возникли вследствии вакцинации (действительно, тут может не быть причинно-следственной связи, хотя короткий временной промежуток настораживает), но и не было ВООБЩЕ никакого расследования, есть связь между вакцинацией и заболеванием в этом случае, или нет. То есть ребенок заболел, его начали лечить, но никто не пытался выяснить, а почему именно он заболел и не связано ли это с вакцинацией.
              Еще раз уточняю — речь идет о детях врача и фармацевта (с высшим образованием и работающие по специальности), которых лично знаю.

              Поэтому фраза «действительные факты очень часто опережаются ложными, но более привлекательно упакованными данными» применительно к вакцинам звучит достаточно двусмысленно. Ведь создавались тысячи разных вакцин (в том числе и с живыми микроорганизмами, которые не могут быть полностью безопасны по определению) и применялись в сотнях миллионов случаев — и при этом относительно мало надежных данных о эффективности и безопасности этих вакцин.
                +3
                Ну вот вы и упаковали своими «знакомыми».

                Вакцины проверяются. Не знаю как у нас но в америке это делает FDA, и они делают свою работу.

                Вообще, раз вы не имеете отношения к медицине, то и выводы делать не вам. Врачи в любой ситуации будут обладать большей информацией чем вы. И лучше их слушать.
                  +2
                  Так я и слушал врачей. :) И именно врачи в неофициальной беседе предупредили, что опасность от прививок, по их мнению, больше, чем многие думают и чем пытаются нас убедить их производители.

                  Но вообще ваш аргумент нелогичен. То, что я не разбираюсь в медицине, не значит, что я не разбираюсь в статистике.
                  Есть огромное количеств фактических данных о историях болезней — кто, когда и чем болел. Также можно найти информацию, кто когда и какой именно вакциной прививался. И сделать анализ этих данных (есть корелляция между этими событиями или нет, и если есть — то какая именно) — не очень сложная и дорогая задача. Более того, я ожидал, что легко найду ссылки на сотни таких исследований с нормальным описанием методики (как формировалась выборка и т.п.) и полученных результатах — тема ведь многих волнует. И удивился, когда нашел данные о всего нескольких исследованиях и при этом даже о них нет (или не смог найти) нормального описания методики формирования выборок. И вот тут то и закрались сомнения — а насколько всё то, что нам рассказывают о прививках, имеет научное обоснование? Пусть даже не механизм действия прививок (как именно работает иммунитет, хорошо разобрались ближе к концу 20 века, а прививки массово начали делать в начале 20 века), но хотя бы статистические доказательства их эффективности и безопасности.

                  Попробуйте сами потратить немного времени и найти исследования по прививкам, которые соответствуют научным критериям. И после этого обсудим. :)
                  –1
                  Мифы о вакцинации — вот в этом выступлении дяденька популярно разбирает претензии, предъявленные Вами в первых двух абзацах (со ссылками на исследования, которых по Вашему мнения, «недостаточно»).
                  По поводу «Я лично знаю два случая [...] речь идет о детях врача и фармацевта (с высшим образованием и работающие по специальности) [...]»: вот если бы я лично захотел устроить срачь в комментариях интеллигентную дискуссию — задал бы вопрос «а откуда берутся все эти разговоры про врачей с никакой квалификацией»? Но конечно же, это Ваши знакомые, Вы им полностью доверяете, а я с ними не знаком. Так что ср… кхм, дискуссии не будет.
                    +2
                    Посмотрел видео по ссылке — ничего нового не услышал. Кстати, в целом со всем согласен. :)

                    Я писал о другом. Мне как раз и захотелось найти нормальные статистические данные об осложнениях после прививок без субъективных оценок не всегда квалифицированных врачей. Я ожидал, что легко получится найти данные примерно такого типа — выбрали 100 тысяч человек и совместили данные о датах всех перенесенных этими людьми болезней болезней (дата обращения к врачу, диагноз) за 2 года с графиком прививок за тот же период.
                    Даже если некоторые диагнозы поставлены неверно или некорректно определено наличие / отсутствие связи между прививкой и заболеванием — большая правильно сделанная выборка сгладит эти неточности и покажет реальный уровень риска осложнений.

                    И я такого исследования найти не смог. Может, разумеется, плохо искал. Но сразу возникает вопрос — почему на сайте того же ВОЗ достаточно много ссылок на разные исследования, опровергающие связь прививок и склероза, артрита и много уверений в безопасности прививок, а ссылки на подобные исследования на видном месте нет?
                      0
                      Но сразу возникает вопрос — почему на сайте того же ВОЗ достаточно много ссылок на разные исследования, опровергающие связь прививок и склероза, артрита и много уверений в безопасности прививок, а ссылки на подобные исследования на видном месте нет?


                      По тому как доказать отсутствие связи между несколькими конкретными вещами намного проще, чем искать вероятные зависимости непонятно с чем в многофакторных системах. Механизмы конкретного заболевания и его причины известны, механизм действия вакцины тоже. Тут в большинстве случаев даже статистический анализ не требуется.
                  0
                  Вооруженный информацией, человек как никогда раньше независим и самодостаточен.


                  Простите что?

                  Независим и самодостаточен в отношении чего?

                  Лет эдак с десяток тысяч назад каждый, подчеркиваю, каждый мог произвести самостоятельно все необходимое для жизни.

                  Кто из современных людей способен создать хотя бы треть нужного ему для жизни самостоятельно — вне общества?
                    0

                    Создать то, что мог создать каждый 10 тыс. лет назад и сегодня не проблема. Вопрос в том, сочтете ли вы это достаточным для жизни.

                      –1
                      На самом деле и сейчас уже проблема :) для большинства айтишников так точно.

                      И естественно запросы для жизни выросли.
                      Собственно в связи с этим и возник вопрос о пассаже.
                      Автор его дурак? или что?
                    –1
                    О чем в целом статья? О том, как важно корректно проверять все предположения.
                    «Устойчивость таких заблуждений лишь демонстрирует, насколько легко ложное представление или идея могут укрепиться в сознании человека. Даже если предположить, что основатели всех этих проектов — не аферисты и действительно верили в свой бизнес, их истории (и в особенности неутешительный итог работы Theranos) — показательный пример того, как опасно игнорировать принципы проведения исследований и не подкреплять громкие заявления реальной научной базой.»

                    Есть громкое заявление — вакцинация очень безопасна. Ок.
                    Пытаемся найти подтверждение. И легко находим что то вроде:
                    http://www.dbmurom.ru/index.php/stati-vrachej/211-reakciinavakcinu.html
                    Смотрим на количество осложнений и видим очень обнадеживающие цифры — 1 на 40 тысяч, 1 на 600 тысяч. Круто!
                    Потом беседуешь с каким нибудь педиатром, а она говорит — у меня на 500 деток примерно у 20 после прививок появились хронические заболевания, а еще 20 очень тяжело болели, но вроде полностью выздоровели — пока рецидивов нет.
                    Противоречие?
                    Еще раз читаешь, что именно называется осложнением после прививок:
                    «Появление клинических симптомов после введения вакцины вовсе не означает, что именно вакцина вызвала эти симптомы. Последние могут быть связаны с присоединением какой-либо интеркуррентной инфекции, которая может изменить и утяжелить реакцию организма на прививку, а в ряде случаев способствовать развитию поствакцинальных осложнений.
                    В таких случаях для доказательства причинной связи между вакцинацией и патологическим синдромом должно быть проведено тщательное расследование.»

                    И вот тут то и появляется прозрение. К статистике как науке все эти цифры, мягко говоря, имеют слабое отношение. Это просто количество случаев, когда было «проведено тщательное расследование» и доказательства причинно следственной связи были очень убедительными. Другими словами — мы отобрали факты, которые подтверждают нашу теорию, и отбросили все плохие факты. :)))

                    Начинаешь искать исследования, которые соответствуют научным стандартам — то есть собираются все факты заболеваний по определенной выборке людей за определенный период и данные о прививках тем же людям за тот же период, и дальше с помощью статистических методов находятся связи между прививками и различными заболеваниями. И — не находишь таких исследований. :)))

                    Может, они есть. Но почему на них так мало ссылок, что их трудно найти? И какие именно цифры указаны в этих исследованиях?
                      0
                      За последние несколько месяцев я потратил сотни часов на исследование темы прививок. Я полностью прочитал более пятисот научных исследований, и еще сотни абстрактов. Сейчас я могу со всей ответственностью заявить, что если вы целенаправленно не разбирались с этой темой, то практически всё, что вам известно о прививках это ложь. От начала до конца. Всё, что пишут на эту тему в СМИ это пропаганда, fake news, и всё это не имеет никакого отношения ни к науке, ни к реальности.

                      amantonio.livejournal.com/20771.html
                        0
                        Стартап быстро собрал инвестиции в размере $400 млн и был оценен в $9 млрд, подарив своей создательнице миллиардное состояние и место в рейтинге Форбс.
                        Спустя некоторое время скандальное разоблачение Theranos было опубликовано в Wall Street Journal.

                        Что удивительного? Вспоминаем доткомы и другие «эффективные способы ведения бизнеса».

                        Просто бизнес и ничего личного.
                        Цифровой век, постиндустриальная эпоха, нанотехнологии … Может и так, но есть еще отличительные особенности нашего времени – это век маркетинга и «управленческих уловок» (management fad), возрождение эпохи алхимии и их совместная победа над здравым смыслом.
                        Опыты или должны быть успешными или доказана не научность подходов, т.е. перенос этих «знаний» из области «computer science & engineering» в область «alchemy & voodoo».

                        Эти выводы сделанны применительно к Enterprise Architecture в соседней статье:
                        Enterprise Architecture vs алхимия предприятия. Часть 2. Проще некуда: простой фреймворк и простое предприятие

                        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                        Самое читаемое