company_banner

Microsoft Expressive Pixels: новая бесплатная платформа разработки для Windows 10

    Представьте, что вы сидите дома за компьютером и работаете удаленно. У вас есть партнер, который делает то же самое. Вы даже не повернулись, но на светодиодном дисплее, который видят все вокруг, отображается эмодзи: знак STOP. Теперь ваши домочадцы знают, что вы сейчас заняты, а вам для этого не пришлось сказать ни слова.

    Это одно из многих применений Expressive Pixels. Платформа разработки для Windows 10, которая позволяет создавать анимированную визуализацию, теперь бесплатно доступна в Microsoft Store. Кроме приложения, она имеет набор ПО, благодаря которому можно использовать светодиодные дисплеи для коммуникации с помощью визуальных эффектов или эмодзи.

    Все это расширяет возможности невербального общения, открывает разработчикам новые способы творческого применения через API с открытым исходным кодом и снижает порог входа для начинающих программистов, дизайнеров и исследователей.


    Expressive Pixels также служит трамплином для любителей или более опытных программистов, позволяя им создавать новые творения без необходимости выяснять, как программировать анимацию и изображения на небольших устройствах, — для этого есть специальная библиотека.

    Независимо от того, где вы работаете, учитесь или общаетесь, Expressive Pixels предлагает анимированный способ персонализировать ваше пространство и усилить ваше присутствие, точно так же, как это делают изображения, сувениры и разные безделушки.

    «Мы уделяем очень много внимания базовым повседневным функциям, но если подумать, что делает нас людьми, то это эмоции. Мы хотим выражать свои эмоции и поддерживать связь друг с другом», — сказала Бернис Ю, генеральный менеджер по стратегии и проектам подразделения Microsoft Small, Medium & Corporate Business. Она входит в команду проекта Expressive Pixels и много сделала для выхода в 2019 году игр Eyes First, которые используют Windows 10 Eye Control, ключевую функцию обеспечения доступности для людей с ослаблением зрения и подвижности. «Продуктивно работать — это прекрасно, но все мы хотим быть людьми. Это неприкосновенная потребность».

    Проект Expressive Pixels опирается на годы глубокого и плодотворного сотрудничества Microsoft в лице Enable Group и людей с серьезными нарушениями зрения и подвижности. Цель этой работы — попытаться понять предпочтения таких людей, их потребности и проблемы, возникающие при общении и взаимодействии с другими людьми, при творческом самовыражении и самоидентификации, а также расширить возможности традиционных устройств дополнительной и альтернативной связи (Augmentative and Alternate Communication, AAC) с новыми функциями для невербального общения, самовыражения, трансляции социальных сигналов и статуса устройства.

    Примеры Expressive Pixels



    Общение — это не только то, что вы пишете и говорите. Во многом это невербальный процесс, который включает и понимание того, когда наступает ваша очередь говорить.

    Хариш Кулкарни
    «Решение можно применять и для серьезных дел, и в качестве забавного творческого способа рассказать что-то о себе», — говорит Хариш Кулкарни, технический менеджер команды, работающей над ИИ-фреймворками в группе облачных вычислений и Microsoft Cloud and AI. Он несколько лет был членом команды Enable и много сделал для интеграции Eye Control в Windows 10.

    На этом пути команда задействовала самые неожиданные инновации, преодолевая препятствия с помощью свежих идей, вдохновляясь той пользой, которую технология может принести людям.

    Когда разработчики поняли, что им нужен форм-фактор, который можно было бы легко увидеть из любого места комнаты и при любом освещении, они обратились к удобным светодиодным дисплеям, которые предлагают сторонние производители, такие как Sparkfun, Adafruit и Silicon Squared Displays (последние дисплеи представляют собой изготовленные на заказ устройства «все в одном», позволяющие решать проблемы с разрешением, связью, хранением данных и отображением анимации, созданные единственным инженером команды Expressive Pixels Гэвином Янке). Впрочем, Expressive Pixels можно использовать и без светодиодного дисплея или другого устройства, просто вставляя анимированные GIF-файлы в электронные письма.

    Затем возникла еще одна проблема: разработка программного обеспечения, которое упростило бы отображение анимации на дисплеях. И снова Янке принял вызов и создал прошивку, которая вместе с приложением для разработки образует платформу, которую можно запускать на множестве устройств. С помощью этой прошивки производители могут использовать определенные аспекты или расширять их. Создатели могут делиться своими оригинальными анимациями в облачной галерее (Cloud Gallery) приложения.

    Янке сыграл важную роль в разработке этих ключевых элементов Expressive Pixels — и все это в свободное время, вне основной работы.

    Silicon Squared Display: прототипы и эволюция дисплея
         


    Первая версия устройства представляла собой простой дисплей, состоящий из 16 пикселей, расположенных по кругу. Для изготовления этого прототипа использовался резак — вырезались круглые кусочки полупрозрачного материала, которыми накрывались дисплеи, чтобы рассеивать яркий свет от светодиодов.

    «Обычно, когда я чем-то занимаюсь, я делаю из этого королевское блюдо», — шутит Янке, генеральный менеджер по разработке Microsoft Research. Но становится серьезным и добавляет: «Мое призвание — помогать тем слоям населения и сообществам, которые не получают должного сервиса, давать им то, что им недоступно из-за их технических возможностей, но что находится в пределах моих технических возможностей».

    Янке — мастер на все руки, он приобрел новые навыки, в том числе в области электротехники, за три года, посвященных проекту. Попутно он создал новую категорию устройств с дисплеем из RGB-светодиодов с более высоким разрешением, чем было доступно ранее. Он также придумал, как обеспечить пользователям максимальную мобильность, используя технологию Bluetooth и различные механизмы для запуска анимации, например, переключатели или музыкальные сигналы MIDI.

    «Что действительно интересно, так это непредвиденные последствия выхода из зоны комфорта, изучения чего-то нового, — говорит он. — Вы получаете удивительные идеи и способности».



    Команда Expressive Pixels на встрече в Microsoft Teams в режиме Together Mode. Задний ряд (слева направо): Энн Парадизо, Бернис Ю. Второй ряд сверху (слева направо): Ноэль Софи, Гэвин Янке, Джарнаил Чадж. Третий ряд сверху: Дуэйн Лэмб, Стейси Штутц. Нижний ряд: Кристофер О’Дауд.

    Путь к выпуску Expressive Pixels начался более пяти лет назад с заинтересованности Enable Group в улучшении устройств дополнительной и альтернативной связи (Augmentative and Alternate Communication, AAC), которые обычно слишком дорого стоят, поскольку являются частью медицинского рынка.



    Expressive Pixels на разных устройствах.

    Главный специалист в опытно-конструкторской сфере Энн Парадизо возглавила эту работу, желая направить свою энергию на служение другим. Она работала в команде Янке в Microsoft Research до того, как перешла в Enable Group, и Янке не отказал ей в помощи, тем более что проект набирал силу.

    Вначале они работали с бывшим игроком НФЛ Стивом Глисоном, который вдохновил и стимулировал развитие исследований, после того как ему поставили диагноз БАС (боковой амиотрофический склероз). И хотя Глисон мастерски использовал технологию отслеживания движений глаз, ему все еще было сложно общаться, когда возникали технические проблемы и приходилось смотреть на экран, а не на человека, который пытался с ним коммуницировать.

    «Разговаривая с человеком, который управляет голосовым устройством только глазами, вы заметите, что темп разговора гораздо ниже по сравнению с обычной речью. Часто беседа через AAC идет в 12-25 раз медленнее, даже при улучшении точности прогнозирования и распознавания движений глаз, — говорит Парадизо. — Так что мы часто наблюдаем, как собеседник либо не выдерживает затянувшейся тишины, либо не может понять, что ему готовят ответ, и продолжает говорить, а человек с нарушениями речи остается без возможности высказаться».

    Это привело к исследованиям, ориентированным на пользователя, в которых участвовали люди с БАС и члены их семей. Парадизо и ее сотрудники регулярно встречались с ними, сопровождали их на встречах с врачами, наблюдали за их взаимодействием с неврологами, логопедами, физиотерапевтами и многими другими. Встречи проходили и в домашней обстановке, и в лабораториях Microsoft. Возникшее в результате этого доверие позволило исследователям по-настоящему узнать ту экосистему, которая сложилась вокруг людей с ограниченными возможностями, познакомиться с системами поддержки и отношением членов семьи, изучить оборудование и выяснить, что помогает, а что нет.

    Мы быстро поняли, что оптимизация светодиодных дисплеев для общения на основе эмодзи открывает широкие возможности.

    Энн Парадизо
    «Эмодзи уже повсеместно используются на платформах цифровой коммуникации, включая текстовые сообщения, электронную почту и социальные сети. Они требуют меньше действий, чтобы выразить намерение, показать контекст или задать настроение. Один значок эмодзи может кардинально изменить или улучшить восприятие сообщения. Мы думаем, что их можно использовать в качестве дополнительных выразительных посредников для людей, не способных говорить или управлять мускулами, отвечающими за выражение лица, — говорит Парадизо. — Люди с БАС, которые с нами сотрудничают, это одни из самых веселых, вдумчивых и творческих людей, которых я знаю, но доступные им возможности для выражения своих мыслей ограничены из-за инвалидности и несовершенства имеющихся голосовых устройств и лежащих в их основе технологий. Мы знаем, что люди хотят выражать гораздо больше с помощью своих AAC-устройств, а не только общаться простейшими фразами. Мы хотели создать нечто такое, что помогло бы людям более активно участвовать в разговорах, было бы заметным при слабом освещении и на расстоянии, а также предоставило бы еще одну возможность для уникального самовыражения, общения и передачи эмоций».

    Разработчики пробовали разные дополнительные экраны, но возвращались к светодиодным дисплеям по нескольким причинам: они недорогие, они достаточно хорошо работают и «они классные». Люди с БАС, участвующие в исследованиях, также дали понять, что не хотят использовать ничего, что может иметь непреднамеренные негативные социальные последствия для пользователей.

    «Наблюдать за людьми, живущими с БАС, и расширять их возможности, чтобы они могли делать то, на что уже и не надеялись, — достаточная мотивация для усердной работы, — говорит присоединившийся к Enable Group в начале 2017 года разработчик Дуэйн Лэмб, занимающийся созданием пользовательского интерфейса и средств взаимодействия с пользователем. — Чаще всего, когда вы разговариваете с кем-то, кто может общаться только глазами, этот человек вводит текст, глядя на клавиатуру устройства, расположенного перед ним. А вы, хотя это и дурной тон, с точки зрения социального этикета, обычно заглядываете собеседнику через плечо в попытке рассмотреть, что он печатает».

    Появление Expressive Pixels отчасти связано с желанием решить эту проблему.


    Эмодзи в приложении Expressive Pixels

    С помощью Expressive Pixels можно создавать анимацию на дисплеях разных размеров, до 64×64 пикселей, рассказал Кристофер О’Дауд, помогавший восполнить пробелы в аппаратном обеспечении проекта. О’Дауд отметил, что светодиодные дисплеи повсеместно используются на выставках конструкторов-любителей Maker Faire, в домах во время праздников и во многих других случаях. Светодиодные дисплеи настолько универсальны, что их часто можно найти даже на ткани (например, масках, кепках и рюкзаках) или баннерах.

    Одним из первых применений светодиодных дисплеев командой Expressive Pixels стал проект «музыка без рук», отмеченный наградами фестиваля SXSW.

    В этом проекте использовалась специально созданная светодиодная матрица с поддержкой midi и синхронизацией с музыкой. Это было дополнительное средство визуализации для контролируемой глазами физической ударной установки, разработанной для одного из участников Expressive Pixels — музыканта из Сиэтла, живущего с БАС. Проект, получивший в 2018 году награду SXSW Interactive Innovation Award: Music and Audio Innovation (Интерактивные инновации в области музыки и звука), включает набор новых управляемых глазами приложений для сочинения и исполнения музыки и совместных выступлений.

    «Как человек, не способный говорить и двигаться, может сочинять или исполнять музыку, командовать происходящим на сцене или контактировать с живой аудиторией? А что насчет совместного выступления с другими музыкантами, отрепетированного или импровизационного? Как мы можем снизить барьеры на пути к тому, чтобы школьные музыкальные программы стали более инклюзивными, не разделяли и не сводили к минимуму участие детей с ограниченными возможностями? Нами двигало желание найти ответы на эти основополагающие вопросы, — вспоминает Парадизо. — Мы хотели адаптировать наши технологии и дизайн так, чтобы они подстраивались под творческие цели человека и ситуации реальной жизни, а не наоборот».

    У Лэмба возникла идея добавить поддержку цифрового интерфейса музыкальных инструментов (MIDI), чтобы посылать разные сигналы на разные инструменты, и позже эту идею перенесли в Expressive Pixels.



    «Каждый раз, когда мы работали над новой целью, мы продвигали платформу дальше», — говорит Парадизо.

    Платформа Expressive Pixels открыта для широкого круга творческих людей. Это не только сообщество разработчиков, но и студенты, которые могут разрабатывать проекты для помощи другим людям и изучать JavaScript с помощью Microsoft MakeCode. По словам Янке, устройства MakeCode обычно имеют очень небольшое количество светодиодов, поэтому полноценные возможности отображения открывают для учащихся широкий простор, чтобы создавать, экспериментировать и программировать с использованием чего-то вроде дисплеев Silicon Squared, подключенных к гаджету MakeCode.

    «Expressive Pixels дает учащимся простой способ интегрировать созданную в приложении анимацию в свои программы MakeCode и аппаратные творения с минимумом усилий», — говорит Янке.

    Приложение само будет знать, какие анимации хранятся на устройстве, поэтому разные команды будут вызывать у него соответствующую реакцию.

    Благодаря этому и другим проектам Enable в Парадизо вновь зажглась ее страсть к работе в компании, в которой она трудится уже почти 20 лет.

    «Так много людей собираются вместе, а многие тратят свое личное время, чтобы работать во имя чего-то большего, чем каждый из нас сам по себе, — это вдохновляет и согласуется с ценностями и миссией нашей компании, и это делает меня счастливой и дарит надежду на более инклюзивное и творческое будущее для всех», — сказала Парадизо.

    Узнать больше вы можете на англоязычном сайте Expressive Pixels.
    Microsoft
    Microsoft — мировой лидер в области ПО и ИТ-услуг

    Комментарии 2

      0
      Теперь ваши домочадцы знают, что вы сейчас заняты, а вам для этого не пришлось сказать ни слова.


      Теперь домочадице придётся вернуться на кухню за скалкой и нарисовать пару перманентно-синих пикселей под глазами у «занятого», который вторую неделю не выносит мусор! :))
        0
        Вспомнился Pix Backpack
        Pix Backpack
        Design App

        Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

        Самое читаемое