Как превратить графики в звук, и зачем это нужно

    Диаграммы и инфографика — эти форматы представления данных часто недоступны незрячим и слабовидящим людям. Разработчики из американской компании SAS Institute постарались решить эту проблему, создав бесплатный браузерный плагин Graphics Accelerator.

    Его задача — перевести графическую информацию в звуковую. Сегодня мы рассказываем о разработке SAS Institute и других кейсах, где звук помогает «видеть».


    Фото takomabibelot / PD

    Как работает Graphics Accelerator


    Компания SAS Institute занимается разработкой программного обеспечения для статистического анализа данных. В большинстве случаев результаты этого анализа отображаются в виде графиков, поэтому слабовидящим людям было сложно работать с решениями SAS.

    Исправить ситуацию взялся один из разработчиков компании — Эд Саммерс (Ed Summers), который сам потерял зрение в десять лет из-за дегенеративного заболевания глаза (у него развился пигментный ретинит).

    Эд и коллеги создали решение, которое помогло бы слабовидящим людям использовать инфографику и диаграммы, построенные приложениями SAS, в учебных или рабочих целях. Так появился Graphics Accelerator. Это бесплатный плагин для Google Chrome, который использует методы сонификации. Он представляет графическую информацию — в том числе тепловые карты и круговые диаграммы — в звуковом формате.

    С графиками функций инструмент работает следующим образом: пользователь двигает указатель по горизонтальной оси при помощи стрелок на клавиатуре, а Graphics Accelerator воспроизводит для каждой точки на графике ноту пианино. Чем больше значение по оси Y, тем выше звук. Как это звучит можно послушать в видеоруководстве SAS Institute.

    Для удобства навигации значения из левой половины графика воспроизводятся через левый динамик наушника (или колонку АС), а из правой — через правый. График также сопровождается текстовыми описаниями, которые можно прослушать при помощи программы чтения с экрана.

    Где еще используется сонификация


    Человек способен «фильтровать» лишние звуки, игнорировать фоновый шум и фокусироваться лишь на нужной информации. Именно поэтому мы можем легко узнавать голоса людей в оживленной обстановке. Это свойство известно, как «эффект коктейльной вечеринки».

    Используя методы сонификации, нам проще концентрироваться и подмечать какие-то определенные особенности в данных, находить закономерности. Например, в НАСА разработали свой инструмент для сонификации xSonify. Эту программу использует астроном Ванда Диаз-Мерсед (Wanda Diaz Merced), в своих исследованиях.

    Во время выступления на TED, она рассказала, что с помощью программы сонификации она анализировала графики, показывающие интенсивность света звезды с течением времени, «слушая» гамма-всплески небесных тел.


    Фото Antonio Roberts / CC

    Сонификация широко используется исследователями и из других областей. Исследователи из университета Айдахо и Восточного университета штата Вашингтон изучали с её помощью особенности миграции чавычи — рыб из семейства лососевых. Когда рыба перемещается от водоема к водоему, у неё меняется химический состав отолитов, небольших твердых образований во внутреннем ухе. Анализируя этот состав, ученые могут понять, где побывала та или иная рыба.

    Исследователи собрали данные об изменении концентрации каждого химического элемента и сравнили их между собой. Информацию представили в виде звука. Каждому элементу в отолите была назначена своя частота. Когда рыба перемещалась из одного места в другое, менялся и звук, который «издавал» отолит.

    Приемы сонификации используют и люди, работающие над проектами на стыке науки и искусства. Звук помогает наглядно показать важные изменения, происходящие в мире, например глобальное потепление. Сухие числа превращаются в тревожную музыку, которая иллюстрирует повышение средней температуры на планете и уровня углекислого газа в атмосфере.


    Подобные проекты создает разработчик и художник Брайан Фу (Brian Foo). При помощи сонификации он показал финансовое благосостояние жителей разных районов Нью-Йорка, уровень загрязнения воздуха в Пекине, а также гендерное и расовое разнообразие в голливудских фильмах.


    Сонификация позволяет больше узнать о «невидимых» данных, которые окружают нас каждый день. Например, с её помощью можно услышать интернет. В перформансе Internet Rumbles, который провели на симпозиуме KISS2014, звуки представляли информацию об интернет-соединении устройств, находящихся в комнате. Озвучить можно и изменения в содержимом разных сайтов: подобные эксперименты проводились на основе данных с Хабра и Википедии.

    Таким образом, сонификация дает возможность выйти за рамки привычной работы с информацией и взглянут на наш мир под другим, неожиданным углом.



    Больше интересного о звуке — в нашем Telegram-канале:

    Как услышать цвет
    История бренда: Marshall
    Несколько фактов об аудиокассетах
    Как зазвучали Звездные войны
    Куда движется музыка в VK


    • +13
    • 2,9k
    • 4

    Аудиомания

    192,00

    Одна из крупнейших Hi-Fi, High End компаний в СНГ

    Поделиться публикацией
    Комментарии 4
      0
      Синестетические фантазии.
        +1
        «перформансе Internet Rumbles, который провели на симпозиуме KISS2014, звуки представляли информацию об интернет-соединении „

        Оказывается, когда давным-давно я слушал краем уха звук коннекта модема, и разрывал соединение, если скорость сильно падала и шли частые ретрейны и опуск скорости вниз — это ж оказывается был такой себе перформанс, только сильно камерный и почти без зрителей.
          0
          Под Linux была софтина сонифицирующая пакеты. Я даже использовал чтоб отловить чуваков скачивающих порно (сидеть постоянно пялиться логи неудобно было, а за день они могли накачать столько, что можно было вылететь с работы.
            0
            Шел 1987 год :) Он вообще большой молодец, Дуглас Адамс.

            'But the silliest feature of all was that if you wanted your company accounts represented as a piece of music, it could do that as well.
            Well, I thought it was silly. The corporate world went bananas over it.'
            Reg regarded him solemnly from over a piece of carrot poised delicately on his fork in front of him, but did not interrupt.
            'You see, any aspect of a piece of music can be expressed as a sequence or pattern of numbers,' enthused Richard. 'Numbers can express the pitch of notes, the length of notes, patterns of pitches and lengths.'
            'You mean tunes,' said Reg. The carrot had not moved yet.
            Richard grinned.
            'Tunes would be a very good word for it. I must remember that.'
            'It would help you speak more easily.' Reg returned the carrot to his plate, untasted. 'And this software did well, then?' he asked.
            'Not so much here. The yearly accounts of most British companies emerged sounding like the Dead March from /Saul/, but in Japan they went for it like a pack of rats. It produced lots of cheery company anthems that started well, but if you were going to criticise you'd probably say that they tended to get a bit loud and squeaky at the end.

            Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

            Самое читаемое