Краудсорсинг

Толока — крупнейший источник размеченных людьми данных для задач машинного обучения. Каждый день в Толоке десятки тысяч исполнителей производят более 5 миллионов оценок. Для любых исследований и экспериментов, связанных с машинным обучением, необходимы большие объёмы качественных данных. Поэтому мы начинаем публиковать открытые датасеты для академических исследований в разных предметных областях.

Сегодня мы поделимся ссылками на первые публичные датасеты и расскажем о том, как они собирались. А ещё подскажем, где же правильно ставить ударение в названии нашей платформы.

В понедельник на конференции WWDC компания Apple представила классную новую функцию под названием “Find My". В отличие от стандартной «Найти мой iPhone», которая полагается на инфраструктуру сотовой связи и GPS потерянного устройства, функция «Найди меня» способна найти даже устройства без сим-карты и GPS. Например, ноутбуки, или даже «тупые» метки локации, прикреплённые к любому предмету (Apple намекнула на это только в широком смысле).

Идея заключается в том, чтобы превратить всю существующую сеть айфонов в масштабную краудсорсинговую систему по отслеживанию окружающих объектов. Каждый активный iPhone будет постоянно отслеживать сообщения маячков BLE, которые поступают с других устройств. Когда он находит один из этих сигналов, то помечает пакет своими координатами GPS — и отправляет на серверы Apple. Это очень здорово для растеряш вроде меня, которые постоянно теряют вещи: если я оставлю свой рюкзак в туристическом автобусе в Китае в офисе, то рано или поздно кто-то наткнётся на его сигнал — и я мгновенно узнаю, где его найти.

(Стоит отметить, что идею придумала не Apple. На самом деле компании вроде Tile работают довольно давно. И да, им стоит беспокоиться за свой бизнес).

Эскиз фрески для города Кембридж, штат Массачусетс. Автор — Даниэла Гамба.

Игра EyeWire, про которую я уже писал здесь статью, продолжает нарабатывать новый материал. Ученые в лаборатории Себастьяна Сеунга не полагаются только на игру и только на усилия добровольцев от науки, чтобы продвигать исследования в области изучения мозга, но она безусловно имеет научную ценность.

В течение нескольких лет я работал над картами, которые используются в русском и других языковых разделах Википедии. Всего мной было создано более 300 карт. Я не являюсь профессиональным картографом, и не имею специального образования в этой области. Видимо, мне просто нравилось делать карты :)

В рамках этой статьи я хочу поделиться опытом создания карт для Википедии, с фокусом на позиционных картах.

Физическая карта Канады

Появление криптовалют привлекло внимание к более широкому классу систем, в которых экономические интересы участников совпадают таким образом, что они, действуя ради собственной выгоды, обеспечивают устойчивое функционирование системы в целом. При исследовании и проектировании таких самодостаточных систем выделяются так называемые криптоэкономические примитивы — универсальные структуры, создающие возможность координации и распределения капитала для достижения общей цели посредством использования различных экономических и криптографических механизмов.

Одной из главных проблем краудфандинга является то, что потенциальные спонсоры проектов и организаций часто не имеют достаточного стимула для их финансирования. Особенно это касается общественно значимых проектов, пользу от реализации которых получают многие, в то время как бремя финансовой поддержки ложится на сравнительно небольшое число спонсоров. Долгосрочные проекты также нередко страдают от постепенного угасания интереса со стороны спонсоров и вынуждены постоянно вкладывать усилия в маркетинг. Подобные трудности могут привести к закрытию проекта, несмотря на его востребованность, и в совокупности также именуются проблемой безбилетника.

Технология программируемых денег открыла возможность реализации новых механизмов финансирования, которые помогают решить проблему безбилетника. Существование криптоэкономических примитивов облегчает эту задачу, позволяя создавать системы координации участников с заранее известными свойствами.

С пару месяцев назад мы поэкспериментировали: получится ли на «Хабре» собрать годный справочник подразделений, выдавших российские паспорта. Дело полезное: эти данные нужны много кому, канонического источника нет, а существующие — очень так себе.

И знаете, все получилось. Пригодный к использованию справочник готов, можно качать и пользоваться. А еще мы сделали подсказки, которые ускоряют ввод подразделений в электронные формы.

Три года назад я решил сделать книгу о высотке МГУ на Ленинских горах — большую, иллюстрированную, с привлечением выпускников и т.п. История этой работы — настоящее кино (местами фарс, местами хоррор) с кучей драматических поворотов. Сверхудачный краудфандинг, широкая аудитория, множество энтузиастов, полный провал с планированием, собирание всех возможных грабель и в итоге абсолютный факап по бюджету и срокам. В общем, классическая история «управления проектами» — поэтому я и решил рассказать ее здесь.



TL;DR – если хотите написать нон-фикшен ради денег – сразу забудьте. Но если душа просит приключений, жизнь кажется слишком простой — дерзайте! Приобретете массу ненужных связей и откроете в себе уйму недостатков. Зато будет весело :-)

Да, и это лонгрид; примерное время чтения – 20 минут.

Вы знали, что сегодня, 1 марта, Всемирный день гражданской обороны?
Я нет, мне это подсказали после того, как мы командой РосКомСвободы запустили случайным образом в этот же день общественную кампанию #ЦифроваяОборона

Неплохо так совпало!

Данная кампания является стратегической и направлена на отстаивание цифровых прав и против текущего негативного тренда государственного регулирования интернета в России.

Российские власти за последние несколько лет приняли огромное количество правовых актов, которые пагубно сказываются на наших цифровых правах и свободах, на развитии интернет-бизнеса, на построении эффективных коммуникаций в онлайне: личных, общественных, деловых, образовательных. Регулирование сетевой среды уже давно явно пошло куда-то не туда. Депутаты Госдумы вместо законов, которые должны стимулировать общественные, коммерческие и научные связи в онлайн-среде, выдвигают всё более странные и пагубные для современного общества инициативы по расширению цензуры Сети, введению слежки за пользователями, обременению новыми обязанностями информационных посредников — операторов связи, хостеров, контент-провайдеров, владельцев сайтов, онлайн-СМИ и других участников интернет-взаимодействия.

Самое утомительное поле при вводе паспорта — «Кем выдан». Вбивать в форму какое-нибудь «Отделом внутренних дел Медведевского района республики Марий Эл» муторно. Люди злятся, сокращают название как придется, ошибаются.

Было бы здо́рово подсказывать варианты по коду подразделения.

В последнее время Confluence и sharepoint стали почти безраздельно править на рынке баз знаний. Системы отличные, не спорю, но лично мне не хватает их гибкости да и в целом как-то не срослось: вики-возможности sharepoint остались где-то на уровне 2005 года (про работу с офисными документами молчу, с ними все гуд), а Confluence в силу своих особенностей с ростом числа статей неумолимо превращался в свалку, в которой невозможно найти что-либо нужное (но, может, проблема была во мне).

Не умаляя достоинства этих систем, хотелось бы рассказать о том, какие возможности есть у Mediawiki в роли корпоративной базы знаний. Само собой, mediawiki подойдет не всем — в ней нет модной интеграции с jira/tfs/etc, перенос документов с картинками из пакета Microsoft Office доставляет кучу неудобств, да и сама она написана на PHP, что в последнее время служит отпугивающим фактором для некоторых айтишников. Тем не менее, платформа живее всех живых и над ее развитием работает изрядное количество людей, коль скоро на ней базируется семейство проектов фонда Викимедиа.

Я обнаружил пост, написанный несколько лет назад, где перечислено, какой процент пользователей Reddit оставляет записи на этом сайте:

• В Askreddit около 15 млн уникальных посетителей и 500 тыс. комментаторов.
• В /r/pics и /r/funny 10 млн посетителей и 200 тыс. комментаторов.
• В /r/TIL и /r/videos нет публичной статистики, но порядка 150 тыс. комментаторов. Также статистики нет у /r/pcmasterrace, /r/wtf, /r/gaming, у каждого из которых по 120 тыс. комментаторов.
• У каждого из следующих подреддитов порядка 100 тыс. комментаторов :/r/leagueoflegends (8 млн посетителей), /r/worldnews (6 млн), /r/news (6 млн), /r/movies (5 млн), /r/adviceanimals (3 млн), /r/gifs – неизвестно.

Вывод:

В крупнейших подреддитах количество уникальных комментаторов составляет от 1% до 3% от читателей.

Получается, что на Reddit сидит порядка 97-99% пользователей, редко участвующих в обсуждении, и просто пассивно потребляющих контент, который генерят оставшиеся 1-3%. И эта тенденция устойчиво сохраняется в интернет-сообществах, и известна как правило одного процента.

Во вторник Википедии исполнилось 18 лет. Если бы этот массивный энциклопедический проект, работающий по принципу клаудсорсинга, был человеком, то в большинстве стран его считали бы юридически взрослым. Но на самом деле бесплатная онлайн-энциклопедия уже давно играет роль добросовестного интернетовского взрослого.

С начала своей работы Википедия неимоверно выросла. Она может похвастаться 5,7 млн статей на английском языке и 92 млрд просмотрами страниц за прошлый год.

Краудфандинг до последнего времени оставался сферой, которую российское государство контролировало весьма слабо. Скоро все изменится: Госдума собирается запретить россиянам вкладывать более 600 000 рублей в краудфандинговые проекты за год.

Сложность и срочность вопросов, стоящих перед лицом человечества, растут гораздо быстрее, чем наши способности совместного их понимания и решения. Это очень опасная проблема, но есть стратегические действия, которые мы можем предпринять, коллективно.

Введем «коллективный IQ» как показатель способности сообщества решать сложные вопросы: точно их понимать, выявлять наилучшие варианты решений, оценивать ресурсы и оперативные возможности, выбирать подходящее решение, эффективно организовывать и контролировать его исполнение, быстро и точно справляться с непредвиденными затруднениями.

Я утверждаю, что стратегия «содействия эволюции» коллективного IQ наших сообществ и есть наилучшая стратегия.

Гипертекст будет иметь принципиальное значение, а SIGWeb должна быть лидером.

«Коллективный IQ» – это сборка коллективных способностей из основных способностей человека, таких как ощущение, восприятие, познание, движение и т.д.

«Я бы прочитал книгу теолога о программировании.»
— Дональд Кнут

На Youtube есть серия из коротких 97 роликов, где Дональд Кнут рассказывает про свою жизнь. Пару лет назад я начал публиковать самые интересные моменты, а вот сейчас решил продолжить знакомить читателей с образом мыслей и способом принятия решений «самого великого программиста всех времен и народов».



«3:16» — это книга, которая отличается от любой другой книги, которая когда-либо была написана. Я полагаю, что наконец-то созрел, чтобы написать такую книгу. Во всяком случае, 3:16 — это изучение Библии в другом ракурсе, не имеющее аналогов. Попробую пояснить.

Для ученых из области компьютерных наук естественно изучать сложные вещи, разбивая их на множество простых вещей и затем исследовать случайно выбранную часть. Таким образом, собирая несколько частей, они имеют представление в целом. Это похоже на опрос Гэллапа.

72

Взяв интервью у тысячи человек, вы знаете, что думают миллионы людей. Я использую выборку при исследовании документов. Если кто-то дает мне курсовую, и у меня нет времени, чтобы прочитать все 50 страниц курсовой работы, я буду выбирать случайную страницу и делать соответствующие выводы. Студент не знает заранее, какую страницу я собираюсь проверить. Таким образом, отбор проб это то, чем занимается компьютерный ученый.

Однажды, в 70-е, я задался вопросом, а что если я таким образом «исследую» Библию?

(Прим. переводчика: пожалуйста, комменты по вашим рекомендациям перевода присылайте в личку, статья лежала 2 года в черновиках, вот решил доделать Кнута, так что помогайте, дедушка крайне непросто говорит)

Продолжаем рассказывать о том, как в Яндексе и других крупных компаниях используют краудсорсинг. В предыдущем посте мы говорили о беспилотниках и качестве поиска товаров.

Сегодня вы узнаете о применении Толоки для обучения Алисы, пополнения Справочника и модерации комментариев. Все подзаголовки кликабельны и ведут на записи докладов. Поехали!

Технологическая компания «Light», Бруклин, США – разработчики минималистичных технологий, которые позволяют использовать девайсы по их непосредственному назначению. После успешного релиза первого телефона – Original Light Phone, который поддержали более 10 000 человек, команда находится на стадии прототипирования своей второй модели Light Phone II. С момента запуска кампании, 22 апреля 2018 года, на краудфандинговой площадке Indiegogo к ноябрю 2018 было собрано 615% от запрашиваемой суммы – $2,036,234. Релиз планируется на апрель 2019, по предзаказу телефон можно приобрести за $300, при заявленной рыночной стоимости в $400.

Поисково-спасательный отряд «Лиза Алерт» существует уже 8 лет. Это добровольческое объединение, сообщество неравнодушных, которое ищет пропавших людей, эффективно взаимодействуя с МЧС и МВД. «Лиза Алерт» собирает заявки о пропавших людях, проводит различные обучающие мероприятия, организацию поисков и сами поисковые операции. Отряд не ведет никакой коммерческой деятельности, не имеет расчётного счёта и не принимает денежные пожертвования.

Недавно Mail.Ru Cloud Solutions бесплатно предоставила «Лизе Алерт» площадку для размещения сервисов, активно применяющихся при проведении поисково-спасательных работ. Мы решили побеседовать с Сергеем Чумаком, старшим IT-направления «Лиза Алерт», о том, как работают спасатели-добровольцы и как им помогают высокие технологии.

В работе часто встречаются долгие и однообразные задачи, для решения которых нужно много людей. Например, расшифровать несколько сотен аудиозаписей, разметить тысячи изображений или отфильтровать комментарии, число которых постоянно растет. Для этих целей можно содержать десятки штатных сотрудников. Но всех их нужно найти, отобрать, мотивировать, контролировать, обеспечить развитие и карьерный рост. А если объем работы сократится, их придется переобучать или увольнять.

Во многих случаях, особенно если не требуется специального обучения, такую работу могут взять на себя исполнители Толоки, краудсорсинговой платформы Яндекса. Эта система легко масштабируется: если заданий от одного заказчика станет меньше, толокеры пойдут к другому, если число задач увеличится, будут только рады.

Под катом – примеры того, как Толока помогает Яндексу и другим компаниям развивать свои продукты. Все заголовки кликабельны – ссылки ведут на записи докладов.

Жизнь многих коллективов разработчиков свободного программного обеспечения преисполнена аскетизма, преодоления сложностей и препятствий, и часто сообщества выживают исключительно за счет альтруистических убеждений и самоотверженности своих участников. Не всем популярным свободным продуктам удается найти стабильный и надежный источник финансирования. Однако, иногда судьба дарит заслуженные подарки. Так в этом году произошло с проектом KDE. Дважды.

KDE — организация и международное сообщество вокруг нее, разрабатывающее свободное программное обеспечение: среду рабочего стола Plasma и набор приложений KDE Applications. Основным источником средств для проекта служит сбор пожертвований и целевые кампании по фандрайзингу.



15 октября 2018 некоммерческая организация KDE e.V., курирующая развитие проекта KDE, сообщила о получении пожертвования в $300 000 на 22-летие проекта от другого сообщества энтузиастов — Handshake.org. Причем 100 тысяч долларов, из полученных 300 тысяч, пойдут на развитие свободного офисного пакета Calligra.