company_banner

Яндекс.Толока. Как люди помогают обучать машинный интеллект

    Вот уже полтора года в Яндексе для совершенствования поисковых алгоритмов и технологий машинного интеллекта применяется платформа Толока. Может показаться удивительным, но все современные технологии машинного обучения в той или иной степени нуждаются в человеческих оценках.

    Люди оценивают релевантность эталонных документов поисковым запросам, чтобы на них ориентировались формулы ранжирования в поиске; люди переписывают аудиозаписи в текст, чтобы на этих данных настроился алгоритм голосового распознавания; люди размечают изображения по категориям, чтобы, натренировавшись на этих примерах, нейронная сеть дальше делала это без людей и лучше людей.



    Все это можно делать в Толоке, которая является краудсорсинговой платформой и помогает найти тех, кто решит вашу задачу. Сегодня она переходит в статус беты и отныне открыта для всех внешних заказчиков. Так что пришло время рассказать вам подробно о самой платформе и о том, с какими неожиданными сложностями мы сталкивались в процессе работы над ней, поделимся своими наблюдениями и объясним, как Толока может помочь именно вам.

    Задачи, о которых мы говорили выше, в Яндексе традиционно решаются с помощью обученных специалистов — асессоров. Асессоры смотрят, насколько результаты поиска соответствуют запросу, находят среди найденных веб-страниц спам, классифицируют его, решают схожие задачи и в других сервисах.

    Ирония заключается в том, что чем больше новых технологий мы запускаем, тем сильнее растет потребность в человеческих оценках. Недостаточно просто определить релевантность страницы поисковому запросу. Важно понимать, не замусорена ли страница вредоносной рекламой? Не содержит ли страница контент для взрослых? А если содержит, то подразумевает ли запрос пользователя, что он искал именно такой контент? Для того чтобы автоматически учитывать все эти факторы, нужно собрать достаточное количество примеров для обучения поисковой машины. А так как все в интернете постоянно меняется, то и обучающие наборы нужно постоянно обновлять и поддерживать в актуальном состоянии. В общем, только для задач поиска потребность в человеческих оценках измерялась миллионами в месяц, и с каждым годом это число только растет.

    Привлекать все больше и больше асессоров в каждой из стран присутствия Яндекса организационно непросто. При этом далеко не все новые задачи требуют специального обучения. Со многими заданиями может справиться практически любой человек, а часто даже более полезно собрать мнения обычных пользователей, не натренированных профессионально оценивать ранжирование. Подобное разделение задач привело нас к выводу, что в дополнение к асессорам нам нужен еще один более гибкий и масштабируемый источник получения человеческих оценок.

    Краудсорсинг


    В дополнение к сложным задачам, выполняемым асессорами, нам нужно было научиться собирать миллионы простых оценок в любой интересующей нас стране. Большинство заданий, о которых мы говорим, довольно простые и мелкие: на их выполнение не требуется больше 30 секунд. Зато количество этих заданий очень большое. Обычные фриланс-биржи, на которых можно связаться напрямую с несколькими исполнителями и объяснить им суть задания лично, для нас не подходили. Для промышленных масштабов нам нужно было привлекать тысячи исполнителей, оплачивать их работу без бумажной волокиты и контролировать результат.

    Ближайшим аналогом того, что нам на самом деле было нужно, были краудсорсинговые платформы Amazon Mechanical Turk, Clickworker и CrowdFlower. Именно с помощью них, как правило, собирают простые человеческие оценки академические исследователи в области Machine Learning и крупные поисковые компании, например, Bing.



    Вот только все эти платформы не работали в интересующих нас странах. К тому же мы уже успели накопить определенный опыт для того, чтобы решить задачу собственными силами.

    Толока


    В принципиальной логике работы любой краудсорсинговой платформы и, в частности, Толоки нет ничего сложного. С одной стороны, мы работаем с исполнителями, распределяем задания, производим оплату, а с другой – помогаем заказчикам получить результат с минимальными трудозатратами.



    Кстати, что это за слово такое «Толока»? Над названием думали довольно долго, искали международные варианты, но в итоге вышло совсем наоборот. Идея назвать сервис «Толокой» родилась в нашем минском офисе, в котором, кстати, и сосредоточено ядро разработки платформы. Это слово (по-белорусски «талака») распространено в Беларуси примерно в 30 раз сильнее, чем в России, и означает совместную полезную работу на общий результат, а это отлично сочетается с краудсорсингом. Хотя выбор названия – это далеко не самый сложный вопрос, с которым мы столкнулись при разработке сервиса.

    Какими могут быть задания? Потенциально они могут быть любыми по исходным данным, интерфейсу, ожидаемым ответам. Одному нужно загрузить картинки и попросить их классифицировать, другому — отобразить аудио-плеер и попросить написать, что слышно на записи, третьему — показать карту с расположением пользователя.



    Несколько примеров







    Поэтому был выбран путь максимальной гибкости: используя json для входных и выходных параметров и html/css/js — для интерфейса, заказчик может создать практически любое задание. А для тех задач, которые требуют работу «в поле» (например, пойти по адресу и проверить актуальность информации об организации), мы подготовили мобильную версию Толоки для Android.



    У гибкости в настройках есть и обратная сторона – высокий порог вхождения. Далеко не каждый человек умеет верстать интерфейс. Эту проблему мы решаем с помощью готовых шаблонов, общее количество которых планируем увеличить.

    Как платить толокерам? Успешный вывод кровно заработанных — один из главных мотиваторов для человека возвращаться и продолжать выполнять задания. Сложная и долгая процедура вывода может похоронить платформу. Поэтому мы выстроили систему, в которой достаточно добавить свой кошелек в PayPal или Яндекс.Деньгах. На этапе отладки процессов со стороны Толоки вывод денег мог занимать до 30 дней, сейчас — пару дней, а то и минут. При этом и толокеры, и заказчики освобождаются от бумажной волокиты.

    Как обеспечить качество выполнения? Этот вопрос — главная головная боль любой краудсорсинговой платформы. В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть — ленивые, недобросовестные и при этом умеющие писать скрипты. Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей. У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других. Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.



    Кстати, а что мы знаем о самих толокерах?

    Толокеры


    В Толоке регистрируются и выполняют задания самые разные люди. Больше всего исполнителей (как и заданий) у нас в России, Украине и Турции. Большинство толокеров — это молодые люди до 35 лет (как правило, студенты технических ВУЗов или мамы в декрете). В основном исполнители рассматривают Толоку в качестве дополнительного источника денег, хотя многие отмечают, что им нравится выполнять полезную работу, делать интернет чище. Вот, например, что они сами пишут о себе, обсуждая Толоку в интернете:

    Мне на кошелек уже упало 790,41 рублей. Если что, то в регионе, где я живу, зарплата, к примеру, учителя-молодого специалиста, составляет 2800 рублей. Обратите внимание, что это все набито между делом, в свободное время, в перерывах между выполнением основной работы, когда хотелось отдохнуть и немного переключиться.


    И вообще не чувствуешь себя тупым кликающим роботом. Есть какое-то ощущение полезности своей работы.


    Толока в Яндексе


    Толока сейчас — это почти 270 тысяч исполнителей из пяти стран мира, 80 тысяч выполняемых заданий в день, 400 уже опробованных разных типов заданий, 1 миллиард собранных оценок.

    В момент открытия мы стартовали с тремя основными типами заданий, и интересно, что именно они по-прежнему остаются самыми любимыми заданиями для большинства толокеров: оценка качества поиска картинок, разметка контента для взрослых и попарное сравнение объектов (например, страниц в разном дизайне).

    Использование краудсорсинга для сбора оценок в этих проектах позволило командам существенно сократить время ожидания оценок для построения метрик. Где асессорам требуется несколько дней на оценку набора объектов, толокеры справляются за пару часов. За счет снижения стоимости оценки удалось заметно увеличить размеры обучающих наборов и повысить качество алгоритмов классификации. К примеру, после перехода на Толоку качество определения контента для взрослых выросло на 30%.

    Заказчиками оценок в Толоке выступают десятки разных команд Яндекса. С помощью этого сервиса собираются данные для технологий компьютерного зрения и распознавания речи, совершенствуются рекомендательные технологии, пополняется база справочника организаций, решаются многие другие внутренние задачи. Но их все равно недостаточно для того, чтобы обеспечить всех толокеров заданиями. Нужно двигаться дальше.

    Первые внешние заказчики


    Договорившись с несколькими внешними партнерами, мы организовали закрытое альфа-тестирование, чтобы проверить соответствие платформы потребностям извне. Внешние заказчики пришли как со знакомыми для нас типами задач, так и с новыми, специфичным для их бизнеса. За время тестирования были запущены задания по расшифровке ценников товаров с фото, аудиту торговых точек, категоризации товаров, поиску характеристик.

    Сайт Рейтинг Букмекеров предложил толокерам задания по обновлению базы букмекерских отделений по всей стране (около 4000 объектов). Нужно было проверить, существует ли объект по указанному адресу, сделать фотографию и составить его описание. По данным заказчика, проверить актуальность базы объектов по России с помощью краудсорнинга оказалось выгоднее и оперативнее, чем командировать сотрудника или искать подрядчиков. Немного конкретики. Выполнение задачи по Санкт-Петербургу, где нашлось 157 адресов для проверки, с использованием Толоки обошлось заказчику чуть более чем в 4100 рублей. Это более чем в 10 раз дешевле, чем проектная семидневная командировка одного собственного сотрудника компании из Москвы в Санкт-Петербург, и в 3-6 раз дешевле, чем наем подрядчика на месте.

    Толока оказалась полезна не только бизнесу, но и в научной работе. Дмитрий dustalov Усталов из Института математики и механики им.Н.Н.Красовского (ИММ УрО РАН) использует сервис для сбора оценок о смысловых связях русских слов, чтобы повысить качество электронных словарей, используемых в рамках проекта NLPub. По словам Дмитрия, он может быстро и недорого проводить эксперименты, проверяя большое количество гипотез в сжатые сроки. Для одного из заданий, например, ему удалось собрать 13 тысяч оценок всего за час.

    И еще один пример. Рамблер использует Толоку для уточнения асессорских оценок поисковой выдачи. Результаты толокеров чуть менее точны, поскольку они не имеют специальной подготовки, но зато они могут выполнить задания больших объемов в короткие сроки и со стабильным качеством. Так что этот канал получения оценок особенно полезен в периоды пиковых нагрузок.

    Закрытое альфа-тестирование помогло нам определиться с дальнейшим вектором доработок и в целом подтвердило гипотезу, что Толока может быть полезна внешним заказчикам и должна быть открыта для всех. Ровно это мы и сделали. Начиная с этой недели, Толока переходит в статус беты, и ее краудсорсинговые возможности доступны для всех желающих.

    Как добавить свое задание?


    Процесс отправки задания по-прежнему предполагает определенные знания со стороны заказчика, но мы уже работаем над тем, чтобы упростить этот процесс в ближайшем будущем. А пока для заказчиков доступна документация по адресу yandex.ru/support/toloka-requester.

    Мы рекомендуем начать с песочницы. Эта тестовая среда позволит вам не только разобраться в процессе создания задач, но и испытать их, не рискуя потратить деньги впустую. После регистрации можете сразу приступить к созданию своего проекта, причем сервис предложит вам уже готовые шаблоны на выбор.



    При постановке задачи вы сможете ограничить исполнителей по определенным критериям (например, страна, язык или юзер-агент браузера), включить предварительную проверку результата и контроль качества, настроить спецификации входных и выходных данных.

    После обучения на песочнице вы можете перейти к боевой системе, перенести туда свои проекты, пополнить баланс и запустить краудсорсинг. Кстати, все это не обязательно делать в интерфейсе. У Толоки есть свой API.

    В заключение хотелось бы рассказать об основных рекомендациях, которые мы сформулировали на основе собственного опыта работы с толокерами.

    Рекомендации по работе с краудом


    Wisdom of crowd (мудрость толпы) — вовсе не философский, а вполне статистически проверяемый феномен. Даже если мнение одного человека недостаточно компетентно, а его оценка — недостаточно точна, объединение оценок от многих разных людей может давать более точные результаты, чем оценка одного профессионального эксперта. Главное здесь — правильно организовать процесс сбора и агрегирования отдельных оценок.

    1. Краудсорсинг — очень мощный инструмент, он отлично подходит, когда речь идет о больших объемах и необходимости масштабировать и стандартизировать процессы. Но если у вас разовая задача, которая решается одним человеком за пару часов, то именно так ее и проще решить.
    2. Многократно проверено, что любую сложную задачу можно и нужно декомпозировать на набор мелких независимых подзадач. Это позволит существенно повысить качество итоговых данных без увеличения стоимости общей разметки.
    3. Большинство заданий в краудсорсинге запускаются с перекрытием (когда несколько исполнителей делают одно и то же задание). Популярное заблуждение: чем больше перекрытие, тем выше качество результатов. Как правило, это не так. Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.
    4. Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок. Зачастую завышение ставки может даже навредить качеству, так как толокеры в погоне за деньгами перестают уделять заданиям достаточное внимание.
    5. А вот главное, от чего реально зависит качество оценок – это от организации задания. Чем понятнее написана инструкция и спроектирован интерфейс, тем выше качество результата. И не забываем о проверочных заданиях («ханипоты»), которые помогут выявить недобросовестных толокеров.
    6. Большинства проектов в Толоке не требуют от исполнителя специальных знаний. Тем не менее иногда приходится «тренировать» толокеров выполнять задание именно так, как нужно заказчику. В этом случае следует создавать специальные обучающие пулы и использовать дополнительные настройки (например, допускать до задания только тех толокеров, которые успешно прошли тренировку).
    7. Правильное таргетирование заданий на определенных исполнителей часто помогает заметно улучшить результаты разметки. Например, если для разметки каталога обуви вам требуется оценить пантолеты, то это задание лучше сразу отдать толокерам-девушкам.
    8. Далеко не все задачи можно отдать на откуп мудрости толпы. Всегда найдется задание, которое требует профессиональной подготовки и предельной внимательности. Но практически всегда в этих случаях с помощью предварительной фильтрации краудом можно упростить жизнь профессиональным экспертам, заметно снизить стоимость получения оценок и увеличить пропускную способность вашего рабочего процесса.


    Были бы благодарны сообществу Хабрахабра за отзывы о работе бета-версии Толоки. Мы продолжаем работать над тем, чтобы любой заказчик мог получить максимально качественный результат без необходимости писать код, а каждый ответственный исполнитель – поощрение и достаточное количество заданий. И ваши отзывы помогут нашей команде в этой работе. Спасибо!

    Яндекс

    740,18

    Как мы делаем Яндекс

    Поделиться публикацией
    Комментарии 68
      +2
      Шикарно, обязательно попробую
        +4
        Интересно. А поясните. Вот сказано, что минимальная цена задания — 1 цент. Вот я хочу разметить базу изображений тысяч на 50. По каждой картинке выбрать класс и всё. Это получается 30к, что явно является неадекватной ценой (такую базу разметить это дня два посидеть, выходит где-то 5 тысяч обычно если договариваться с каким-нибудь фрилансером).
        Можно делать батчи по 10 картинок в задании? Как это тогда реализовано?

        А в целом да, очень интересно. Часто старадаю от того, что сложно найти человека, который быстро базу может прочесать/собрать. Часто самому приходиться делать.
          +4
          Минимальная цена задания — 1 цент, в одном задании можно разместить 20-30… изображений, на Ваше усмотрение как заказчика.
          Когда грузите задания — там и решаете, по сколько изображений разместить на одной странице.
          Задания раздаются сразу многим, поэтому скорость разметки Вас тоже может порадовать.
          Спасибо за комментарий!
            0
            50к картинок за 2 дня, серьезно? Я бы посмотрел на такого человека-макаку, способного бездумно сидеть 2 суток к ряду, чтобы разметить 50к картинок.
              +2
              Домохозяйки, например.
              А так же люди с ветки, посвящённой Толоке, с одного авторитетного форума.
                0
                Как я понимаю, человек писал про это:
                >такую базу разметить это дня два посидеть

                Намекая на то, что в одиночку разметить 50к заданий — сложно.
                0
                На самом деле недавно размечал 11к фоток для тестирования Gooogle Vision Api.
                50к можно обработать часов за 8 с учетом перекуров и отдыха глазам, особенно если ничего шокирующего в базе нет и помечать удобно.
                  0
                  1 час = 3600 секунд. Если на 1 фото тратится 1 секунда, но за 8 часов марафона (без перерывов!) получится 28800 фотографий. Реально даже 10к за 8 часов это уже много.
                    0
                    Зависит от задачи. Если типов фотографий много, или нужно выполнять сложный анализ изображения- несомненно 8 часов не хватит. А вот если, как в моем случае, нужно только маркировать фотографии эротического содержания, при этом идет по несколько фотографий в ряду- 8 часов вполне хватит.
              +1
              Прикольно бывает повыполнять иногда полевые задания. И самому размяться, и копеечка капает.)
                0
                Во, кстати — давно интересно было. Кто такой Иван Драгомилов с картинки в заголовке поста? Насколько я понимаю, это тестовый пользователь. Сохранились ли предания, почему именно Иван Драгомилов и почему именно Турция?)
                  0
                  Это придумал наш дизайнер, только предания, почему именно так, не сохранились) На аве, кстати, тоже он.
                  0
                  можно ли заказать распознавание капчи?
                    0
                    для распознавания капчи есть отдельные сервисы с пакистанцами и т.п. :) Ты отправляешь картинку через api тебе ее распознают и выдают ответ. ИИ не нужен :)
                      0
                      Здесь тоже краудсорсинг, а не ИИ
                      0
                      Такой тип заданий — не наш фокус. Про то, какие задания не подходят Толоке, можно еще почитать здесь
                      +1
                      А что такого особенного в Швейцарии, что её отдельно выделили в пользовательском соглашении?
                        0
                        Сервис предоставляется швейцарской компанией группы Яндекс, что объясняет частое упоминание этой страны в ПС
                        +4

                        Сейчас «Толока» предоставляет только список полученных ответов на каждое задание, при этом вопрос их агрегации остаётся на усмотрение заказчика. Для обработки данных мы с коллегами используем Mechanical Tsar, в котором реализованы вероятностные методы оценки доверия к участникам: ZenCrowd, Dawid-Skene, и др. Применение таких методов обеспечивает более надёжный результат на тех же самых данных по сравнению с простыми эвристиками вроде «голос большинства» или «половина голосов».


                        На мой взгляд, при использовании «Толоки» очень важно создавать тестовые («золотые») задания. Это неприятно и скучно, но позволяет обучить участников и за счёт этого существенно повысить качество разметки.

                          0
                          Глючит страшно.
                          взять хотябы picpaste.com/stupidtoloka.png
                          причём значение переключателя ничего не меняет.
                          Или на задании с визитками оно меня уговаривало что на фото есть телефон хотя его там нет.
                          И это далеко не всё.
                          А я только 3 задания выполнил…
                            0
                            Не смотрите, что задания начинаются от цента, их много разных и с разной оплатой. С приходом опыта приходит скорость, которая не в ущерб качеству. Навык стабильно держится на высоте.
                            Мои любимые задания это «Фактчекинг» от заказчика Я.Кассиопея и «Обновление данных об организациях» от заказчика «Я.Единорог», достойная оплата за разумный объём работы, рекомендую к выполнению. Заказчики адекватные, работу не отклоняют без веской причины, инструкции к заданиям логичные и понятные.
                            Когда только начинал выходило немного, от неопытности и траты времени на инструкции. Сейчас получается делать $8/час, при должном старании.
                              0
                              8$ / час!!! Как-то не реалистично
                                –5
                                800 центов / 0,02 = 40 000 заданий за час!!!
                                  0
                                  Там есть и по 30 центов, делается легко и просто.
                                    0
                                    Да, ну. Простая трата времени. Лутше тратить время на изучение чего-то полезного. А такую работу нужно делегировать китайцам :)
                                      +1
                                      Китайцы сейчас побольше наших получают :(
                                      А как же домохозяйки двух популярных и легендарных республик?
                                      Так же есть те, у кого с изучением чего-то полезного проблемы.
                                        0
                                        Только что выполнил задание на 0,06$ «Соответствие товарной категории запросу». И когда появяться задания с полие высокой оплатой? (заработал 50 опыта).
                                          0
                                          Работа всё-таки больше дневная и задания с более высокой оплатой висят днём.
                                          А как вам это задание?
                                            0
                                            Да все задания для людей не особо стремящихся к каким-то великим достижениям в жизни (: Не думаю что люди читающие хабр побегут выполнять эти задания…
                                              0
                                              Это непростое задание, и баллы навыка (опыта) у вас далеко не самые низкие. Неудачно просто выбрали.
                                              А вообще, попробуйте другие задания, от других заказчиков. Толока, как и всякий краудсорсинговый проект, требует времени и терпения, чтобы втянуться, и получать стабильную оплату за, казалось бы, очень дешевые задания.
                                              Поставьте себя на место исполнителя, прикиньте в уме, какое задание наиболее выгодное (сколько на него тратит заказчик, и сколько получаете вы), выбирайте его и приступайте. Через некоторое время вы поймете, как это просто — срубить бакс-другой за десять минут. И все в выигрыше.
                                              0
                                              То-есть поэтапного увеличения оплаты труда не предусмотрено
                                                0
                                                При высоком навыке появляются те же задания с большей оплатой, при падении навыка снова даются с более низкой.
                                                Делайте качественно и никто у вас навык не отберёт.
                                      +4
                                      Занимательная математика на Хабре!
                                      Не переключайтесь!
                                        0

                                        0.02 цента за задание?)

                                          0
                                          Да, максимальная цена 0,10 (вчера)
                                            0
                                            0.02 доллара == 2 цента != 0,02 цента.
                                              +1

                                              Выше сказано, что минимальная цена — 1 цент.

                                                –1
                                                Да, максимальная цена 0,10 (вчера) == 10 центов!!!
                                                  +4

                                                  Вы правда не видите разницу между 0,02 цента и 0,02 доллара?

                                        +1
                                        Довольно сложные задания, в плане формулировок. Попробовал из интереса несколько типов учебных заданий, выполнял всё максимально внимательно и прилежно, но в соответствии категорий товарам в Маркете, например, набрал около 50%. Как-то мы расходимся с составителем теста в понимании того, что к какой категории относится, при том, что я практически каждый вопрос сверял с инструкцией.

                                        P.S. Блин, когда уже на всех сервисах Яндекса появится переключатель между аккаунтами? Я готов терпеть старый переключатель, где он ещё остался, но совсем без него тяжело: у меня рабочий аккаунт и личный и постоянно приходится переключаться. А вообще идеально было бы, если бы каждый сервис помнил аккаунт и подтягивал нужный, но это, понятно, практически нереально.
                                          +1
                                          Для удобства переключения между аккаунтами может вот такая штука будет вам полезной http://itc.ua/blogs/v-firefox-poyavilis-konteyneryi/
                                            0
                                            Как вариант — использовать разные профили в браузере.
                                            0
                                            Прикольно! Недели две назад зарегистрировался, во время поездок на велосипеде с работы на работу и по городу получается выполнять 5-10 заданий, даже премию недельную в 4$ выдали! Только вывод на ЯД почему-то не работает… 2 раза пробовал оба раза reject…
                                            P.S. Думал Толока это от фразы to lookup =)
                                              +1
                                              class=«tasks__itm__price__descr»

                                              Почему у Вас такой странный БЭМ?
                                                0
                                                Зашёл на https://toloka.yandex.ru. Я залогинен под Яндекс-аккаунтом. Нажал «Присоединиться». Мне на следующей странице сразу пишут:

                                                «Ваш телефонный номер используется другим пользователем. » — хотя я никакого номера ещё не вводил. Ссылка «обратитесь за помощью в службу техподдержки» выглядит так: «https://toloka.yandex.ru/toloka@support.yandex.com», и, соответственно, снова выбрасывает на главную страницу.
                                                  0
                                                  Обратитесь, пожалуйста, в поддержку. Вам обязательно помогут!
                                                    0
                                                    Хм. Эта форма в качестве обязательных полей просит мои логин и имя в Толоке, которых ещё нет.
                                                    (На самом деле, я когда-то давно регистрировался в Толоке с этого аккаунта, но в упор не помню ни логин, ни имя.)
                                                      +2
                                                      Тем не менее, поддержка помогла. спасибо! :)
                                                    0
                                                    Из любопытства попробовал выполнить тестовое задание по оценке релятивности выдачи карточек организаций, оказалось, что для этого нужно знать районы Москвы, хотя город указан в профиле. Логика составителей тестовых заданий для меня оказалась местами непонятна, например на запрос «аптека 24» представлена карточка круглосуточной аптеки №4, а от меня почему-то ожидается ответ «Полностью подходит», так как, цитата: «Аптека работает 24 (часа)». По-моему, ваши сотрудники со временем сами начинают мыслить как поисковые машины, и кажется теперь я наконец-то понял, почему при поиске организаций Яндекс временами выдает что-то не в тему.
                                                      0
                                                      т.е. вы реально считаете что когда человек пишет в поисковике аптека 24, ему надо аптека номер 24, а не аптека работающая 24 часа?
                                                      хех мда)
                                                        +1
                                                        Я считаю, что в данном случае вероятен как тот, так и другой вариант, и для таких неоднозначных запросов там есть вариант «Не знаю».
                                                          +1
                                                          Вот честно — я бы тоже подумал, что имеется в виду аптека №24.
                                                          Если мне нужна аптека, которая работает 24 часа в сутки, я так и напишу — «аптека круглосуточная» ;) «дежурная», в конце концов…
                                                        +3
                                                        Объясните, пожалуйста, подробнее юридическое основание выплат.
                                                        Из пользовательского соглашения получается, что все люди являются подрядчиками и оказывают услугу компании-резиденту Швейцарии.
                                                        Более того, оплата услуг производится в валюте.
                                                        Если человек оказывает услугу регулярно и за деньги у него получается систематический доход и необходимость регистрации в качестве ИП. О чём в соглашении лишний раз упомянуто. Также там упомянуто, что пользователь обязан зарегистрироваться в качестве ИП, если законодательство страны это подразумевает, с уплатой соответствующего НДФЛ и страховый взносов.

                                                        Правильно я понимаю, что ставка компании делается на то, что ФНС будут не интересны люди, регулярно получающие 1-2-5к руб. в месяц? Даже если по итогам года они не сдадут декларацию. Как относится к подобным выплатам валютный контроль? И контроль в соответствии с 115-ФЗ и др.?
                                                        Или есть какое-то другое юридическое объяснение?
                                                          –2
                                                          Не ходите Джон Донн проверять, после него живот болит
                                                            0
                                                            Небольшое пожелание по интерфейсу мобильного приложения, в частности задача разметки проигрываемого\непроигрываемого видео:
                                                            Сценарий со стороны пользователя (aka исполнителя) такой — поскольку цена за оценку 15 видео всего 1 цент, пользователь, ценя своё время, работает почти на автомате, понимая буквально с первых секунд проигрывается ли видео, поэтому старается сделать клик по радиобатону и кнопке «Далее» максимально быстро. Из-за этого случаются мисклики, я так неправильно оценил видео с котиками, например… каюсь каюсь =(. Предлагаю переделать радиобатоны в надпись «Проигрывается?» и кнопки «Да»\«Нет», желательно большие и желательно друг рядом с другом (по аналогии с тем как мы привыкли на десктопном приложении подтверждать действия в модальных окнах). Считаю что изменение интерфейса позволит минимизировать количество ошибочных оценок. Ну или повысить сумму вознаграждения =) но для бизнеса это плохой вариант.
                                                              0
                                                              Сервис явно для домохозяек и людей не хватающих с неба звезд. Проще и безопасней получать деньги на обычной работе, а здесь себя чувствуешь жителем поднебесной.
                                                                0
                                                                А вот кстати, можно ли закидывать задания в сервис в риалтайме? Какой минимальный лаг между забросом и получением решения достижим (если пользователей много)?
                                                                  0
                                                                  Риалтайм сделать можно. Лаг зависит от типа задания, количества элементов на странице, сложности инструкции.
                                                                  Например, мы получали время отклика в 3-4 минуты для модерации текстов по простым правилам.
                                                                  Обратитесь, пожалуйста, в службу поддержки с описанием задачи, и мы подскажем, как это можно реализовать.
                                                                    0
                                                                    Подскажите пожалуйста, почему вывод на ЯД валится с ошибкой?
                                                                      –1
                                                                      Обратитесь в службу поддержки, пожалуйста, там помогут!
                                                                  +1
                                                                  Оценка релевантности запросу крайне спорные задания. Выполнил тренировочное ради интереса.

                                                                  Пара примеров:
                                                                  Запрос «планета фитнес жулебино». В выдаче фитнес клуб этой организации в люблино. Выбираю что выдача «полностью подходит», поскольку у них нет клуба рядом с метро жулебино, а ближайший как раз в люблино. Система пишет, что запрос не подходит вообще, хотя он как минимум походит частично.
                                                                  Потом запрос «агрокомбинат московский». В выдаче сайт под заголовком «агрохолдинг московский». Захожу на их сайт, вижу большими буквами «Агрокомбинат Московский». А система почему-то считает что запрос «частично подходит», поскольку «в запросе имелась ввиду промышленная область под этим названием». Чушь же.
                                                                    +1
                                                                    Вы суть поста поняли? Толока — площадка. Задания делают заказчики. Вы можете теперь стать заказчиком. Ваши задания тоже могут быть спорными.
                                                                    0
                                                                    При большом количестве материалов в задаче страничка в Хроме при прокручивании запросто умирает, делая невозможным выполнение задания.
                                                                      0
                                                                      > Популярное заблуждение: чем больше перекрытие, тем выше качество результатов. Как правило, это не так.

                                                                      Приведите пример, когда это не так. Например, бывает ли при увеличении перекрытия качество хуже?

                                                                      >Точность достаточно быстро стабилизируется с увеличением перекрытия, и мало для каких заданий обоснованно перекрытие больше 5 человек на задание.

                                                                      «Стабилизируется» — это ограниченно сверху? Приведите пример, когда точность ограниченна сверху.

                                                                      >Не совсем интуитивный факт: цена за задание в краудсорсинге практически не влияет на качество получаемых оценок.
                                                                      То есть, если бы краудсорсеры автоматизировали свою работу, то вы бы получили ровно такой же эффект?
                                                                      Правильно ли я понимаю, что такой эффект наблюдается только у краудсорсеров, а у экспертов, работающих за фиксированную зарплату в месяц такого эффекта нет?

                                                                      >В Толоке, как и любом социуме, есть люди прилежные и внимательные, а есть — ленивые, недобросовестные и при этом умеющие писать скрипты.

                                                                      >Основная задача: удержать в сервисе первых и как можно раньше найти и ограничить вторых. Для этого мы научили Толоку анализировать поведение исполнителей.

                                                                      Вот я например считаю, что ограничить вторых невозможно. Так как вы не знаете, есть ли они, или успешно прячутся в каждом втором исполнителе. Этот момент в вашей публикации очень плохо разобран.

                                                                      >У заказчиков появилась возможность автоматически выявлять и ограничивать тех толокеров, кто, например, отвечает слишком быстро, или чьи ответы не согласовываются с ответами других.
                                                                      Ну так ведь на следующей итерации выживут только те, кто отвечает не слишком быстро и согласовывает ответы между собой и с результатами веб-поиска.

                                                                      >Мы также добавили возможность использовать контрольные задания («ханипоты») и обязательную приемку перед оплатой. Причем приемку тоже можно упростить. Отдать задания одним пользователям, а оценку их результатов – другим.

                                                                      Так как недобросовестные исполнители согласовывают свои ответы, в том числе на контрольных заданиях, то нет никаких ожиданий, что приемка не будет пройдена.

                                                                      Нет ли у вас программы баг-баунти для тех, кто с помощью скриптов успешно пройдет проверки и приемки? Желательно, что бы награда была выше, чем потенциальная сумма, которую недобросовестный исполнитель может заработать.

                                                                        0
                                                                        Сложилось впечатление, что вы сами используете бот.
                                                                          0
                                                                          Было бы нелогично с моей стороны поднимать эту тему, если бы я это использовал.

                                                                          Меня не устраивает качество поиска Яндекса и я считаю, что бюджеты SEO составляют какую-то существенную часть выручки Яндекса, часть от этих SEO-бюджетов направляется и на такие вредности, типа ботнетов и исполнители Mecочhanical Turk.

                                                                          С вашей точки зрения, любой, кто говорит, что в каком-то софте есть дыры, — хакер, который про эти дыры знает и хочет их использовать.
                                                                          Это не так. Безопасность через незнание — плохая политика, Яндекс просто закрывает глаза на проблему, типа раз никто не заявляет, что этим пользуется, значит такого явления не существует. Очень недальновидная политика.
                                                                        0
                                                                        Что если у меня какой то кастомный таск, например обвести объекты рамкой или выделить точки?
                                                                          0
                                                                          К Толоке в ее нынешнем виде очень подходит вот этот отрывок из рассказа О'Генри:
                                                                          Как я уже сказал, мне снилось, что я стою недалеко от кучки ангелов зажиточного вида, и полисмен взял меня за крыло и спросил, не из их ли я компании.
                                                                          — А кто они? — спросил я.
                                                                          — Ну, как же, — сказал он, — это люди, которые нанимали на работу девушек и платили им пять или шесть долларов в неделю. Вы из их шайки?
                                                                          — Нет, ваше бессмертство, — ответил я. — Я всего-навсего поджёг приют для сирот и убил слепого, чтобы воспользоваться его медяками.

                                                                          Платить за задачки по 1 центу, заставляя людей делать по сотне задачек в час (!), — это значит относиться к человеческому мозгу как к машине. Цена задания должна зависеть от количества классов, на которые надо разбить данное множество объектов, и параметров, по которым определяются эти классы. А она не зависит и ставится как-то… от фонаря. Спрос на одноцентовые задания, оцененные явно несправедливо, показывает, что у нас в стране, да и на братской Украине, безработица приняла слишком крупные размеры…
                                                                          Несомненно, отчасти помочь этой беде посредством Толоки — хорошее дело. Но задания надо оценивать выше и по справедливости — пропорционально их сложности.

                                                                          Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

                                                                          Самое читаемое