Старая-добрая reCaptcha

Капча (каптча, CAPTCHA) — система защиты от ботов, которая, по замыслу, отделяет зерна от плевел, то есть хороших пользователей от спамеров. Система имеет несколько модификаций, причем большинство разновидностей уже поддалось спамерам, также не сидящим на месте.

Не секрет, что есть и сервисы ручного взлома капчи, где за пару центов (а то и меньше) добровольцы взломают любую капчу, которую смогут разглядеть. Как бы там ни было, но корпорация Google представила новую систему защиты от спамеров и ботов, которая отличается от того, что мы видели до сих пор.

Эта технология двухфакторной (а если разобраться, то и трехфакторной) оценки «качества» пользователя. Первый этап выглядит на удивление просто:

ReCaptcha (она же всенародно любимая «капча») — одна из самых болезненных вещей, с которой может столкнуться автоматизатор тестирования на своём пути. В Сети гуляют тысячи разнообразных видео, записанных выходцами из солнечной Индии, касательно того, какими танцами с бубном возможно обмануть этого зверя. Действительно, достаточно сложно пытаться взаимодействовать с помощью запрограммированных скриптов со штукой, основная цель которой — убедиться что «вы не робот».

Очень важный дисклеймер: обмануть капчу невозможно.

Если вы уже столкнулись с этой проблемой, и читаете эту статью, пытаясь нагуглить рецепт панацеи, то знайте, что его не существует. Тем более, в вашей голове уже скорее всего возникли инновационные мысли о том, чтобы сымитировать реалистичное поведение пользователя с помощью WebDriver, путём рандомного mouse overing'а элементов, кликов по инпутам, и бережно расставленных Thread.sleep(). Абсолютно точно известно, что этот подход работать не будет, не тратьте свое время попусту.



Получается, выхода нет?

Прошлым летом я попросил: Дайте мне одну попытку!. Сейчас логинился — капчи не увидел. Кажется, меня нас услышали.

Долго думал, стоит ли рассказывать, но вчера вечером у меня появилось немного свободного времени, и я все-таки решил продолжить свой цикл статей о маленьких проблемах в крупных проектах. Да и, возможно, об этом уже и так все знают, а я зря волнуюсь.

Все мы знаем сервис reCaptcha, который пару лет назад приобрела компания Google. Мы видим его во многих крупных проектах, например, при регистрации в LiveJournal. Надо сказать, что я люблю качать файлы списком прямо со своего сервера, и когда на одном из сайтов, с которого я периодически что-нибудь выкачиваю, появилась такая штука, меня стало это немного раздражать. Когда мне что-то не нравится, я не опускаю руки, а стараюсь придумать способ как этого избежать.

Так я решил побороть reCaptcha и думаю, что у меня это получилось…

CAPTCHA, или Completely Automated Public Turing Tests to Tell Computers and Humans Apart (Полностью автоматический публичный тест Тьюринга для различения компьютеров и людей), была создана для того, что бы убедиться, что введенные данные не были сгенерированы компьютером. Эти своеобразные тесты обычно используются в Интернете для защиты форм регистрации и комментирования от спама. Если быть честным, я испытываю смешанные чувства насчет CAPTCHA. Она в большинстве случаев раздражает меня, но не смотря на это я использовал CAPTCHA в качестве защиты на некоторых сайтах.

В этой статье я хочу углубиться в поиск идеального решения проблемы растущего количества сгенерированного людьми спама. Мы взглянем на то, как и зачем используется CAPTCHA и ее влияние на юзабилити в поисках ответа на ключевые вопросы: что представляет из себя идеальная CAPTCHA и почему в качестве защиты предпочитают именно ее?

В обсуждении моего недавнего перевода замечательнейшей статьи про CAPTCHA несколько раз появлялись вопросы насчет reCAPTCHA, а именно как же эта система работает. Под катом я в общих чертах объясню суть reCAPTCHA, наглядно покажу как она работает и каким же образом она цифрует книжки.

В этом топике я кратко расскажу о кана-капче, что она из себя представляет, как она работает и как ее сделать средствами PHP.

Судя по огромному разнообразию каптч проблемы с выбором и установкой уже давно не должно быть, но почему-то даже на серьезных, взрослых проектах их все еще леняться устанавливать или делают такие чудные вещи как «Сколько будет 2+3?».

Даже если каптча обычного вида, часто ее просто не распознать. Чуствуешь себя андроидом, сдающим экзамен на тест Тьюринга. Казалось бы, что проще — сделайте клик по каптче и она измениться! Но, оказывается, для большинства разработчиков это тоже непосильная задача.

Помимо мудреных каптч сильно напрягает нежелание разработчиков обрабатывать валидность введенных в форму данных еще до отправки формы. А если учесть, что отправка происходит обычно при запущеной сессии (для каптчи), нажатие кнопки «Назад» в случае ошибки заполнения в IE приводит к очистке полей формы и все приходиться вводить с нуля.

Вот этих трех зайчиков может убить всего один маленький файлик — captcha.php (завернуто в rar). Подключается он в любую форму вот так:

... <? include("captcha.php")?> ....

И все! С этого момента все поля формы, у которых в id присутствует * (например: ) проверяются на заполненность при субмите формы. Если какое-то из обязательных полей не заполнено (value='' или value=0 для select'а) - форма не будет отправлена, а незаполненные поля будут подсвечены. Проверка кода в каптче тоже проходит до отправки. Клик по каптче приводит к смене комбинации. Тестировалась на IE, Opera, FF, Safari.

Примеры можно посмотреть здесь: http://sepulka.ru/post, http://gettranslite.com/rus/contacts.html, http://durashka.ru/register.php

По мотивам «Уроков рисования в notepad». Из этого можно сделать каптчу. Причем практически непробиваемую. Изображение, которое надо распознать находится в теле html-документа, значит придется или визуализировать его полностью, а это может быть много (если форум, например, то там все выше/нижележащие сообщения), или выделять поддерево DOM и визуализировать отдельно. Несложный трюк с css приведет к тому, что выделенное поддерево не будет выглядеть правильно. Кроме того код можно «размазать» по всему документу и тогда трюк с поддеревом DOM не прокатит (кстати само выделение нужного DOM-элемента по набору условий уже задача ИИ, не всегда успешно решаемая).

Если в дело подключить java-script, от робота потребуется еще и умение его исполнять.

И только пройдя через все эти шаги настанет очередь OCR. Есть мысль, что не каждый робот доберется до этой стадии…

UPD.

Нарисовал пример. К слову такая каптча ненамного превосходит обычную по защищенности. Искаженный текст (степень искажения мала нарочно) легко вырезается как минимум 2-мя способами.

Интерес может представлять сочетание нарисованного текста с вопросом на понимание. Ответить на вопрос невозможно без прочтения (или прослушивания) фрагмента текста, в который встроена картинка, созданная таким образом.

Перед роботом встает несколько задач: найти область распознавания, распознать нужный фрагмент текста и сгенерировать ответ на вопрос. Главное, сделать так, чтобы нельзя было обойтись без распознавания. Т.е. получить достаточно высокую гарантию от создания алгоритма подбора ответа.

Эффективность CAPTCHA начинает снижаться по мере развития систем OCR. Тесты стали настолько сложными, что люди с трудом справляются с ними. Нужно внимательно приглядываться, чтобы различить буквы и цифры на этих замазанных, почерканных, зашумлённых картинках.

Крупные IT-корпорации активно ведут изыскания в этой области. И eBay, и Microsoft работают над изобретением более эффективных версий CAPTCHA. Один из вариантов — распознавать животных, а не буквы.

Некоторые независимые исследователи трудятся над противоположной задачей — и они порой добиваются немалых успехов. Например, 25-летний украинский хакер Алексей Колупаев создал программу, которая способна пройти почти любой тест. Об этом пишет газета New York Times.

Ни одна CAPTCHA не выстоит в противостоянии с армией низкооплачиваемых юзеров, которые готовы сутками распознавать «каптчи» Google и Myspace за скромное вознаграждение $2 за 1000 картинок. В Индии сформировалась целая индустрия «дата-процессинга», которая специализируется именно на этом, там работают тысячи и тысячи индусов.

Эти люди сидят за дисплеями и решают «каптчи» в реальном режиме времени. Их рабочий интерфейс выглядит примерно так.

Навеяно новой идеей капчи.

Почему бы не создать систему, в которой сможет регистрироваться любой пользователь, введя свой ник, имейл и номер мобильного телефона. На мобильный будет высылаться код подтверждения для активации OpenId аккаунта.
Остается заключить соглашения с крупными порталами на использование OpenId для регистрации/логина. Можно сделать апи.

В таком случае спама будет совсем мало и пользователи будут проверенными, ведь найти новый «левый» номер телефона куда сложнее чем взломать капчу. Можно разработать систему жалоб на пользователя (от ботов).

Разумеется фирма должна быть с хорошим авторитетом, чтобы пользователи ей доверяли. В оферте должно быть прописано что вся информация не будет распространяться и выдаваться третьим лицам (чтобы избежать ухода телефонных номеров в спам-базы).

Деньги можно снимать за предоставление услуги после того как база разрастется.

Upd забыл написать что стоимость смс может быть 1-2 рубля на пользователя. Я думаю в масштабах рунета это не такая большая сумма.

Прочитав топик «RapidShare — новые каптчи», я вспомнил как слушал доклад создателя каптчи на UaВебе.



Зайдя на сайт, желая посмотреть код, я увидел:
Q: Is it opensource?
A: No, sorry. Maybe later.

Я удивился! Мне казалось что любой маломальски образованный хороший программист сделает такую каптчу.
Погуглив и нашел пару интересных линков: 1, 2 и не получил кода, решил написать сам.

Хочу представить три авторских способа организации анти-спам защиты. Первый основан на технологии CSS спрайтов, второй на узкой специализации ботов, а третии на почтовых уведомлениях.

CSS sprites¹

Суть проста изображение с каптчей содержит 20–30 символов, только 4–5 из них идущие подряд являются кодом, начинаются они то с 1го символа то с 20го в общем с произвольного, остальное — мусор, с помощью позиционирования бекграунда в слое видны только нужные символы. Человек введёт их, бот распознает и введёт все 30. Вуаля! ;)

Читал я вот эти топики ТопикРас ТопикДвас и никак не мог согласиться с предложенными вариантами (хотя вариант построенный на доверии к пользователю мне очень понравился). Иногда ведь такую каптчу забабахают что даже человек с хорошим зрением не может разглядеть все эти символы а если человек еще и дальтоник и у него цвет цифры с фоном сливается? что же делать?… а если у кого то проблеммы с объёмными цифрами? в общем как то непочеловечески решали проблемму человеков! )… И вот собственно что я придумал ныньче: Напишите пожалуйста слово *мама* используя 2 запятые в любых местах и 1 пробел перед последней буквой.
Ну и конечно строку для ввода с которой можно так же поиграть например: попросить пользователья поставить определенный символ или же наоборот не ставить этот символ в определенном месте которе и обозначить в поле ввода (стрелочкой, точкой, цветом… с которым в принципе то же можно поиграть допустим вводить только над чёрными точками либо только над белыми, либо не вводить там )
Что это даёт?
1) Решает проблемму с дальтониками
2) Использует вполне логический вопрос для человека и крайне сложный для машины
Вот собственно пока всё… пока что мне кажется это вполне реальным решеним проблеммы!
Какие минусы я вижу?
1) Вожно так намудрить с вопросом что его не разберет даже человек с высшим образованием )). Просто запутается и всё… или переборщить с просьбами… сделать их слишком много или сделать их слишком сложными для восприятия.
2) Вопросы придётся писать на разных языках. (актуально для сайтов на которые заходят не только русскоязычные гости).

— Кросс-пост из моего блога
Складывается ощущение, что большинство разработчиков, которые внедряют каптчу на своих проектах, руководствуются именно таким девизом. Люди с плохим зрением банально испытывают проблемы с распознаванием каптчи, а порою просто не имеют возможности её распознать.

Проблема

Мне очень не нравится заполнять капчи. Хотя я вроде не робот, у меня частенько возникают проблемы с распознаванием букв (и чисел), решением арифметических задач, поиском спрятанных кошек и т. п.

Однако, как разработчик, я понимаю, что капча — это один из фронтов борьбы со спам ботами. Лучше методов пока немного, так что капча является не очень приятной необходимостью.

В этом посте хотел бы предложить идею для капчи которая, с моей точки зрения, является чуть более естественной для человеков.

Решение

Вот вчера пришла в голову небольшая идея по поводу создания каптчи.
Суть идеи в следующем.

Поскольку сегодня 15 января — международный CAPTHA-day, то и я предложу свой вариант.
Моя идея в интерактивном взаимодействии с пользователем, чтобы понять что это не робот. Для начала нужно задать пользователю какую-то несложную задачу. Символы, введённые с клавиатуры немедленно отправлять на сервер с помощью AJAX и таким образом определять — человек это или нет. Если слово введено за одну миллисекунду — значит это робот. Опять-же можно интерактивно менять задачу и следить за реакцией пользователя. Как это могло бы быть в несколько утрированном виде можно увидеть на картинке McBernar, в каждой шутке лишь доля шутки ;-)

Так тихо и незаметно 15 января на хабре родился новый неофициальный (пока) праздник — день капчи. В этот день все должны говорить о разных видах капчи, в т.ч. предлагать новые способы отсечения спам-ботов. В этот день приемлемы все варианты, которые только могут прийти в голову. И самое главное — каждая из придуманных в этот день идей получит свое право на реализацию.