Google Analytics —бесплатный сервис статистики для веб-сайтов от компании неравнодушия Google, предоставляет настолько детальную статистику под управлением множества мощных инструментов, что мгновенно стал популярным среди веб-мастеров, включая специалистов Рунета. Но и столь развитая и продуманная система имеет ряд своих недостатков. И справится с ними получается далеко не всегда, и уж точно не малой кровью, ведь все инструменты Google Analytics, скрипты для обработки данных и, главное, вся полученная статистика хранятся на серверах Google, официальная справка и консультанты выдают минимум информации, а основной скрипт для сбора ga.js и тот обфусцирован до невозможности. Всё это связывает руки при попытках решения возникающих с обработкой данных проблем.
Множеством из таких проблем Google бережно треплет нервы именно русскоязычным пользователям: тут и загадочные проблемы с кодировками, пренебрежение к поисковикам Рунета и проблема, давно угнетающая, как скромных владельцев интернет-магазинов, так и матёрых веб-аналитиков — категорический отказ воспринимать рекламные площадки Яндекс.Директ. Причём такая ненависть не взаимна, и Яндекс.Метрика честно пытается обработать, как умеет, переходы с Google Adwords, но максимум, как предлагает выходить из положения поддержка Analytics — пользоваться Компоновщиком URL для пометки своих рекламных кампаний. Мне всё-таки удалось найти решение сложившейся ситуации и подружить суровый Google со своим русскоязычным коллегой.

Журнал Forbes пишет об успешной компании на рынке кредитования Wonga.com. В отличие от обычных банков, здесь кредитоспособность получателя определяют не менеджеры, а компьютерные алгоритмы. По каждому клиенту собирается до 7000 фактов в открытых источниках, после чего алгоритмы анализируют их и вычисляют максимальную сумму кредита.

Онлайновый «банк» предлагает кредиты на несколько недель под очень высокий процент, и при этом тщательно подходит к отбору кредитополучателей. Алгоритмы отфильтровывают 70% заявок, но выдают деньги в течение 15 минут.

(Часть 1, Часть 2) В прошлый раз я преждевременно упомянул токенизацию; теперь можно поговорить и о ней, а заодно и о маркировке частей речи (POS tagging).

Предположим, мы уже выловили все ошибки (какие догадались выловить) на уровне анализа текста регулярными выражениями. Стало быть, пора переходить на следующий уровень, на котором мы будем работать с отдельными словами предложения. Разбиением на слова занимается модуль токенизации. Даже в столь простой задаче есть свои подводные камни. Я даже не говорю о языках вроде китайского и японского, где даже вычленение отдельных слов текста нетривиально (иероглифы пишут без пробелов); в английском или в русском тоже есть над чем подумать. Например, входит ли точка в слово-сокращение или представляет собой отдельный токен? («др.» — это один токен или два?) А имя человека? «J. S. Smith» — сколько здесь токенов? Конечно, по каждому пункту можно принять волевое решение, но в дальнейшем оно может привести к различным последствиям, и это надо иметь в виду.

Примерно так я рассуждал на начальных этапах нашего проекта, теперь же склоняюсь к тому, что в задачах обработки текстов частенько приходится подчиняться решениям других людей. Это будет уже ясно на примере маркировки частей речи.

Вчера на Chaos Communication Congress, в Берлине, публике был представлен доклад под названием Console Hacking 2010.

Начало конференции было посвящено текущему состоянию защит консолей: Wii, Xbox360. Позже рассказчики переключились на PS3, были даны разъяснения о эксплоите Geohot'а, зарелизенном несколько месяцев назад. Рассказано о текущих методах обхода защиты PS3, таких как джейлбрейк и service mode/downgrading.

Главной новостью стали новые победы над системой защиты PS3.
Один из главных достигнутых успехов — бездонгловый джейлбрейк лоадера PS3, дающий полный контроль над системой. Из-за ошибок реализации криптографической защиты PS3 также стало возможным вычисление приватных ключей, теперь у пользователей есть возможность подписывать собственный код.

Сайт команды: http://fail0verflow.com/(пока пустой)
Твиттер: http://twitter.com/fail0verflow

Посмотреть запись конференции можно здесь:
http://www.youtube.com/watch?v=HEFMAP0mTvY
http://www.youtube.com/watch?v=qFuTCEtK6l8
http://www.youtube.com/watch?v=84WI-jSgNMQ

(Части 1, 2, 3) В четвёртой части мы поговорим о проверке грамматики за пределами токенизированных передложений.

Как уже упоминалось, разбиение предложения на токены и POS-разметка уже позволяют создать простой инструмент проверки грамматической корректности текста. По крайней мере, LanguageTool плагин к Open Office работает именно так. Очевидно, что массу ошибок можно выловить на уровне размеченных токенов. Однако также очевидно, что не менее обширные классы ошибок остаются за пределами возможностей нашего модуля. Взять хотя бы такую простую вещь как согласование подлежащего и сказуемого: «дама любил собак», «любил собак дама», «собак дама любил»… как составить паттерн для правила «сказуемое должно иметь тот же род, что и подлежащее?» Даже для английского языка с более-менее чётким порядком слов это трудно, говорить о русском и вовсе не приходится.

Часть 1 | Часть 2 | Часть 3 | Часть 4

Наполеоновские планы, описанные в предыдущих частях, оказались практически неосуществимыми моими далеко не ровными руками и скудными силами двух-трех человек. Поэтому, вдохновившись одной из дельных мыслей книги ReWork, я решил все же собрать летающий аппарат. Максимально быстро и с минимумом усилий на этот раз.



Но не тут-то было.

Еще в прошлом году на просторах Интернета у забугорных собратьев (а именно у Алекса Галузина) по геймдеву увидел замечательную книгу «How to Create a Map in 11 Days». Сразу появилась мысль о ее прочтении и переводе на русский язык.

Хоть в книге и идет речь о UDK и Maya она не привязана ни к каким движкам, а больше рассказывает о организации рабочего процесса и постановке задач при разработке игрового уровня.