Мы открываем техно-блог компании Avito. Многие знают бренд, но не так много тех, кто знает, как сервис устроен с технической стороны. В своём блоге мы приоткроем завесу неизвестного и расскажем о технической кухне сервиса.

Начнем с небольшой истории о том, что проект представляет из себя сегодня, чем занимается команда инженеров, и что мы планируем делать в ближайшем будущем. Еще мы собрали в этом посте множество ссылок на уже опубликованные материалы, доклады и презентации нашей команды, которыми давно хотели поделиться. Хотите знать, где живут ваши объявления? Добро пожаловать под кат!

Об условиях участия в программе можно почитать здесь. Новости здесь. Первый пост здесь.

Напомню, что размер безвозмездного гранта для каждого проекта составляет 25 000 $.

Animating Touch — анимационный редактор (мобильное приложение), в котором можно создавать короткие мультики с участием заданных персонажей для платформы Android. Основатель: Евгений Баландин;

Keycaptcha.com — сервис защиты от спама с помощью весьма интерактивной капчи в виде пазла со встроенной возможностью монетизации. Основатели: Николай Прайс, Максим Владыкин, Игорь Никифоров;

От переводчика: не думаю, что открываю Америку этим переводом, по большому счету искушенный хабрапользователь не найдет для себя много нового и необычного. Однако, на мой взгляд, это неплохая общеобразовательная статья, в которой удобно собраны и рассмотрены основные вехи и принципы работы поисковых машин. Оригинал статьи опубликован в журнале Wired за март 2010 года. Предупреждаю сразу — статья длинная.

Хотите ли вы узнать, как Google собирается изменить вашу жизнь? Остановитесь около комнаты совещаний Уагадугу во вторник утром. Это решается здесь, в Калифорнии, в Маунтин Вью, в головном офисе самой влиятельной интернет-компании в мире, в комнате, наполненной тремя десятками инженеров, менеджеров и руководителей, которые определяют, как сделать поисковую машину еще умнее. В этом году компания Google представила около 550 усовершенствований в свой легендарный алгоритм, и каждое определяет выдачу информации. Решения, принимаемые на еженедельном Совещании по Качеству Поиска, влияют на результаты выдачи поисковой системы для любых ваших запросов — «принтер Samsung SF-755p», «страничка Ed Hardy на MySpace» или даже «столица Буркина Фасо», которая, кстати, называется также, как и эта комната для совещаний. Руководит процессом Уди Мэнбер, глава Google по поиску с 2006 года. Предполагаемые изменения вместе с результатами месяцев тестирования в различных странах и на всевозможных языках представляются одно за другим. На экранах рядом друг с другом отображаются результаты запросов до и после изменения. Следом за выдачей результата поиска «гитарный центр вау-вау» — Мэнбер кричит: «Получилось!»

Disclaimer: этот топик, возможно, отчасти самореклама, «вода» и бред, но, скорее всего, это просто классификация информации и опыта, накопленного за два года работы в области скрейпинга, для себя и тех кому интересно.

За кармой не гонюсь, ее хватает.

Под катом — небольшой пост про современный рынок кравлеров/парсеров, с классификацией и особенностями.

Google снова набирает людей.
Это отличная новость для тысяч начинающих менеджеров и разработчиков ПО, желающих найти спокойную пристань в эти сложные дни.
Теперь плохие новости:

• Google предпочитает людей из «Лиги Плюща»
• Им интересны ваши оценки (в институте), даже если вам уже за 30
• Они ищут людей, которые хотят изменить мир

Хуже того, если вы подходите по всем этим параметрам, вам все равно надо проходить собеседование.
Льюис Пин (Lewis Pin), тренер по поиску работы из Сиэтла, собрал 140 вопросов, которые в Google спрашивали его клиентов.

Сколько шариков для гольфа поместится в школьный автобус?

Позиция: Менеджер проекта

На хабре поднималась тема об этой программе, но раскрыта тема была скудно. Я попытаюсь показать внутреннее устройство программы, а также в конце обзора будет бонус :) Под катом много картинок, но не очень тяжелых.

Приветствую уважаемое сообщество!

Продолжаем начатую неделю назад традицию и публикуем второй выпуск еженедельного хит-парада программ для Android — Droider Chart, подготовленного Droider.ru. В этот раз в обзор попало целых 2 игры и 3 полноценных приложения, которые могут пригодиться каждому.

Мы учли ваши комментарии, немного снизили темп обзора, уменьшили контрастность экрана на Nexus'е. В общем, как говорится, лучше один раз увидеть:



В обзоре замечены программы:

• EXZeus Arcade
• WebSharing
• Buka
• EStrong File Explorer
• TouchDown

Будем рады вашим замечаниям и пожеланиям. Удачных выходных!

Droider Chart. Выпуск 1

Всем привет!
Видел тут на хабре статейки об успешной монетизации android приложения (через поиск легко найдете). Вот решил поделиться своим опытом, скорее отрицательным, чем успешным.

Идея приложения

Сильно на идее не заморачивался. Выбрал, как мне казалось достаточно нужную тему — учет карманных расходов. Название приложению дал вполне логичное — Cashlogger.

Исследовал данное направление и посмотрел, что предлагают конкуренты — понял. Нужно делать удобный интерфейс, чтобы пользователю не приходилось бегать из в стороны в сторону для записи расходов. То есть, все должно быть под рукой и занимать минимальное время для создания записи. Плюс ко всему, сделанные записи должны быть наглядными, чтобы пользователь мог легко проанализировать на что ушли деньги. Еще один важный критерий — это привлекательный интерфейс пользователя. Вот, что должно было принести успех компании.

Реализация

На реализацию убил достаточно много времени. Чуть больше 2-х месяцев и это при учете 8 часов в день. Почему так долго? Много ненужной возни было из-за не знания платформы. Много вещей приходилось переделывать, иногда даже больше чем 2 раза. Столкнулся с 2-мя сложными проблемами:

1. Не знал как реализовать показ только месяца и года;
2. Графики (отчеты) в ScrollView не отрисовывались, если графики выходили за границы экрана;

По 1-му пункту пришлось написать свой компонент (см. результат на картинке). Хотя, позже нашел как сделали тоже самое со стандартными компонентами, но я уже не стал узнавать как.

В последнее время я часто встречаю в IT-изданиях и блогах новости о появлении видеоочков с поддержкой воспроизведения видео с iPhone и iPod. Несколько дней назад, меня попросили написать обзор для одного интернет-магазина, в котором такой тип устройств присутсвует. Перед тем, как писать статью, я обшарил весь Хабр и не нашел ни одного обзора видеоочков, поэтому хочу поделиться им с вами. Тем более что в одном посте было упоминание этой модели и в отзывах люди спрашивали, удобно ли в них ходить, насколько качественная картинка и так далее. Я думаю, что многим будет интересно узнать, что же представляет собой топовая модель Wrap 920 широкоизвестной компании Vuzix, способная воспроизводить видео и iPhone/iPod.

В карман (100×70мм):
pdf, eps, svg или png (1186×832, 300dpi)

На стенку (A4):
pdf, eps, svg или png (3508×2480, 300dpi)

Сделай сам:
Генератор календариков (Python, GPL)

С Новым Годом!

Корпорация Amazon зарегистрировала поистине удивительный патент, который противоречит фундаментальным основам авторского права, а именно — праву автору на неизменность его авторского текста.

Amazon хочет чуть-чуть подправлять авторский текст: где-то добавить/убрать запятую, где-то вставить синоним и т.д. Правки должны быть абсолютно незначительными и не искажающими смысл текста. Например, так:

To exist or not to exist?

Делается этого для того, чтобы каждая копия авторского текста слегка отличалась от другой, тогда можно легко определять впоследствии, кто из покупателей книги нарушил правила и выложил её в Сеть (видимо, есть такая проблема).

С точки зрения математики идея Amazon не лишена смысла. Например, если в двадцати местах заменить слово на синоним, то мы получим более миллиона (2²⁰) вариантов электронного текста, чего вполне достаточно для персональной идентификации каждого покупателя какой бы то ни было электронной книги.

Изначально обзор задумывался небольшим, но чем больше я работал с новым Thunderbird, тем больше замечал интересных и полезных изменений, о которых нельзя было не написать.

Трафик ~1,5 Мб

UPD: Спасибо, перенес в блог Mozilla

qTip

qTip — это бесплатный плагин для jQuery для создания подсказок (tooltip). Данный плагин кроссбраузерный, имеет обширные возможности к настройке и содержит множество функций, таких как: закругленные углы без применения изображений, speech bubbles (изображение речи как в комиксах), а так же эффекты — fade (постепенное исчезновение изображения), slide и возможность создания собственных эффектов. Данный плагин уже включает пять готовых тем, но можно создавать свои темы без особых усилий. Кроме того можно создавать окна диалогов, изменять цвет фона подсказки и места, где она отображается.

Скачать | Демо

Введение

Проблема создания искусственного интеллекта активно обсуждается уже последние несколько лет, проводятся эксперименты, задействуются суперкомпьютеры, тратятся достаточные средства на изучение проблемы. В этой статье я не смогу ответить на вопрос, хорошо это или плохо, и что же стоит ожидать от взбунтовавшейся машины, но постараюсь прояснить текущее положение дел.

Данный обзор будет первым в цикле статей о корпусах для полюбившейся мне платформы nVidia ION. В нем будут рассмотрены некоторые корпуса, которые можно купить на нашем свободном рынке за обычные российские рубли. Жаль конечно, но огромное количество прекрасных моделей просто не доехало до нас. Кто-то скажет, что есть Ebay, но это все-таки не самый простой вариант покупки корпуса.

Откровенно говоря, год назад, когда я покупал Iphone — я так и не нашел какого-то внятного описания best practiсe для iPhone.
До этого я уже использовал платформу Symbian(nokia n80) и WinMobile(acer n311) — и обе меня по разным причинам в конце концов разочаровали.

После годового использования iPhone, я не разочаровался в этой платформе и решил написать материал о вещах, что действительно использую. Программы которые перечислены, позволяют делать многие действия всего несколькими движениями пальцев. Все скриншоты авторские. Как же жить и работать в iPhone?
Рассмотрим управление делами и встречами, RSS, чтение книжек в любом формате, изучение иностранных языков и конвертация видео.

Топик будет интересен тем, кто хочет индексировать Интернет-сайты на предельных скоростях (самодельные поисковики, анализы частоты слов, сервисы по анализу html'я и т.п.) Threading тут не дает предельных скоростей, urllib — тем более… Решение здесь в использовании асинхронных запросов из libcurl.

Скорость?
На 500MHZ (очень-очень слабенький VPS) — около 100 URLов в секунду (100 соединений, 2 процесса).
На Amazon EC2 «High-CPU Medium Instance» (.2$/час) ~ 1200 URLов в секунду (300 соединений, 5 одновременных процессов). В один процесс до 660 URLов в секунду.

Для выкачивания множества сайтов и дальнейшей обработки, хочу поделиться одной своей полезной функцией — multi_get — по сути она — удобный wrapper для CurlMulti (libcurl), модифицированный из их примера CurlMulti.

>>> urls = ['http://google.com/', 'http://statcounter.com/']
>>> res = {}
>>> multi_get(res, urls, num_conn = 30, timeout = 5, percentile = 95)
>>> res['http://google.com/']
'<html><title>Google....
# тут обрабатываем res, который содержит HTML всех для URL'ок

У вашего нового сайта современный актуальный дизайн. Пуленепробиваемая верстка. Хрустально чистый код, способный в легкую держать 50 000 уников. Осталось только написать ясные и четкие тексты.

Это правило поможет вам. Не смотря на то, что оно простое, оно очень эффективно.

Стив Круг и Якоб Нильсен учат нас: если пользователь быстро не понял, нужна ли ему информация – он уйдет. Текст будет прочитан очень бегло, буквально одно-два предложения.

Как правильно составить текст для сайта? Что поставить вперед, а что приберечь на потом? Когда я впервые задался этим вопросом, мой отец, в прошлом журналист ТАСС, рассказал о правиле пирамиды. Его, в свое время, научили коллеги из BBC (Би-би-си, а не вэ-вэ-эс, если что).

Вчерашний вечер я посвятил возне с http-сервером nginx в качестве фронтэнда к apache. Как известно, nginx — легковесный надежный HTTP-сервер, написанный Игорем Сысоевым (сотрудником Rambler). Он отлично подходит для выдачи статических страниц, особенно под нагрузкой. Обычно настраивается связка nginx+apache, в которой nginx обслуживает все входящие на сервер запросы, статические файлы отдает своими силами, а запросы на динамическое содержимое проксирует на apache.

Так вот, по настройке работы данной пары в связке в Интернете есть море статей, в том числе на русском, и об этом писать смысла нет. А расскажу я вам лучше о тех нюансах, с которыми вчера столкнулся при настройке nginx на работу в нужном ладе, и заодно покажу и прокомментирую свою конфигурацию этого сервера.

Король среди всех Lightbox клонов.

Коротко о Lightbox

Это скрипт написанный на JavaScript который добавляет на сайт визуальный эффект увеличения изображения в виде окна.

Коротко о Shadowbox.js

Красивый, удобный, мульти-язычный, гибкий и быстрый Lightbox. Легко подключается, работает во всех современных браузерах. Имеет хорошую документацию и адаптируется под большинство JavaScript библиотек. Сам скрипт может быть самостоятелен и не требует подключения других библиотек.

Прошу любить и жаловать: тык.

P.S. Если вы захотите я смогу написать более подробно как работать с данной прелестью.
P.S.2 Данный продукт в отличии от Lightview бесплатен, и не требует покупки лицензии.