Pull to refresh
1
0
ибн Алеша @Digital_evil

User

Send message

multi_get — качаем сайты оптом

Reading time4 min
Views1.7K
Топик будет интересен тем, кто хочет индексировать Интернет-сайты на предельных скоростях (самодельные поисковики, анализы частоты слов, сервисы по анализу html'я и т.п.) Threading тут не дает предельных скоростей, urllib — тем более… Решение здесь в использовании асинхронных запросов из libcurl.

Скорость?
На 500MHZ (очень-очень слабенький VPS) — около 100 URLов в секунду (100 соединений, 2 процесса).
На Amazon EC2 «High-CPU Medium Instance» (.2$/час) ~ 1200 URLов в секунду (300 соединений, 5 одновременных процессов). В один процесс до 660 URLов в секунду.

Для выкачивания множества сайтов и дальнейшей обработки, хочу поделиться одной своей полезной функцией — multi_get — по сути она — удобный wrapper для CurlMulti (libcurl), модифицированный из их примера CurlMulti.

>>> urls = ['http://google.com/', 'http://statcounter.com/']
>>> res = {}
>>> multi_get(res, urls, num_conn = 30, timeout = 5, percentile = 95)
>>> res['http://google.com/']
'<html><title>Google....
# тут обрабатываем res, который содержит HTML всех для URL'ок
Читать дальше →
Total votes 16: ↑14 and ↓2+12
Comments11

Как бы выглядела почта, если бы её изобрели сегодня?

Reading time8 min
Views1.2K
imageЭтот перевод статьи Тима О'Рейли о Google Wave предназначен для тех, кто еще не успел или не имеет возможности посмотреть целиком ролик с оригинальной презентации. Тим рассматривает все основные моменты этого события.

Основная мысль вчерашнего Google I/O заключалась в подчеркивании мощи HTML 5 для достижения той функциональности, которой уже долгое время обладают десктопные приложения. А этим утром в Google планировали анонсировать приложение, основанное на HTML 5 — еще очень на ранней стадии разработки — которое представит значительный шаг вперед в этом направлении.

Cоздатели Google Maps Ларс и Йенс Расмуссены вышли на сцену, чтобы приоткрыть завесу над своим последним проектом, Google Wave. Ларс описывает его таким образом: «Мы поставили самими себе вопрос: какой была бы почта, если бы ее придумали сегодня?».

Читать дальше →
Total votes 167: ↑147 and ↓20+127
Comments152

Как стать «ранней пташкой» (Часть II)

Reading time4 min
Views2.3K

Честно говоря, когда я выложил первую часть статьи Стива Павлины «Как стать «ранней пташкой»», я не расчитывал, что так много людей заинтересуются этой темой. Поэтому я решил продолжить и опубликовать продолжение статьи. Также я понял, что сложно осилить большой кусок текста сразу, поэтому вторую часть я подсократил и выделил важные моменты жирным шрифтом. Полную версию перевода статьи можно почитать в замечательном блоге Сергея Бирюкова — большое ему спасибо за перевод! Итак, приступим...

Сначала вернёмся к вопросу отхода ко сну только в случае желания спать… Чтобы делать это правильно, нужна некоторая осведомлённость и здравый смысл.

Если ты занимаешься перед сном энергичной деятельностью, это может отогнать сонливость на некоторый срок. В колледже я обычно играл в покер до рассвета, после чего мы часто шли завтракать. Я могу не спать дольше, чем предусмотрено моим обычным графиком, если я работаю, отдыхаю с друзьями или занимаюсь какой-нибудь другой активной деятельностью.

Но это не то, что я имел в виду, когда говорил про сонливость. Я упоминал тест, когда не удаётся прочитать больше нескольких страниц без потери внимания. Это не значит, что нужно ждать, пока не упадёшь от истощения.
Читать дальше →
Total votes 13: ↑11 and ↓2+9
Comments15

21 способов склонить клиента сделать заказ по телефону

Reading time2 min
Views30K
Как разговаривать с клиентами по телефону в интернет-магазине
После списка будут даны объяснения по каждому пункту.

  1. Разговор с клиентом должен начинаться с «Здравствуйте, *название магазина*» (или что-то похожее). Никаких «алло», «да» и тд.
  2. Искореняйте из разговоров менеджеров «слова паразиты». Речь должна быть чистой.
  3. Ответы менеджера всегда должны быть уверенные и утвердительные. Особенно касается это вопросов с подковыркой со стороны клиента.
  4. «Улыбайтесь» в трубку. Голос менеджера должен звучать бодро и весело. В аське сдержанно используйте смайлики типа «)», если клиент сам вставляет графические смайлы, можно использовать и их.
  5. Повышайте компетентность менеджеров. Чем выше квалификация специалиста, тем качественные ответы для клиента, тем выше доверие клиента к вашей компании.
  6. Никогда не перебивайте клиента. Дослушайте до конца, даже если вы уже знаете концовку вопроса.
  7. Постарайтесь узнать, какие цели преследует клиент, покупая этот товар. Возможно, его выбор не соответствует поставленным целям, задача менеджера объяснить неверный выбор и дать компетентную консультацию.
  8. Не позволяйте менеджеру долго расспрашивать клиента о контактной информации, рассказывать по телефону об акциях и скидках и остальную несущественную информацию.
  9. Если необходимого товара нет, всегда предлагайте клиенту другие варианты.
  10. Работайте в режиме «менеджер-клиент», а не «клиент-менеджер».
  11. Если разговор зашел о том, что магазин будет связываться с клиентом через определенное время, четко определите это время.
  12. Всегда перезванивайте клиенту, если произошли какие-либо существенные отклонения от договоренностей с клиентом.
  13. Если у вас, что продается «мелкое» к товарам, стоящее небольшие деньги, проходит какая-то промо-акция с пробниками или каталогами, предложите клиенту купить «мелочь» или участие в промо-акции.
  14. В конце разговора подталкивайте клиента к заказу фразами «на какое число оформлять доставку?», «Какой товар будете заказывать?»
  15. Если запрашиваемый товар проходит по акции или имеет скидку — обязательно сообщать об этом.
  16. Нельзя впихивать клиенту залежалый товар. Обман всегда становиться явным. Предлагайте клиенту товар, который бы посоветовали сами себе.
  17. Сообщайте по телефону клиентам вместе с суммой заказа их скидку.
  18. Нельзя использовать фразу: «это последние на складе» как прием для убеждения сделать покупку.
  19. Если решили через менеджера узнавать, откуда пришел клиент, не будьте настойчивы. Максимум 2 вопроса.
  20. Всегда благодарите клиента за оказанное вам доверие: «спасибо за заказ» или «спасибо за покупку».
  21. В аське всегда в одном сообщении с информацией товара указывайте его цену.

Комментарии к 21 способу
Total votes 31: ↑24 and ↓7+17
Comments22

Filter Forge: Превращаем фото в акварельный рисунок (урок)

Reading time2 min
Views14K
В этом уроке я покажу, как из обыкновенной фотографии сделать акварельный рисунок – быстро и просто. Я буду использовать: Adobe Photoshop, плагин Filter Forge и фото. В результате получится вот такая картинка:

image

Читать дальше...
Total votes 47: ↑23 and ↓24-1
Comments18

Отслеживание работоспособности ваших серверов

Reading time1 min
Views745
В продолжение темы.

Буду краток: чего, по вашему мнению не хватает таким сервисам как basicstate.com, host-tracker.com, mon.itor.us и тп?

Может у вас в инвентаре свое программное обеспечение, но вам бы удобнее было бы пользоватся сервисом с более широким функционалом?

Нужны ли на подобном сервисе диаграммы и подобные «сложные» структуры, или достаточно просто писать о каких-то проблемах с серверами?

Очень хочется услышать мнение админов.
Total votes 8: ↑5 and ↓3+2
Comments7

Карта мировой глобализации

Reading time2 min
Views4.9K
Европейский исследовательский центр в Испре (Италия) при помощи Всемирного банка проделали титаническую работу, составив мировую карту всех автомобильных, железнодорожных, морских и речных дорог на планете Земля. Они рассчитали время движения по каждому из типов транспортных путей, а также внесли задержки на пересечение национальных границ (от 1 до 240 минут) и физический рельеф местности.

В итоге они получили универсальную карту, показывающую, насколько быстро в каждую точку планеты можно добраться от ближайшего города с населением минимум 50.000 жителей (без учёта авиатранспорта). Некоторые результаты исследования вызывают удивление. Оказывается, аж 90% нашей планеты находится в 48-часовой зоне доступности. Даже в таких, казалось бы, «неосвоенных» территориях как Бразилия (с лесами Амазонки), 80% территории находится в этой зоне.



Приводим ещё несколько самых интересных фрагментов карты под хабракатом (почти все картинки кликабельны).
Читать дальше →
Total votes 109: ↑108 and ↓1+107
Comments40

Моделирование зрения

Reading time2 min
Views661
По многочисленным просьбам, связанным с предыдущим постом на тему того, как глаза воспринимают картинку, решил попытаться рассказать о том, как можно производить моделирование технологии eye tracking. За одним получился довольно крупный текст о зрении и восприятии плоских изображений, который я разбил на 6 частей.

Моделирование зрения



Часть первая. Экскурсия в глаз
Чтобы понять то, как человек воспринимает изображение, начать придётся с органа зрения – с глаза. Важным для дальнейшего понимания моментом помимо анатомического строения глаза является ограничения разрешающей способности глаза, которые я тут и опишу. Если это всё вам известно – то можно только бегло просмотреть выделенные куски текста и сразу переходить ко второй части.

Часть вторая. Восприятие
В этом посте рассказывается об некоторых особенностях восприятия человека происходящих ещё на уровне сетчатки глаза (до анализа картинки в мозгу). Полужирным выделены моменты непосредственно связанные с темой моделирования.

Часть третья. Геометрия зрения
Эта часть важна для понимания принципов моделирования eye tracking, а за одним рассказывается кое-какие интересные вещи про угол и чёткость зрения.

Часть четвёртая. Eye tracking
Эта часть рассказывает о том, что такое, собственно, eye tracking, и какие психологические и биологические механизмы лежат за этим определением.

Часть пятая. Как поймать взгляд
Продолжая рассказ, начатый в четвёртой части о саккадах и их моделировании необходимо рассказать о таких феноменах, как ловушки для взгляда и зоны неразличимости. Так же тут рассказывается немножко о том, как привлечь внимание или наоборот отвлечь от каких-оо регионов картинки.

Часть шестая. Моделирование eye tracking
Рассказ непосредственно о принципах и алгоритмах моделирования eye tracking.
Total votes 22: ↑18 and ↓4+14
Comments6

Краткое руководство программиста Webasyst Shop-script (обновлено)

Reading time1 min
Views1.6K
Первый пробный, краткий мануал по программирование системы управления интернет-магазином Webasyst Shop-Script.

Там всего 5 страниц, но на мой взгляд есть основное.
Дальше в планах еще сделать список стилей, которые используются в WSS.

Содержание:
Читать дальше →
Total votes 11: ↑6 and ↓5+1
Comments7

Google подсказывает ключевые слова для SEO

Reading time1 min
Views805
Сегодня Google выпустил очень полезный инструмент под названием Search-Based Keyword Tool, который позволяет владельцу сайта оценить, по каким ключевым словам эффективнее всего размещать контекстную рекламу. Система проводит анализ контента на сайте и выдаёт рекомендации.

Главная польза новинки в том, что она анализирует не существующие ключевые слова, а может предложить новые с потенциально высоким ROI.

Кроме того, это просто очень интересный инструмент для анализа других сайтов, в том числе сайтов конкурентов. Вы можете посмотреть, какие ключевые слова наиболее релевантны для любого сайта в интернете. например, для Ленты.ру система рекомендует [Аэрофлот], [инвестиционные проекты] и [цена на нефть]. Для каждого результата приводятся ссылки на документы, содержащие эти фразы, количество ежемесячных запросов и уровень конкуренции по этим ключевым словам, а также примерная стоимость их покупки через AdWords.



via Search Engine Land
Total votes 45: ↑41 and ↓4+37
Comments13

Словарь google заговорил!

Reading time1 min
Views2.8K
Занимаясь английским языком, часто прибегаю к помощь Lingvo и считаю что это очень хороший программный продукт, хотя и не бесплатный. И пока меня он устраивает больше чем StarDic. Есть on-line версия словаря Lingvo www.abbyyonline. Но сегодня on-line словарь от google порадовал! Теперь можно услышать слова, чего нет у on-line версии Lingvo. Пример. Справа можно видеть картинку) чтобы представить себе, то что слышишь.

Проверено на английском и немецком. Озвучены далеко не все слова, но общеупотребительные уже есть.
Total votes 81: ↑77 and ↓4+73
Comments40

96% сайтов российских веб-студий не проходят валидацию!

Reading time1 min
Views712
— Кросс-пост из моего блога

Именно такую статистику я вывел после проверки первых двухсот сайтов веб-студий, которые нашлись в Яндексе по запросу «веб студия». Валидировал я соответственно с помощью validator.w3.org. Ниже немного воды, диаграмка, и ссылка на собранные данные.

Читать дальше →
Total votes 28: ↑20 and ↓8+12
Comments45

Склеивание фотографий в Photosynth теперь открыто для всех

Reading time2 min
Views6.7K
Microsoft открыла для всех пользователей доступ к своему уникальному инструменту создания трёхмерных панорам Photosynth. Теперь каждый желающий может нащёлкать сотню фотографий например, собственной комнаты, загрузить их в Photosynth — и любоваться готовой трёхмерной моделью. Интересно, что для ресурсоёмкого вычислительного процесса Microsoft не использует собственные сервера. Они сделали небольшой модуль, который загружается на ПК пользователя и уже здесь анализирует фотографии (ищет одинаковые объекты), и только потом передаёт их на сервер для окончательного склеивания.

Вот эту 3D-модель (на иллюстрации внизу) журналист слепил из 300+ фотографий своей квартиры. Весь процесс полностью автоматизирован. Если что-то непонятно, то есть обучающее видео.



Такой способ визуализации идеально подходит также для туристических снимков. Каждый из них не полностью передаёт красоту местности, но если склеить из них панораму, то картина становится гораздо более впечатляющей. Кроме того, теперь можно избавиться от огромных фотоальбомов с тысячами фотографий.
Читать дальше →
Total votes 100: ↑95 and ↓5+90
Comments84

Поиск картинок 2.0

Reading time2 min
Views3.2K
Недавно открылся интересный сайт: tineye.com, о котором уже как-то писал Mitesha, но тогда он был в стадии закрытого тестирования.



В двух словах принцип работы такой: сайт ведет поиск изображений, но не по ключевым словам, а по исходному изображению загруженному пользователем.

Например:

исходная картинка



найденные


Читать дальше →
Total votes 191: ↑185 and ↓6+179
Comments145

Партнерская схема совладения. Партнеры, прибыль и опыт использования.

Reading time5 min
Views1.4K
Всем приятного времени суток, я в первый раз пишу на Хабр, так что заранее прошу прощения за возможные огрехи.
Хотелось бы поделиться нашим опытом работы по партнерской модели ведения бизнеса, рассказать как это у нас, во что выливается и получить фидбек. Сначала о нас. Мы начинающая фирма, занимаемся продажей, внедрением и сопровождением конфигураций на платформе 1С8. Численность на данный момент — 8 человек. Столкнулись (как и многие фирмы) с необходимостью удерживать лучших профессионалов, повышать личную и коллективную ответственность за результаты деятельности и пришли к следующему:
Читать дальше →
Total votes 9: ↑6 and ↓3+3
Comments13

«Отечественные» инвесторы

Reading time2 min
Views1.1K
Уже и в России полным ходом идет поиск и инвестирование стартапов. Всё больше «людей с деньгами» хотят инвестировать в перспективную и быстрорастущую отрасль. Дабы облегчить жизнь как инвесторам, так и разработчикам, решил сделать подборку публичных инвестиционных компаний, которые не прочь вкладывать деньги в Интернет.
Далее подробности
Total votes 50: ↑43 and ↓7+36
Comments87

«Отечественные» инвесторы, часть вторая

Reading time3 min
Views832
После обсуждения первой части публикации, решил сделать обзор остальных инвесторов и тех, кто был озвучен в комментариях.

Так же задал несколько животрепещущих вопросов всем компаниям из списка. Ждем ответа (Finam, JumpIDEA и Inventure уже ответили). Публикация на Хабре будет, чуть-чуть позже.

upd Эта публикация теперь и в блоге Venture Magazine

Читаем дальше
Total votes 7: ↑5 and ↓2+3
Comments5

Манускрипт Войнича

Reading time16 min
Views14K
Рукопись Войнича (англ. Voynich Manuscript) — таинственная книга, написанная около 500 лет назад неизвестным автором, на неизвестном языке, с использованием неизвестного алфавита.

Рукопись Войнича пытались расшифровать множество раз, но до сих пор без всякого успеха. Она стала Святым Граалем криптографии, но совсем не исключено, что рукопись есть лишь мистификация, бессвязный набор знаков.

Книга названа в честь американского книготорговца литовского происхождения Вилфрида Войнича (мужа известной писательницы Этель Лилиан Войнич, автора «Овода»), который приобрёл её в 1912 году. Сейчас она хранится в Библиотеке редких книг Байнеке (Beinecke Rare Book And Manuscript Library) Йельского университета.

Описание

В книге около 240 страниц тонкого пергамента. На обложке нет никаких надписей или рисунков. Размеры страницы — 15 на 23 см, толщина книги — меньше 3 см. Пробелы в нумерации страниц (которая, видимо, моложе самой книги) указывают на то, что некоторые страницы были утеряны ко времени обретения книги Вилфридом Войничем. Текст написан птичьим пером, им же выполнены иллюстрации. Иллюстрации грубовато раскрашены цветными красками, возможно, уже после написания книги.
Читать дальше →
Total votes 2: ↑2 and ↓0+2
Comments119

Разговорный английский за месяц

Reading time5 min
Views21K
Перепечатано с моего ЖЖ.

Решился написать про свой опыт изучения английского в экстремально короткие сроки (1 месяц) — вдруг кому пригодится. Также выдам немного инфы про то, как собеседовался за границу.

Читать дальше →
Total votes 9: ↑6 and ↓3+3
Comments220

Information

Rating
Does not participate
Location
Украина
Date of birth
Registered
Activity