Привет, Хабр! Этой статьёй я открываю цикл материалов, посвящённых работе с большими данными. Зачем? Хочется сохранить накопленный опыт, свой и команды, так скажем, в энциклопедическом формате – наверняка кому-то он будет полезен.

Проблематику больших данных постараемся описывать с разных сторон: основные принципы работы с данными, инструменты, примеры решения практических задач. Отдельное внимание окажем теме машинного обучения.

Начинать надо от простого к сложному, поэтому первая статья – о принципах работы с большими данными и парадигме MapReduce.

Мы тут часто говорим про то, как круто автоматизировать разные вещи. Но иногда бывает нужно делать совершенно обратный процесс — убирать автоматизацию там, где она мешает. В нашем случае, например, где она явно мешает зарабатывать или общаться с покупателем.

Например, мы выпилили почти весь IVR; сделали сценарий обхода заполнения полей корзины; добились того, чтобы почти везде были личные контакты сотрудников (даже на кассовом чеке печатается прямой сотовый телефон регионального управляющего); положили прямые почтовые адреса всех до учредителя на каждую страницу сайта; выбросили часть автоуведомлений и заменили их на живые звонки.

И вообще вели себя вызывающе с точки зрения ИТ.

При этом объём кода, нужные мощности и сложность реализации процессов росли. Дело в том, что такая деавтоматизация требует очень нехилых вложений в ИТ. Сейчас объясню на примерах, в чём дело и зачем мы так странно делаем.

Почитав здесь на Хабре топики о создании HTPC, решил поделиться своим опытом. На этапах покупки, сборки, установки и эксплуатации мною было перелопачено множество форумов и сайтов и возможно, мои скромные знания в этом вопросе смогут облегчить кому-нибудь жизнь.

Предупреждение: под ссылками (их не много, но они есть) прячутся переходы на обзоры и описания ПО и железа, упоминаемого в статье. Все переходы ведут на мой блог. Не с целью раскрутки (там нечего раскручивать), но на тот случай, если кому-то стало интересно.

Несколько десятков специалистов по поисковой оптимизации поучаствовали (своими ответами) в исследовании факторов ранжирования в Яндексе. Результаты вы можете лицезреть ниже на скриншотах или же на сайте топэксперт.рф вместе с комментариями и пояснениями. Думаю, что шпаргалка пригодится не только оптимизаторам, но и всем вебмастерам.

Начнем с внешних факторов. Критерии выбора внешних ссылок:

После поста о восстановлении флешек, оказалось, что у многих теперь есть рабочие, бесхозные флешки, которые обязательно нужно задействовать. Почему бы не сделать из них загрузочные флешки с дистрибутивами необходимых ОС? Это может здорово пригодиться при установке/переустановке операционных систем на нетбуки, где отсутствуют приводы оптических носителей. А иногда может даже ускорить процесс установки и сделать его намного тише на компьютере, где привод есть.
Хотя на Хабре уже описывались варианты создания загрузочных флешек, но вариант, который предлагаю я — слишком прост и по своему универсален, чтобы обойти его стороной.

После публикации своего первого поста «Почему я люблю Microsoft. Заметки Зомби» я получил достаточно много писем с похожей просьбой — написать подробнее об используемых продуктах.
Просили — получите. При написании статья я поставил себе цель — описать основной маршрут. Расписывать тонкости установки и настройки нет смысла — их достаточно в Интернет. Я старался, чтобы прочитав этот пост администратор знал названия продуктов и технологий, для чего они нужны и потом уже мог ловко нагуглить всё остальное. Для того, чтобы облегчить поиск ключевые названия будут на английском. Если какая-то аббревиатура незнакома — это повод про неё почитать. И, да, я буду описывать решения от Microsoft, так как что-то смыслю только в них. Хочу сразу предупредить что топик очень конспективный.

Навеяно этим постом от юзера case. Пост не новый, и на главную он не попал.
Но я вот наткнулся на него сегодня и решил написать кое-что о сне. Уверен, что это будет полезно многим хабравчанам, да и случайным читателям тоже.

Не так давно прочитал статью хабраюзера imwode о доступе к диску компьютера через WiFi/Internet с помощью встроенного в Symbian клиента. И все бы ничего, но в nokia 5800 наши глубокоуважаемые финские друзья не потрудились добавить данный клиент по умолчанию. Но унывать по этому поводу я не стал и отправился сёрфить в поисках нужного мне решения. Как оказалось не безрезультатно.
В настоящее время для symbian смартфонов доступна целая серия программ для беспроводного (WiFi, 3G, GPRS, ...) доступа между телефоном и компьютером от Telexy Networks, Inc.. Программы имеют полную поддержку touchscreen, обладают удобным пользовательским интерфейсом и многими другими вкусностями.

Кармин Галло (Carmine Gallo) является специалистом по коммуникативным тренингам. Для подготовки своей новой книги он провел много часов над изучением докладов и презентаций Стива Джобса. И теперь он поделится со всеми нами секретами успеха настоящего мастера публичных выступлений, а по совместительству – исполнительного директора Apple.

Пять элементов, присутствующие во всех презентациях Apple.

Прежде всего, стоит понять, что Стив Джобс не продает компьютеры. Он продает впечатления. То же самое можно сказать о его презентациях, которые призваны информировать, обучать и развлекать. Презентации Apple очень схожи с театральными постановками: отличный сюжет, герои и противники, необходимый сценический реквизит, захватывающие визуальные эффекты и то, что сполна оправдывает цену за входной билет.

Вот они – 5 элементов каждой презентации Стива Джобса.
Попробуйте включить их в свою речь, когда будете представлять свой продукт или идею – так, как это делает Джобс.

В этой части мы рассмотрим «Простой Стриминг» через GUI для домохозяек, а для примера нам послужат ситуации:
1. Когда мы выступаем в роли локального транслятора, для людей с лимитированным интернетом, с отключенным интернетом, или для тех, кто считается с вашим вкусом и хочет смотреть то, что вы им порекомендуете.
3. Если вы захотите передавать видео со своей вебкамеры, просто цифровой камеры и любых других подобных устройств, через DirectShow.

По просьбам трудящихся, начинаем потихоньку разворачивать тему стриминга при помощи VLC, но для начала немного вводной информации, о которой стали часто спрашивать после Двух серьезных разговоров о VLC

В продолжении темы "Серьезный разговор о VLC"



Под катом:
1. VLC Extended (самые приятные мелочи которые просто радуют)

• VLC Wall (Просмотр одного видео на 2...81 (теоретически 9801) мониторах)
• Играем в Puzzle из видео который смотрим :)

2. Слушаем Подкасты. Радиостанции и перенаправляем их в стрим.

• Делаем свою онлайн Радиостанцию.

3. Делаем "Screencast" При помощи VLC (Сьемка экрана в видео файл или вещание в сеть)
4. Отправляем данные о музыке в свой профиль на LAST.FM (Аудиоскробблинг)
5. Запуск VLC без GUI интерфейса (Для и по просьбе любителей mPlayer)
— Просмотр/конвертация/сохранение видео с Youtube.
… и небольшой хинт для мучеников с Прокси на Windows. ну и пара ответов на частые вопросы, которые задавались с момента прошлой публикации.

Под катом:

1. Небольшое введение в медиаплеер/сервер VLC.
2. Удаленное управление VLC.
2.1. VLC в качестве Пульта ДУ (iPhone/iPod Touch\КПК)
3. Одиночное/пакетное конвертирование/кодирование видео в VLC (на примере кодирования видео для iPod/iPhone)

Практически все бесполезные советы начинаются словами: «Если у вас есть что-то ненужное...» и дальше приводятся рекомендации как превратить это самое ненужное во что-либо полезное. В моем случае у меня имелось огромное желание иметь второй монитор. Из подручных материалов имелся только старый ноутбук Toshiba Satellite Pro 4200, который было очень жалко отдавать за те гроши, что за него предлагали. Оказалось, что монитор этого ноутбука можно с легкостью необычайной использовать как вторичный монитор используя сетевое соединение. Для моих целей (программирование, работа с текстами) качество этого монитора вполне подходит.

Психологи поместили на сайт интересный тест, который быстро показывает какое полушарие мозга развито у человека лучше.
Посмотрите на картинку и ответьте на 2 вопроса:
1. В какую сторону кружиться девушка? (По часовой, Против часовой)
2. Вам удалось заставить кружиться ее в другую сторону? (Да, Нет)

Доброго времени суток, уважаемые Хабровчане!

Я давно уже являюсь читателем Хабра, вот решился стать писателем, тем более появился повод. Не так давно решил проблему просмотра фильмов на ЖК-телевизоре с компа, для, так сказать «неподготовленных пользователей» — родителей. Они в компе вообще ничего не понимают, а фильмы смотреть хочется. Записывать их на диски мне банально надоело. Прошелся поиском по сайту, подобной темы не нашел и решил заполнить пробел. Речь пойдёт о настройке Windows Media Center, а точнее о замечательном дополнении к нему в виде Media Browser.

В блоге, посвященном приёмам работы с сообществами в Интернете, Ричард Миллингтон  предложил свод правил по созданию прочного сообщества.

Все вместе эти семь элементов выглядят довольно радикально, каждый из них действителен не только для Интернета, но и для реальной жизни, и в каждом из них есть и польза и применимость.

Итак, чтобы люди объединились в сообщество, нужны следующие элементы:

Предисловие

Цель данного поста — с одной стороны поделиться своим успешным опытом старта разработки приложений на платформе Android и с другой стороны поспособствовать развитию рынка софта для этой замечательной и бурно растущей платформы за счёт (без ложной скромности скажу) возможно Вас, прочитавших данный пост. В сети, конечно, можно найти материалы на тему разработки приложения «чуть сложнее, чем helloworld», но как правило они разрозненные и в них не описываются различные мелкие подводные камешки. В данном посте мы рассмотрим полный цикл разработки приложения, начиная с чистого компьютера до готового apk-файла. Под катом скрины.

Добрый день, уважаемые хабрапользователи!

Некоторое время назад я понял, что теплая погода и близость моря в Таиланде начинает меня сильно расслаблять и я уже не могу работать столько же, сколько работал в однокомнатной хрущокве холодными зимними буднями нашей родины. Вроде бы работаешь-работаешь, а эффекта мало.

Вспомнил такое же свое состояние во время работы фрилансером и подумал, что я такой не один.

Я попробовал поставить эксперимент — взял свой обычный рабочий день и начал записывать на бумажку отчет о том, что и сколько времени делаю. Цифры получились не очень-то и приятные. Со временем стал каждый день записывать такие отчеты, и как не удивительно — дела пошли в гору. Даже, если эти отчеты никто кроме меня не увидит — я же их отлично вижу и осознаю проблему. Когда это крутится в голове, то можно просто взять и отмахнуться от этих мыслей. А вот когда вы читаете отчеты за весь месяц и видите, что дела действительно идут не очень хорошо, то тут никуда не денешься и начинаешь осознавать, что нужно что-то менять.

Спустя какое-то время я начал вести отчеты в Emacs (org-mode). Попользовался, изучил на базовом уровне и спустя какое-то время забросил — показалось не очень удобным, т. к. этими отчетами бывает нужно делиться с начальством или заказчиками, а экспорт в тот же HTML не так уж приятно выглядит.

Собственно как-то вот так и появилась идея сделать свой тайм-трекер с блэкджеком и удобным интерфейсом и подробными отчетами.

Год назад я узнал про сайт маскарадных костюмов, который забанил Яндекс. Проблема была в том, что они получали львиную долю клиентов именно из поиска, а не с улицы, поэтому ошибка сеошника могла стоить владельцам бизнеса.

Знаете, что они сделали? Они взяли свою клиентскую базу и начали делать полезную рассылку, которая позволила пережить пару месяцев без заказов. Точнее, переключила основной канал на повторные продажи.

И тут я начал экспериментировать с рассылками. Ниже – результаты.