Примерно полгода назад мы с моим другом рассуждали о рынке IT в Черноруссии (вымышленной стране из серии видеоигр Armed Assault), сравнивая его с другими отраслями. Мы пытались понять: почему на западе врачи, учителя и инженеры зарабатывают хорошо, а в Черноруссии нет? Почему добиться чего-то было можно только получив профессию в сфере информационных технологий? (Предпринимательство и блогерство я профессиями не считаю, если что). Почему "в Черноруссии есть только 3 пути: вебкам, закладки и IT"? Тогда мой друг просто сказал мне: программистов, в отличие от врачей, учителей и прочих бюджетников, не успели приучить к бедности за время существования Советского Союза. Я тогда не согласился с этим: в СССР небольшая IT-отрасль всё же была, пускай и советские компьютеры отставали от западных, а круг специалистов в области информатики был немногочисленным. Тем не менее, этих людских и технологических ресурсов хватало для автоматизации производственных мощностей и обороны. И вот сейчас я наконец-то понял истинный ответ на заданный тогда вопрос.

Сегодня большинство компаний идут по пути цифровой трансформации, внедряют новые методы работы и организации процессов. Частью этой трансформации обычно становится Data Science, ведь сложно себе представить «цифру» без предиктивной аналитики и возможностей, которые она дает. Меня зовут Надежда Костякова, я руковожу управлением анализа данных и машинного обучения в Первой грузовой компании (ПГК). Я расскажу о том, как мы начинали работать с направлением Data Science. Надеюсь, этот опыт будет полезен и специалистам, и компаниям, которые, как и мы, находятся в начале пути.  

Книга «Программируем коллективный разум» в основном посвящена алгоритмам классификации и кластеризации, хотя есть главы, посвященные другим темам вроде создания собственного поисковика, генетическим алгоритмам и генетическому программированию. Почти все описанные алгоритмы применяются в духе Web 2.0, используя анализ поведения пользователей на разных сайтах, которые предоставляют свой API. Но что особенно приятно удивило, так это то, что все примеры написаны на языке Python.

Вот какие алгоритмы описываются в книге:

• Коллаборативная фильтрация. Или, говоря человечески языком, алгоритмы, которые могут рекомендовать вам какие-то покупки, сайты или музыку в зависимости от оценок, которые вы поставили другим подобным вещам. По таким алгоритмам работает навязывание покупок в интернет-магазинах или подбор музыки на last.fm. В конце главы приводится пример, который будет рекомендовать вам ссылки из сервиса del.icio.us.
• Алгоритмы группировки (кластеризации). Создаваемый пример анализирует RSS-каналы блогов и пытается их автоматически разделить на группы в виде дерева в зависимости от частоты слов, которые попадаются в блоге. Заодно Сегаран рассказывает как можно сделать так, чтобы названия блогов расположились на плоскости кучками в зависимости от их близости в плане рассматриваемых тем.
• Отдельная глава посвящена построению поисковиков – созданию паука и, самое главное, рассматриваются алгоритмы ранжирования ссылок, в том числе и с учетом ссылок страниц друг на друга, создавая, таким образом, аналог Google PageRank. Еще интересно, что в этой же главе есть пример, где для выдачи наиболее релевантных ссылок используется нейронная сеть, которая обучается по мере того как пользователь щелкает на понравившиеся ему ссылки.

Внимание!

• Поисковая и контекстная реклама: Google Adwords, Microsoft adCenter, Yahoo! Search Marketing.
  
• Поведенческий таргетинг: Tacoda, DoubleClick, 24/7 Real Media.
  
• Емейл/rss маркетинг: iContact.
  
• Партнерские программы: Amazon Associates, Amazon Merchants.
  
• Реклама в социальных сетях: Facebook for Business, MySpace Hyper Targeting, Bebo Open Media Platform.
  
• Программы лояльности Starbucks card, Мини-социальные сети на платформе Ning.
  
• CRM платформы: Salesforce, SugarCRM.
  

• Поиск по товарам: Jellyfish, Shopzilla, Shopping.com, Yahoo! Shopping, SpecialOffers.com, Judy's book (скидки).
  
• Локальный поиск: YellowPages.Com, Google Maps, Yahoo! Local, Local Live.
  
• Системы объявлений: Craigslist, Kijiji, MySpace Classifieds, Oodle, vFlyer.
  
• Рекомендующие системы: Last.fm, iLike, Netflix, Stumble Upon, Amazon recommendations.
  
• Рецензии и обзоры: Yelp, CNet, Mojopages, Squidoo.
  
• Wishlists: Amazon, Kaboodle, Eventful (Event demands), Mozilla Wishlist.
  
• Путешествия: Wikitravel, Tripadvisor, Kayak, Expedia, Orbitz.
  
• Работа: Monster, Yahoo! Hotjobs, Etsy (сбыт handmade'a).
  
• Финансы: Zopa.
  
• Недвижимость: Yahoo! Real Estate, Zillow.
  
• Книги: Lulu, Librarything, Reader2.
  
• Афиша: Upcoming, Eventful.
  

1. Какие проекты и направления незаслужено забыты?
   
2. Насколько реально, по вашему мнению, представить единый интерфейс доступа ко всем C2B инструментам для потребителя?
   
3. Насколько реально представить единый интерфейс доступа ко всем B2C инструментам для бизнеса?
   

1. Выучить новый язык программирования

Основные ресурсы для начального обучения

• www.javable.com — сайт со статьями и tutorial'ом по Java. Все в основном на русском.
• www.exampledepot.com — очень полезный ресурс, где собраны краткие примеры использования классов для тех или иных пакетов
• java.sun.com — без первоисточника не обойтись. Для любого Java программиста JavaDoc должен быть истиной в последней инстанции. Так же здесь можно найти серию tutorial'ов на все возможные темы.