На хабре в прошлом месяце была опубликована статья Конкурс ВК: Мессенджер для Android. Как это было!, в которой автор поделился своими мыслями о конкурсе и опубликовал список ресурсов и статей, которые помогли ему в создании приложения. Так как в последнее время я начал изучать разработку под iOS, то у меня скопилось некоторое количество ссылок, которые могут быть полезны для начинающих. Поэтому я последую его примеру и сделаю то же самое, только для своей платформы. Надеюсь, кому-нибудь они окажутся полезны и сэкономят немного времени.

Здравствуйте. Сегодня на глаза попался пост о курсе программирования под Android на сайте Linux Foundation, а вместе с ним — и немало комментариев о том, что хотелось бы видеть и перевод этих уроков. Поскольку я сейчас, после четырех лет разработки под микроконтроллеры, начал изучать и программирование для мобильных устройств, то параллельно решил сделать перевод первой части урока.

Вы помните лето, в которое вы работали спасателем, или тот семестр в колледже, когда были кофеваром? Можете провести параллель между тем загорелым ребенком и профессионалом своего дела, которым стали теперь? Та внутренняя молодость все еще в вас – она формирует каждое ваше решение. В этой статье мы расскажем о девяти успешных людях и их первых местах работы.

Я CTO проекта Preply и хочу рассказать немного о том, о чем мечтает каждый программист, а именно о сложных и интересных задачах в простых проектах.

Если быть точнее, то о том, как можно добавить немного науки к бизнесу и получить в результате немного пользы. Этой статьей я постараюсь описать один из контекстов использования Machine Learning в реальном проекте.

Все уже много раз слышали про конкурс по машинному обучению от Билайн и даже читали статьи (раз, два). Теперь конкурс закончился, и так вышло, что первое место досталось мне. И хотя от предыдущих участников меня и отделяли всего сотые доли процента, я все же хотел бы рассказать, что же такого особенного сделал. На самом деле — ничего невероятного.

Привет сообществу!

Я Юрий Кашницкий, раньше делал здесь обзор некоторых MOOC по компьютерным наукам и искал «выбросы» среди моделей Playboy.

Сейчас я преподаю Python и машинное обучение на факультете компьютерных наук НИУ ВШЭ и в онлайн-курсе сообщества по анализу данных MLClass, а также машинное обучение и анализ больших данных в школе данных одного из российских телеком-операторов.

Почему бы воскресным вечером не поделиться с сообществом материалами по Python и обзором репозиториев по машинному обучению… В первой части будет описание репозитория GitHub с тетрадками IPython по программированию на языке Python. Во второй — пример материала курса «Машинное обучение с помощью Python». В третьей части покажу один из трюков, применяемый участниками соревнований Kaggle, конкретно, Станиславом Семеновым (4 место в текущем мировом рейтинге Kaggle). Наконец, сделаю обзор попавшихся мне классных репозиториев GitHub по программированию, анализу данных и машинному обучению на Python.

Всего-то пару лет назад мы не могли общаться с приложениями Google сквозь уличный шум, не переводили русские надписи в Google Translate и не искали фото того самого лабрадудля в Google Photos, только лишь о нём услышав. Дело в том, что наши приложения были тогда недостаточно умны. Что ж, очень быстро они стали значительно, значительно умнее. Сегодня, благодаря технологии машинного обучения, все эти замечательные штуки, равно как и многое другое и более серьёзное, мы можем делать играючи.

В общем, встречайте: мы создали принципиально новую систему машинного обучения по имени TensorFlow. TensorFlow быстрее, умнее и гибче в сравнении с нашей предыдущей технологией (DistBelief, с 2011, та самая, что распознавала кошку без учителя), благодаря чему стало значительно проще адаптировать её к использованию в новых продуктах и исследовательских проектах. TensorFlow – высокомасштабируемая система машинного обучения, способная работать как на простом смартфоне, так и на тысячах узлов в центрах обработки данных. Мы используем TensorFlow для всего спектра наших задач, от распознавания речи до автоответчика в Inbox и поиска в Google Photos. Такая гибкость позволяет нам конструировать и тренировать нейросетки до 5 раз быстрее в сравнении с нашей старой платформой, так что мы действительно можем использовать новую технологию значительно оперативнее.

Coвсем недавно Google сделал доступной для всех свою библиотеку для машинного обучения, под названием TensorFlow. Для нас это оказалось интересно еще и тем, что в состав входят самые современные нейросетевые модели для обработки текста, в частности, обучения типа “последовательность-в-последовательность” (sequence-to-sequence learning). Поскольку у нас есть несколько проектов, связанных с этой технологией, то мы решили, что это отличная возможность перестать изобретать велосипед (наверное пора уже) и быстро улучшить результаты. Представив себе довольные лица клиентов, мы приступили к работе. И вот что из этого получилось…

О чём статья

Лично я лучше всего обучаюсь при помощи небольшого работающего кода, с которым могу поиграться. В этом пособии мы научимся алгоритму обратного распространения ошибок на примере небольшой нейронной сети, реализованной на Python.

Дайте код!

X = np.array([ [0,0,1],[0,1,1],[1,0,1],[1,1,1] ])
y = np.array([[0,1,1,0]]).T
syn0 = 2*np.random.random((3,4)) - 1
syn1 = 2*np.random.random((4,1)) - 1
for j in xrange(60000):
    l1 = 1/(1+np.exp(-(np.dot(X,syn0))))
    l2 = 1/(1+np.exp(-(np.dot(l1,syn1))))
    l2_delta = (y - l2)*(l2*(1-l2))
    l1_delta = l2_delta.dot(syn1.T) * (l1 * (1-l1))
    syn1 += l1.T.dot(l2_delta)
    syn0 += X.T.dot(l1_delta)

Слишком сжато? Давайте разобьём его на более простые части.

— Не могли бы вы построить нам статистическую модель?
— С удовольствием. Можно посмотреть на ваши исторические данные?
— Данных у нас ещё нет. Но модель всё равно нужна.

Знакомый диалог, не правда ли? Далее возможны два варианта развития событий:

A. «Тогда приходите, когда появятся данные.» Вариант рассматриваться не будет как тривиальный.
Б. «Расскажите, какие факторы по вашему мнению наиболее важны.» Остаток статьи про это.

Под катом рассказ о том, что такое improper model, почему их красота устойчива и чего это стоит. Всё на примере многострадального набора данных о выживании пассажиров Титаника.

Так называемое машинное обучение не перестает удивлять, однако для математиков причина успеха по-прежнему не совсем понятна.

Как-то пару лет назад за ужином, на который меня пригласили, выдающийся специалист в области дифференциальной геометрии Эудженио Калаби вызвался посвятить меня в тонкости весьма ироничной теории о разнице между приверженцами чистой и прикладной математики. Так, зайдя в своих исследованиях в тупик, сторонники чистой математики нередко сужают проблематику, пытаясь таким образом обойти препятствие. А их коллеги, специализирующиеся на прикладной математике, приходят к выводу, что сложившаяся ситуация указывает на необходимость продолжить изучение математики с целью создания более эффективных инструментов.

Мне всегда нравился такой подход; ведь благодаря ему становится понятно, что прикладные математики всегда сумеют задействовать новые концепции и структуры, которые то и дело появляются в рамках фундаментальной математики. Сегодня, когда на повестке дня стоит вопрос изучения «больших данных» – слишком объемных или сложных блоков информации, которые не удается понять, используя лишь традиционные методы обработки данных – тенденция тем более не утрачивает своей актуальности.

Windows is so evil that consumes extra energy to make the things running.



Библиотека XGBoost гремит на всех соревнованиях по машинному обучению и помогает завоёвывать призовые места. Однако, стать обладателем этого пакета для Python под Windows не так просто.

Процесс установки скудно описан на GitHub и немногим шире на форуме Kaggle. Поэтому попробую описать пошагово и более подробно. Надеюсь это поможет сохранить много времени неопытным пользователям.

СУБД Neo4j — это NoSQL база данных, ориентированная на хранение графов. Изюминкой продукта является декларативный язык запросов Cypher.

Cypher позаимствовал ключевые слова типа WHERE, ORDER BY из SQL; синтаксис из таких разных языков как Python, Haskell, SPARQL; и в результате появился язык, позволяющий делать запросы к графам в визуальной форме наподобие ASCII art. Например, заголовок данной статьи я бы представил в виде графа (Neo4j) — [изучаем] -> (Wordnet). И это почти готовый запрос к базе данных!

Легко попасть в ловушку метафор и мифов, окружающих творцов. В западню передаваемых друг другу заблуждений и заявлений о том, какие качества необходимы для того, чтобы созидать. Давайте разбираться в том, как все обстоит на самом деле, и как добиться успеха в творчестве.

В нашем блоге на Geektimes мы много пишем о технологиях ресторанного бизнеса — системах автоматизации (вроде Jowi), мобильных приложениях, поисковых движках. В частности, мы говорили о ресторанах будущего и обсуждали вопрос о том, не приведет ли автоматизация к потере рабочих мест. Ответы на этот вопрос могут быть различными, однако факт остается фактом, этим летом в США заработал полностью автоматизированный ресторан быстрого и здорового питания — корреспондент издания SFGate Сара Фрицше побывала в заведении, а мы представляем вашему вниманию адаптированный перевод ее рассказа.



Будущее уже здесь. По крайней мере, у вас определённо складывается такое впечатление, когда вы заходите в новый высокотехнологичный ресторан, открывшийся на набережной Сан-Франциско в августе этого года. Учредители ресторана Eatsa, Скотт Драмморда (Scott Drummond) и Тим Янг (Tim Young) решили изменить концепцию фастфуда при помощи технологий. В меню нового ресторана представлены только здоровые вегетарианские блюда на основе киноа с различными добавками.

Трудные проблемы возникают у современных пользователей. Например, на форумах техподдержки Google уже больше года (!) обсуждают проблему с авторизацией в ежедневнике Google Calendar через холодильники Samsung. Количество сообщений перевалило за несколько сотен! Это уже не научная фантастика, а рядовая техническая проблема.

Один из обладателей холодильника RF4289HARS пожаловался, что ежедневник Google нормально работал с августа 2012 года, но с последними изменениями в Google Calendar API работать перестал.

Холодильник стал выводить сообщения типа «Пожалуйста, проверьте ваш адрес электронной почты на сайте Google».

Некоторые актеры и актрисы известны тем, что они практически не проявляют эмоций на экране. Каким образом с подобной мимикой можно оставаться востребованным и популярным актером не совсем ясно, но, быть может, эти представители мира кино просто что-то знают о будущем кинематографа, и особенно не переживают.

Дело в том, что компания Disney представила новую технологию, позволяющую усиливать или даже менять эмоции актера на уже отснятом видео. Делается это при помощи программного обеспечения, которое получило название Face Director. Это ПО умеет менять положение некоторых фреймов для достижения необходимого результата.

Машинное обучение занимается поиском скрытых закономерностей в данных. Растущий рост интереса к этой теме в ИТ-сообществе связан с исключительными результатами, получаемыми благодаря ему. Распознавание речи и отсканированных документов, поисковые машины — всё это создано с использованием машинного обучения. В этой статье я расскажу о текущем проекте нашей компании: как применить методы машинного обучения для увеличения производительности СУБД.
В первой части этой статьи разбирается существующий механизм планировщика PostgreSQL, во второй части рассказывается о возможностях его улучшения с применением машинного обучения.

Случайно наткнулся на один популярный в свое время пост (еще на Хабре), которому как раз исполняется 5 лет: «Будущего здесь нет или что останавливает прогресс». Содержимое этого поста именно сейчас представляется особо интересным, как показательный срез мышления хабрасообщества по состоянию на конец прошлого десятилетия, который можно сравнить с сегодняшним днем и проанализировать — почему хабраюзеры так думали, чего они не замечали и, главное, какие выводы мы можем сделать по поводу нашего сегодняшнего восприятия будущего и прогресса,

Итак, на дворе 2009 год — и мало кто еще знает, как эта цифра пишется словами по-итальянски. iPad еще даже не анонсирован. Продолжается мировой экономический кризис (хотя дно уже пройдено), а вдобавок к нему еще и свиной грипп. Еще вовсю продаются нетбуки, активно раздают и клянчат инвайты на Google Wave, среди смартфонов гики особо почитают Nokia N900 и мало кому может прийти в голову, что вскоре навернется не только проект Maemo, но и вся нокия. Зеленый робот уже сражается с яблоком за рынок, и уже вырисовалась концепция смартфона как платформы с магазином приложений, но мало кто еще понимает, насколько разрушительной она будет для устоявшегося мобильного зоопарка. Интернет и ИТ в целом довольно уже развиты, социальные сети завоевывают широкую публику вместе с играми про фермеров — самой горячей темой на тот момент — но еще никто никого не лайкает. И про птичек со свинками еще никто не знает. Мало того, еще практически неведомы такие вещи, как краудфандинг, «умные часы», фитнес-трекеры и сервисы для здоровья, MOOC и прочая образовательная движуха. Что-то где-то слышали про SpaceX, вообще «частный космос», «интернет вещей», Tesla (еще вызывает сомнения), 3D-принтеры, нейроинтерфейсы, а за упоминание «умного дома» на хабре еще можно отхватить минус… Отовсюду звучат мантры «модернизация» и «роисся вперде», а наряду с хабром набирает популярность Trendclub с коточасами из фильма «Назад в будущее», хотя популярность его без спонсорской поддержки окажется не очень долгой. Ну я надеюсь, многие еще помнят это безбашенное время.

И вот хабраюзеру Garyan приходят в голову пессимистические мысли, что все печально, ибо, понимаешь, мы до сих пор не вставляем в головы разъемы и не ездим на летающих машинах, и не потому, что прогресс до такого еще не дошел, а якобы из-за того, что мы все жуткие консерваторы, боимся нового и не хотим его осваивать, и поэтому, мол, обречены еще долго ползать по земле и всё такое. Ну в общем, сами по себе эти мысли не уникальные, интереснее примеры, которыми автор в 2009 году это иллюстрирует:

Меня попросили рассказать о OCZ NIA. Конец года, время подводить итоги — потому самое время написать о личном опыте использования самой перспективной, по моим оценкам, железки за год. Началось всё с её покупки…

Покупка

Об этой игрушке для управления компом мыслями я узнал тут же, на Хабре, из этого поста. Загорелся, заинтересовался, право слово. Всегда любил Гибсона и прочий киберпанк, а тут контроллер, почти такой же, как у его персонажей, ну пусть примитивный — думалось мне. Отдельное, впрочем, офигение вызвало его присутствие в продаже в России — все-таки редко к нам завозят подобные игрушки.

Поэтому в августе не выдержал и потратил триста тогдашних баксов на игрушку. Что ж, опишу ее.