Привет, Хабр! Я уверен, что среди нас есть много студентов и, наверное, все из них признают, что на своём студенческом пути встречали такие науки, о гранит которых можно сломать зубы. Вот поэтому хочу вам рассказать о том, как хобби — наука о данных, помогло мне сдать один из самых сложных предметов в семестре на пятёрку. Если вам интересно — прошу под кат.

Что такое умные контракты, как они работают и почему будущее именно за ними.



Блокчейн представляет собой децентрализованную систему, существующую благодаря множеству объединенных в сеть компьютеров. Поэтому одно из его главных достоинств — то, что вы можете не платить посредникам и экономить свое время и нервы.

У блокчейна есть свои недостатки, но он быстрее, надежнее и безопаснее традиционных систем, и поэтому банки и правительственные организации все чаще используют эту технологию для своих нужд.

В сознании среднестатистического пользователя само слово “блокчейн” (“цепочка блоков”) стало довольно тесно связано с термином “биткоин”, что двояко отразилось на восприятии.

С одной стороны, популярность биткоина вызывает интерес и к блокчейну, с другой стороны, в массовом сознании биткоин часто ассоциируется лишь с чем-то негативным, запрещенным и подвергаемым преследованию со стороны законодателей. Мол, зачем расплачиваться биткоинами, когда есть целый зоопарк электронных кошельков и банковских карт? Ясное дело – чтобы проворачивать какие-то темные делишки.

С какой точки зрения ни посмотреть, но интернет — физическая сеть оптоволоконных кабелей, соединяющая воедино миллиарды маршрутизаторов, серверов и компьютеров по всему миру — это самое выдающееся изобретение человечества, которое повлияло на все сферы человеческой деятельности: здравоохранение, политику, образ жизни. Наличие интернета положительно коррелирует с изменением режима сна человека и его интимной жизнью.

По оценке МСЭ, к концу 2016 года к Сети подключены 3,5 млрд человек (47,1% населения) или почти 1 млрд домохозяйств. В четырёх странах мира проникновение достигло условных 100% по количеству IP-адресов на домохозяйство из трёх человек: это Германия, Дания, Южная Корея и Эстония. Кстати, в последней даже президента выбрали через интернет.

Группа исследователей под руководством Клауса Акермана (Klaus Ackermann) из Чикагского университета провела первое в истории масштабное исследование влияния интернета на человеческое общество: за период с 2006 по 2012 годы они сделали более 1 триллиона пингов всех адресов IPv4 с интервалами от 15 минут — и соотнесли эти данные с изменениями разных социоэкономических показателей в 1647 городах 122 стран мира. Это исследование не является каким-то цельным описанием картины изменений, но показывает любопытные корреляции между проникновением интернета и некоторыми изменениями, которые происходят в обществе.

В предыдущей части были сформулированы требования к процедуре универсального обобщения. Одно из требований гласило, что результат обобщения должен не просто содержать набор понятий, кроме этого полученные понятия обязаны формировать некое пространство, в котором сохраняются представление о том, как полученные понятия соотносятся между собой.

Если рассматривать понятия как «точечные» объекты, то такую структуру можно отчасти описать матрицей взаимных расстояний и представить в виде взвешенного графа, где вершины — это понятия, а каждому ребру сопоставлено число, соответствующее расстоянию между понятиями, которые это ребро соединяет.

Ситуация несколько усложняется, когда понятия имеют природу множеств (рисунок ниже). Тогда возможны формулировки типа: «понятие C содержит понятия A и B», «понятия A и B различны», «понятия A и B имеют нечто общее». Если положить, что близость определяется в интервале от 0 до 1, то про рисунок слева можно сказать: «близость A и C равна 1, близость B и C равна 1, близость A и B равна 0).

В ноябре 2016 года Viber внедрил публичные аккаунты (Viber public account, или просто PA). С их выходом стало доступно и api, которое позволяет:

• вести переписку с пользователем
• проверять статус подписчиков (онлайн, оффлайн)
• получить информацию о конкретном подписчике
• вносить записи (посты) на свою страницу

Все это позволяет создать довольно неплохого бота, или же интегрировать бота в уже существующий проект, что вполне может улучшить качество взаимодействие с пользователями. Если вы уже создавали ботов для telegram или slack — то создать бота для Viber не составит большого труда.

Технология блокчейн лежит в основе нашего платежного сервиса Wirex. Тенденции рынка говорят о том, что за последние годы на базе распределенного реестра появились решения, выходящие за пределы финансовой индустрии. В этом обзоре приведены проекты из 20 областей использования блокчейна. В 1-й части материала перечислим сервисы из 10 отраслей, в числе которых: авторство и право владения, операции с товарами и сырьем, управление данными, бриллианты, проверка идентичности, энергетика, средства электронного голосования и другие области.

Несмотря на то, что интерес к Блокчейн-технологии в большей степени связан скорее с областью финансов, сферы применения технологии распределенных реестров не ограничиваются только ей. Наряду с банками и финтех-стартапами, игроки других, не связанных с финансовой отраслью рынков, также обратили внимание на технологию и ищут способы извлечения пользы из возможностей, которые она предоставляет. Давайте рассмотрим некоторые интересные примеры практических применений технологии блокчейн, существующие за рамками сферы финансовых услуг.

Авторство и право владения

Ascribe помогает художникам и творческим людям подтверждать и сохранять право авторства с помощью Блокчейн. Рынок Ascribe позволяет создавать цифровые издания с помощью уникальных идентификаторов и цифровых сертификатов для подтверждения авторства и подлинности. Кроме того, налажен и механизм передачи права владения от художника или автора к покупателю или коллекционеру, в том числе и юридические его аспекты.

В предыдущей части обзора, посвященного использованию технологии блокчейн за пределами финансовой сферы, мы рассмотрели кейсы применения распределенного реестра в индустрии азартных игр, интернета вещей, электронного голосования и не только. Во 2-й части материала речь пойдет о применении блокчейна в сервисах райдшеринга, при составлении репутационных рейтингов, для повышения эффективности сетевой инфраструктуры, прогнозирования рынков и других областях.

Биржи труда

Verbatm — основанный на блокчейн протокол, позволяющий людям предоставлять подтверждающие квалификацию документы без необходимости их удостоверения третьими лицами.

Appii использует децентрализованный распределенный реестр для безопасного хранения и подтверждения подробной информации о полученном образовании, сертификатах, аттестатах, наградах и истории трудоустройства с возможностью получения доступа к ней с согласия ее владельца.

По утверждениям на сайте, Satoshi Talent — первое рекрутинговое агентство в сфере блокчейн. Соискателям сервис предлагает вакансии и карьерные перспективы в блокчейн-компаниях, а организациям — возможность найти и нанять блокчейн-разработчиков и инженеров широкого профиля.

Я размышлял, в основном с точки зрения преподавателя, о том, как научить отлаживать модели машинного обучения. Лично мне кажется полезным рассмотреть модель с точки зрения ошибок разного рода: байесовская ошибка (насколько ошибочен лучший из возможных классификаторов), ошибка аппроксимации (что мы потеряем из-за ограничения класса гипотезы), ошибка оценки (связанная с ограниченной длиной выборки), ошибка оптимизации (что случится, если не найти глобальный оптимум для задачи оптимизации). Я понял, что полезно попытаться отнести ошибку к определенной области, а потом устранять недостатки в этой конкретной области.

Прошел год с запуска IT-вопросника, однако проработал он не долго, примерно пару месяцев. Это был один из самых активных каналов PushAll, многие пользователи получали вопросы по 100+ в день и кликали на большие из них.

Отвечая на вопросы все были в плюсе:

1. Те кто спрашивают – сразу получали ответ
2. Владельцы сервисов получали большую посещаемость и больше решенных вопросов
3. Тот кто отвечал первым – получал свои ачивки в сервисах

Я долго пытался связаться с создателем IT-вопросника, получилось достучаться только в этом месяце. В итоге спустя сутки после нашего общения, снова начали приходить пуши.

Но что изменилось за этот год при использовании IT-вопросника?

Кому лень читать статью: подписываемся на канал IT-вопросника в PushAll и настраиваем теги в панели управления IT-вопросником (после подписки на канал редиректнет на панель)

У вас есть сообщество вконтакте? Бывает ли такое, что кто то написал негативный комментарий, кого-нибудь оскорбил, или просто написал отзыв о вашей компании или вопрос на который необходимо быстро ответить? Мы в PushAll написали микросервис, который позволяет получать уведомления о различных событиях в ваших сообществах. Дело в том, что Вконтакте недавно выкатил Callback API для сообществ, и мы решили им воспользоваться облачив из API в формат push-уведомлений.

Если лень читать и хочется сразу использовать — AdminVK (полностью бесплатно, неограниченное количество подключаемых групп и сообществ)

— «Вы видели моего бота?»
— «А вы подписаны на мой канал в телеграме?»
— «100500 каналов в телеграме, о которых никто не знает, но о которых мы напишем так как нам нечего писать»

Я думаю фразы выше вам о многом говорят. Многие новостные сайты забиты статьям про ботов и каналы в телеграме, а в комментариях под ними люди пишут еще больше каналов. В каждом канале буквально 5-10 подписчиков.

Везде пишут ботов и небольшие туториалы вида «Как написать бота за минуту, чтобы он вам гладил белье, искал девушек и мог делать это в суперчатике телеграма».

30 Июня 2015 года, через 3 дня после релиза Telegram Bot API мы сделали бота и писали об этом статью на хабр, тогда мы и не догадывались что все это выльется во всеобщее безумие.

В статье мы постараемся доказать, что в реальности боты и каналы практически никому не нужны, а также рассказать – почему вам не надо делать еще одного бота или еще один новый канал.

Речь пойдет о технологии, которая дает возможность реализации инструментов разработчика, подобных показанному на картинке ниже.



Общий вид среды с альтернативными представлениями кода

Здесь окно среды разработки разбито на две части. Слева — привычный текстовый редактор, а справа — автоматически генерируемая диаграмма, по возможности приближенная к традиционным блок-схемам алгоритмов. Генерация и перерисовка диаграммы производится по ходу набивки текста. Среда разработки определяет паузу в действиях разработчика и обновляет диаграмму, если код остается корректным. В результате появляется возможность работы не только с текстом программы, но и с его графическим представлением.

На первый взгляд Netatmo — просто стильная погодная станция, которая замеряет температуру, влажность, уровень углекислого газа и шум. Но на самом деле в гаджете заложен огромный потенциал, и вокруг него можно выстроить свой умный дом без проводов, паяльника и программирования.

После не сильно долгих уговоров, меня убедили, что 30 место не так уж и плохо, и написать статью стоит. Я – участник с ником Stef, и занял в песочнице около 30 места.

Картинка нарисованная рядом, имеет глубокий смысл – вместо того чтобы уделить достаточное время и быть призером соревнования, я пошел другим путем — потратил одну треть времени на то, что делать было не обязательно. Если быть точнее, то я занялся алгоритмом поиска пути в пространстве, где нет непробиваемых стен, а есть лишь деревья которые можно или рубить или проходить рядом с ними.

Что из этого получилось, можно посмотреть в видео, а желающих познать все тайны леса прошу под кат.

Привет, Хабр! Меня зовут Дичковский Алексей, и я хочу вам рассказать о том, как я потратил полтора месяца своей жизни на написание бота для упрощённой версии DotA.

Ежегодно компания Mail.ru проводит онлайн-чемпионат по программированию игровых стратегий (Russian AI Cup 2016). Я принимал участие в данном соревновании в 2012 году (СodeTanks) и, совсем немного, в 2013 (СodeTroopers). В этом году, изрядно наевшись веб разработкой, я решил попробовать принять участие ещё раз. Я изначально не надеялся (но, конечно же, очень хотел) занять какое-либо призовое место и в целом для меня это был скорее тест, насколько я ещё могу реализовать нечто интересное. О том, что из этого получилось, можно прочитать под катом.

Недавно в Москве прошла конференция Data Fest, организованная сообществом Open Data Science и Яндексом. Этой публикацией мы открываем серию расшировок докладов с Data Fest. Автор первого доклада — доктор наук, признанный специалист по машинному обучению и преподаватель Школы анализа данных Константин Вячеславович Воронцов.


Всякую ли поисковую функцию выполняет Яндекс или Google? К сожалению, пока нет. Существуют такие типы поиска, при которых никакая выдача не будет считаться правильной. И дело даже не в релевантности, а в том, что нужен другой поиск — помимо привычного нам всем. Под катом вы найдете расшифровку лекции о разведочном поиске, а также большинство слайдов.

Предыдущая лекция с Data Fest была посвящена алгоритмам, необходимым для построения нового вида поиска. Сегодняшний доклад тоже в некотором смысле про разные алгоритмы, а точнее про математику, лежащую в основе множества из них. О матричных разложениях зрителям рассказал доктор наук и руководитель группы вычислительных методов «Сколтеха» Иван Оселедец.


Под катом — расшифровка и большинство слайдов.

Оптимизм по поводу нейронных сетей разделяют не все — или, по крайней мере, уровень такого оптимизма бывает разным. Старший преподаватель факультета компьютерных наук ВШЭ Сергей Бартунов согласен, что нейросетевая область сейчас на подъеме. С другой стороны, он хочет внести в происходящее некоторую ясность, определить реальный потенциал нейросетей. Вне зависимости от точки зрения докладчика, глубокое обучение и правда не проникает в нашу сферу совсем уж стремительными темпами. Традиционные методы обучения всё ещё работают и не обязательно будут вытеснены машинным интеллектом в ближайшей будущем.


Под катом — расшифровка лекции и часть слайдов Сергея.

Применение машинного обучения может включать работу с данными, тонкую настройку уже обученного алгоритма и т. д. Но масштабная математическая подготовка нужна и на более раннем этапе: когда вы только выбираете модель для дальнейшего использования. Можно выбирать «вручную», применяя разные модели, а можно и этот процесс попробовать автоматизировать.


Под катом — лекция ведущего научного сотрудника РАН, доктора наук и главного редактора журнала «Машинное обучение и анализ данных» Вадима Стрижова, а также большинство слайдов.