Это — подкаст с теми, кто пишет, редактирует, снимает фото, видео и руководит созданием контента. Сегодня мы подготовили для вас текстовую версию шестого выпуска.

Его гость — Иван Sourvillo (Sourvillo) — журналист, редактор и издатель авторской email-рассылки. Мы говорим о личных проектах Ивана, карьере и творческих инсайтах.

• аудиоплеер в Telegram
• подписаться в iTunes
• прослушать в веб-версии

На заре машинного обучения большинство решений выглядели очень странно, обособленно и необычно. Сегодня множество ML алгоритмов уже выстраиваются в привычный для программиста набор фреймворков и тулкитов, с которыми можно работать, не вдаваясь в детали их реализации.

К слову, я противник такого поверхностного подхода, но для своих коллег хотел бы показать, что эта отрасль движется семимильными шагами и нет ничего сложного, чтобы применять ее наработки в продакшен проектах.

Для примера я покажу, как можно помочь пользователю найти нужный видеоматериал среди сотен других в нашем сервисе документооборота.

В моем проекте пользователи создают и обмениваются сотнями различных материалов: текстом, картинками, видеороликами, статьями, документами в различных форматах.

Поиск по документам представляется достаточно просто. Но что делать с поиском по мультимедиа контенту? Для полноценного сервиса пользователя надо обязать заполнить описание, дать название видеоролику или картинке, не помешает несколько тегов. К сожалению, далеко не все хотят тратить время на подобные улучшения контента. Обычно пользователь загружает ссылку на youtube, сообщает что это новое видео и нажимает сохранить. Что же делать сервису с таким “серым” контентом. Первая идея — спросить у YouTube? Но YouTube тоже наполняют пользователи (часто это один и тот же пользователь). Часто видеоматериал может быть и не с Youtube сервиса.
Так мне пришла идея научить наш сервис “слушать” видеоролик и самостоятельно “понимать”, о чем он.

Попытки научить различные системы видеть и понимать мир так же, как это делает человек, начались несколько десятилетий назад, но уже сейчас эти технологии стали настолько совершенны, что активно используются во многих сферах нашей жизни. На Хабре уже есть подробные статьи о машинном зрении, нейросетях и алгоритмах распознавания, поэтому мы не будем углубляться и вновь описывать эти сложные технологии, мы расскажем о практическом использовании этих систем в реальном мире.

Давайте создадим прототип агента обучения с подкреплением (RL), который овладеет навыком трейдинга.

Учитывая, что реализация прототипа работает на языке R, я призываю пользователей и программистов R приблизиться к идеям, изложенным в этом материале.

Это перевод моей англоязычной статьи: Can Reinforcement Learning Trade Stock? Implementation in R.

Хочу предупредить код-хантеров, что в этой заметке есть только код нейронной сети, адаптированной под R.

Если я не отличился хорошим русским языком, укажите на ошибки (текст готовился с подмогой автоматического переводчика).

Cтатья написана по анализу и изучению материалов соревнования по поиску корабликов на море.



Попробуем понять, как и что ищет сеть и что находит. Статья эта есть просто результат любопытства и праздного интереса, ничего из нее в практике не встречается и для практических задач тут нет ничего для копипастинга. Но результат не совсем ожидаем. В интернете полно описаний работы сетей в которых красиво и с картинками авторы рассказывают, как сети детерминируют примитивы — углы, круги, усы, хвосты и т.п., потом их разыскивают для сегментирования/классификации. Многие соревнования выигрываются с помощью весов с других больших и широких сетей. Интересно понять и посмотреть как и какие примитивы строит сеть.

От переводчика: публикуем для вас статью Шона Амстера, маркетолога со специализацией в цифровом маркетинге. В статье Шон объясняет, почему его коллегам было бы полезно научиться программированию — хотя бы и на базовом уровне.

Хорошему маркетологу нужно огромное количество разнообразных скиллов. Один из них, который часто недооценивают, — программирование. Все потому, что наш мир становится все более и более цифровым по своей природе.

Может быть, вы отнесетесь к этой идее с определенной долей скептицизма, это ваше право. Но я считаю, что любой из нас может научиться программировать и получить определенный профит. В статье я указываю причины, по которым маркетологу стоит изучать программирование.

И снова привет!

В декабре у нас стартует обучение очередной группы «Data scientist», поэтому открытых уроков и прочих активностей становится всё больше. Например, буквально на днях прошёл вебинар под длинным названием «Feature Engineering на примере классического датасета Титаника». Его провёл Александр Сизов — опытный разработчик, кандидат технических наук, эксперт по Machine/Deep learning и участник различных коммерческих международных проектов, связанных с искусственным интеллектом и анализом данных.

Открытый урок занял около полутора часов. В ходе вебинара преподаватель рассказал про подбор признаков, преобразование исходных данных (кодирование, масштабирование), настройку параметров, обучение модели и много чего ещё. В процессе проведения урока участникам показывалась тетрадь Jupyter Notebook. Для работы использовались открытые данные с платформы Kaggle (классический датасет про «Титаник», с которого многие начинают знакомство с Data Science). Ниже предлагаем видео и транскрипт прошедшего мероприятия, а тут можно забрать презентацию и коды в юпитеровском ноутбуке.

Каждый из нас воспринимает тексты по-своему, будь это новости в интернете, поэзия или классические романы. То же касается алгоритмов и методов машинного обучения, которые, как правило, воспринимают тексты в математической в форме, в виде многомерного векторного пространства.

Статья посвящена визуализации при помощи t-SNE рассчитанных Word2Vec многомерных векторных представлений слов. Визуализация позволит полнее понять принцип работы Word2Vec и то, как следует интерпретировать отношения между векторами слов перед дальнейшем использованием в нейросетях и других алгоритмах машинного обучения. В статье акцентируется внимание именно на визуализации, дальнейшее исследование и анализ данных не рассматриваются. В качестве источника данных мы задействуем статьи из Google News и классические произведения Л.Н. Толстого. Код будем писать на Python в Jupyter Notebook.

Привет, сообщество! Мы в Хекслете составили список из пяти бесплатных автоматизированных онлайн-платформ для новичков.

На русском:

HTML Academy
«Академия» учит верстать сайты. Основной контент в формате подписки (390 рублей в месяц) и интенсивов (от 12500 рублей), но есть несколько бесплатных автоматизированных курсов по основам HTML, CSS и JavaScript.

В HTML Academy не столько задания для прокачки в программировании, сколько для знакомства с основами веб-разработки. Но это идеальный формат для тех, кто никогда не писал код и хочет попробовать. Большое количество веб-разработчиков начинало путь именно здесь.

Code Basics
Это новый бесплатный сервис от Хекслета. Его основная идея — через решение простых заданий прямо в браузере погружать новичков в основы программирования. Сейчас есть уроки по PHP, JavaScript и Python, ближайшее время появятся — новые. Платформа подойдет лучше всего для изучения основ синтаксиса, и меньше — для прокачки алгоритмов.

Обучение построено вокруг чередования небольших порций теории (3-4 абзаца) и закрепления практики в тренажере. У каждого практического задания есть решение учителя, которое можно сравнить со своим после успешного прохождения и раздел для обсуждения задания.

Специалистам по искусственному интеллекту платят почти в два раза больше, чем другим профессионалам в сфере IT. Мы разобрались, на какую зарплату можно рассчитывать в разных областях ИИ в России, кого ищут «Яндекс», ABBYY и «Сбербанк», и какие курсы можно использовать для обучения в этой сфере.

Комментарий переводчика: Подробное интервью с легендарным лингвистом, вышедшее 6 лет назад, но ничуть не утратившее своей актуальности. Ноам Хомский —  «современный Эйнштейн», как его называют, делится своими соображениями об устройстве человеческого мышления и языка, искусственном интеллекте, состоянии современных наук. На днях ему исполнилось 90 лет, и это кажется достаточным поводом для публикации статьи. Интервью ведет молодой учёный-когнитивист Ярден Кац, он сам прекрасно разбирается в предмете, поэтому беседа очень содержательна, а вопросы столь же интересны, как и ответы.

Каждый день полтора миллиона людей ищут на Ozon самые разные товары, и к каждому из них сервис должен подбирать похожие (если пылесос все-таки нужен помощней) или сопутствующие (если к поющему динозавру нужны батарейки). Когда видов товаров тоже много, решить задачу помогает модель Word2Vec. Разбираемся, как она работает и как создавать векторные представления для произвольных объектов.

Это шестая подборка советов про Python и программирование из моего авторского канала @pythonetc.

Предыдущие подборки:

• Октябрь 2018
• Сентябрь 2018
• Август 2018
• Июль 2018
• Июнь 2018

Есть 100500 способов и инструментов создать простого serverless чат-бота для телеграм. А наш все-равно будет проще, хотя бы по числу кликов в интерфейсе. Сам бот будет написан на Python, а выполнятся будет на serverless движке Swifty.

Уотсон — о Холмсе:
Его невежество было не менее поразительным, чем его эрудиция. О современной литературе, философии и политике он, по-видимому, не знал почти ничего.… Однако мое изумление достигло апогея, когда я случайно обнаружил, что он не знаком с теорией Коперника и не представляет себе, как устроена Солнечная система.… «Но не знать о Солнечной системе!» — возразил я. «Да на кой черт она мне сдалась?» — нетерпеливо перебил он. «Вы говорите, что мы вертимся вокруг Солнца. Но если бы мы вертелись вокруг Луны, это ровным счетом ничего не изменило бы ни для меня, ни для моей работы.»
Сэр Артур Конан Дойл, «Этюд в багровых тонах»

Доктор Уотсон (или, по-нашински, Ватсон) искренне удивлялся тому, как великий сыщик Шерлок Холмс не интересовался ничем, кроме своей работы. После того, как Холмс без всякого зазрения совести сообщил, что в гробу видал Коперника с его гелиоцентрической системой мира, поражённый Ватсон опустошённым опустился в кресло и в раздумьях накатал список того, в чём Холмс более-менее разбирается. Список выглядел следующим образом:

Вместо предисловия

Допустим, сидя вечерком в теплом кресле вам вдруг пришла в голову шальная мысль: «Хм, а почему бы мне вместо случайного подбора гиперпараметров модели не узнать, а почему оно всё работает?»

Сложность и срочность вопросов, стоящих перед лицом человечества, растут гораздо быстрее, чем наши способности совместного их понимания и решения. Это очень опасная проблема, но есть стратегические действия, которые мы можем предпринять, коллективно.

Введем «коллективный IQ» как показатель способности сообщества решать сложные вопросы: точно их понимать, выявлять наилучшие варианты решений, оценивать ресурсы и оперативные возможности, выбирать подходящее решение, эффективно организовывать и контролировать его исполнение, быстро и точно справляться с непредвиденными затруднениями.

Я утверждаю, что стратегия «содействия эволюции» коллективного IQ наших сообществ и есть наилучшая стратегия.

Гипертекст будет иметь принципиальное значение, а SIGWeb должна быть лидером.

«Коллективный IQ» – это сборка коллективных способностей из основных способностей человека, таких как ощущение, восприятие, познание, движение и т.д.

В конце года «Лаборатория Касперского» выпускает традиционный набор отчетов, подводя итоги уходящего года и прогнозируя развитие киберугроз на следующий. Сегодня — краткая выжимка из документов, полные версии которых можно почитать по ссылкам:

• Важные события 2018 года
• Статистика за 2018 год
• Прогноз развития киберугроз в 2019 году

Выделим основные темы: эволюция целевых атак, появление новых APT-группировок с достаточно простым (но действенным) вредоносным арсеналом; использование IoT и для таргетированных атак, и для массовых; снижение количества атак с целью майнинга криптовалют вслед за падением обменного курса. Направления развития киберугроз: сложные для обнаружения атаки на «железо» с получением максимально широкого доступа, эволюция фишинга с применением персональных данных жертв, попытки скомпрометировать систему защиты мобильных устройств.

Это — подкаст с теми, кто пишет, редактирует, снимает фото, видео и руководит созданием контента. Сегодня мы подготовили для вас текстовую версию пятого выпуска.

Его гость — Светлана Зыкова — главный редактор Rusbase — издания о технологиях и бизнесе. Мы говорим о карьере, рабочих инсайтах, «кухне» и новых проектах издания.

• аудиоплеер в Telegram
• подписаться в iTunes
• прослушать в веб-версии

Представьте себе инструмент, с помощью которого вы можете трансформировать любые данные в… любые данные.

Самый доступный пример — Изображения. Что если я хочу получить картинку определенного размера и поставить где-нибудь водяную марку (тоже определенного размера).

И вот один из примеров как это может выглядеть:



P.S.: Это обзорная статья, если будет интересно, дальше опишу подходы детальнее.