Pull to refresh
7
0
Маслов Александр @drakmail

SRE

Send message

Яндекс.Толока. Как люди помогают обучать машинный интеллект

Reading time10 min
Views101K
Вот уже полтора года в Яндексе для совершенствования поисковых алгоритмов и технологий машинного интеллекта применяется платформа Толока. Может показаться удивительным, но все современные технологии машинного обучения в той или иной степени нуждаются в человеческих оценках.

Люди оценивают релевантность эталонных документов поисковым запросам, чтобы на них ориентировались формулы ранжирования в поиске; люди переписывают аудиозаписи в текст, чтобы на этих данных настроился алгоритм голосового распознавания; люди размечают изображения по категориям, чтобы, натренировавшись на этих примерах, нейронная сеть дальше делала это без людей и лучше людей.



Все это можно делать в Толоке, которая является краудсорсинговой платформой и помогает найти тех, кто решит вашу задачу. Сегодня она переходит в статус беты и отныне открыта для всех внешних заказчиков. Так что пришло время рассказать вам подробно о самой платформе и о том, с какими неожиданными сложностями мы сталкивались в процессе работы над ней, поделимся своими наблюдениями и объясним, как Толока может помочь именно вам.
Читать дальше →

Hello, TensorFlow. Библиотека машинного обучения от Google

Reading time11 min
Views229K

tensorflow


Проект TensorFlow масштабнее, чем вам может показаться. Тот факт, что это библиотека для глубинного обучения, и его связь с Гуглом помогли проекту TensorFlow привлечь много внимания. Но если забыть про ажиотаж, некоторые его уникальные детали заслуживают более глубокого изучения:


  • Основная библиотека подходит для широкого семейства техник машинного обучения, а не только для глубинного обучения.
  • Линейная алгебра и другие внутренности хорошо видны снаружи.
  • В дополнение к основной функциональности машинного обучения, TensorFlow также включает собственную систему логирования, собственный интерактивный визуализатор логов и даже мощную архитектуру по доставке данных.
  • Модель исполнения TensorFlow отличается от scikit-learn языка Python и от большинства инструментов в R.

Все это круто, но TensorFlow может быть довольно сложным в понимании, особенно для того, кто только знакомится с машинным обучением.


Как работает TensorFlow? Давайте попробуем разобраться, посмотреть и понять, как работает каждая часть. Мы изучим граф движения данных, который определяет вычисления, через которые предстоит пройти вашим данным, поймем, как тренировать модели градиентным спуском с помощью TensorFlow, и как TensorBoard визуализирует работу с TensorFlow. Наши примеры не помогут решать настоящие проблемы машинного обучения промышленного уровня, но они помогут понять компоненты, которые лежат в основе всего, что создано на TensorFlow, в том числе того, что вы напишите в будущем!

Читать дальше →

D3.js. Визуализация графов

Reading time13 min
Views60K
D3.js — это библиотека JavaScript для управления документами, в основе которых лежат данные. D3 помогает претворить данные в жизнь, используя HTML, SVG и CSS. D3 позволяет привязывать произвольные данные к DOM, и затем применять результаты манипуляций с ними к документу.

Для понимания статьи пригодится знание основ D3, и в ней мы рассмотрим реализацию алгоритмов визуализации графа на основе сил (Force-directed graph drawing algorithms), которая в D3 (version 3) имеет название Force Layout. Это класс алгоритмов визуализации графов, которые вычисляют позицию каждого узла, моделируя силу притяжения между каждой парой связанных узлов, а также отталкивающую силу между узлами.

image
Читать дальше →

Как отличить товарный знак от торговой марки

Reading time7 min
Views37K
Обратная связь – это прекрасно. Пишешь статью про одно, а тебя в комментах сразу просят рассказать про другое и третье. Такая штука случилась и с товарными знаками.
Эта тема плотно переплетается сразу с несколькими областями нашей с вами жизни и работы: дизайн, реклама и юриспруденция. Последняя, пожалуй, переплетается совершенно с любой тематикой, только не все об этом задумываются. Мы рассмотрим товарный знак (логотип, бренд, торговую марку) со своей, юридической колокольни.

Читать дальше →

Руководство по работе с Redux

Reading time80 min
Views286K
Сегодня Redux — это одно из наиболее интересных явлений мира JavaScript. Он выделяется из сотни библиотек и фреймворков тем, что грамотно решает множество разных вопросов путем введения простой и предсказуемой модели состояний, уклоне на функциональное программирование и неизменяемые данные, предоставления компактного API. Что ещё нужно для счастья? Redux — библиотека очень маленькая, и выучить её API не сложно. Но у многих людей происходит своеобразный разрыв шаблона — небольшое количество компонентов и добровольные ограничения чистых функций и неизменяемых данных могут показаться неоправданным принуждением. Каким именно образом работать в таких условиях?

В этом руководстве мы рассмотрим создание с нуля full-stack приложения с использованием Redux и Immutable-js. Применив подход TDD, пройдём все этапы конструирования Node+Redux бэкенда и React+Redux фронтенда приложения. Помимо этого мы будем использовать такие инструменты, как ES6, Babel, Socket.io, Webpack и Mocha. Набор весьма любопытный, и вы мигом его освоите!
Читать дальше →

Зачётные ошибки в документах контрагентов-физиков и фрилансеров

Reading time8 min
Views31K

Мы всегда хотели мобильный офис. Как в анекдоте – люди не падают с той стороны Земли только потому, что они прикреплены к поликлиникам. Мы намертво прикреплены к колл-центру, и это, по сути, единственный объект, который мешает упразднить офис вообще. Из-за этого в какой-то момент у меня началась просто феерия с договорами с физлицами. Кажется, в первые два месяца все допуски накопились однонаправленно.

Например, вот ситуация: наш контрагент когда-то был гражданином Казахстана, и у него было отчество. В этот момент русский банк открыл ему счёт. Потом он сменил паспорт на русский, и отчество у него пропало. Вообще. Просто стал человек без отчества. В итоге мы сначала пытались это расчухать (бухгалтерия не пропускала документ, видя явный косяк в неполном ФИО), а потом, когда разобрались, банк ещё и отменил первый перевод – потому что у них-то человек с отчеством, а мы шлём на такого же, но без отчества. И без вариантов. Счёт ему в итоге пришлось открывать в другом банке.
Читать дальше →

Поиск работы за рубежом: дайджест полезных материалов для потенциальных ИТ-экспатов

Reading time4 min
Views59K


Вопрос о поиске работы за границей при нынешней нестабильной экономической ситуации в России стоит перед многими ИТ-специалистами довольно остро. Недавний опрос мэрии Иннополиса и рекрутингового портала HeadHunter показал, что около 13% российских ИТ-спецалистов готовы стать «трудовыми мигрантами». Но так ли просто найти работу за рубежом и настолько ли «там» все лучше, чем «здесь» — чтобы с этим разобраться я изучил много интересных материалов. Свое мнение афишировать не буду, лучше поделюсь полезным дайджестом материалов о поиске работы в разных странах и решения возникающих по ходу дела задач и вопросов.
Читать дальше →

15 идей сделать ваш контент более интересным

Reading time5 min
Views11K
image

Вдохновение закончилось.
Это конец. Вся ваша креативность испарилась, будто, и не было ее…
Работа над контент маркетингом двигалась своим чередом, но вот все идеи закончились, и читать эту скукотищу стало просто невозможно.
Все те материалы, которые были интересны пользователям, вызывали в них яркие эмоции, теперь стали безликим блоком текста.
Что же делать?
Читать дальше →

Рецензия на книгу Джека и Сюзи Уэлч «Вместо MBA»

Reading time2 min
Views12K
image
The Real-Life MBA — так называется эта книга в оригинале. И с этим не поспоришь.
Легендарный экс-CEO General Electric, Джек Уэлч, который знает о бизнесе всё, что только можно, и его жена, бывший главный редактор Harvard Business Review, которая отлично умеет писать о бизнесе, на двухстах с лишним страницах уместили столько полезных знаний, сколько некоторые не получают за два года MBA.
Читать дальше →

Людям с высоким IQ не нужно много друзей для счастья

Reading time3 min
Views63K
Интересное исследование опубликовано в Британском журнале психологии. Авторы научной работы — эволюционные психологи Сатоси Каназава из Лондонской школы экономики и Норман Ли из Сингапурского университета менеджмента — попытались определить, какие факторы влияют на субъективное ощущение счастья современного человека. Они провели анализ данных опроса более 15 000 американцев от 18 до 28 лет, чтобы определить, как влияют плотность населения, количество друзей и интеллект на счастье. Некоторые результаты можно назвать довольно неожиданными, хотя для специалистов они не стали откровением (см. ниже).
Читать дальше →

Как я WEB-студию в П.Р.О.Д.Ц. модель засунул…

Reading time4 min
Views7.5K


Привет Мегамозг, не пойми меня превратно,
расшифровка П.Р.О.Д.Ц. аббревиатуры тут:

  • Продукт — это ваш товар или услуга, которую вы предлагаете на рынке. Продукт может быть простым, умеренно сложным или сложным. Качество сложного продукта сложно доказать потому что не все разбираются в мелочах.
  • Решительность — это время, которое ваш клиент будет думать покупать ему ваш продукт или нет, или же покупать ваш продукт у вас или нет.
  • Охват — это по сути ваше количество попыток продать. А еще это охват аудитории рынка (объем рынка), аудитория бывает со сформированным спросом, которая может сделать покупку сегодня и та, которая могла бы купить продукт в принципе.
  • Доверие — это вы и ваша ответственность за качество продукта. Потенциальному клиенту всегда важно, чтобы за его деньги вы в какой-то мере отвечали за качество продукта.
  • Цена — один из важнейших факторов в принятии решения. Уменьшая размер цены или ее значимость вы гарантированно увеличиваете лояльность потребителя.



Читать дальше →

Сделай сам: SQL JOIN на Java

Reading time7 min
Views85K
Я часто собеседую разработчиков и часто задаю им простой, как кувалда, вопрос — как внутри работает JOIN в SQL? В ответ я обычно слышу бессвязное мычание про волшебные деревья и индексы, которые быстрее. Когда-то мне казалось, что каждый программист специалист должен знать то, с чем работает. Впоследствии жизнь объяснила мне, что это не так. Но мне все еще не понятно, как можно годами теребить базёнку, даже не догадываясь, а что там у нее «под капотом»?

Давайте проведем ликбез и вместе посмотрим, как же работают эти джойны, и даже сами реализуем парочку алгоритмов.

SQL JOIN
Читать дальше →

Зачем нужна теория вероятностей в жизни

Reading time2 min
Views26K
Именно под таким названием мы и провели вебинар — «Зачем нужна теория вероятностей в жизни».

В вебинаре мы не касались «жёлтых» тем типа "как выигрывать у казино" и "100% способ получить миллион без регистрации и SMS".

Наоборот, были затронуты более серьёзные. Вот сам вебинар:



Например, в индустрии статистики больше денег, чем в торговле оружием, наркотиками и людьми вместе взятыми. Один малоизвестный английский учёный в 18 веке использовал статистику длительностей жизни (так называемые актуарные таблицы, составленные ещё Галлеем, который ещё и комету Галлея открыл) и основал бизнес, который сейчас стал целой индустрией, бизнесом №1 в мире. И вы тоже в нём участвуете каждый день, сознательно или нет, например, когда едете на работу.

Идея похожего математического аппарата используется в Индии: можно купить билетик у мафии и кататься в общественном транспорте бесплатно, а полученные вами штрафы оплатит мафия. Называется «хафта» и выгодно вам и мафии, но не государству.
Читать дальше →

Объясняя необъяснимое. Часть 2

Reading time8 min
Views83K
Регистрация на конференцию PG Day’16 в разгаре, а мы продолжаем публиковать перевод статей Hubert Lubaczewski об explain и его основных компонентах.

В прошлый раз я писал о том, что показывает вывод explain. Теперь я хочу больше поговорить о разных типах «узлов» / операций, которые вы можете встретить в планах explain.

Читать дальше →

Word2Vec: классификация текстовых документов

Reading time5 min
Views28K
Известная утилита дистрибутивной семантики Word2Vec демонстрирует удивительные результаты и стабильно обеспечивает использующих её специалистов призовыми местами на конкурсах машинной лингвистики. Преимущество утилиты, как впрочем, и её аналогов – Glove и AdaGram, состоит в дешевизне процесса обучения и подготовки обучающих текстов. Но есть и недостатки – представление слов в виде векторов хорошо работает на словах, удовлетворительно на словосочетаниях, так-себе на фразах и вообще никак – на длинных текстах.

В данной статье предлагается к обсуждению подход, позволяющий представить текст любой длины в виде вектора, позволяющий проводить с текстами операции сравнения (вычисления дистанции), сложения и вычитания.
Читать дальше →

43 полезных сервиса для управления проектами. Без эпитетов

Reading time13 min
Views694K
Дано: собственные и аутсорс-проекты, некоторые участники работают удаленно.

Требуется: необходимо быстро назначать задачи исполнителям, планировать спринты, трекать выполнение и статусы, визуализировать процессы и делиться результатами с заказчиками.

Выбирая для себя сервисы, с помощью которых мы могли бы работать над проектами в несколько раз эффективнее, у нас сложился целый список различных сервисов таск- и тайм-менеджмента, для управления и планирования проектов, командной работы, построения онлайн диаграмм и т.д.

Изначально сервисов было более 100, но постепенно список сокращался, и мы остановили наш выбор на трех, удовлетворяющих вместе наши нужды лучше всего: Jira, Slack и GanttPro. Но, если вдруг эти сервисы не помогут вам в планировании задач и работы с командой, делюсь с вами полным списком:

Процесс поиска очень часто усложняется тем, что все сервисы, как один, пишут «Лучший сервис, помогающий превратить ваши идеи в реальность и реализовать ваши проекты. Сегодня.». Так, а что вы делаете-то? Поэтому в этом списке без лишних эпитетов, только что какой сервис умеет. :)




Читать дальше →

Создание архитектуры программы или как проектировать табуретку

Reading time25 min
Views709K
Взявшись за написание небольшого, но реального и растущего проекта, мы «на собственной шкуре» убедились, насколько важно то, чтобы программа не только хорошо работала, но и была хорошо организована. Не верьте, что продуманная архитектура нужна только большим проектам (просто для больших проектов «смертельность» отсутствия архитектуры очевидна). Сложность, как правило, растет гораздо быстрее размеров программы. И если не позаботиться об этом заранее, то довольно быстро наступает момент, когда ты перестаешь ее контролировать. Правильная архитектура экономит очень много сил, времени и денег. А нередко вообще определяет то, выживет ваш проект или нет. И даже если речь идет всего лишь о «построении табуретки» все равно вначале очень полезно ее спроектировать.

К моему удивлению оказалось, что на вроде бы актуальный вопрос: «Как построить хорошую/красивую архитектуру ПО?» — не так легко найти ответ. Не смотря на то, что есть много книг и статей, посвященных и шаблонам проектирования и принципам проектирования, например, принципам SOLID (кратко описаны тут, подробно и с примерами можно посмотреть тут, тут и тут) и тому, как правильно оформлять код, все равно оставалось чувство, что чего-то важного не хватает. Это было похоже на то, как если бы вам дали множество замечательных и полезных инструментов, но забыли главное — объяснить, а как же «проектировать табуретку».

Хотелось разобраться, что вообще в себя включает процесс создания архитектуры программы, какие задачи при этом решаются, какие критерии используются (чтобы правила и принципы перестали быть всего лишь догмами, а стали бы понятны их логика и назначение). Тогда будет понятнее и какие инструменты лучше использовать в том или ином случае.

Данная статья является попыткой ответить на эти вопросы хотя бы в первом приближении.
Читать дальше →

200 ТОП CPA сетей для продвижения продуктов

Reading time4 min
Views90K


Довольно часто возникает вопрос, где, как и какими средствами продвигать свои продукты и решения. Одним из решений данной проблемы выступают CPA сети. CPA — Cost Per Action (англ. цена за действие) — модель оплаты интернет-рекламы, при которой оплачиваются только определенные действия пользователей на сайте рекламодателя.

CPA-модель является одним из самых экономически эффективных вариантов оплаты рекламы, поскольку рекламодатель платит не за показы или клики, эффективность которых крайне сложно измерить, а за конкретных потребителей, подтвердивших интерес к продукту целевыми действиями.

Поскольку, на данный момент, таких сетей довольно много, возникает закономерный вопрос, как правильно подобрать CPA сети в России, Украине, или как оценить зарубежные CPA сети для максимальной отдачи. Задавшись данной цель и была собрана подборка из 200 сетей. Приятного изучения!

P.S. Большое спасибо компаниям HotTelecom, Freeje и Telnum за помощь в создании данной статьи. Отдельная благодарность Дмитрию Булгакову, за терпение и настойчивость.
Читать дальше →

Набор для превращения любой квартиры в «умный дом»

Reading time8 min
Views56K
В прошлом году компания REDMOND выпустила первую в мире линейку «умных» бытовых электроприборов Ready for Sky. Чайник, мультиварка, конвектор и даже утюг — всеми ими можно управлять удалённо, что обеспечивает новые степени удобства, свободы, экономии и безопасности. Интерес публики к смарт-решениям оказался довольно высоким, правда, на пути всех решений из области «Интернета вещей» (IoT) сегодня стоит один серьёзный барьер: экономический. То есть пользователь, в принципе, был бы не против иметь дома «умные» приборы. Но дело даже не в том, что они дороже обычных — как раз устройства REDMOND Smart Home стоят столько же, сколько аналогичные приборы того же класса, но без смарт-функций. Дело в том, что бытовые приборы относятся к товарам долговременного пользования, и, грубо говоря, если у человека уже есть хороший чайник, утюг или обогреватель, он не побежит покупать новый только потому, что тот «умный» — скорее замена произойдет только в конце жизненного цикла старого устройства.


Читать дальше →

Конец эры глобального CSS

Reading time6 min
Views62K
Все CSS-селекторы живут в глобальной области видимости.

Каждому, кто когда-либо имел дело с CSS, приходилось мириться с этой глобальной особенностью. Модель, некогда созданную для стилизации академических документов, сейчас едва ли можно назвать удобным инструментом для создания современных веб-приложений.

Абсолютно каждый селектор потенциально может вступить в борьбу с другим селектором или стилизовать «посторонний» элемент. В этой «глобальной» борьбе селектор может даже полностью проиграть, в итоге не применив к странице ни одного из своих правил.

Каждый раз модифицируя css-файл, необходимо хорошо подумать о глобальной среде, в которой будут существовать наши стили. Ни одна другая технология веб-разработки не требует столько усилий только для того, чтобы обеспечить коду минимальный уровень поддерживаемости.

Так не должно быть. Пора оставить позади эру глобальных стилей. Наступило время закрытого CSS.
Читать дальше →

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Date of birth
Registered
Activity