Pull to refresh
  • by relevance
  • by date
  • by rating

Google использует Deep learning для улучшения обнаружения вредоносных документов в Gmail

Spamming and anti-spamming Information Security *Machine learning *

Сотрудники Google рассказали о том, какие новые технологии внедряются в Gmail для защиты входящей почты от спама, попыток фишинга и вредоносных программ. По их заявлениям существующие модели машинного обучения высоко эффективны, и (в сочетании с другими средствами защиты) они помогают блокировать более 99,9% угроз, попадающих во входящие почтовые ящики Gmail.


Total votes 8: ↑8 and ↓0 +8
Views 1.9K
Comments 3

Google анонсировала Tensorflow Quantum

Big Data *Machine learning *Quantum technologies TensorFlow *


Сегодня в блоге Google AI Blog была анонсирована Tensorflow Quantum — библиотека с открытым исходным кодом для квантового машинного обучения.

TensorFlow Quantum (TFQ) был выпущен в сотрудничестве с Университетом Ватерлоо, X и Volkswagen. TFQ предоставляет инструменты, необходимые для объединения исследовательских сообществ в области квантовых вычислений и машинного обучения для контролирования и моделирования естественных или искусственных квантовых систем.
Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views 8.8K
Comments 6

Google: внедрение OpenCL вдвое ускорило механизм логического вывода в TensorFlow

High performance *Cloud computing *API *TensorFlow *
image

Google представила новый механизм логического вывода на мобильных ускорителях через OpenCL для своей платформы TensorFlow на Android. По словам представителей компании, он удвоит скорость вычислений по сравнению с существующим модулем на основе OpenGL при исполнении моделей ИИ «разумного размера».
Читать дальше →
Total votes 6: ↑6 and ↓0 +6
Views 2.4K
Comments 1

Apple представила форк TensorFlow для чипа M1

Development for MacOS *Machine learning *Software Artificial Intelligence TensorFlow *
image

Apple выпустила форк TensorFlow, среды разработки Google для искусственного интеллекта и машинного обучения, оптимизированную для компьютеров Mac Intel и Mac на новом чипе M1. Apple заявляет, что версия TensorFlow 2.4 на платформе ML Compute в macOS Big Sur позволяет разработчикам использовать ускоренное обучение процессоров и видеокарт на 8-ядерном CPU и 8-ядерном GPU M1.
Читать дальше →
Total votes 8: ↑7 and ↓1 +6
Views 5.5K
Comments 4

Глубокое обучение на Kotlin: вышла альфа-версия KotlinDL

JetBrains corporate blog Kotlin *

Всем привет!


На днях мы выпустили первую альфа-версию KotlinDL, фреймворка для глубокого обучения нейросетей, API которого мы старались сделать максимально похожим на Keras (фреймворк на Python поверх TensorFlow).


В KotlinDL вы найдете простые API как для описания, так и для тренировки нейронных сетей. За счет высокоуровневого API и аккуратно подобранных значений по умолчанию для множества параметров мы надеемся снизить порог входа в глубокое обучение на JVM. Вот так, например, выглядит тренировка и сохранение простой нейросети, написанной при помощи KotlinDL:

Читать дальше →
Total votes 17: ↑17 and ↓0 +17
Views 4.6K
Comments 4

Dice и Hired опубликовали ежегодную статистику самых высоких зарплат программистов в США

IT career Finance in IT

Сайты Hired и Vettery опубликовали совместный ежегодный отчет о зарплатах программистов в США. Платформы пришли к выводу, что в 2020 году технологическая отрасль оказалась очень устойчивой. Несмотря на экономический спад, зарплаты программистов в стране выросли. Отчет компаний составлен на основе данных от 10 тысяч компаний и 245 тысяч соискателей. Похожую статистику опубликовал портал Dice, основав свои выводы на опросе около 9 тыс. технических сотрудников.Миннеаполис.

Читать далее
Total votes 14: ↑13 and ↓1 +12
Views 6.3K
Comments 7

Обзор примера применения обучения с подкреплением с использованием TensorFlow

Programming *Algorithms *Mathematics *TensorFlow *
КПДВ. В Karpathy game играет нейронная сеть

Всем привет!
Я думаю, что многие слышали о Google DeepMind. О том как они обучают программы играть в игры Atari лучше человека. Сегодня я хочу представить вам статью о том, как сделать нечто подобное. Данная статья — это обзор идеи и кода примера применения Q-learning, являющегося частным случаем обучения с подкреплением. Пример основан на статье сотрудников Google DeepMind.
За подробностями добро пожаловать под кат
Total votes 22: ↑22 and ↓0 +22
Views 42K
Comments 15

TensorFlow и логистическая регрессия

Python *Data Mining *Big Data *Machine learning *TensorFlow *
Tutorial
После непродолжительной, но весьма кровавой войны мне все-таки удалось откомпилировать и собрать TensorFlow для GPU с CUDA capability=3.0. Теперь можно погрузиться в него основательно, потому что машинное обучение с GPU — это быстро, легко и приятно, а без GPU — порой лишь огромная потеря времени.

Попробуем запрограммировать самую простейшую логистическую регрессию.
Читать дальше →
Total votes 26: ↑23 and ↓3 +20
Views 17K
Comments 3

FizzBuzz на TensorFlow

Programming *Machine learning *TensorFlow *
Translation

интервьюер: Приветствую, хотите кофе или что-нибудь еще? Нужен перерыв?


я: Нет, кажется я уже выпил достаточно кофе!


интервьюер: Отлично, отлично. Как вы относитесь к написанию кода на доске?


я: Я только так код и пишу!


интервьюер: ...


я: Это была шутка.


интервьюер: OK, итак, вам знакома задача "fizz buzz"?


я: ...


интервьюер: Это было да или нет?


я: Это что-то вроде "Не могу поверить, что вы меня об этом спрашиваете."


интервьюер: OK, значит, нужно напечатать числа от 1 до 100, только если число делится нацело на 3, напечатать слово "fizz", если на 5 — "buzz", а если делится на 15, то — "fizzbuzz".


я: Я знаю эту задачу.


интервьюер: Отлично, кандидаты, которые не могут пройти эту задачу, у нас не сильно уживаются.


я: ...


интервьюер: Вот маркер и губка.


я: [задумался на пару минут]


интервьюер: Вам нужна помощь, чтобы начать?


я: Нет, нет, все в порядке. Итак, начнем с пары стандартных импортов:


import numpy as np
import tensorflow as tf

интервьюер: Эм, вы же правильно поняли проблему в fizzbuzz, верно?


я: Так точно. Давайте обсудим модели. Я думаю тут подойдет простой многослойный перцептрон с одним скрытым слоем.

Читать дальше →
Total votes 132: ↑123 and ↓9 +114
Views 51K
Comments 140

Hello, TensorFlow. Библиотека машинного обучения от Google

Python *Programming *Machine learning *TensorFlow *
Translation
Tutorial

tensorflow


Проект TensorFlow масштабнее, чем вам может показаться. Тот факт, что это библиотека для глубинного обучения, и его связь с Гуглом помогли проекту TensorFlow привлечь много внимания. Но если забыть про ажиотаж, некоторые его уникальные детали заслуживают более глубокого изучения:


  • Основная библиотека подходит для широкого семейства техник машинного обучения, а не только для глубинного обучения.
  • Линейная алгебра и другие внутренности хорошо видны снаружи.
  • В дополнение к основной функциональности машинного обучения, TensorFlow также включает собственную систему логирования, собственный интерактивный визуализатор логов и даже мощную архитектуру по доставке данных.
  • Модель исполнения TensorFlow отличается от scikit-learn языка Python и от большинства инструментов в R.

Все это круто, но TensorFlow может быть довольно сложным в понимании, особенно для того, кто только знакомится с машинным обучением.


Как работает TensorFlow? Давайте попробуем разобраться, посмотреть и понять, как работает каждая часть. Мы изучим граф движения данных, который определяет вычисления, через которые предстоит пройти вашим данным, поймем, как тренировать модели градиентным спуском с помощью TensorFlow, и как TensorBoard визуализирует работу с TensorFlow. Наши примеры не помогут решать настоящие проблемы машинного обучения промышленного уровня, но они помогут понять компоненты, которые лежат в основе всего, что создано на TensorFlow, в том числе того, что вы напишите в будущем!

Читать дальше →
Total votes 71: ↑68 and ↓3 +65
Views 210K
Comments 12

Как подружить Tensorflow и C++

C++ *Algorithms *Machine learning *Robotics development *TensorFlow *
Tutorial

Google TensorFlow — набирающая популярность библиотека машинного обучения с акцентом на нейросетях. У нее есть одна замечательная особенность, она умеет работать не только в программах на Python, а также и в программах на C++. Однако, как оказалось, в случае С++ нужно немного повозиться, чтобы правильно приготовить это блюдо. Конечно, основная часть разработчиков и исследователей, которые используют TensorFlow работают в Python. Однако, иногда бывает необходимо отказаться от этой схемы. Например вы натренировали вашу модель и хотите ее использовать в мобильном приложении или роботе. А может вы хотите интегрировать TensorFlow в существующий проект на С++. Если вам интересно как это сделать, добро пожаловать под кат.
Читать дальше →
Total votes 22: ↑22 and ↓0 +22
Views 35K
Comments 17

Deep Learning: Сравнение фреймворков для символьного глубокого обучения

Microsoft corporate blog Python *Algorithms *Machine learning *
Translation
Представляем вам перевод серии статей посвященных глубокому обучению. В первой части описан выбор фреймворка с отрытым кодом для символьного глубокого обучения, между MXNET, TensorFlow, Theano. Автор подробно сравнивает преимущества и недостатки каждого из них. В следующих частях вы узнаете о тонкой настройке глубоких сверточных сетей, а также о сочетании глубокой сверточной нейронной сети с рекуррентной нейронной сетью.


Читать дальше →
Total votes 28: ↑26 and ↓2 +24
Views 28K
Comments 12

Тензорные разложения и их применения. Лекция в Яндексе

Яндекс corporate blog Abnormal programming *Algorithms *Mathematics *
Предыдущая лекция с Data Fest была посвящена алгоритмам, необходимым для построения нового вида поиска. Сегодняшний доклад тоже в некотором смысле про разные алгоритмы, а точнее про математику, лежащую в основе множества из них. О матричных разложениях зрителям рассказал доктор наук и руководитель группы вычислительных методов «Сколтеха» Иван Оселедец.


Под катом — расшифровка и большинство слайдов.

Total votes 49: ↑48 and ↓1 +47
Views 28K
Comments 6

Поиск звуковых аномалий

Machine learning *

Попробуем решить задачу поиска аномалий в звуке.
Микрофоны, на данное время, представляют из себя одни из самых распространенных универсальных детекторов. Они маленькие, дешевые, надежные. И они по-умолчанию присутствуют в сотовых телефонах. Их можно использовать практически везде. Поэтому задача обработки звука, не только речи, стоит перед нами прямо сейчас. Это классический пример Low hanging fruit — "низко висящего фрукта". :)


Примеры аномалий звука:


  • Неисправности в работе двигателя.
  • Изменения в погоде: дождь, град, ветер.
  • Аномалии работа сердца, желудка, суставов.
  • Необычный трафик на дороге.
  • Неисправности колесных пар у поезда.
  • Неисправности при посадке и взлете самолета.
  • Аномалии движения жидкости в трубе, в канале.
  • Аномалии движения воздуха в системах кондиционирования, на крыле самолета.
  • Неисправности автомобиля, велосипеда.
  • Неисправности станка, оборудования.
  • Расстроенный музыкальный инструмент.
  • Неправильно взятые ноты песни.
  • Эхолокация кораблей и подводных лодок.
Читать дальше →
Total votes 19: ↑16 and ↓3 +13
Views 7.5K
Comments 2

Приглашаем на DevFest Владивосток

Website development *Development for Android *Google API *Go *Machine learning *
Если вы будете во Владивостоке 3 декабря — приходите на конференцию для разработчиков DevFest!

У нас будут доклады и мастер-классы по Android, машинному обучению, web разработке, Kubernetes и Go; Интересные железяки — Google Home, Android TV, Cardboard, Tango.

Конференция проводится GDG Владивосток при поддержке Google.

Участие бесплатное. Почитать подробней и зарегистрироваться можно на сайте.
Total votes 9: ↑7 and ↓2 +5
Views 1.6K
Comments 4

Синтаксический анализ текстов с помощью SyntaxNet

PHP *Python *Programming *Algorithms *Machine learning *
Для одной из задач мне понадобился синтаксический анализатор русскоязычных текстов. Что это такое. Например, у нас есть предложение «Мама мыла раму». Нам нужно получить связи слов в этом предложении в виде дерева:

image

Из этого дерева понятно, что связаны слова «мама» и «мыла», а также «мыла» и «раму», а слова «мама» и «раму» напрямую не связаны.

Статья будет полезна тем, кому понадобился синтаксический анализатор, но не понятно, с чего начать.

Я занимался этой темой несколько месяцев назад, и на тот момент нашел не много информации по поводу того, где бы взять готовый и желательно свободный анализатор.
Читать дальше →
Total votes 29: ↑29 and ↓0 +29
Views 34K
Comments 22

Chatbot на базе рекуррентной нейронной сети своими руками за 1 вечер/6$ и ~ 100 строчек кода

Data Mining *
Translation
Tutorial
В данной статье я хочу показать насколько просто сегодня использовать нейронные сети. Вокруг меня довольно много людей одержимы идеей того, что нейронки может использовать только исследователь. И что бы получить хоть какой то выхлоп, нужно иметь как минимуму кандидатскую степень. А давайте на реальном примере посмотрим как оно на самом деле, взять и с нуля за один вечер обучить chatbot. Да еще не просто абы чем а самым что нинаесть ламповым TensorFlow. При этом я постарался описать все настолько просто, что-бы он был понятен даже начинающему программисту! В путь!

image
Читать дальше →
Total votes 57: ↑54 and ↓3 +51
Views 88K
Comments 26

Тренируем нейронную сеть написанную на TensorFlow в облаке, с помощью Google Cloud ML и Cloud Shell

Data Mining *
Translation
Tutorial
В предыдущей статье мы обсудили как натренировать чат-бот на базе рекуррентной нейронной сети на AWS GPU инстансе. Сегодня мы увидим, как легко можно обучить такую же сеть с помощью Google Cloud ML и Google Cloud Shell. Благодаря Google Cloud Shell не нужно будет делать практически ничего на локальном компьютере! Кстати, сеть из прошлой статьи мы взяли лишь для примера, можно спокойно брать любую другую сеть, которая использует TensorFlow.

image
Читать дальше →
Total votes 8: ↑8 and ↓0 +8
Views 21K
Comments 9

Нейросетка играет в Доту

Programming *C++ *Algorithms *Machine learning *Robotics development *


Всем привет! На самом деле нейросетка играет не в привычную Dota 2, а в RussianAICup 2016 CodeWizards. RussianAICup — это ежегодное открытое соревнование по программированию искусственного интеллекта. Участвовать в этом соревновании довольно интересно. В этом году темой была игра похожая на Доту. Так как я уже какое-то время занимаюсь обучением с подкреплением, то мне хотелось попробовать применить это в RussianAICup. Главной целью было научить нейронную сеть играть в эту игру, хотя занятие призового места — это, конечно, было бы приятно. В итоге нейросеть держится в районе 700 места. Что, я считаю, неплохо, ввиду ограничений соревнования. В этой статье речь пойдет скорее об обучении с подкреплением и алгоритмах DDPG и DQN, а не о самом соревновании.
Но обо всем по-порядку
Total votes 46: ↑44 and ↓2 +42
Views 35K
Comments 63