Pull to refresh
57
Karma
0
Rating
Viacheslav Kovalevskyi @b0noII

Google Cloud / DeepLearning

Новые Google Compute Engine образы VM для Deep Learning

Cloud computing *Machine learning *Google Cloud Platform *Cloud services *Artificial Intelligence
Translation

Cоавтор статьи: Mike Cheng


Google Cloud Platform теперь в своем портфолио имеет образы виртуальных машин, разработанные специально для тех, кто занимается Deep Learning. Сегодня мы поговорим о том что эти образы из себя представляют, какие преимущества они дают разработчикам и исследователям, ну и само собой о том, как создать виртуальную машину на их базе.

Читать дальше →
Total votes 9: ↑9 and ↓0 +9
Views 5.4K
Comments 0

Учебный фреймворк на Java по глубокому обучению

Java *Machine learning *

Недавно мы выпустили первую версию нового фреймворка по глубокому обучению DeepJava (DJ) 0.01.


Основная цель фреймворка, по крайней мере, на текущий момент, чисто учебная. Мы строим шаг за шагом фреймворк, у которого:


  • будет понятная кодовая база
  • будет набор бранчей, по которым можно шаг за шагом проследить процесс создания и понять, почему были сделаны те или иные изменения
Читать дальше →
Total votes 10: ↑9 and ↓1 +8
Views 6.6K
Comments 3

Распределенное обучение нейронных сетей с MXNet. Часть 1

Algorithms *Amazon Web Services *Big Data *Machine learning *
Translation

Сегодня мы дадим ответ на простой вопрос: "Как работает распределённое обучение (в контексте MXNet)?"


Все примеры кода протестированные на MXNet v0.10.0 и могут не работать (или работать по-другому) в других версиях, однако полагаю, что общие концепции будут неизменимы еще долго.


Ну и последнее перед тем, как мы перейдем к основной части, я хочу выразить благодарность за помощь в написании статьи моим коллегам, без которых эта статья не была бы возможной:


  • Madan Jampani;
  • Suneel Marthi;

Еще хотел бы порекомендовать поднять машинку с DLAMI и выполнить все примеры из статьи самостоятельно, тем более, что они достаточно простые. Для выполнения кода вполне себе подойдет бесплатная машинка на AWS.


С преамбулой окончено, лезем под кат...

Читать дальше →
Total votes 11: ↑7 and ↓4 +3
Views 9.8K
Comments 0

AWS DeepLearning AMI — почему (и как) его стоит использовать

Amazon Web Services *Machine learning *
Translation

Иногда хорошие вещи приходят бесплатно ...


Что такое AMI?


Для тех из вас, кто не знает, что такое AMI, позвольте мне процитировать официальную документацию по этому вопросу:


Amazon Machine Image (AMI) предоставляет данные, необходимые для запуска экземпляра виртуального сервера в облаке. Вы настраиваете AMI при запуске экземпляра, и вы можете запустить столько экземпляров из AMI, сколько вам нужно. Вы также можете запускать экземпляры виртуальных машин из множества различных AMI, сколько вам нужно.

Этого должно быть достаточно, чтобы понять остальную часть статьи, однако я бы посоветовал потратить некоторое время на официальную документацию об AMI.

Идем далее...
Total votes 12: ↑11 and ↓1 +10
Views 7.5K
Comments 0

Создание chatbot-a с помощью sockeye (MXNet) на базе AWS EC2 и AWS DeepLearning AMI

Amazon Web Services *Machine learning *
Tutorial
Translation
AWS AI Недавно, команда AWSDeepLearning выпустила новый фреймворк — “sockeye”, цель которого является упрощение обучения seq2seq сетей. Забегая вперед — я даже не ожидал такой простоты. Так что решил написать простое, быстрое и самодостаточное руководство, которое не требует от читателя глубоких знаний в области нейронных сетей. Единственное, что все же требуется для успешного выполнения всех шагов, это иметь некоторый опыт работы с:

  • AWS EC2;
  • SSH;
  • python;

Если все эти три вещи не вызывают проблем — прошу под кат.
Читать дальше →
Total votes 10: ↑9 and ↓1 +8
Views 5.4K
Comments 3

Знакомство с командой курсов стека Java на Hexlet

Хекслет corporate blog Programming *Java *
Привет, Хабраюзер. Мы давно хотели стать немного ближе к тебе. И сегодня столь длительно зреющая идея рассказать тебе более подробно о том: «кто и какие курсы Java стека на Хекслет делает» — воплотилась! Как думаю — стало понятно: мы расскажем Вам о курсах над которыми мы трудились последние пол года, включая самый последний курс который вот-вот начали записывать: Java для Web сервисов.


Читать дальше →
Total votes 13: ↑11 and ↓2 +9
Views 10K
Comments 1

“Nano-Framework” для автоматизации добавления скриптов в .{bash/zsh}rc

Shells *
Translation
Как часто приходилось видеть репозиторий с кастомным скриптом по установке своих скриптов .bashrc или .zshrc файлы? Я точно писал такой велосипед и не один раз, для репозиториев, где храню свои личные конфиги. Давайте эту проблему решать.


Читать дальше →
Total votes 9: ↑7 and ↓2 +5
Views 6.4K
Comments 15

Тренируем нейронную сеть написанную на TensorFlow в облаке, с помощью Google Cloud ML и Cloud Shell

Data Mining *
Tutorial
Translation
В предыдущей статье мы обсудили как натренировать чат-бот на базе рекуррентной нейронной сети на AWS GPU инстансе. Сегодня мы увидим, как легко можно обучить такую же сеть с помощью Google Cloud ML и Google Cloud Shell. Благодаря Google Cloud Shell не нужно будет делать практически ничего на локальном компьютере! Кстати, сеть из прошлой статьи мы взяли лишь для примера, можно спокойно брать любую другую сеть, которая использует TensorFlow.

image
Читать дальше →
Total votes 8: ↑8 and ↓0 +8
Views 23K
Comments 9

Chatbot на базе рекуррентной нейронной сети своими руками за 1 вечер/6$ и ~ 100 строчек кода

Data Mining *
Tutorial
Translation
В данной статье я хочу показать насколько просто сегодня использовать нейронные сети. Вокруг меня довольно много людей одержимы идеей того, что нейронки может использовать только исследователь. И что бы получить хоть какой то выхлоп, нужно иметь как минимуму кандидатскую степень. А давайте на реальном примере посмотрим как оно на самом деле, взять и с нуля за один вечер обучить chatbot. Да еще не просто абы чем а самым что нинаесть ламповым TensorFlow. При этом я постарался описать все настолько просто, что-бы он был понятен даже начинающему программисту! В путь!

image
Читать дальше →
Total votes 57: ↑54 and ↓3 +51
Views 97K
Comments 26

Как доводить до конца долгосрочные цели

GTD *
Данная статья является продолжением к самым важным советам по повышению продуктивности: «Личная продуктивность (только проверенные на себе подходы)».

В прошлых статьях мы говорили о том, как правильно поставить перед собой долгосрочные цели, — назовем это уровнем стратегии. Мы уже поговорили о том, как эффективно проводить микроменеджмент своих задач и доводить проект до конца. Назовём этот уровень тактическим. Сегодня я хочу рассказать о том, как правильно связать эти уровни между собой, чтобы то, что делается на тактическом уровне, связалось со стратегическим уровнем. Очень часто именно этот аспект подкашивает молодых адептов моих советов. Кажется продуктивность выросла и долгосрочные цели стоят правильные, но почему-то в конце квартала/года понимаешь, что сделано намного меньше, чем хотелось. Если вам это знакомо, то сегодня я расскажу почему так происходит и как с этим бороться.

Для примера я взял ОЧЕНЬ упрощенный кейс (личный давний опыт), который мне помог найти мою первую работу в большой международной компании на позиции Android-разработчик.

Данная статья подготовлена на базе нащего скринкста комманды Java Hexlet, выпуск №3. Посему, если вы слушали скринкаст, то можете смело проигнорировать статью.
Читать дальше →
Total votes 16: ↑10 and ↓6 +4
Views 13K
Comments 5

Какой бы совет я дал себе в начале своей карьеры программиста

GTD *
В прошлой статье я рассказывал о том, как можно повысить свою продуктивность в разы и освободить время для своих любимый занятий. В этот раз я хотел бы поговорить о более стратегических вещах. Как, делая правильный стратегический выбор, можно улучшить свой карьерный путь (в долгосрочной перспективе). Однажды меня спросили: «Какой бы я дал себе совет в начале своей карьеры?». Этот вопрос и стал началом данной статьи. А если Вам интересен ответ на него, то милости прошу под кат.

image

Читать дальше →
Total votes 12: ↑11 and ↓1 +10
Views 16K
Comments 6

Личная продуктивность (только проверенные на себе подходы)

GTD *
Доброго времени суток, дорогой Хабраюзверь. Буду краток. Немного метрик: за последние три года я увеличил свой доход в 10 раз и не превратился в дикого трудоголика, а скорее наоборот, стал больше путешествовать; при этом количество проектов, которые я успешно начал и довёл до конца, выросло втрое — я не говорю о чисто рабочих проектах, возможно Вам знакомы мои курсы по Java, которые я успешно продолжаю развивать в нерабочее время. Ключ ко всему этому состоит из трех частей:

  • эффективное управление качеством времени;
  • эффективный менеджмент ресурсов и проектов;
  • эффективное и постоянное самообучение.

В этом посту я затрону первый аспект (самый ключевой аспект). Никакой абстрактной теории, только личные кейсы, которые я наработал годами и обкатал на собственной шкуре, а главное все бесплатно, без смс и регистрации, на Мегамозге. Если статья понравится, тогда напишу и про другие аспекты.

image

Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views 22K
Comments 14

Почему мобильные веб-приложения такие медленные?

JavaScript *Development of mobile applications *
Translation


Добрый день. Наша команда, которая занимается созданием курсов Java на Hexlet, решила заняться переводом статей, которые нам показались очень интересными. Занявшись этим делом мы обнаружили, что на Хабре еще не пробегал перевод великолепнейшей статьи под названием: "Почему мобильные веб приложения такие медленные?". Именно перевод ее части мы и предлагаем Вашему вниманию сегодня. Статья весьма не нова и от того еще больше удивило, что на Хабре не встретили ее перевода, но представляется актуальной (в своих идеях) и по сей день, хотя, само собой, много бенчмарков устарели. Если Хабра-сообществу понравилось начало, то мы опубликуем и вторую часть, а также начнем публикацию переводов других статей, которые нам показались весьма интересными и не представленными на Хабре.
Читать дальше →
Total votes 26: ↑19 and ↓7 +12
Views 28K
Comments 46

Построение словаря текста на примере NLP библиотеки AIF

Java *Data Mining *
Так уж повелось, что каждый релиз лингво-независимой библиотеки обработки естественных текстов AIF сопровождается заметкой о том, что было сделано и как   все работает. Подобные тексты о предыдущих двух релизах Alpha1 и Alpha2 можно найти вот тут и тут. Не исключением из этого правила стал и текущей релиз Alpha3, в котором появилась возможность строить словарь токенов для входного текста. О том, как все работает под капотом и как это можно использовать в своём проекте и пойдёт сегодня речь.
Читать дальше →
Total votes 16: ↑14 and ↓2 +12
Views 7.5K
Comments 8

Разбитие текста на предложения лингво-независимым методом на примере библиотеки AIF

Java *Data Mining *Natural Language Processing *
В прошлой статье мы уже рассказывали о новой NLP библиотеке. Однако тогда мы рассказали «обовсем» и не о чем конкретном. Сегодня мы поговорим о теоретических аспектах разбития предложения на токены лингво-независимыми алгоритмами. Теоретические выкладки будут подкреплены практической реализацией в библиотеке AIF. Поехали…
Читать дальше →
Total votes 27: ↑23 and ↓4 +19
Views 14K
Comments 12

Новая языково-независимая NLP библиотека

Java *Data Mining *Natural Language Processing *

Введение


Каждый, кто пришел в этот мир, проходил через путь познания языка. При этом человек обучается языку отнюдь не по правилам или грамматике. Даже, более того, каждый человек, будучи еще ребенком, сначала учит такое странное явление как язык, а уже позднее, с возрастом, начинает учить его правила (в садике и школе). Это объясняет забавный факт, каждый, кто изучает иностранный язык в зрелом возрасте, когда он уже менее склонен к изучению новых языков, знает о предмете своего изучения больше, чем большинство носителей этого языка.

Это простое наблюдение дает возможность предполагать, что для понимания языка вовсе не нужно иметь знания о нем. Достаточно лишь эмпирии (опыта), который можно почерпнуть от окружающих. Но именно об этом забывают практически все современные НЛП библиотеки, пытаясь построить все-обемлящую языковую модель.

Для более четкого понимания представьте себя слепым и глухим. И, даже родись в таком состоянии, вы бы могли взаимодействовать с миром и освоить язык. Само собой, что ваше представление о мире было бы иным, нежели у всех вокруг. Но вы могли бы все таким же образом взаимодействовать с миром. Некому бы было объяснить Вам что происходит и что такое язык ив се же, как то, тактильно анализирую шрифт Брайля Вы бы понемного сдвинулись с мертвой точки.

А это значит, что для понимания сообщения на каком-либо языке нам не нужно ничего, кроме самого сообщения. При условии, что это сообщение достаточно большое. Именно эта идея и положена в основу библиотеки под названием AIF. За деталями прошу пожаловать под кат.
Читать дальше →
Total votes 26: ↑22 and ↓4 +18
Views 26K
Comments 15

Не пишите комментарии к коду!

Programming *

Вступление


Доброго времени суток, Хабражитель. Сразу хочу оговорится, что название не означает, что я буду призывать не писать комментарии никогда, любая крайность в этом мире скорее всего ущербна. Я лишь хочу сказать, что желание написать комментарий в каком-либо месте почти всегда свидетельствует о более важной проблеме в коде, разобравшись с которой необходимость в комментировании пропадет.

Перед началом еще хочу сказать, что примеры буду приводить с использованием Java, а небольшой отрывок кода (с маленьким дополнением) взят из проекта описанного тут.

Для понимания проблемы обратимся к Вики, а после перейдем к примерам:

Коммента́рии — пояснения к исходному тексту программы, находящиеся непосредственно внутри комментируемого кода.

Читать дальше →
Total votes 169: ↑97 and ↓72 +25
Views 66K
Comments 325

Открытый Java проект для тех, кто ищет первый опыт разработки

Studying in IT

Вступление


Доброго времени суток, жители Хабра. Так повелось, что я иногда занимаюсь подготовкой кадров для мира программистов. Пытался одно время, помимо очных курсов, записать несколько обучающих видео о Java для самых маленьких (http://java.b0noi.com), но даже треть не закнчил =(. Было решено не выходить за рамки офлайн курсов, однако одну из проблем еще предстояло решить. Как дать слушателям реальный опыт разработки? Еще хотелось бы не просто опыт командной разработки, но и то, что студенты могли бы включить в свое резюме, нечто публичное и, хоть немного, полезное.

Что хотелось бы видеть в проекте, с которым работают слушатели:
  • собственно Java с элементами Java EE;
  • maven;
  • git/mercurial;
  • continues integration system;
  • DB interaction;
  • JavaScript;
Читать дальше →
Total votes 28: ↑13 and ↓15 -2
Views 61K
Comments 20

Получение серификата Oracle Certified Java Professional Programmer и о сертификации в целом

Oracle *Java *
Добрый день жители хабра и остального мира. Эта статья является продолжением первого поста о сдаче экзамена Java Progammer I. Часть информации будет продублирована тут. Сегодня я хотел бы затронуть такие вопросы: image
  • зачем нужна сертификация;
  • какие виды сертификатов может получить инженер от Oracle;
  • что нужно знать или выучить, чтобы успешно сдать экзамены по Java Programmer I/II.

Читать дальше →
Total votes 10: ↑7 and ↓3 +4
Views 115K
Comments 8

Text Mining Framework (Java)

Semantics *Java *Data Mining *
Что это и для кого (вместо вступления)

В данной статье я бы хотел рассказать о небольших результатах своей научной деятельности в сфере Text Mining. Этими самыми «результатами» стал небольшой FrameWork, который, пока еще, и до либы то не очень дотягивает, но мы растем =). Данный проект — реализация на практике некоторых, разработанных мною, теоретических положений. Как следствие этого я представляю возможности, которыми он может потенциально обладать в конце внедрения всех идей. Названо сее творение: «Text Mining FrameWork»(TextMF). Давайте в кратце рассмотрим, что именно будет позволять TextMF в своей первой финальной версии и что работает уже сейчас.
Читать дальше →
Total votes 42: ↑37 and ↓5 +32
Views 30K
Comments 39
1

Information

Rating
Does not participate
Location
Mountain View, California, США
Date of birth
Registered
Activity