• Делаем нейронную сеть: как не сломать мозг

      Привет, Хабр!

      В этой небольшой заметке расскажу о двух подводных камнях, с которыми как легко столкнуться, так и легко о них разбиться.

      Речь пойдет о создании тривиальной нейронной сети на Keras, с помощью которой будем предсказывать среднее арифметическое двух чисел.

      Казалось бы, что может быть проще. И действительно, ничего сложного, но есть нюансы.

      Кому тема интересна, добро пожаловать под кат, здесь не будет долгих занудных описаний, просто короткий код и комментарии к нему.
      Читать дальше →
      • +14
      • 5,1k
      • 3
    • Морти, мы в UltraHD! Как посмотреть любой фильм в 4K, дорисовав его через малоизвестную нейросеть

        Наверное, вы слышали про технологию Яндекса DeepHD, с помощью которой они как-то раз улучшили качество советских мультфильмов. Увы, в публичном доступе ее еще нет, а у нас, рядовых программистов, вряд ли найдутся силы написать свое решение. Но лично мне, как обладателю Retina-дисплея (2880х1800), недавно очень захотелось посмотреть «Рика и Морти». Какого же было мое разочарование, когда я увидел, как мыльно на этом экране выглядит 1080р, в котором существуют оригиналы этого мультсериала! (это прекрасное качество и обычно его вполне достаточно, но поверьте, ретина так устроена, что анимация с ее четкими линиями в 1080р выглядит мыльновато, словно 480р на FHD-мониторе)

        Я твердо решил, что хочу увидеть этот мультсериал в 4К, хотя и совершенно не умею писать нейросети. Однако решение было найдено! Любопытно, что нам даже не придется писать код, понадобится лишь ~100 ГБ места на диске и немного терпения. А результат — четкое изображение в 4К, которые выглядит достойнее, чем любая интерполяция.

        image
        Читать дальше →
      • Много иероглифов – много нейросетей: как построить эффективную систему распознавания для большого числа классов?

          В прошлых статьях уже писали о том, как у нас устроены технологии распознавания текста:


          Примерно так же до 2018 года было устроено распознавание японских и китайских символов: в первую очередь с использованием растровых и признаковых классификаторов. Но с распознаванием иероглифов есть свои трудности:

          1. Огромное количество классов, которое нужно различать.
          2. Более сложное устройство символа в целом.

          image

          Сказать однозначно, сколько символов насчитывает китайская письменность, так же сложно, как точно посчитать, сколько слов в русском языке. Но наиболее часто в китайской письменности используются ~10 000 символов. Ими мы и ограничили число классов, используемых при распознавании.

          Обе описанные выше проблемы также приводят и к тому, что для достижения высокого качества приходится использовать большое количество признаков и сами эти признаки вычисляются на изображениях символов дольше.

          Чтобы эти проблемы не приводили к сильнейшим замедлениям во всей системе распознавания, приходилось использовать множество эвристик, в первую очередь направленных на то, чтобы быстро отсечь значительное количество иероглифов, на которые эта картинка точно не похожа. Это всё равно не до конца помогало, а нам хотелось вывести наши технологии на качественно новый уровень.

          Мы стали исследовать применимость свёрточных нейронных сетей, чтобы поднять как качество, так и скорость распознавания иероглифов. Хотелось заменить весь блок распознавания отдельного символа для этих языков с помощью нейронных сетей. В этой статье мы расскажем, как нам в итоге это удалось.
          Читать дальше →
        • Открытый курс «Deep Learning на пальцах»

            После 18-го февраля начнется открытый и бесплатный курс "Deep Learning на пальцах".


            Курс предназначен для того, чтобы разобраться с современным deep learning с нуля, и не требует знаний ни нейросетей, ни machine learning вообще. Лекции стримами на Youtube, задания на Питоне, обсуждения и помощь в лучших русскоязычных DS-сообществах — ODS.ai и ClosedCircles.


            После него вы не станете экспертом, но поймете про что все это, сможете применять DL на практике и будете способны разбираться дальше сами. Ну, в лучшем случае.


            Одновременно и в том же объеме курс будет читаться для магистрантов Новосибирского Государственного Университета, а также студентов CS центра Новосибирска.


            Выглядеть объяснение на пальцах будет примерно так:



            Главная ссылка — dlcourse.ai. Подробности ниже.

            Читать дальше →
          • Распознавание образов в эйдетическом искусственном интеллекте

            "[ Нейронная сеть нуждается] в 300 миллионах изображений кошек, чтобы научиться понимать, что есть кошка, корова или собака. Но интеллект не основывается на больших данных (Big data). Наоборот, он основан на «маленьких данных». Если вы можете смотреть на кошку, извлекать абстрактные принципы «кошки» так, как это делают дети, и далее уже всегда знать, что такое кошка – это и есть интеллект"

            Паскаль Кауфманн, швейцарский учёный, нейролог, основатель компании «Стармаинд».
            В самом деле, почему дети обучаются распознавать кошек быстрее и проще, чем это делают нейронные сети? Другими словами, какова принципиальная схема человеческого механизма распознавания образов?

            Давайте заглянем в этот процесс поглубже!
            Читать дальше →
          • Безопасность алгоритмов машинного обучения. Защита и тестирование моделей с использованием Python

              image


              В рамках предыдущей статьи мы рассказали про такую проблему машинного обучения, как Adversarial примеры и некоторые виды атак, которые позволяют их генерировать. В данной статье речь пойдет об алгоритмах защиты от такого рода эффекта и рекомендациях по тестированию моделей.

              Читать дальше →
            • AI пати в Siliconовой Долине: мэр, миллиардер, президенты, гении, разработчики процессоров и девушка с яркими волосами

                В прошлом году в российской и украинской прессе прошла волна статей о вечеринках в Кремниевой долине, с какой-то голливудской атмосферностью, но без указания конкретных имен, фотографий и без описания связанных с этими именами технологий разработки аппаратного и написания программного обеспечения. Эта статья — другая! В ней тоже будут миллиардеры, гении и девушки, но с фотографиями, слайдами, схемами и фрагментами программного кода. Итак:

                На днях мэр города Кэмпбелл, c русской фамилией Paul Resnikoff, разрезал ленточку при открытии нового офиса стартапа Wave Computing, который вместе с компанией Broadcom разрабатывает 7-нанометровый чип для ускорения вычислений нейросетей. Офис находится в здании исторической фруктово-консервной фабрики конца 19-начала 20 века, когда Кремниевая Долина представляла собой самый большой фруктовый сад в мире. Уже тогда в офисе занимались инновациями, вводили первые в абрикосово-сливовой индустрии электромоторы для конвейеров, за которыми трудились около 200 работников, в основном женщин.

                На последующей за разрезанием ленточки парти засветилось много известных в индустрии людей, в частности соратник Кернигана-Ричи и автор самого популярного C компилятора конца 70-х — начала 80-х годов Стивен Джонсон, один из авторов стандарта чисел с плавающей точкой Джероми Кунен, изобретатель концепции локальной шины и разработчик чипсетов первых PC AT Диосдадо Банатао, бывшие разработчики процессоров Sun, DEC, Cyrix, Intel, AMD и Silicon Graphics, чипов Qualcomm, Xilinx и Cypress, индустриальные аналитики, девушка с красными волосами и другие обитатели калифорнийских компаний такого типа.

                В конце поста мы поговорим, какие книжки нужно почитать и упражнения поделать, чтобы примкнуть к данному сообществу.



                Начнем с Джероми Кунена, инноватора арифметики с плавающей точкой и менеджера Apple времен первого Макинтоша.
                Читать дальше →
              • Искусственные нейронные сети выращивают навигационные клетки как в мозге

                • Перевод


                Наличие способности находить короткий путь, самый прямой из точки «А» в точку «Б» не выглядит сегодня впечатляющим тестом разумности. Тем не менее, согласно новому отчету, который был опубликован в журнале Nature некоторое время назад, в котором исследователи рассказали о своей навигационной системе искусственного интеллекта, способность исследовать сложные симулированные пространства и находить кратчайший маршрут к цели, ставит системы такого рода на один уровень с человеком и другими животными.
                Читать дальше →
                • +17
                • 5,1k
                • 1
              • Как мы создали рекомендательный сервис по подбору одежды на нейронных сетях

                image

                В этой статье я хочу рассказать о том, как мы создали систему поиска похожей одежды (точнее одежды, обуви и сумок) по фотографии. То есть, выражаясь бизнес-терминами, рекомендательный сервис на основе нейронных сетей.

                Как и большинство современных IT-решений, можно сравнить разработку нашей системы со сборкой конструктора Lego, когда мы берем много маленьких деталек, инструкцию и создаем из этого готовую модель. Вот такую инструкцию: какие детали взять и как их применить для того, чтобы ваша GPU смогла подбирать похожие товары по фотографии, — вы и найдете в этой статье.

                Из каких деталей построена наша система:

                • детектор и классификатор одежды, обуви и сумок на изображениях;
                • краулер, индексатор или модуль работы с электронными каталогами магазинов;
                • модуль поиска похожих изображений;
                • JSON-API для удобного взаимодействия с любым устройством и сервисом;
                • веб-интерфейс или мобильное приложение для просмотра результатов.

                В конце статьи будут описаны все “грабли”, на которые мы наступили во время разработки и рекомендации, как их нейтрализовать.

                Постановка задачи и создание рубрикатора


                Задача и основной use-case системы звучит довольно просто и понятно:

                • пользователь подает на вход (например, посредством мобильного приложения) фотографию, на которой присутствуют предметы одежды и/или сумки и/или обувь;
                • система определяет (детектирует) все эти предметы;
                • находит к каждому из них максимально похожие (релевантные) товары в реальных интернет-магазинах;
                • выдает пользователю товары с возможностью перейти на конкретную страницу товара для покупки.

                Говоря проще, цель нашей системы — ответить на знаменитый вопрос: “А у вас нет такого же, только с перламутровыми пуговицами?”
                Читать дальше →
              • Краткая история одной «умной ленты»



                  Социальные сети — это один из наиболее востребованных на сегодняшний день интернет-продуктов и один из основных источников данных для анализа. Внутри же самих социальных сетей самой сложной и интересной задачей в сфере data science по праву считается формирование ленты новостей. Ведь для удовлетворения всё возрастающих требований пользователя к качеству и релевантности контента необходимо научиться собирать информацию из многих источников, вычислять прогноз реакции пользователя и балансировать между десятками конкурирующих метрик в А/Б-тесте. А большие объемы данных, высокие нагрузки и жесткие требования к скорости ответа делают задачу ещё интереснее.
                  Читать дальше →

                Самое читаемое