• Глупая причина, по которой не работает ваше хитрое приложение машинного зрения: ориентация в EXIF

    • Перевод
    Я много писал о проектах компьютерного зрения и машинного обучения, таких как системы распознавания объектов и проекты распознавания лиц. У меня также есть опенсорсная библиотека распознавания лиц на Python, которая как-то вошла в топ-10 самых популярных библиотек машинного обучения на Github. Всё это привело к тому, что новички в Python и машинном зрении задают мне много вопросов.



    По опыту, есть одна конкретная техническая проблема, которая чаще всего ставит людей в тупик. Нет, это не сложный теоретический вопрос или проблема с дорогими GPU. Дело в том, что почти все загружают в память изображения повёрнутыми, даже не подозревая об этом. А компьютеры не очень хорошо обнаруживают объекты или распознают лица в повёрнутых изображениях.
    Читать дальше →
  • Андрей Терехов (продолжение): «Когда говорят, что мы отстали от американцев навсегда, я отвечаю: „Не дождетесь!“»



      Вторая часть интервью с завкафедрой системного программирования Матмеха СПбГУ, доктором физмат наук, профессором, президентом компании «Ланит-Терком». Андрей Николаевич Терехов рассказал о создании кафедры матобеспечения ЭВМ и своих многочисленных учениках, языке PADLA, работе ассенизатора и технике бега в мешках.
      Читать дальше →
    • 50 оттенков matplotlib — The Master Plots (с полным кодом на Python)

      • Перевод
      Те, кто работает с данными, отлично знают, что не в нейросетке счастье — а в том, как правильно обработать данные. Но чтобы их обработать, необходимо сначала проанализировать корреляции, выбрать нужные данные, выкинуть ненужные и так далее. Для подобных целей часто используется визуализация с помощью библиотеки matplotlib.



      Встретимся «внутри»!
      Читать дальше →
    • Нечувствительные к весам нейронные сети (WANN)


        Новая работа Google предлагает архитектуру нейронных сетей, способных имитировать врожденные инстинкты и рефлексы живых существ, с последующим дообучением в течение жизни.


        А также значительно уменьшающую количество связей внутри сети, повышая тем самым их быстродействие.

        Читать дальше →
      • Новый подход может помочь нам избавиться от вычислений с плавающей запятой

        • Перевод


        В 1985 году Институт инженеров электротехники и электроники (IEEE) установил стандарт IEEE 754, отвечающий за форматы чисел с плавающей запятой и арифметики, которому суждено будет стать образцом для всего железа и ПО на следующие 30 лет.

        И хотя большинство программистов использует плавающую точку в любой момент без разбора, когда им нужно проводить математические операции с вещественными числами, из-за определённых ограничений представления этих чисел, быстродействие и точность таких операций часто оставляют желать лучшего.
        Читать дальше →
      • Как мы обучили нейронную сеть классифицировать шурупы

          Нейронная сеть может опознать котика на фотографии, найти диван, улучшить видеозапись, нарисовать картинку из щенят или простого наброска. К этому мы уже привыкли. Новости о нейросетях появляются почти каждый день и стали обыденными. Компании Grid Dynamics поставили задачу не обыденную, а сложную — научить нейросеть находить специфический шуруп или болт в огромном каталоге интернет-магазина по одной фотографии. Задачка сложнее, чем найти котика.



          Проблема интернет-магазина шурупов — в ассортименте. Тысячи или десятки тысяч моделей. У каждого шурупа свое описание и характеристики, поэтому на фильтры нет надежды. Что делать? Искать вручную или искать в гипермаркете на полках? В обоих случаях это потеря времени. В итоге клиент устанет и пойдет забивать гвоздь. Чтобы помочь ему, воспользуемся нейросетью. Если она может находить котиков или диваны, то пусть занимается чем-то полезным — подбирает шурупы и болты. Как научить нейросеть подбирать для пользователя шурупы быстро и точно, расскажем в расшифровке доклада Марии Мацкевичус, которая в компании Grid Dynamics занимается анализом данных и машинным обучением.
          Читать дальше →
        • Камеры глубины — тихая революция (когда роботы будут видеть) Часть 2



            В первой части этого текста мы рассмотрели камеры глубины на основе структурного света и измерения round-trip задержки света, в которых в основном применяется инфракрасная подсветка. Они отлично работают в помещениях на расстояниях от 10 сантиметров до 10 метров, а главное — весьма дешевы. Отсюда массовая волна их текущего применения в смартфонах. Но… Как только мы выходим на улицу, солнце даже сквозь облака засвечивает инфракрасную подсветку и их работа резко ухудшается. 

            Как говорит Стив Бланк (по другому поводу, впрочем): «Хотите успеха — выходите из здания». Ниже речь пойдет про камеры глубины, работающие вне помещений. Сегодня эту тему сильно двигают автономные автомобили, но, как мы увидим, не только.


            Источник: Innoviz Envisions Mass Produced Self-Driving Cars With Solid State LiDAR

            Итак, камеры глубины, т.е. устройства снимающие видео, в каждом пикселе которого расстояние до объекта сцены, работающие при солнечном свете!

            Кому интересно — добро пожаловать под кат!
            Читать дальше →
          • Камеры глубины — тихая революция (когда роботы будут видеть) Часть 1




              Недавно я описывал, благодаря чему роботы завтра начнут НАМНОГО лучше соображать (пост про аппаратное ускорение нейросетей). Сегодня разберем, почему роботы скоро будут НАМНОГО лучше видеть. В ряде ситуаций намного лучше человека.

              Речь пойдет про камеры глубины, которые снимают видео, в каждом пикселе которого хранится не цвет, а расстояние до объекта в этой точке. Такие камеры существуют уже больше 20 лет, однако в последние годы скорость их развития выросла многократно и уже можно говорить про революцию. Причем многовекторную. Бурное развитие идет по следующим направлениям:
              • Structured Light камеры, или камеры структурного света, когда есть проектор (часто инфракрасный) и камера, снимающая структурный свет проектора;
              • Time of Flight камеры, или камеры, основанные на измерении задержки отраженного света;
              • Depth from Stereo камеры — классическое и, пожалуй, наиболее известное направление построения глубины из стерео;
              • Light Field Camera — они же камеры светового поля или пленоптические камеры, про которые был отдельный подробный пост;
              • И, наконец, камеры, основанные на Lidar-технологиях, особенно свежие Solid State Lidars, которые работают без отказа примерно в 100 раз дольше обычных лидаров и выдают привычную прямоугольную картинку.

              Кому интересно, как это будет выглядеть, а также сравнение разных подходов и их текущее и завтрашнее применение — добро пожаловать под кат!
              Читать дальше →
            • Где покупать радиодетали и компоненты? Часть I: Россия

                Давайте поговорим о покупке электронных компонентов в интернете. Я собрал список интересных отечественных и зарубежных магазинов:

                а) которые заточены под любителей DIY и делают свои собственные крутые продукты: конструкторы, модули, обучающие курсы и т.д.;

                б) для профи, с широкой номенклатурой электронных компонентов.

                Продолжение: Часть II: зарубежные магазины

                Кадр из к/ф «Иван Васильевич меняет профессию»
                Продолжение
              • Печать 3d-моделей костей пациентов, полученных из результатов Компьютерной томографии(такое медицинское исследование)

                • Tutorial

                Задача: 3d-печать части кости, полученной в результате рентгеновской компьютерной томографии (КТ)
                Материалы:
                1. Результаты рентгеновской КТ человека (на диске, который выдают после исследования результаты находятся в папке DICOM)
                Методы:
                1. 3D Slicer — для преобразования DICOM в 3d-модель, редактирования полученной модели и экспорта в *.STL
                2. Slic3r — слайсинг
                3. Печать на RepRap Prusa i3

                Подробнее
                Читать дальше →
              • Дизайн виртуализованного ЦОД

                image

                Введение

                Информационная система с точки зрения пользователя хорошо определяется в ГОСТ РВ 51987 — «автоматизированная система, результатом функционирования которой является представление выходной информации для последующего использования». Если рассматривать внутреннюю структуру, то по сути любая ИС является системой реализованных в коде взаимосвязанных алгоритмов. В широком понимании тезиса Тьюринга-Черча алгоритм (а сл-но ИС) осуществляет трансформацию множества входных данных в множество выходных данных.
                Можно даже сказать, что в трансформации входных данных и есть смысл существования информационной системы. Соответственно ценность ИС и всего комплекса ИС определяется через ценность входных и выходных данных.
                Исходя из этого проектирование должно начинаться и брать за основу данные, подстраивая архитектуру и методы под структуру и значимость данных.

                Хранимые данные
                Ключевым этапом подготовки к проектированию является получение характеристик всех наборов данных, планируемых к обработке и хранению. Эти характеристики включают в себя:
                — Объем данных;
                — Информация о жизненном цикле данных (прирост новых данных, срок жизни, обработка устаревших данных);
                — Классификация данных с т.з. влияния на основной бизнес компании (то триаде конфиденциальность, целостность, доступность) вместе с финансовыми показателями (напр. стоимость утери данных за последний час);
                — География обработки данных (физическое расположение систем обработки);
                — Требования регуляторов по каждому классу данных (напр. ФЗ-152, PCI DSS).

                Читать дальше →
              • Автоматическая визуализации python-кода с использованием блок-схем

                Речь пойдет о технологии, которая дает возможность реализации инструментов разработчика, подобных показанному на картинке ниже.

                image

                Общий вид среды с альтернативными представлениями кода

                Здесь окно среды разработки разбито на две части. Слева — привычный текстовый редактор, а справа — автоматически генерируемая диаграмма, по возможности приближенная к традиционным блок-схемам алгоритмов. Генерация и перерисовка диаграммы производится по ходу набивки текста. Среда разработки определяет паузу в действиях разработчика и обновляет диаграмму, если код остается корректным. В результате появляется возможность работы не только с текстом программы, но и с его графическим представлением.
                осторожно, далее много картинок
              • Головная гарнитура Helios использует технологию Intel RealSense для помощи людям с нарушениями зрения

                • Перевод
                Цель проекта HELIOS — расширение и дополнение возможностей человеческого восприятия за счет современных технологий зрения. В исследовании, опубликованном Всемирной организацией здравоохранения, говорится о том, что около 285 миллионов человек в мире страдают нарушениями зрения: насчитывается 39 миллионов слепых и 246 миллионов человек с ослабленным зрением. Мы считаем, что очень важно повысить мобильность, безопасность и возможности доступа к знаниям для людей с нарушениями зрения.

                Мы используем компьютерное зрение, искусственный интеллект и технологию Intel RealSense, чтобы создать современные решения, способные помочь людям с нарушениями зрения в решении целого ряда повседневных проблем. Наш подход состоит в разработке интеллектуальной головной гарнитуры, помогающей людям с частичной или полной потерей зрения.


                Читать дальше →
              • Джентельменский набор пакетов R для автоматизации бизнес-задач

                  Продолжение предыдущих публикаций «Инструменты DataScience как альтернатива классической интеграции ИТ систем» и
                  «Экосистема R как инструмент для автоматизации бизнес-задач».
                  Настоящая статья является ответом на возникшие вопросы по пакетам R, которые полезны для реализации описанных подходов. Я ее рассматриваю исключительно как справочную информацию, и отправную точку для последующего детального изучения заинтересовавшимися, поскольку за каждым пакетом скрывается огромное пространство со своей философией и идеологией, математикой и путями развития.


                  Как правило, все пакеты (9109 штук на 07.09.2016) находятся в репозитории CRAN. Те, что по тем или иным причинам, пока не опубликованы в репозиторий, могут быть найдены на GitHub. Итак, кратким списком:

                  Читать дальше →
                • Интервью с основателем стартапа Petiole Андреем Селезнёвым



                    Привет всем читателям Geektimes. Сегодня у нас появилась возможность поговорить о “живом” развитии своих собственных идей с основателем стартапа Petiole Андреем Селезнёвым. Мы постараемся обойти стороной победные реляции и внушения о том, как это всё легко (или тяжело) и как приятно чувствовать на себе внимание прессы.

                    Вместо этого мы хотим рассказать о достаточно длинном процессе: о том как зарождается идея, о теоретическом багаже знаний автора или авторов, о том, как идея приобретает осязаемые черты, и, самое главное, как она выходит в живой мир и завоёвывает аудиторию. Мы имеем ввиду честный рассказ о поиске инвесторов и дальнейшем развитии.

                    Мы бы хотели избежать рекламных заявлений, но сказать пару слов придётся. Речь идёт о технически специализированном приложении Petiole, которое при помощи камеры мобильного телефона позволяет определить площадь листьев растений и содержание хлорофилла.

                    Читать дальше →
                  • Hello, TensorFlow. Библиотека машинного обучения от Google

                    • Перевод
                    • Tutorial

                    tensorflow


                    Проект TensorFlow масштабнее, чем вам может показаться. Тот факт, что это библиотека для глубинного обучения, и его связь с Гуглом помогли проекту TensorFlow привлечь много внимания. Но если забыть про ажиотаж, некоторые его уникальные детали заслуживают более глубокого изучения:


                    • Основная библиотека подходит для широкого семейства техник машинного обучения, а не только для глубинного обучения.
                    • Линейная алгебра и другие внутренности хорошо видны снаружи.
                    • В дополнение к основной функциональности машинного обучения, TensorFlow также включает собственную систему логирования, собственный интерактивный визуализатор логов и даже мощную архитектуру по доставке данных.
                    • Модель исполнения TensorFlow отличается от scikit-learn языка Python и от большинства инструментов в R.

                    Все это круто, но TensorFlow может быть довольно сложным в понимании, особенно для того, кто только знакомится с машинным обучением.


                    Как работает TensorFlow? Давайте попробуем разобраться, посмотреть и понять, как работает каждая часть. Мы изучим граф движения данных, который определяет вычисления, через которые предстоит пройти вашим данным, поймем, как тренировать модели градиентным спуском с помощью TensorFlow, и как TensorBoard визуализирует работу с TensorFlow. Наши примеры не помогут решать настоящие проблемы машинного обучения промышленного уровня, но они помогут понять компоненты, которые лежат в основе всего, что создано на TensorFlow, в том числе того, что вы напишите в будущем!

                    Читать дальше →
                  • Яндекс открывает ClickHouse

                      Сегодня внутренняя разработка компании Яндекс — аналитическая СУБД ClickHouse, стала доступна каждому. Исходники опубликованы на GitHub под лицензией Apache 2.0.



                      ClickHouse позволяет выполнять аналитические запросы в интерактивном режиме по данным, обновляемым в реальном времени. Система способна масштабироваться до десятков триллионов записей и петабайт хранимых данных. Использование ClickHouse открывает возможности, которые раньше было даже трудно представить: вы можете сохранять весь поток данных без предварительной агрегации и быстро получать отчёты в любых разрезах. ClickHouse разработан в Яндексе для задач Яндекс.Метрики — второй по величине системы веб-аналитики в мире.

                      В этой статье мы расскажем, как и для чего ClickHouse появился в Яндексе и что он умеет; сравним его с другими системами и покажем, как его поднять у себя с минимальными усилиями.
                      Читать дальше →
                    • Глубокое обучение в гараже — Братство данных

                        Пример работы системы
                        Вы тоже находите смайлы презабавнейшим феноменом?
                        В доисторические времена, когда я еще был школьником и только начинал постигать прелести интернета, с первых же добавленных в ICQ контактов смайлы ежедневно меня веселили: ну действительно, представьте, что ваш собеседник корчит рожу, которую шлет вам смайлом!

                        С тех пор утекло много воды, а я так и не повзрослел: все продолжаю иногда улыбаться присланным мне смайлам, представляя отправителя с глазами разного размера или дурацкой улыбкой на все лицо. Но не все так плохо, ведь с другой стороны я стал разработчиком и специалистом в анализе данных и машинном обучении! И вот, в прошлом году, мое внимание привлекла относительно новая, но интересная и будоражащая воображение технология глубокого обучения. Сотни умнейших ученых и крутейших инженеров планеты годами работали над его проблемами, и вот, наконец, обучать глубокие нейронные сети стало не сложнее "классических" методов, вроде обычных регрессий и деревянных ансамблей. И тут я вспомнил про смайлы!

                        Представьте, что чтобы отправить смайл, вы и вправду могли бы скорчить рожу, как бы было круто? Это отличное упражнение по глубокому обучению, решил я, и взялся за работу.

                        Глубокое обучение в гараже — Братство данных
                        Глубокое обучение в гараже — Две сети
                        Глубокое обучение в гараже — Возвращение смайлов
                        Хочу картинок!
                      • Нейрореволюция в головах и сёлах

                          В последнее время всё чаще и чаще слышишь мнение, что сейчас происходит технологическая революция. Бытует мнение, что мир стремительно меняется.



                          На мой взгляд такое и правда происходит. И одна из главных движущих сил — новые алгоритмы обучения, позволяющие обрабатывать большие объёмы информации. Современные разработки в области компьютерного зрения и алгоритмов машинного обучения могут быстро принимать решения с точностью не хуже профессионалов.

                          Я работаю в области связанной с анализом изображений. Это одна из областей которую новые идеи затронули сильнее всего. Одна из таких идей — свёрточные нейронные сети. Четыре года назад с их помощью впервые начали выигрывать конкурсы по обработке изображений. Победы не остались незамеченными. Нейронными сетями, до тех пор стоящими на вторых ролях, стали заниматься и пользоваться десятки тысяч последователей. В результате, полтора-два года назад начался бум, породивший множество идей, алгоритмов, статей.

                          В своём рассказе я сделаю обзор тех идей, которые появились за последние пару лет и зацепили мою тематику. Почему происходящее — революция и чего от неё ждать.

                          Кто лишится в ближайшие лет десять работы, а у кого будут новые перспективные вакансии.
                          Читать дальше →
                        • Подборка: Более 70 источников по машинному обучению для начинающих



                            Индикатор кулачкового аналогового компьютера / Wiki

                            В нашем блоге мы уже рассказывали о разработке системы квантовой связи и о том, как из простых студентов готовят продвинутых программистов. Сегодня мы решили вернуться к теме машинного обучения и привести адаптированную (источник) подборку полезных материалов.
                            Читать дальше →