Pull to refresh
-30
@ni-coread⁠-⁠only

User

Send message

Топ-5 сфер применения систем распознавания объектов

Reading time5 min
Views15K


Попытки научить различные системы видеть и понимать мир так же, как это делает человек, начались несколько десятилетий назад, но уже сейчас эти технологии стали настолько совершенны, что активно используются во многих сферах нашей жизни. На Хабре уже есть подробные статьи о машинном зрении, нейросетях и алгоритмах распознавания, поэтому мы не будем углубляться и вновь описывать эти сложные технологии, мы расскажем о практическом использовании этих систем в реальном мире.

Сверхинтеллект: идея, не дающая покоя умным людям

Reading time28 min
Views45K


Расшифровка выступления на конференции Web Camp Zagreb Мачея Цегловского, американского веб-разработчика, предпринимателя, докладчика и социального критика польского происхождения.

В 1945 году, когда американские физики готовились к испытанию атомной бомбы, кому-то пришло в голову спросить, не может ли такое испытание зажечь атмосферу.

Опасение было оправданным. Азот, из которого состоит большая часть атмосферы, энергетически нестабилен. Если столкнуть два атома достаточно сильно, они превратятся в атом магния, альфа-частицу и выпустят огромную энергию:

N14 + N14 ⇒ Mg24 + α + 17,7 МэВ

Жизненно важным вопросом было то, может ли эта реакция стать самоподдерживающейся. Температура внутри шара ядерного взрыва должна была превысить всё, что когда-то наблюдалось на Земле. Не получится ли, что мы бросим спичку в кучу сухих листьев?
Читать дальше →

Китай подтверждает лидерство в азиатской лунной гонке

Reading time7 min
Views12K
В нулевых годах в Азии началась вторая «лунная гонка». В отличие от первой, когда в 1960-х соревновались СССР и США, стран-участников оказалось больше, а вот бюджеты меньше, и общие сроки дольше. На старте было три участника — Индия, Китай, Япония. Сейчас же определился четкий лидер. Китай вырвался вперед еще в 2013, первым совершив мягкую посадку и высадив луноход. Летящая сейчас к Луне автоматическая межпланетная станция «Чанъэ-4» совершит первую посадку на обратной стороне Луны (что потребовало отдельной миссии для обеспечения связи) и является одним из шагов большой программы.


Источник

Реализация алгоритма Левенберга-Марквардта для оптимизации нейронных сетей на TensorFlow

Reading time23 min
Views30K

Это tutorial по библиотеке TensorFlow. Рассмотрим её немного глубже, чем в статьях про распознавание рукописных цифр. Это tutorial по методам оптимизации. Совсем без математики здесь не обойтись. Ничего страшного, если вы её совершенно забыли. Вспомним. Не будет никаких формальных доказательств и сложных выводов, только необходимый минимум для интуитивного понимания. Для начала небольшая предыстория о том, чем этот алгоритм может быть полезен при оптимизации нейронной сети.




Полгода назад друг попросил показать, как на Python сделать нейросеть. Его компания выпускает приборы для геофизических измерений. Несколько различных зондов в процессе бурения измеряют набор сигналов, связаных с параметрами окружающей скважину среды. В некоторых сложных случаях точно вычислить параметры среды по сигналам долго даже на мощном компьютере, а необходимо интерпретировать результаты измерений в полевых условиях. Возникла идея посчитать на кластере несколько сот тысяч случаев, и на них натренировать нейронную сеть. Так как нейросеть работает очень быстро, её можно использовать для определения параметров, согласующихся с измеренными сигналами, прямо в процессе бурения. Детали есть в статье:


Kushnir, D., Velker, N., Bondarenko, A., Dyatlov, G., & Dashevsky, Y. (2018, October 29). Real-Time Simulation of Deep Azimuthal Resistivity Tool in 2D Fault Model Using Neural Networks (Russian). Society of Petroleum Engineers. doi:10.2118/192573-RU


Одним вечером я показал, как keras реализовать простую нейронную сеть, и друг на работе запустил обучение на насчитанных данных. Через пару дней обсудили результат. С моей точки зрения он выглядел перспективно, но друг сказал, что нужны вычисления с точностью прибора. И если средняя квадратичная ошибка (mean squared error) получилась в районе 1, то нужна была 1е-3. На 3 порядка меньше. В тысячу раз.

Читать дальше →

Взгляд биолога на корни нашего старения

Reading time16 min
Views35K
Здравствуйте!

Нижеследующий текст изначально набирался как продолжение вот этого диалога, но размер ответа превысил все мыслимые размеры, а учитывая что на Хабре существует спрос на тему истоков старения и смерти от оной, я решил оформить его (ответ) отдельной статьёй.

Дисклеймер: если вам кажется, что текст направлен определённому человеку, а не аудитории в целом, то так оно и есть, но менять я ничего не буду.

Эта статья написана полностью из головы, что называется на одном дыхании (правда в три захода), потому в ней минимальное количество ссылок и картинок – прошу понять и простить, либо написать в комментарии, возможно я что-то исправлю.
Читать дальше →

Обзор основных методов Deep Domain Adaptation (Часть 1)

Reading time13 min
Views18K

Развитие глубоких нейронных сетей для распознавания изображений вдыхает новую жизнь в уже известные области исследования в машинном обучении. Одной из таких областей является доменная адаптация (domain adaptation). Суть этой адаптации заключается в обучении модели на данных из домена-источника (source domain) так, чтобы она показывала сравнимое качество на целевом домене (target domain). Например, source domain может представлять собой синтетические данные, которые можно «дёшево» сгенерировать, а target domain — фотографии пользователей. Тогда задача domain adaptation заключается в тренировке модели на синтетических данных, которая будет хорошо работать с «реальными» объектами.


В группе машинного зрения Vision@Mail.Ru мы работаем над различными прикладными задачами, и среди них часто встречаются такие, для которых мало тренировочных данных. В этих случаях сильно может помочь генерация синтетических данных и адаптация обученной на них модели. Хорошим прикладным примером такого подхода является задача детектирования и распознавания товаров на полках в магазине. Получение фотографий таких полок и их разметка довольно трудозатратны, зато их можно достаточно просто сгенерировать. Поэтому мы решил глубже погрузиться в тему доменной адаптации.


Читать дальше →

В Германии разработали требования к домашним маршрутизаторам

Reading time1 min
Views24K
Продолжительное время в Интернете регулярно появляются статьи об уязвимости маршрутизаторов для SOHO сегмента. Я тоже публиковал статью как обнаружить, что Ваш Микротик взломан. Резкий рост участников нашего канала в Телеграм (@router_os) показал, что проблема крайне остра.

Но проблема стоит глобальней.

Подавляющее большинство пользователей, покупающих маршрутизатор для дома, не понимают как эта «чёрная коробочка» работает. Они тыкают по кнопочкам в соответствии с инструкцией «quick start». А кто-то чисто методом «научного тыка» настраивает. Интернет появляется.
Дальше устройство начинает жить своей жизнью. И злоумышленникам не представляет труда использовать роутер для своих целей. Готовых инструментов для поиска таких железок в Интернете — полно.

Но!
Лёд тронулся, господа присяжные заседатели! (С) «Великий комбинатор»


В Германии выпустили документ с рекомендациями и минимальными стандартами, которым должны соответствовать маршрутизатор для конечных потребителей.
Читать дальше →

Архитектуры нейросетей

Reading time12 min
Views68K
Перевод Neural Network Architectures

Алгоритмы глубоких нейросетей сегодня обрели большую популярность, которая во многом обеспечивается продуманностью архитектур. Давайте рассмотрим историю их развития за последние несколько лет. Если вас интересует более глубокий анализ, обратитесь к этой работе.


Сравнение популярных архитектур по Top-1 one-crop-точности и количеству операций, необходимых для одного прямого прохода. Подробнее здесь.
Читать дальше →

Муравейник или крепость? Строю дом по цене квартиры. 2 часть: Отопление

Reading time7 min
Views35K
Часть 1. Строительство
Часть 3. Электроснабжение
Часть 4. Комфорт дома и гаджеты.

Приветствую всех читателей. В прошлом выпуске я рассказал о старте своего строительства. Рассказал о выборе материала и подготовке к черновой отделке. В этот раз я расскажу о различных системах отопления, о том, какую систему выбрал я и почему. По традиции, для тех, кто предпочитает смотреть, а не читать, я сделал ролик.

Data Science в Visual Studio Code с использованием Neuron

Reading time4 min
Views13K
Сегодня у нас небольшой рассказ о Neuron, расширении для Visual Studio Code, которое является настоящей киллер-фичей для дата-сайнтистов. Оно позволяет совместить Python, любую библиотеку машинного обучения и Jupyter Notebooks. Подробнее под катом!

Читать дальше →

Телескоп за гранью разумного

Reading time4 min
Views22K
Лично я пришел к выводу, что телескоп James Webb несет слишком много изобретений, слишком много риска и является проектом за гранью разумного. — таковы прямые слова руководителя независимой контрольной комиссии Тома Янга на заседании комитета по астрономии и астрофизике совета по космическим исследованиям Национальной академии наук США 29 октября. Впрочем, он тут же уточнил, что не является противником телескопа и не сомневается, что проект может быть завершен успешно. Действительно, положение дел вызывает противоречивые чувства — с одной стороны, это интереснейший проект, который должен дать науке новые возможности, с другой — превышения сроков и стоимости достигли воистину астрономических величин. В целом история проекта заставляет задуматься о своевременности воплощения технологий и критериях, когда лучше остановиться. Ну и, наконец, уроки «Джеймса Уэбба» категорически необходимо усвоить, начиная гораздо больший проект окололунной орбитальной станции.


Фото NASA/Desiree Stover
Читать дальше →

Дорисовывание лиц с помощью машинного обучения

Reading time2 min
Views5.5K
В этом примере показано использование различных алгоритмов машинного обучения для завершения изображений. Цель состоит в том, чтобы предсказать нижнюю половину лица, учитывая его верхнюю половину.

Первый столбец изображений показывает настоящие лица. Следующие столбцы иллюстрируют, как деревья (extremely randomized trees), метод k-ближайших соседей (k nearest neighbors/K-nn), линейная регрессия (linear regression) и RidgeCV (ridge regression complete) завершают нижнюю половину этих лиц.

Читать дальше →

Краткий обзор алгоритма машинного обучения Метод Опорных Векторов (SVM)

Reading time6 min
Views82K

Предисловие




В данной статье мы изучим несколько аспектов SVM:

  • теоретическую составляющую SVM;
  • как алгоритм работает на выборках, которые невозможно разбить на классылинейно;
  • пример использования на Python и имплементация алгоритма в библиотеке SciKit Learn.
Читать дальше →

Машинное обучение в MatLab/Octave: примеры алгоритмов, подкрепленные формулами

Reading time2 min
Views13K

image


Недавно я начал изучать machine learning. Начал с прекрасного, на мой взгляд, курса от Andrew Ng. И чтобы не забыть, а так же повторить выученное решил создать репозиторий Machine Learning in Octave. В нем я собрал математические формулы для гипотез, градиентных спусков, "cost function"-ов, сигмоидов и прочих фундаментальных для машинного обучения "штук". Так же добавил туда упрощенные и доработанные примеры реализации некоторых популярных алгоритмов (нейронная сеть, линейная/логистическая регрессия и пр.) для MatLab/Octave. Надеюсь эта информация будет полезна для тех из вас, кто планирует начать изучение machine learning-а.

Читать дальше →

Один день из жизни системного инженера

Reading time5 min
Views22K


Всем привет! Меня зовут Егор, и я системный инженер дата-центра компании Selectel. Сегодня я расскажу немного о себе и о том, как проходит мой день.

С IT-сферой я познакомился достаточно давно, еще до обучения в университете. Большую роль для меня сыграло прохождение курсов в академии Cisco, а также активное участие в мероприятиях Cisco Connect в качестве помощника организатора. Тогда мы отвечали за установку, настройку и подключение инфраструктуры стендов и проведение лабораторных работ для гостей. Там я и познакомился с Кириллом Малевановым, техническим директором Selectel и настоящим профессионалом в своей области.
Читать дальше →

Готовим иерархическую кластеризацию или как я выявлял специализации у резюме

Reading time9 min
Views28K
Я работаю разработчиком в hh.ru, и мне хочется перейти в датасайнс, но пока не хватает навыков. Поэтому в свободное от работы время я изучаю машинное обучение и стараюсь решать практические задачи из этой области. Недавно мне подкинули задачу по кластеризации наших резюме. Пост будет о том, как я решал её при помощи агломеративной иерархической кластеризации. Если не хочется читать, но интересен результат, то можно посмотреть сразу демо.

Читать дальше →

Технологии WDM: объединяем дата-центры в катастрофоустойчивые кластеры

Reading time8 min
Views6.1K
Несмотря на надежность современных центров обработки данных, для критически важных объектов необходим еще один уровень резервирования, ведь вся IT-инфраструктура может выйти из строя из-за техногенной или природной катастрофы. Для обеспечения катастрофоустойчивости приходится строить резервные ЦОДы. Под катом наш рассказ о возникающих при их объединении (DCI — Data Center Interconnection) проблемах.


Читать дальше →

Понять статистику нам мешает наше нежелание меняться

Reading time5 min
Views23K

Исследование показало, что люди предпочитают сложные методы, потому что привыкли к ним



Незаконное обвинение Салли Кларк в убийстве двоих её сыновей – знаменитый пример неправильного использования статистики в суде

В 1999 году британский солиситор Салли Кларк попала под суд за убийство двух своих малолетних сыновей. Она утверждала, что оба они стали жертвами синдрома внезапной младенческой смерти. Эксперт, свидетель обвинения, Рой Мидоу, утверждал, что шансы на то, что этот синдром заберёт жизни двух младенцев из богатой семьи, составляли 1 к 73 млн, что уравнивало их с шансом ставить на скачках на лошадь с коэффициентом 80 к 1 четыре года подряд и всё время выигрывать. Жюри присяжных приговорило Кларк к пожизненному заключению.
Читать дальше →

Занимательный пролог #2

Reading time7 min
Views3.2K

Привет, сообщество разработчиков, надо довести дело до конца.


В предыдущем моем опусе был вызов показать как можно использовать язык Пролог, да и показать что бы это было забавно. Превратить это в упражнение.


Попробую продолжить выпендриваться демонстрировать.


Коротко напомню задачу:


Wildcard Matching

Given an input string (s) and a pattern (p), implement wildcard pattern matching with support for '?' and ''.
'?' Matches any single character.
'
' Matches any sequence of characters (including the empty sequence).
The matching should cover the entire input string (not partial).


Доказать полноту решения не удалось. На сайте, который предоставляет задание есть 1808 тестов, которые сразу увидеть нельзя, нужно написать программу и получить как ошибку очередной тест.


Хардкорно я получил от него 66 и проверил свое решение — пока все работало. Но не может быть все так просто.


Зачем было делать так много тестов, хочу проверить дальше...


Попробую переписать данное решение на языке понятном доступном в этой системе (они отражают популярность языков программирования современности).


Итак, выбираю Питон.

Читать дальше →

Information

Rating
Does not participate
Registered
Activity