Серию интервью с докладчиками PyCon Russia продолжает разговор с разработчиком-аналитиком из Тинькофф Банка Андреем Степановым. Мы поговорили с Андреем о месте Python в инфраструктуре банка, о машинном обучении и о технологии распознавания речи.
Alexey Ogibin @oneiroid
Пользователь
Стабильность нейтрона в атомном ядре
7 мин
Перевод
Факт, ставящий в тупик многих из тех, кто впервые изучает природу обычной материи – то, что в ядре любого атома тяжелее водорода содержатся как протоны, так и нейтроны, но при этом нейтроны распадаются (дезинтегрируются в другие частицы) в среднем за 15 минут! Как же могут ядра углерода, кислорода, азота, кремния быть настолько стабильными, если нейтроны, из которых они состоят, не могут выживать сами по себе?
Ответ на этот вопрос оказывается очень простым после того, как вы поймёте, как работает энергия: это чистая бухгалтерия. Но понять энергию вовсе не просто. Для начала нужно прочесть статью о видах энергии. А до этого необходимо ознакомиться со статьёй об энергии, импульсе и массе. Эти концепции нужно представлять перед тем, как понять ответ на заданный вопрос.
Если вы прочли статью об энергии взаимодействия, вы знаете, что атом водорода состоит из протона и электрона, которые, из-за отрицательной энергии связи, неспособны убежать друг от друга – они заперты внутри атома. Отрицательная энергия связи происходит из отрицательной энергии взаимодействия, частично сбалансированной положительной энергией движения электрона (и немного – протона). Энергия взаимодействия происходит из воздействия электрона на электрическое поле близ протона (и наоборот).
Ответ на этот вопрос оказывается очень простым после того, как вы поймёте, как работает энергия: это чистая бухгалтерия. Но понять энергию вовсе не просто. Для начала нужно прочесть статью о видах энергии. А до этого необходимо ознакомиться со статьёй об энергии, импульсе и массе. Эти концепции нужно представлять перед тем, как понять ответ на заданный вопрос.
Если вы прочли статью об энергии взаимодействия, вы знаете, что атом водорода состоит из протона и электрона, которые, из-за отрицательной энергии связи, неспособны убежать друг от друга – они заперты внутри атома. Отрицательная энергия связи происходит из отрицательной энергии взаимодействия, частично сбалансированной положительной энергией движения электрона (и немного – протона). Энергия взаимодействия происходит из воздействия электрона на электрическое поле близ протона (и наоборот).
Отжиг и вымораживание: две свежие идеи, как ускорить обучение глубоких сетей
4 мин
Перевод
В этом посте изложены две недавно опубликованные идеи, как ускорить процесс обучения глубоких нейронных сетей при увеличении точности предсказания. Предложенные (разными авторами) способы ортогональны друг другу, и могут использоваться совместно и по отдельности. Предложенные здесь способы просты для понимания и реализации. Собственно, ссылки на оригиналы публикаций:
Энергия, связывающая всё воедино
9 мин
Перевод
В моей статье про энергию и массу и связанные с ними понятия основное внимание я уделил частицам – возмущениям полей – и уравнениям, при помощи которых Эйнштейн связывал их энергию, импульс и массу. Но энергия возникает и в других местах, не только благодаря частицам. Чтобы по-настоящему понять Вселенную и то, как она работает, необходимо понять, что энергия может появиться из-за взаимодействия различных полей, или даже из-за взаимодействия с самим полем. Вся структура нашего мира – протоны, атомы, молекулы, тела, горы, планеты, звёзды, галактики – является результатом наличия такого типа энергии. На самом деле, многие типы энергии, о которых мы рассуждаем так, будто они отличаются друг от друга – химическая энергия, ядерная энергия, электромагнитная энергия – либо являются одной из форм энергии взаимодействия либо каким-то образом к ней относятся.
Когда ученикам начинают преподавать физику, в этот тип энергии включается то, что учителя называют «потенциальной энергией». Но поскольку слово «потенциальная» в английском [и русском] языках означает не то же самое, что в физике, и поскольку то, каким образом преподносят эту концепцию, сильно отличается от современной физической точки зрения, я предпочитаю использовать для этой энергии другое название – чтобы она не связывалась с имеющимися у читателя представлениями, правильными или неправильными.
Когда ученикам начинают преподавать физику, в этот тип энергии включается то, что учителя называют «потенциальной энергией». Но поскольку слово «потенциальная» в английском [и русском] языках означает не то же самое, что в физике, и поскольку то, каким образом преподносят эту концепцию, сильно отличается от современной физической точки зрения, я предпочитаю использовать для этой энергии другое название – чтобы она не связывалась с имеющимися у читателя представлениями, правильными или неправильными.
Сон в руку: гаджеты, которые помогут приручить сон
3 мин
В условиях глобальной моды на личную эффективность стыдно не работать в режиме 24/7. Друзья в социальных сетях ведут прямые трансляции из международных аэропортов. В ожидании ночных рейсов они готовят питчи, презентации для конференций, бизнес-планы и статьи. Авторы постов в Facebook словно соревнуются в конкурсе недосыпающих: кто сегодня спал меньше?
Полки магазинов пестрят корешками книг «Как успешные люди успевают всё», «Восемь правил эффективности», «Продуктивный ниндзя». Но среди всего этого многообразия нет действительно необходимой книги «Забейте на всё и идите спать!».
Автоэнкодеры в Keras, Часть 3: Вариационные автоэнкодеры (VAE)
10 мин
Туториал
Содержание
- Часть 1: Введение
- Часть 2: Manifold learning и скрытые (latent) переменные
- Часть 3: Вариационные автоэнкодеры (VAE)
- Часть 4: Conditional VAE
- Часть 5: GAN (Generative Adversarial Networks) и tensorflow
- Часть 6: VAE + GAN
В прошлой части мы уже обсуждали, что такое скрытые переменные, взглянули на их распределение, а также поняли, что из распределения скрытых переменных в обычных автоэнкодерах сложно генерировать новые объекты. Для того чтобы можно было генерировать новые объекты, пространство скрытых переменных (latent variables) должно быть предсказуемым.
Вариационные автоэнкодеры (Variational Autoencoders) — это автоэнкодеры, которые учатся отображать объекты в заданное скрытое пространство и, соответственно, сэмплить из него. Поэтому вариационные автоэнкодеры относят также к семейству генеративных моделей.
Моссберг: исчезающий компьютер
8 мин
Перевод
Когда-то технологии мешали вам. Скоро они станут практически невидимыми
Уолт Моссберг – известный журналист, с 1991 по 2013 года вёл в The Wall Street Journal еженедельную колонку, посвящённую технологическим новинкам, а затем несколько лет продолжал её в издании The Verge, где также был главным редактором.
Это моя последняя еженедельная колонка для The Verge и Recode – и последняя колонка где бы то ни было. Я писал статьи почти каждую неделю, начиная с 1991 года, сначала в Wall Street Journal. В то время мне повезло достаточно для того, чтобы познакомиться с создателями технологической революции и поразмышлять – а иногда и покритиковать – их творения.
Теперь, когда я готовлюсь выйти на пенсию после этого очень долгого промежутка, изменившего мир, мне кажется, будет неплохо окинуть взглядом появившуюся за этот период потребительскую технологию и подумать над тем, что можно ожидать в будущем.
Dropout — метод решения проблемы переобучения в нейронных сетях
7 мин
Перевод
Переобучение (overfitting) — одна из проблем глубоких нейронных сетей (Deep Neural Networks, DNN), состоящая в следующем: модель хорошо объясняет только примеры из обучающей выборки, адаптируясь к обучающим примерам, вместо того чтобы учиться классифицировать примеры, не участвовавшие в обучении (теряя способность к обобщению). За последние годы было предложено множество решений проблемы переобучения, но одно из них превзошло все остальные, благодаря своей простоте и прекрасным практическим результатам; это решение — Dropout (в русскоязычных источниках — “метод прореживания”, “метод исключения” или просто “дропаут”).
Переобученные нейросети в дикой природе и у человека
6 мин
Представьте, что вы проектируете птенца чайки. ТЗ такое — у него довольно плохое зрение, маленький мозг, но ему нужно как можно больше есть, а то сдохнет. Еду ему приносит мама-чайка. Основная задача — распознать маму-чайку и получить у неё еды. Во входной поток зрения поступает, скажем, 320х200 px, и дальше 10 сантиметров от глаза он не умеет фокусироваться. Природа решила так — надо разметить клюв чайки ярким оранжевым округлым пятном. Вот таким:
В ходе реверс-инжиниринга чайки в 1950-х Нико Тинберген провёл 2431 опыт с 503 птенцами (часть его коллега Рита Вейдманн высидела сама). Выяснилось, что птенец реагирует и не только на клюв, но и на картонный прямоугольник с круглым оранжевым пятном. И пытается получить у него еду как у обычной чайки. Звучит логично, особенно в условиях нехватки вычислительных ресурсов птенца, правда? «Появляется сверху», «длинный» — это важно. Но самая высокая ценность сигнала «оранжевый на белом» — и она по мере эволюции завышается.
Под самый конец внезапно нашёлся ультранормальный сигнал. Если птенцу показать прямоугольник с тремя оранжевыми полосами, он распознает его куда быстрее, точнее, и среагирует в разы активнее. То есть сильнее распознаётся другой образ, которого нет в природе.
Если вы думаете, что мы с вами не забагованы, то ошибаетесь. У нас, людей, есть примерно такой же пример переобучения, хорошо известный анимешникам.
В ходе реверс-инжиниринга чайки в 1950-х Нико Тинберген провёл 2431 опыт с 503 птенцами (часть его коллега Рита Вейдманн высидела сама). Выяснилось, что птенец реагирует и не только на клюв, но и на картонный прямоугольник с круглым оранжевым пятном. И пытается получить у него еду как у обычной чайки. Звучит логично, особенно в условиях нехватки вычислительных ресурсов птенца, правда? «Появляется сверху», «длинный» — это важно. Но самая высокая ценность сигнала «оранжевый на белом» — и она по мере эволюции завышается.
Под самый конец внезапно нашёлся ультранормальный сигнал. Если птенцу показать прямоугольник с тремя оранжевыми полосами, он распознает его куда быстрее, точнее, и среагирует в разы активнее. То есть сильнее распознаётся другой образ, которого нет в природе.
Если вы думаете, что мы с вами не забагованы, то ошибаетесь. У нас, людей, есть примерно такой же пример переобучения, хорошо известный анимешникам.
Сумасшедший искусственный интеллект
3 мин
Почему все хотят создать здравомыслящий искусственный интеллект? Что если пойти другим путём, и попробовать создать сумасшедший искусственный интеллект? Случалось ли у вас такое такое, когда какая нибудь навязчивая мысль не давала вам покоя весь день, то и дело всплывая в сознании? Или что вы не могли вспомнить слово, хотя оно крутилось у вас на языке? Или вы пытались что-то вспомнить, но у вас ничего не выходило? А спустя несколько дней, а то и недель, эта информация вдруг всплывала в сознании...
Спросите Итана: победит ли Великий аттрактор тёмную энергию?
5 мин
Перевод
Сверхскопление Ланиакея. Расположение Млечного пути показано красным.
На крупнейших масштабах тёмная энергия заставляет расширение Вселенной ускоряться. Оно не только отдаляет удалённые галактики друг от друга, оно заставляет их ускоряться друг относительно друга. С другой стороны, гравитация заставляет материю скапливаться вместе, так, как скопились наша Галактика и наша локальная группа, и может победить это ускорение, если соберёт достаточно большое количество вещества в одном месте. Но галактики и группы – не крупнейшие из известных нам структур. Во Вселенной существуют скопления и сверхскопления галактик, одно из которых находится прямо у нас под боком! Победит ли в итоге какое-нибудь из таких сверхскоплений тёмную энергию? Наш читатель спрашивает:
Если мы гравитационно связаны только с Андромедой, и всё остальное в итоге исчезнет из видимой области Вселенной, как же мы все можем двигаться по направлению к Великому аттрактору (или куда мы там направляемся к гравитационному центру Ланиакеи)?
С точки зрения космических масштабов недалеко от нас находятся тысячи галактик, притягивающих нас к себе.
Предотвращение негативных последствий при разработке систем искусственного интеллекта, превосходящих человеческий разум
27 мин
Статей о том, что совсем скоро придут башковитые роботы и всех поработят бесконечное множество. Под катом еще одна заметка. Предлагаем вам ознакомиться с переводом выступления Нейтана Суареса, посвящённого определению целей систем искусственного интеллекта в соответствии с задачами оператора. На этот доклад автора вдохновила статья «Настройка искусственного интеллекта: в чем сложность и с чего начать», которая является основой для исследований в сфере настройки искусственного интеллекта.
Большинство частиц распадается, а некоторые — нет
9 мин
Перевод
Хотя большинство частиц дезинтегрируются, или распадаются, на другие частицы, некоторые из них так себя не ведут. Но почему?
В мире есть много типов частиц, часть из них выглядит элементарными, другие можно построить из элементарных – к примеру, протоны, нейтроны и атомное ядро – но большинство из них распадаются за малую долю секунды. В предыдущей статье я объяснил, почему они распадаются; на самом деле это форма рассеивания, о которой мы имеем интуитивное представление, происходящее из нашего опыта, связанного с волнами и вибрациями. Но почему же несколько типов частиц вообще не распадаются, или, по крайней мере, живут гораздо дольше, чем 13,7 миллиардов лет, дольше возраста Вселенной?
Единственные из известных в природе стабильных частиц – это электрон (и антиэлектрон), легчайший из трёх типов нейтрино (и его античастица), фотон, и предполагаемый гравитон (оба последних являются античастицами сами себе). Другие нейтрино, протон и множество атомных ядер (и их античастиц – тут я прекращаю упоминание античастиц, оно будет подразумеваться), вероятно, нестабильны, но живут очень, очень, очень долго. Протоны, например, живут так долго, что с Большого взрыва их распалось очень малое количество, так что со всех практических точек зрения они стабильны. Другая долгоживущая частица – это нейтрон, который сам по себе, вне атомного ядра, живёт всего около 15 минут. Но внутри атомных ядер нейтроны могут жить дольше возраста Вселенной. Наконец, стоит добавить, что если тёмная материя состоит из частиц, тогда эти частицы тоже должны быть стабильными или очень, очень долгоживущими.
В мире есть много типов частиц, часть из них выглядит элементарными, другие можно построить из элементарных – к примеру, протоны, нейтроны и атомное ядро – но большинство из них распадаются за малую долю секунды. В предыдущей статье я объяснил, почему они распадаются; на самом деле это форма рассеивания, о которой мы имеем интуитивное представление, происходящее из нашего опыта, связанного с волнами и вибрациями. Но почему же несколько типов частиц вообще не распадаются, или, по крайней мере, живут гораздо дольше, чем 13,7 миллиардов лет, дольше возраста Вселенной?
Единственные из известных в природе стабильных частиц – это электрон (и антиэлектрон), легчайший из трёх типов нейтрино (и его античастица), фотон, и предполагаемый гравитон (оба последних являются античастицами сами себе). Другие нейтрино, протон и множество атомных ядер (и их античастиц – тут я прекращаю упоминание античастиц, оно будет подразумеваться), вероятно, нестабильны, но живут очень, очень, очень долго. Протоны, например, живут так долго, что с Большого взрыва их распалось очень малое количество, так что со всех практических точек зрения они стабильны. Другая долгоживущая частица – это нейтрон, который сам по себе, вне атомного ядра, живёт всего около 15 минут. Но внутри атомных ядер нейтроны могут жить дольше возраста Вселенной. Наконец, стоит добавить, что если тёмная материя состоит из частиц, тогда эти частицы тоже должны быть стабильными или очень, очень долгоживущими.
DJI Spark — квадрокоптер-искорка помещается в ладошке
3 мин
Если квадрокоптер поставить на ладошку и повернуть к себе «лицом», то он узнает вашу улыбку и взлетит. А попросить его сделать фотку можно при помощи жестов.
Вчера DJI анонсировали новинку — Spark.
Коротко
Подробнее
Вчера DJI анонсировали новинку — Spark.
Коротко
- 14 сантиметров, 300 грамм, 15 минут полета, 50 км/час, 12 MP, 1/2.3" CMOS, Видео FHD: 1920×1080 30p.
- Меньше и легче чем Mavic Pro, но со всеми режимами «умного полета», плюс опция «QuickShot».
- Управлять можно с мобильного устройства, скачав DJI GO 4 app или использовать специальный пульт.
- Может «стримить» фото и видео на ваш мобильник или сохранять на SD карту на борту.
- Может уклоняться от препятствий за 5 метров до них на скорости до 3 м/с и летать при ветре 20‑28 км/ч
- Транслирует видосы 720p 30 fps с задержкой 200 мс. На мобильник при высоте до 50 м, расстояние до 100 м. Если использовать специальный пульт, то до 2 км.
- Зарядка от USB 80 минут, используя специальный Charging Hub — 52 минуты.
Подробнее
Сжигая современную версию Александрийской библиотеки
23 мин
Перевод
Библиотека Виблингенского аббатства в Ульме
У вас должна была появиться возможность получить доступ к полному тексту практически любой из когда-либо опубликованных книг в один клик. За книги, издающиеся до сих пор, вам нужно было бы платить, но всё остальное – а эта коллекция росла бы быстрее, чем архивы библиотеки Конгресса, Гарварда, Мичиганского университета, или любой из национальных библиотек Европы – была бы доступна совершенно бесплатно через терминалы, установленные в любой пожелавшей бы этого библиотеке.
Через терминал можно было бы проводить поиск по десяткам миллионов книг и читать любую страницу любой найденной книги. Можно было бы выделять текст, оставлять пометки и делиться ими. Впервые можно было бы указать на какую-либо идею, хранящуюся среди обширных печатных записей, и отправить кому-либо ссылку на неё. Книги стали бы доступны мгновенно, с поиском, копированием, и они были бы настолько же живыми в цифровом мире, как веб-страницы.
Это должно было стать реализацией очень давно вынашиваемой мечты. «Об универсальных библиотеках люди говорили тысячелетиями, – утверждает Ричард Овенден [Richard Ovenden], глава Оксфордских Бодлианских библиотек. – Во времена Возрождения можно было представить себе возможность собрать все опубликованные знания в одной комнате или в одном учреждении». Весной 2011 года казалось, что мы собрали эту коллекцию в терминале, способном уместиться на столе.
Как стать специалистом по Data science: итоги открытого семинара в Университете ИТМО
4 мин
16 мая в Университете ИТМО состоялся семинар, посвященный теме машинного обучения. Приглашенный лектор, заведующий кафедрой высокопроизводительных компьютерных технологий Уральского федерального университета Андрей Созыкин, рассказывал о профессии специалиста по Data science и направлениях развития этой сферы в ближайшем будущем.
В сегодняшнем материале — выдержки из интервью с лектором и рассказ о том, что нужно знать и уметь будущему специалисту по работе с данными.
В сегодняшнем материале — выдержки из интервью с лектором и рассказ о том, что нужно знать и уметь будущему специалисту по работе с данными.
Открытый курс машинного обучения. Тема 10. Градиентный бустинг
18 мин
Всем привет! Настало время пополнить наш с вами алгоритмический арсенал.
Сегодня мы основательно разберем один из наиболее популярных и применяемых на практике алгоритмов машинного обучения — градиентный бустинг. О том, откуда у бустинга растут корни и что на самом деле творится под капотом алгоритма — в нашем красочном путешествии в мир бустинга под катом.
UPD 01.2022: С февраля 2022 г. ML-курс ODS на русском возрождается под руководством Петра Ермакова couatl. Для русскоязычной аудитории это предпочтительный вариант (c этими статьями на Хабре – в подкрепление), англоговорящим рекомендуется mlcourse.ai в режиме самостоятельного прохождения.
Видеозапись лекции по мотивам этой статьи в рамках второго запуска открытого курса (сентябрь-ноябрь 2017).
Как тёмная материя стала популярной гипотезой
5 мин
Почему мы считаем ту или иную теорию или гипотезу убедительной, а её альтернативы маловероятными? Ответ на этот вопрос волнует философов науки уже много десятилетий: спорам Карла Поппера и Томаса Куна уже больше 40 лет. Относительно свежий пример, на котором можно его обсудить, — развитие представлений о тёмной материи. Признаки её существования обнаружили ещё в 1930–х годах, но только в 1970–х эту гипотезу начали рассматривать как основную. Почему?
Физики впервые установили контрфактическое квантовое соединение
3 мин
Квантовые коммуникации сами по себе странное явление. Но в разнообразии квантов есть один самый странный вид — контрфактическая коммуникация (counterfactual communication). Это вид связи, который вообще не предполагает передачу частиц между отправителем и получателем. Этот вид отличается от обычной квантовой телепортации, потому что в телепортации используются спутанные частицы. Обычно частицы нужно физически совместить и спутать заранее, прежде чем телепортировать информацию между ними на любое расстояние, то есть передача частиц происходит так или иначе. Как вариант, частицы можно спутать на расстоянии, но при посредничестве третьей частицы, которая всё-таки должна физически проделать этот путь. В контрфактических соединениях такого условия нет (только нужно помнить, что фотон здесь можно описать волновой функцией и не считать частицей).
Теоретическую основу для контрфактической квантовой связи физики сформулировали в 2013 году. Согласно описанию протокола, передача информации между Алисой и Бобом осуществляется в пустом пространстве без движения физических частиц за счёт измерений без взаимодействия и цепочки квантовых эффектов Зенона.
Описание протокола было теоретической работой, но сейчас учёные впервые на практике установили прямое контрфактическое соединение и действительно передали информацию — чёрно-белое изображение из пункта А в пункт Б. Носителем информации является фаза света, а фотон описывается волновой функцией.
Философия информации, часть 7-я, заключительная. Системообразование
24 мин
Окончание стартовавшей отсюда семисерийной сказки.
Читатели вполне справедливо жаловались на то, что в предыдущих главах было много хитро накрученных абстрактных теоретических построений с не очевидной практической полезностью. В последней главе попробуем сконцентрироваться на сугубо прикладных и очень жизненных аспектах.