Как стать автором
Обновить
10
0

Пользователь

Отправить сообщение

Устойчивость обучения GAN

Время на прочтение8 мин
Количество просмотров14K
Впервые идея GAN была опубликована Яном Гудфеллоу Generative Adversarial Nets, Goodfellow et alб 2014, после этого GAN'ы являются одними из лучших генеративнх моделей.

Как и у любой другой генеративной модели задача GAN построить модель данных, а если более конкретно научиться генерировать семплы из распределения максимально близкого к распределению данных (обычно имеется датасет ограниченного размера, распределение данных в котором мы хотим промоделировать).

GAN’ы огромным количеством достоинств, но у них есть один существенный недостаток – их очень сложно обучать.

В последнее время вышел ряд работ посвященных устойчивости GAN:


Вдохновившись их идеями, я сделал небольшое свое исследование.
Читать дальше →
Всего голосов 16: ↑15 и ↓1+14
Комментарии4

Shrimp: масштабируем и раздаем по HTTP картинки на современном C++ посредством ImageMagic++, SObjectizer и RESTinio

Время на прочтение16 мин
Количество просмотров6.2K


Предисловие


Наша небольшая команда занимается развитием двух OpenSource инструментов для C++разработчиков — акторного фреймворка SObjectizer и встраиваемого HTTP-сервера RESTinio. При этом мы регулярно сталкиваемся с парой нетривиальных вопросов:

  • какие фичи добавлять в библиотеку, а какие оставлять «за бортом»?
  • как наглядно показывать «идеологически правильные» способы использования библиотеки?

Хорошо, когда ответы на такие вопросы появляются по ходу использования наших разработок в реальных проектах, когда разработчики приходят к нам со своими жалобами или хотелками. За счет удовлетворения хотелок пользователей мы наполняем свои инструменты функциональностью, которая продиктована самой жизнью, а не «высосана из пальца».

Но до нас доходит информация далеко не о всех проблемах и сложностях, с которыми сталкиваются пользователи. И не всегда мы можем использовать полученную информацию и, особенно, примеры кода, в своих публичных материалах.

Поэтому иногда мы сами для себя выдумываем небольшие задачки, решая которые мы вынужденно превращаемся из разработчиков инструментов в пользователей. Это позволяет нам взглянуть на собственные инструменты другими глазами и самим понять, что хорошо, что не очень, чего не хватает, а чего слишком много.

Сегодня мы хотим рассказать как раз об одной такой «небольшой» задачке, в которой естественным образом объединились SObjectizer и RESTinio.

Масштабирование и раздача картинок. Почему именно это?


В качестве небольшой демо-задачи для самих себя мы выбрали HTTP-сервер, который раздает по запросам отмасштабированные картинки. Вы складываете изображения в какой-то каталог, запускаете HTTP-сервер, делаете к нему запрос вида:
Читать дальше →
Всего голосов 21: ↑20 и ↓1+19
Комментарии13

RabbitMQ против Kafka: два разных подхода к обмену сообщениями

Время на прочтение18 мин
Количество просмотров324K

В прошлых двух статьях мы рассказывали об IIoT — индустриальном интернете вещей — строили архитектуру, чтобы принимать данные от сенсоров, паяли сами сенсоры. Краеугольным камнем архитектур IIoT да и вообще любых архитектур работающих с BigData является потоковая обработка данных. В ее основе лежит концепция передачи сообщений и очередей. Стандартом работы с рассылкой сообщений сейчас стала Apache Kafka. Однако, для того, чтобы разобраться в ее преимуществах (и понять ее недостатки) было бы хорошо разобраться в основах работы систем очередей в целом, механизмах их работы, шаблонах использования и основной функциональности.



Мы нашли отличную серию статей, которая сравнивает функциональность Apache Kafka и другого (незаслуженно игнорируемого) гиганта среди систем очередей — RabbitMQ. Эту серию статей мы перевели, снабдили своими комментариями и дополнили. Хотя серия и написана в декабре 2017 года, мир систем обмена сообщениями (и особенно Apache Kafka) меняется так быстро, что уже к лету 2018-го года некоторые вещи изменились.

Читать дальше →
Всего голосов 87: ↑82 и ↓5+77
Комментарии42

Burger King и тайная запись экрана вашего телефона

Время на прочтение2 мин
Количество просмотров171K
UPD2:
Сделал второй пост с доказательствами и опровержением заявлений Burger King. Читать здесь.

UPD:
fennikami
Я предоставил видео-доказательство того, что поля ввода данных (в том числе — банковских карт) не скрываются + видео отправляется каждый раз при запуске (в чем вы сами можете убедиться, отследив трафик приложения).
Таким образом я имею опровержение официального ответа Burger King о том, что «личная информация скрыта» и того, что якобы используется выборка на 10% пользователей.

Стоит отметить, что ни в одном из официальных видео Burger King (где они якобы демонстрируют скрытие личных данных) не показано меню привязки банковской карты.
В этом видео оно показано.

Также хочу отметить, что после публикации оргинального расследования — на мой блог начались хакерские атаки (брутфорс админки, поиск эксплоитов, попытка DDoS).

Я готовлю второй пост на эту тему.
Stay tuned, больше информации — в моем блоге.


Привет, Хабр! Мне 18 и я бородат в свободное время ковыряю разные приложения. Сегодня мои руки дошли до распиаренного и популярного приложения Burger King (того самого, где «бургер — бесплатно», «наедалово» и промокоды для друзей).

Запускаю их приложение, наблюдаю за трафиком. И тут обнаруживаю это:

image

Что это такое? Если нет идей, смотрите под катом.
Читать дальше →
Всего голосов 397: ↑287 и ↓110+177
Комментарии471

Чат-боты должны были стать следующим прорывом: что же пошло не так?

Время на прочтение11 мин
Количество просмотров14K
Новостные издания так и разливались: «В 2016 году переход к парадигме ботов принесет куда более далеко идущие и интересные последствия, чем переход от веба к приложениям, который произошел в прошлом десятилетии».

Чат-боты были На Очереди В Тренд.


Наши надежды парили в заоблачных высях. Индустрия ожидала новой эры инноваций с горящими глазами и хвостом трубой: пришло время общаться с машинами. Это казалось логичным. Все знаки указывали на безумный успех. Обмен сообщения вышел на пик! Диалоговый маркетинг стал новомодным термином! А WeChat! А Китай!

К тому же становилось очевидным, что на рынке этих дурацких приложений с их трудоемкой разработкой предложение сильно превышает спрос.

На Mobile World Congress 2017 чат-боты занимали все первые полосы. Организаторы конференции ссылались на «всеобщее согласие с тем, что в будущем внимание брендов и корпораций неизбежно сместится на чат-боты». Фактически единственный серьезный вопрос состоял в том, кто именно монополизирует рынок; то, что чат-боты «взлетят», не подлежало сомнению:

«Появится ли платформа, которая займет доминирующее положение в экосистеме чат-ботов и личных помощников?»

Год спустя мы получили ответ на этот вопрос: нет. Потому что не возникло даже самой экосистемы, в которой можно было бы доминировать.
Читать дальше →
Всего голосов 23: ↑22 и ↓1+21
Комментарии12

Базы данных Microsoft Research теперь доступны для всех

Время на прочтение4 мин
Количество просмотров11K
Мы рады рассказать вам о том, что наши коллеги из подразделения Microsoft Research опубликовали данные, полученные в результате многолетних трудов по курированию и изучению информации из научных работ. В частности, стали доступны данные по инженерии, компьютерным наукам, информатике, математике, физике, биологии, социальным и естественным наукам. Подробнее под катом!

Читать дальше →
Всего голосов 30: ↑29 и ↓1+28
Комментарии3

Как мы перестали тратить неделю на выдачу dev-стенда

Время на прочтение4 мин
Количество просмотров6.7K
Каждый разработчик хочет свой dev-стенд. Каждый тестировщик хочет свой тестовый стенд. И каждый специалист в препродакшне хочет свой стенд — чтобы все финально проверить и отрепетировать запуск в прод. Когда все эти хотелки сходятся в процессинге — одной из самых крупных и активных систем банка — расходы на инфраструктуру заставляют почесать затылок и поискать «варианты». О том, что нашли мы, расскажем в этом посте.

Читать дальше →
Всего голосов 25: ↑20 и ↓5+15
Комментарии7

Как мы анализировали отзывы о мобильном приложении с помощью машинного обучения

Время на прочтение7 мин
Количество просмотров5.7K
Недавно мы, команда Data Science Big Data Сбертеха, завершили один интересный пилот в сфере машинного обучения: попробовали с его помощью выявить инциденты в работе мобильного Сбербанк Онлайн, исходя из текстов отзывов пользователей в магазинах приложений. Взяли датасет отзывов из Google Play за период с октября 2014 г. по октябрь 2017 г. (882 864 отзыва), отфильтровали 92 711 отрицательных (1-2 звезды) и начали работу. Какую — расскажем под катом.


Читать дальше →
Всего голосов 17: ↑14 и ↓3+11
Комментарии8

Создатель Питона: я устал, я ухожу

Время на прочтение3 мин
Количество просмотров118K

Теперь, когда PEP 5721 готов, я хочу чтобы это был последний PEP за который мне пришлось так отчаянно сражаться сталкиваясь с таким количеством людей презирающих моё мнение.

Читать дальше →
Всего голосов 137: ↑136 и ↓1+135
Комментарии305

Капсульные нейронные сети

Время на прочтение3 мин
Количество просмотров23K
В 2017 году Джеффри Хинтон (один из основоположников подхода обратного распространения ошибки) опубликовал статью, в которой описал капсульные нейронные сети и предложил алгоритм динамической маршрутизации между капсулами для обучения предложенной архитектуры.

У классических свёрточных нейронных сетей есть недостатки. Внутреннее представление данных сверточной нейронной сети не учитывает пространственные иерархии между простыми и сложными объектами. Так, если на изображении в случайном порядке изображены глаза, нос и губы для свёрточной нейронной сети это явный признак наличия лица. А поворот объекта ухудшает качество распознавания, тогда, как человеческий мозг легко решает эту задачу.


Для свёрточной нейронной сети 2 изображения схожи [2]
Читать дальше →
Всего голосов 40: ↑28 и ↓12+16
Комментарии9

DesignOps, стремительно ворвавшийся в тренд

Время на прочтение3 мин
Количество просмотров9.6K
Баззворд «DesignOps» грозится вытеснить «UX-стратегию» и другие термины для описания дизайн-менеджмента. Он периодически всплывал в последние годы, но с подачи методички «DesignOps Handbook» от InVision ворвался на вершину хайпа. Авторы: Dave Malouf (Digital Ocean), Collin Whitehead (Dropbox), Meredith Black (Pinterest), Kate Battles (Fitbit). Организационные модели, координация команд, Research Ops.

Читать дальше →
Всего голосов 25: ↑24 и ↓1+23
Комментарии4

Облысение: Теория и практика лечения, ч.2 «Даже у простаты есть гланды, простагландины»

Время на прочтение5 мин
Количество просмотров25K

Вторая статья о облысении (часть первая), причинах и методах лечения, будет посвящена простагландинам — сигнальным молекулам которые помимо прочего так же замешаны в регуляции как роста волос так и процессов облысения.


image

Использование простагландинов, либо препаратов их блокирующих, является довольно новой (и экспериментальной) формой лечения в борьбе с облысением, которая может стать как альтернативой для миноксидил-финастерид терапии так и дополнении к ней.
Читать дальше →
Всего голосов 22: ↑19 и ↓3+16
Комментарии32

Вы и Брэд Питт похожи на 99%

Время на прочтение14 мин
Количество просмотров24K

Завтра в отпуск


Мы в отделе аналитики онлайн-кинотеатра Okko любим как можно сильнее автоматизировать подсчёты сборов фильмов Александра Невского, а в освободившееся время учиться новому и реализовывать классные штуки, которые почему-то обычно выливаются в ботов для Телеграма. К примеру, перед началом чемпионата мира по футболу 2018 мы выкатили в рабочий чат бота, который собирал ставки на распределение итоговых мест, а после финала подсчитал результаты по заранее придуманной метрике и определил победителей. Хорватию в четвёрку не поставил никто.


Недавнее же свободное от составления ТОП-10 российских комедий время мы посвятили созданию бота, который находит знаменитость, на которую пользователь больше всего похож лицом. В рабочем чате идею все настолько оценили, что мы решили сделать бота общедоступным. В этой статье мы кратко вспомним теорию, расскажем о создании нашего бота и о том, как сделать такого самому.

Уронить запад
Всего голосов 62: ↑57 и ↓5+52
Комментарии10

Как я стандартную библиотеку C++11 писал или почему boost такой страшный. Глава 4.1

Время на прочтение6 мин
Количество просмотров7.2K
Продолжаем приключения.

Краткое содержание предыдущих частей


Из-за ограничений на возможность использовать компиляторы C++ 11 и от безальтернативности boost'у возникло желание написать свою реализацию стандартной библиотеки C++ 11 поверх поставляемой с компилятором библиотеки C++ 98 / C++ 03.

Были реализованы static_assert, noexcept, countof, а так же, после рассмотрения всех нестандартных дефайнов и особенностей компиляторов, появилась информация о функциональности, которая поддерживается текущим компилятором. Включена своя реализация nullptr, которая подбирается на этапе компиляции.

Настало время type_traits и всей этой «особой шаблонной магии».

Ссылка на GitHub с результатом на сегодня для нетерпеливых и нечитателей:

Коммиты и конструктивная критика приветствуются

Погрузимся же в мир «шаблонной магии» C++.
Читать дальше →
Всего голосов 15: ↑15 и ↓0+15
Комментарии1

Delphi и C++Builder Community Edition

Время на прочтение1 мин
Количество просмотров45K
image

Случилось то, чего мы все так долго ждали. Embarcadero представила новую редакцию Delphi и C++ Builder: Delphi Community Edition и C++ Builder Community Edition. Новая редакция предназначена для индивидуальных разработчиков, студентов, стартапов и некоммерческих организаций.
Читать дальше →
Всего голосов 66: ↑62 и ↓4+58
Комментарии262

Сeph как подключаемое хранилище: 5 практических выводов из крупного проекта

Время на прочтение6 мин
Количество просмотров7.1K
С учетом роста данных в наше время все чаще говорится о программно-определяемых и распределенных хранилищах данных, причем немало внимания традиционно уделяется открытой платформе Сeph. Сегодня мы хотим рассказать о тех выводах, к которым мы пришли в процессе реализации проекта по хранению данных для одного крупного российского ведомства.
Читать дальше →
Всего голосов 16: ↑15 и ↓1+14
Комментарии18

Специализация по спортивному программированию на Курсере

Время на прочтение1 мин
Количество просмотров4.8K


Исследовательской лабораторией им. П. Л. Чебышева при СПбГУ готовится онлайн-специализация по спортивному программированию на платформе Coursera. В первом курсе специализации даётся мягкое введение в мир спортивного программирования, в последующих четырёх курсах даются углубленные знания по вычислительной геометрии, алгоритмах на графах, числовым алгоритмам, алгоритмам на строках. В специализации будет много задач, максимально похожих на задачи с соревнований. Для самых сложных задач каждой недели будут даваться разборы. Лекции в специализации читаются как профессорами-математиками, так и тренерами СПбГУ и участниками недавних финалов чемпионата мира по программированию (ACM ICPC): Н. А. Вавилов, К. В. Вяткина, С. В. Копелиович, А. С. Куликов, А. Е. Логунов, А. С. Лопатин, А. С. Охотин, В. А. Петров, Ф. В. Петров, К. А. Симонов. Программу помогал составлять Е. Ф. Суворов, задачи — А. А. Толстиков.
Читать дальше →
Всего голосов 8: ↑7 и ↓1+6
Комментарии18

«Туда и обратно» для нейронных сетей, или обзор применений автокодировщиков в анализе текстов

Время на прочтение9 мин
Количество просмотров20K
Мы уже писали в самой первой статье нашего корпоративного блога о том, как работает алгоритм обнаружения переводных заимствований. Лишь пара абзацев в той статье посвящена теме сравнения текстов, хотя идея достойна гораздо более развернутого описания. Однако, как известно, обо всем сразу рассказать нельзя, хоть и очень хочется. В попытках воздать должное этой теме и архитектуре сети под названием «автокодировщик», к которой мы питаем очень теплые чувства, мы с Oleg_Bakhteev и написали этот обзор.


Источник: Deep Learning for NLP (without Magic)

Как мы упоминали в той статье, сравнение текстов у нас было “смысловое” – мы сопоставляли не сами текстовые фрагменты, а векторы, им соответствующие. Такие векторы получались в результате обучения нейронной сети, которая отображала текстовый фрагмент произвольной длины в вектор большой, но фиксированной размерности. Как получить такое отображение и как научить сеть выдавать нужные результаты – отдельный вопрос, о которой и пойдет речь ниже.
Читать дальше →
Всего голосов 21: ↑20 и ↓1+19
Комментарии4

Как работает JS: абстрактные синтаксические деревья, парсинг и его оптимизация

Время на прочтение16 мин
Количество просмотров48K
[Советуем почитать] Другие 19 частей цикла
Часть 1: Обзор движка, механизмов времени выполнения, стека вызовов
Часть 2: О внутреннем устройстве V8 и оптимизации кода
Часть 3: Управление памятью, четыре вида утечек памяти и борьба с ними
Часть 4: Цикл событий, асинхронность и пять способов улучшения кода с помощью async / await
Часть 5: WebSocket и HTTP/2+SSE. Что выбрать?
Часть 6: Особенности и сфера применения WebAssembly
Часть 7: Веб-воркеры и пять сценариев их использования
Часть 8: Сервис-воркеры
Часть 9: Веб push-уведомления
Часть 10: Отслеживание изменений в DOM с помощью MutationObserver
Часть 11: Движки рендеринга веб-страниц и советы по оптимизации их производительности
Часть 12: Сетевая подсистема браузеров, оптимизация её производительности и безопасности
Часть 13: Анимация средствами CSS и JavaScript
Часть 14: Как работает JS: абстрактные синтаксические деревья, парсинг и его оптимизация
Часть 15: Как работает JS: классы и наследование, транспиляция в Babel и TypeScript
Часть 16: Как работает JS: системы хранения данных
Часть 17: Как работает JS: технология Shadow DOM и веб-компоненты
Часть 18: Как работает JS: WebRTC и механизмы P2P-коммуникаций
Часть 19: Как работает JS: пользовательские элементы

Все мы знаем о том, что JavaScript-код веб-проектов может разрастаться до прямо-таки огромных размеров. А чем больше размер кода — тем дольше браузер будет его загружать. Но проблема тут не только во времени передачи данных по сети. После того, как программа загрузится, её ещё надо распарсить, скомпилировать в байт-код, и, наконец, выполнить. Сегодня мы представляем вашему вниманию перевод 14 части серии материалов об экосистеме JavaScript. А именно, речь пойдёт о синтаксическом анализе JS-кода, о том, как строятся абстрактные синтаксические деревья, и о том, как программист может повлиять на эти процессы, добившись повышения скорости работы своих приложений.

image
Читать дальше →
Всего голосов 25: ↑24 и ↓1+23
Комментарии5

Безопасность машинного обучения: эффективные методы защиты или новые угрозы?

Время на прочтение13 мин
Количество просмотров12K

Одними из самых популярных и обсуждаемых новостей последние несколько лет являются — кто куда добавил искусственный интеллект и какие хакеры что и где сломали. Соединив эти темы, появляются очень интересные исследования, и на хабре уже было несколько статей посвященных тому, что есть возможность обманывать модели машинного обучения, к примеру: статья про ограничения глубокого обучения, про то как омбанывать нейронные сети. Далее хотелось бы рассмотреть подробней эту тему с точки зрения компьютерной безопасности:


image

Читать дальше →
Всего голосов 21: ↑19 и ↓2+17
Комментарии12

Информация

В рейтинге
Не участвует
Откуда
Москва, Москва и Московская обл., Россия
Зарегистрирован
Активность