• Щи, или Распознавание 330 млн лиц на скорости 400 фото / сек

      Распознаванием лиц в 2018 году никого не удивишь – каждый студент, может, даже школьник, его делал. Но всё становится немного сложнее, когда у вас не датасет на 1 млн пользователей, а:


      • 330 миллионов пользовательских аккаунтов;
      • ежедневно заливается 20 млн пользовательских фотографий;
      • максимальное время на обработку одного фото не должно превышать 0.2 сек;
      • ограниченные объемы оборудования для решения задачи.


      В этой статье мы поделимся опытом разработки и запуска системы распознавания лиц на пользовательских фотографиях в социальной сети Одноклассники и расскажем про все ”от А до Я”:


      • математический аппарат;
      • техническую реализацию;
      • результаты запуска;
      • и акцию StarFace, которую мы использовали для PR-а нашего решения.

      Распознавание лиц Одноклассников в деталях
    • Метод BFGS или один из самых эффективных методов оптимизации. Пример реализации на Python



        Метод BFGS, итерационный метод численной оптимизации, назван в честь его исследователей: Broyden, Fletcher, Goldfarb, Shanno. Относится к классу так называемых квазиньютоновских методов. В отличие от ньютоновских методов в квазиньютоновских не вычисляется напрямую гессиан функции, т.е. нет необходимости находить частные производные второго порядка. Вместо этого гессиан вычисляется приближенно, исходя из сделанных до этого шагов.

        Существует несколько модификаций метода:
        L-BFGS (ограниченное использование памяти) — используется в случае большого количества неизвестных.
        L-BFGS-B — модификация с ограниченным использованием памяти в многомерном кубе.

        Метод эффективен и устойчив, поэтому зачастую применяется в функциях оптимизации. Например в SciPy, популярной библиотеки для языка python, в функции optimize по умолчанию применяется BFGS, L-BFGS-B.

        Читать дальше →
        • +21
        • 13,5k
        • 4
      • Поднимаем микромониторинг на icinga2 с минимальными затратами

        Иногда есть желание контролировать ситуацию в разнородных сетях, отдельных хостах за натом или просто мониторить компьютеры родителей или друзей, но ресурсов для этого почти нет. Будем искать решение с помощью icinga2. Сейчас у VDS провайдеров есть предложения VDS серверов в минимальных конфигурациях за смешные деньги. Что ж, воспользуемся этим.

        Например, сервер с одним ядром, 512 Мб оперативной памяти и диском на 10 Гб обойдется всего в 90 рублей в месяц. Установим icinga2 на такой сервер. Но для экономии ресурсов не будем хранить данные и вместо стандартного веб-интерфейса (icingaweb2) сделаем свой который будет обращаться к API icinga2.
        Читать дальше →
      • «Метод тыквы». Как выращивать идеальных клиентов и отсеивать плохих



          Делимся с вами саммари (кратким изложением идей) на книгу Майка Микаловица «Метод тыквы. Как стать лидером в своей нише без бюджета». В оригинале книга называется «The Pumpkin Plan. A Simple Strategy to Grow a Remarkable Business in Any Field». Переводчик решил вставить в название фразу «без бюджета», напомнив про предыдущую книгу автора («Стартап без бюджета»). Но всё-таки переводное название вводит в заблуждение. Книга о другом.
          Рекомендуем к прочтению тем, кто увяз в работе над собственным делом, кто гоняется за каждым новым заказом, кто устал от плохих клиентов, и всем, кто хочет сделать свой бизнес выдающимся. Возможно, нам есть чему поучиться у фермеров, выращивающих гигантские тыквы.

          Итак…
          Читать дальше →
          • +8
          • 14,2k
          • 6
        • 40 ключевых концепций информационных технологий доступно и понятно

          • Перевод
          Представляю вашему вниманию перевод очень ёмкой, и в то же время достаточно краткой (для такого масштаба проблемы) статьи Карла Чео. Я решил, что очень хочу сделать её перевод практически сразу, как только начал читать, и очень рад, что в итоге сделал это.
          Для того, чтобы сделать обучение более веселым и интересным, представляю вам перечень важных теорий и концепций информатики, объяснённых с помощью аналогий с минимальным количеством технических деталей. Это будет похоже на очень быстрый курс информатики для всех с целью просто дать вам общее представление об основных концепциях.

          Важные замечания:
          • Пункты с неуказанным источником написаны мной самостоятельно. Поправьте меня, если вы заметите какие-то неточности. Предложите лучшую аналогию, если это возможно.
          • Заголовки ссылаются на соответствующие им статьи в Wikipedia. Пожалуйста, читайте эти статьи для более серьезных и детальных объяснений.
          • Аналогии — отличный способ объяснить материал, но они не идеальны. Если вы хотите по-настоящему понять перечисленные концепции, вам следует начать с фундаментальных азов и рассуждать, исходя из них.

          Также зацените эту инфографику (вариант на русском), если вы просто начинающий программист.
          Читать дальше →
        • Управление ресурсами с помощью явных специализаций шаблонов



            RAII – одна из наиболее важных и полезных идиом в C++. RAII освобождает программиста от ручного управления ресурсами, без неё крайне затруднено написание безопасного с точки зрения исключений кода. Возможно, самое популярное использование RAII – это управление динамически выделяемой памятью с помощью умных указателей, но она также может с успехом применяться и к другим ресурсам, особенно в мире низкоуровневых библиотек. Примеры включают в себя дескрипторы Windows API, файловые дескрипторы POSIX, примитивы OpenGL и тому подобное.
            Читать дальше →
          • Генератор документов docx и xlsx

            image

            Год назад ко мне в очередной раз обратился постоянный заказчик. «Менеджеры — идиоты, — негодовал он. — Текучка кадров огромная, на обучение каждого уходят месяцы. А потом они делают ошибки».

            Лишь после такой эмоциональной прелюдии последовало задание: «Необходимо, чтоб при заказе с сайта на почту приходил уже сформированный пакет документов в форматах MS Office: бланк заказа, счет к оплате, товарный чек, и спецификация».
            Читать дальше →
          • Бесплатный видеокурс CCNA Сisco доступен на одном из каналов YouTube

              По моему глубокому убеждению, в особенности в сфере IT, важнейшим качеством любого из специалистов является способность к самообучению. Именно потому в нашей небольшой компании стало хорошей традицией уделять ежедневно время этому процессу, собственному развитию. Даже менеджер должен понимать, как устроена и функционирует сеть. Не давнее, как вчера, обсуждая проблему с BGP, коллега сказал «Вот не был бы я лентяем — прошел бы в студенческие годы курс CCNA и знал бы ответ на твой вопрос». И я задался задачей помочь коллеге, найти способ получить знания в этой области самому, хотя бы начального уровня, чтоб лучше понимать с чем мы работаем. На Хабре, введя в поиск CCNA, можно встретить массу рекомендаций, но все же, англоязычный Интернет — основной источник знаний в области IT-коммуникаций.



              Я просто обожаю YouTube! Ведь он предоставляет волшебную возможность удаленного «посещения» тематических конференций и семинаров, причем абсолютно бесплатно. В этот раз, как оказалось, там уже месяца 2 существует бесплатный канал, на котором лектор Imran Rafai, четко и доступно излагает материал из 30-дневного CCNA-курса, весьма доступно и увлекательно!

              Даже если Вы не системный администратор, а просто хотите обладать немного лучшим пониманием, что такое Интернет — курс для Вас! Помимо прочего Вы повысите свой уровень английского, ведь курс на английском языке, с субтитрами.
              Читать дальше →
            • Как продавать крупным компаниям: 16 советов. Часть 1

              • Перевод
              При продаже своих услуг или программных продуктов крупным предприятиям и корпорациям нужно выработать совсем другой подход, чем тот, который используется с малым и средним бизнесом. Мы в Alconost перевели для вас советы Тима Нгуена, который построил свою карьеру, продавая различные продукты компаниям среднего, крупного и корпоративного сектора, в том числе кредитным союзам и банкам по всей Америке. В среднем сумма сделки составляла 500 тыс. долларов ежегодно, при этом худшим результатом было 25 тысяч, а лучшим – 7 млн. долларов за год. Мы думаем, что советы Нгуена применимы не только к американскому рынку – хотя к нему в особенности.


              Читать дальше →
              • +13
              • 35,5k
              • 6
            • Как удалить bucket с 400 миллионами файлов на Amazon S3

                Допустим, у вас в бакете скопилось несколько сотен миллионов файлов (всякое бывает) и вы решили их удалить. Удалить бакет без удаления содержимого нельзя. Удаление самих файлов происходит примерно по 1000 за 2 секунды. Несложно посчитать, что 400 миллионов файлов можно удалить за 9 дней работы браузера без выключения, да еще и заплатить придется за каждую операцию (DELETE хоть и бесплатный, но LIST стоит денег).

                Но есть возможность настроить правила хранения файлов так, чтобы они удалялись автоматически:
                Читать дальше →
              • Running Lean. Пересказ одной из лучших книг о стартапах

                • Tutorial
                Cover
                Ниже — вольный пересказ книги Running Lean, автор — Ash Maurya. Рейтинг Амазона — 4.8 из 5. Книга, насколько я знаю, на русский язык еще не переведена.

                Здесь изложена суть книги в объеме меньшем 1% объема книги, по моей оценке. Все вопросы освещены так, как я их понял, что необязательно совпадает с тем, как их хотел донести автор.

                Допускаю, что нарушаю чьи-то права: пересказ лицензии не требует, но иллюстрации взяты из книги. Автору я писал в попытке прояснить этот вопрос, но ответа не получил.

                Блог автора кгиги: practicetrumpstheory.com.

                Структура пересказа

                • Введение в процесс Running Lean
                  • Три важнейших методологии
                  • Roadmap
                • Описание процесса Running Lean
                  • Составьте «План А»
                    • Определите кто клиенты
                    • Создайте бизнес-модели
                    • Ранжируйте бизнес-модели
                  • Протестируйте и измените план
                    • Подготовьтесь к проведению экспериментов
                    • Категории рисков и четыре фазы тестирования плана
                      • Фаза 1. Поймите проблему
                      • Фаза 2. Найдите решение
                      • Фаза 3. Валидируйте качественно
                      • Фаза 4. Верифицируйте количественно
                • Три стадии стартапа
                  • Соотношение трех стадий стартапа и четырех фаз тестирования плана
                  • Держите правильный фокус
                  • Привлекайте финансирование вовремя
                  • Масштабируйте правильно
                Читать дальше →
              • Deploy Django приложений с использованием Ansible для чайников

                Доброго времени суток!

                Совсем недавно мой коллега познакомил меня с замечательным инструментом автоматизации ручного труда под названием Ansbile. После чего моментально родилась идея написать что-то своё, что упрощает тот самый ручной труд. Что чаще всего приходится делать руками? Правильно, деплоиться.

                В этой статье я расскажу о том, как с использованием ansible раскатать django-проект на чистом удаленном сервере ubuntu 14.04, создав при этом для проекта отдельного пользователя.
                Читать дальше →
                • +17
                • 16,6k
                • 8
              • Робот-пылесос Kärcher RC 3000: опыт эксплуатации

                  В своей жизни я встречал людей, которым нравится пылесосить. Да, именно так, сам процесс наведения чистоты доставляет удовольствие. Причина может быть разной — от демонстрации собственной нужности до мизофобии.

                  Однако среди широкого спектра придуманных человечеством мотивов для проведения ежедневной уборки жилища, я не смог найти свой. Лень неизменно одерживала верх как над рациональными доводами о необходимости пылесосить каждый день, так и над эмоциональными порывами, энергии которых хватало только на то, чтобы выругаться: "Почему опять никто не убрался!"

                  Признавшись себе однажды в том, что дело не в «нехватке времени» или «усталости после работы», а в банальном нежелании брать в руки этот чертов пылесос, я решил, что нужно процесс уборки как-то автоматизировать, например, купить робота-уборщика.

                  Прочного и надежного робота-уборщика, способного нормально функционировать в самых тяжелых условиях:



                  Мой выбор пал на RC 3000 от Karcher, впечатлениям от эксплуатации которого и посвящается данная статья.

                  Осторожно: под катом много фотографий и видеороликов
                • BOOTSTRA.386: тема для Bootstrap в духе 1980-х

                    Оказывается, некоторые темы для Bootstrap — это маленькие произведения искусства. В рамках надвигающейся пятницы хотелось бы рассказать об одной из таких тем.

                    Крис МакКензи — явно один из тех, кто скучает по старым добрым временам DOS, EGA/VGA и Turbo Vision, иначе он вряд ли бы решился сделать что-то подобное. Так что если вы успели устать от засилья плоского дизайна, то добро пожаловать в мир BOOTSTRA.386!

                    Осторожно: будьте готовы к острому приступу ностальгии. Единственное, чего не хватает для полного погружения — так это навигации с клавиатуры, ну и курсора в виде прямоугольного блока.

                    image

                    Читать дальше →
                  • GTD на кухне: чем накормить голодного программиста

                    • Tutorial
                    imageИтак, как и обещал в первой части, продолжаем упрощать бытовую жизнь хабражителя. Сегодня 8 марта (кстати, девушки, поздравляю!) и части мужчин хочется порадовать своих женщин и освободить их от «рабского труда» на кухне, а другой части – приготовить для себя не традиционные пельмени\вареники\сосиски, а что-то посущественней.
                    Вот несколько проверенных рецептов, которые пригодятся и первым, и вторым.

                    Осторожно, много картинок. Голодным не входить!
                    Читать дальше →
                  • Кратко о гидродинамике: уравнения движения

                      Написав предыдущий пост, исторический и отчасти рекламный (хотя потенциальные абитуриенты такое вряд ли читают), можно перейти и к разговору «по существу». К сожалению, высокой степени популярности описания добиться вряд ли получится, но всё же постараюсь не устраивать курс сухих лекций. Хотя, от сухости избавиться не удалось, да и пост писался в результате ровно месяц.

                      В нынешней публикации описаны основные уравнения движения идеальной и вязкой жидкости. По возможности кратко рассмотрен их вывод и физический смысл, а также описаны несколько простейших примеров их точных решений. Увы, этими несколькими примерами доступные аналитически решения уравнений Навье-Стокса в значительной мере исчерпываются. Напомню, что Институт Клэя отнёс доказательство существования и гладкости решений к проблемам тысячелетия. Гении уровня Перельмана и выше — задача вас ждёт.

                      Дебри теории, много формул и немного картинок в конце
                    • Наш путь через тернии к звездам. История былого величия и мечты о будущем…

                        Последнее время в Сети активизировалось брожение вокруг космических изысканий. И это понятно, то там новые солнечные батареи изобрели, с удивительным КПД, то здесь микроспутники стандартизировали и Arduino в космос запустили, то то, то это. А когда Curiosity удачно примарсился и стал передавать изображения, тут уж сам Бог велел общественности взорваться в обсуждениях.
                        И это закономерно, назрело уже, так сказать. Больно уж много времени прошло с полета первого спутника, первого человека и высадки на луну. А воз, как говорится, и ныне там. Кардинально нового в космической отрасли ничего не произошло, никаких громких прорывов, только улучшения и улучшения… Отсюда и повышенный интерес к теме, люди чувствуют, что пришло время для новых свершений.

                        Далее прошу под кат, будет много эмоций и фотографий.
                        Читать дальше →
                      • Устраиваемся программистом за рубежом

                        Как часто вас посещала мысль о трудоустройстве за границей, будь то просто временная работа или переезд на постоянное место жительство? Какую страну выбрать? Возможно ли пройти собеседования за тысячи километров по телефону и получить джоб-офер? Как будет выглядеть переезд и жизнь в другой стране? В данной статье я бы хотел поделиться личным опытом и опытом многих моих друзей работающих за рубежом.
                        Читать дальше →
                      • Покупка в Apple Store с доставкой в Россию

                          Для чего я пишу этот пост?


                          На многих форумах не устают задавать одни и те же вопросы, суть которых сводится к одному — “Где и как дешевле купить определенный девайс?”. Некоторые, осознав, что лучший способ это заказать заграницей и в этом нет ничего сложного, решаются на покупку в иностранном интернет магазине, но получают не совсем то, что ожидали, например, недавний пост «Так ли выгодно делать покупки за рубежом (на примере ebaytoday.ru)».

                          Особенно ярко это проявляется при покупке техники Apple, так как официально техника, если и поставляется, то с большой задержкой и в большинстве случаев по заоблачным ценам. Данная статья не сможет решить первую проблему в полной мере, так как Гонконг не является, так называемой “страной первой волны”, где в первую очередь появляются устройства от Apple, а вот метод борьбы со второй я и попытаюсь описать далее.

                          Итак, о чем же данный пост?


                          В данном посте я хочу описать весь процесс покупки техники на Apple Store HK через посредника(Shipito), начиная от основных моментов работы с shipito.com, заканчивая объединением нескольких посылок в одну и оплатой доставки в Россию. Описываемый способ может использоваться и для США, но, к сожалению, я не пробовал этого делать и, по некоторым отзывам, Apple Store US отказывается высылать на адреса Shipito, на этом моменте я постараюсь остановиться подробнее в заключении.

                          UPD: получил посылку, публикую Tracking #: CP839884595HK и пишу сроки внизу статьи.
                          Много текста с картинками.
                        • Бизнес для программистов. Как начать свое дело

                            Многие из читателей Хабрахабра хотели бы открыть свой бизнес и перестать работать на «дядю». Но как это сделать? Какие опасности это таит? Ответы на эти и другие вопросы можно найти в замечательной книге «Бизнес для программистов. Как начать свое дело».

                            Ее написал Эрик Синк – бывший разработчик Spyglass, основатель и руководитель SourceGear, одного из основных поставщиков ПО в области контроля версий, а также колумнист MSDN.

                            Основная тема книги – это как стартовать и развить свою маленькую компанию независимого поставщика ПО. Эрик разбивает эту задачу на несколько традиционных компонентов: как стать предпринимателем, люди, маркетинг, продажи. Но каждый из них рассматривает через призму восприятия программиста. Например, приводит следующий совет по поиску идей:
                            Idea FindGoodProductIdea ()
                            {
                            ArrayList candidateList = BrainstormLotsOfIdeas();
                            return ChooseTheBestIdea(candidateList);
                            }

                            Читать дальше →