• Кэширование и memcached

      Этим постом хочу открыть небольшую серию постов по материалам доклада на HighLoad++-2008. Впоследствии весь текст будет опубликован в виде одной большой PDF-ки.



      Введение


      Для начала, о названии серии постов: посты будут и о кэшировании в Web’е (в высоконагруженных Web-проектах), и о применении memcached для кэширования, и о других применениях memcached в Web-проектах. То есть все три составляющие названия в различных комбинациях будут освещены в этой серии постов.
      Читать дальше →
    • Кластеризация memcached и выбор ключа кэширования

        Серия постов под общим заглавием “Web, кэширование и memcached” продолжается. В первом мы поговорили о memcached, его архитектуре и возможном применении.

        Сегодня речь пойдет о:
        • выборе ключа кэширования;
        • кластеризации memcached и алгоритмах распределения ключей.

        Следующий пост будет посвящен атомарности операций и счетчикам в memcached.

        Итак, поехали!
      • Колыбель для AI

        • Tutorial


        Есть одна тема в современном Computer Vision, которая часто остаётся за кадром. В ней нет сложной математики и глубокой логики. Но то что её никак не освещают — вгоняет в ступор многих новичков. А тема не проста: имеет множество граблей, про которые не узнаешь, пока не наступишь.

        Тема — называется так: подготовка базы изображений для дальнейшего обучения.
        В статье:

        1. Как можно отличить хорошую базу
        2. Примеры хороших баз
        3. Примеры программ, которыми удобно размечать базы

        Читать дальше →
        • +37
        • 12,2k
        • 7
      • Умная кормушка: Machine Learning, Raspberry Pi, Telegram, немножко магии обучения + инструкция по сборке

        • Tutorial
        Всё началось с того, что жена захотела повесить кормушку для птиц. Идея мне понравилась, но сразу захотелось оптимизировать. Световой день зимой короткий — сидеть днём и смотреть на кормушку времени нет. Значит нужно больше Computer Vision!



        Идея была простой: прилетает птичка — вжуууух — она оказывается на телефоне. Осталось придумать как это сделать и реализовать.
        В статье:
        • Запуск Caffe на Raspberry Pi B+ (давно хотел это сделать)
        • Построение системы сбора данных
        • Выбор нейронной сети, оптимизация архитектуры, обучение
        • Оборачивание, выбор и приделывание интерфейса

        Все исходники открыты + описан полный порядок развёртывания получившейся конструкции.
        Читать дальше →
      • Нейронные сети для начинающих. Часть 2



          Добро пожаловать во вторую часть руководства по нейронным сетям. Сразу хочу принести извинения всем кто ждал вторую часть намного раньше. По определенным причинам мне пришлось отложить ее написание. На самом деле я не ожидал, что у первой статьи будет такой спрос и что так много людей заинтересует данная тема. Взяв во внимание ваши комментарии, я постараюсь предоставить вам как можно больше информации и в то же время сохранить максимально понятный способ ее изложения. В данной статье, я буду рассказывать о способах обучения/тренировки нейросетей (в частности метод обратного распространения) и если вы, по каким-либо причинам, еще не прочитали первую часть, настоятельно рекомендую начать с нее. В процессе написания этой статьи, я хотел также рассказать о других видах нейросетей и методах тренировки, однако, начав писать про них, я понял что это пойдет вразрез с моим методом изложения. Я понимаю, что вам не терпится получить как можно больше информации, однако эти темы очень обширны и требуют детального анализа, а моей основной задачей является не написать очередную статью с поверхностным объяснением, а донести до вас каждый аспект затронутой темы и сделать статью максимально легкой в освоении. Спешу расстроить любителей “покодить”, так как я все еще не буду прибегать к использованию языка программирования и буду объяснять все “на пальцах”. Достаточно вступления, давайте теперь продолжим изучение нейросетей.
          Читать дальше →
        • Нейронные сети для начинающих. Часть 1

          image

          Привет всем читателям Habrahabr, в этой статье я хочу поделиться с Вами моим опытом в изучении нейронных сетей и, как следствие, их реализации, с помощью языка программирования Java, на платформе Android. Мое знакомство с нейронными сетями произошло, когда вышло приложение Prisma. Оно обрабатывает любую фотографию, с помощью нейронных сетей, и воспроизводит ее с нуля, используя выбранный стиль. Заинтересовавшись этим, я бросился искать статьи и «туториалы», в первую очередь, на Хабре. И к моему великому удивлению, я не нашел ни одну статью, которая четко и поэтапно расписывала алгоритм работы нейронных сетей. Информация была разрознена и в ней отсутствовали ключевые моменты. Также, большинство авторов бросается показывать код на том или ином языке программирования, не прибегая к детальным объяснениям.

          Поэтому сейчас, когда я достаточно хорошо освоил нейронные сети и нашел огромное количество информации с разных иностранных порталов, я хотел бы поделиться этим с людьми в серии публикаций, где я соберу всю информацию, которая потребуется вам, если вы только начинаете знакомство с нейронными сетями. В этой статье, я не буду делать сильный акцент на Java и буду объяснять все на примерах, чтобы вы сами смогли перенести это на любой, нужный вам язык программирования. В последующих статьях, я расскажу о своем приложении, написанном под андроид, которое предсказывает движение акций или валюты. Иными словами, всех желающих окунуться в мир нейронных сетей и жаждущих простого и доступного изложения информации или просто тех, кто что-то не понял и хочет подтянуть, добро пожаловать под кат.
          Читать дальше →
        • Скажи мне, где ты, и я скажу тебе, где ты

            В подмосковном Подольске, в микрорайоне Силикатная-2, есть один лайфхак — когда на дворе уже 9 вечера, и пиво в магазинах уже не продают — достаточно просто перейти дорогу, чтобы его купить. Через дорогу Москва — в ней желаемое до 11 найти можно.

            Остается решить только одну проблему — темной ночью, в незнакомом районе, среди однотипных многоэтажек… узнать на какой стороне ты находишься.

            Исторически на этот вопрос отвечает «обратный геокодер»(reverse geocoder). Он важная часть практически всех картографических АПИ — Google, Яндекс, и даже OSM. Но в большинстве случаев его ответ предназначается человеку, и содержит исключительно текстовое описание локации.

            Это-не-технологично! И уж точно непрактично. Esosedi, кушали этот кактус пару лет, а потом просто сделали свой обратный геокодер. Главное как и зачем.

            Совсем недавно на хабре искали Смерть Кащееву (nested set и вложеность административных рубрик), ходили по районам(отображение данных регионов на карте), и (не)попадали на счетчик Яндекса (прямой геокодер). А теперь разберем, что такое обратный геокодер, и зачем он нужен. А потом разберем механики его работы.
            Читать дальше →
          • Грандиозное тестирование аккумуляторов AA/AAA

              После моего грандиозного тестирования батареек многие просили провести такие же основательные тесты NiMh-аккумуляторов. За четыре месяца я протестировал 198 аккумуляторов (44 модели AA и 35 моделей AAA).



              Читать дальше →
            • Мир розеток: как зарядить гаджеты в разных странах мира



                С конца XIX века не прекращались попытки придумать лучший способ передачи электроэнергии. Как только первые умельцы смогли зажечь электрическую лампочку, нас со всех сторон стали окутывать сети проводов, охватывающие здания, улицы, города и страны, вызывая множество сопутствующих проблем.

                Висящие провода портят внешний вид города и могут представлять серьезную опасность. Дома не можешь вздохнуть с облегчением, когда под столом прячется клубок перекрученных проводов. А уж количество потребителей энергии растет с угрожающей быстротой.

                Избавить мир от многочисленных высоковольтных линий пытались многие. Нет нужды напоминать вам об опытах Николы Теслы, который на практике продемонстрировал возможность беспроводной передачи электричества от генератора к потребителю. Прошел век, а ЛЭП и ныне тут, как и розетка, жаждущая вилки. Со времен Теслы все инновации в этой области с огромным трудом находят дорогу к потребителю.

                Каждый путешественник на себе испытал неудобства проводной передачи энергии. Во многих странах мира используются разные стандарты электрических вилок и розеток, о чем нужно помнить, отправляясь в далекое путешествие.
                Читать дальше →
              • Рендеринг в MAPS.ME



                  Всем привет! Сегодня я бы хотел рассказать о рендеринге, который не имеет отношения к компьютерным играм, анимационным фильмам или промышленным системам проектирования. Речь пойдет о движке для рендеринга карт в реальном времени для проекта MAPS.ME. В данном посте я опишу общие принципы работы движка и некоторые грабли, на которые мы наступили (и те, которые успешно обошли). Если вы занимаетесь рендерингом больших объемов данных, в особенности картографического характера, наш опыт, надеюсь, будет полезен в ваших проектах или, по крайней мере, любопытен. Всех заинтересовавшихся прошу под кат.
                  Читать дальше →
                • Как начать летать самостоятельно, хоть на чем-то, с мотором

                    Вторая статья для желающих начать летать самостоятельно.
                    Сегодня мы будем рассматривать варианты сжигания дохлых мамонтов (бензина) для приобретения кинетической энергии.

                    Парящий полет (первая статья)
                    • Параплан
                    • Дельтаплан
                    • Планер

                    Моторный полет (под катом)
                    • Самолет
                    • Мотодельтаплан (дельталет)
                    • Паратрайк (аэрошют)
                    • Парамотор (карлсон, мотопараплан)
                    • Мотопланер



                    Первый раз за штурвал самолета я сел в 18 лет. До первого самостоятельного вылета налетал 25 часов и совершил около 100 взлетов и посадок. Сейчас мой суммарный налет на всем, что летает — порядка 400 часов. Это жутко мало, чтобы считать себя опытным пилотом, но достаточно, чтобы подсесть на “летную иглу”. Приглашаю и вас стать авиазависимыми.
                    Запустить двигатель
                  • И о часах

                      Эпиграф:
                      — How much watch?
                      — For whom how…


                      После моего неосторожно высказанного недоумения в комментариях к одной из статей «а что, кто-то ещё носит часы?» и полученной бурной ответной реакции общественности я решил исследовать тему часов и разобраться – а действительно ли наручные часы вымирают, или же они перерождаются, как феникс, во что-то новое и свежее. Сам я довольно давно обнаружил, что мои наручные часы пылятся на полке, но не стоит судить по себе – всегда есть шанс оказаться уникальным.



                      Под катом вас ждёт:
                      — историческая справка
                      — гик-порно в большом количестве (трафик)
                      — долгожданное голосование о часах
                      — и много букв!
                      Читать дальше →
                    • Деньги за музыку: исследование связи с копирайтом и файлообменом



                        Недавно на хабре был опубликован перевод короткой статьи об американском исследовании влияния копирайта на музыкантов. Статья была встречена критически, так как по ней было трудно судить о достоверности данных опроса и выводов.

                        Ознакомившись с оригиналом, я обнаружил, что авторы исследования приложили массу усилий, чтобы собрать и проанализировать статистику на эту сложную и не поддающуюся точному анализу тему.

                        В предисловии один из участников пишет, что, к сожалению, несмотря на активные дебаты на всех уровнях, имеется очень мало реальных данных о том, как копирайт и файлообмен влияют на авторов. Поэтому в 2011г они с группой коллег решили подробно исследовать структуру доходов музыкантов и их отношение к интернету, в частности файлообмену.

                        Я сделал краткий обзор исследования, под катом — методика опроса, таблицы и рисунки. Оригинал здесь. (pdf, 76 страниц)
                        Читать дальше →
                        • +52
                        • 17,8k
                        • 6
                      • Не тратьте своё время на дерьмовую работу в стартапе

                          Под катом перевод огромной статьи, написанной Майклом Чёрчем и посвящённой стартапам. Статья вызвала необыкновенное бурление… мнений, скажем так, на разных сайтах и агрегаторах, поэтому я решил её перевести на русский и посмотреть на реакцию. Текст ОЧЕНЬ длинный, но также и очень интересный. И несколько пояснений перед чтением: в статье речь идёт об инженере в стартапе, именно с этой позиции всё рассматривать; некоторые финансово-экономические термины, возможно, не очень адекватно удались и я буду рад любым конструктивным поправкам.

                          То, о чём я хочу рассказать, справедливо для июля 2012 г. 15 лет назад необязательно было так же, и не факт, что будет справедливо через год. Но в данный момент это абсолютно верно для большинства людей в достаточной степени, так что я считаю обязанным высказаться. Нынешний мир ИК-стартапов (ИК=инвестиционный капитал / venture capital) — я его нежно называю ИК-стан — является, мягко говоря, тотально напрасной тратой времени для большинства вовлечённых людей.
                          Читать дальше →
                        • Культурные различия 2. Коллеги из Индии

                            Я работаю в израильском отделении большой американской компании. Приходится много работать с индусами и американцами, даже есть группы, в которых часть людей сидит в другой стране.
                            Поэтому раз в год нам проводят семинары о культурных различиях. Как надо общаться с коллегами из других стран.

                            Мой первый рассказ был об американцах.
                            Сегодняшний — об индусах.

                            С индусами я работаю много. Есть даже в фирме «мой» индус — архитектор как и я, который вместе со мной отвечал за Business Logic нашей новой аппликации. В то время мы с ним говорили по мессенджеру или по телефону каждый день, я его опекал во время визитов в Израиль, свозил по своей инициативе в Иерусалим и даже приглашал домой.

                            У меня с ним отличные отношения (хотя и не без трений), но, как выяснилось, не всё я делал правильно :)

                            Во первых всё, что я писал об американцах в плане «мягких» выражений — верно для индусов и вообще для всех. При общении с кем угодно лучше сказать «Отличная идея, у меня только несколько поправок» в ситуации когда Вы думаете «Что за чушь!?».

                            Но есть своя специфика. Вопросы рассовой политкорректности индусов волнуют меньше, а вот вопросы «потери лица» — больше.

                            Читать дальше →
                          • Культурные различия: финны

                              По мотивам двух просто отличных топиков (американцы и японцы) выскажу и я свое мнение, на этот раз о более близких к Северной столице соседях — о финнах.



                              Соседние народы — соседние культуры


                              Наверное, стоит начать разговор о культурных различиях с того, что финны и русские много веков прожили рядом друг с другом. Поэтому в культуре двух народов искать стоит скорее не различия, а общие черты :)

                              Читать дальше →
                            • Культурные различия. Общение с американскими коллегами

                                Я работаю в израильском отделении большой американской компании. Приходится много работать с индусами и американцами, даже есть группы, в которых часть людей сидит в другой стране.
                                Поэтому раз в год нам проводят семинары о культурных различиях. Как надо общаться с коллегами из других стран.

                                Мой первый рассказ — об американцах.

                                Вообще, они от нас (израильтян) в шоке. На семинаре показывали интервью с американкой, которая полгода работала в израильском офисе американской компании. Первое время ей казалось, что все агрессивны и грубы. Потом поняла, что это такая манера общения — люди повышают голос и перебивают друг друга во время дискуссий, люди могут сказать коллеге (и даже начальнику!), что он не прав и т.д.

                                С большим стыдом вспоминал, как я повторял «I disagree!» на последнем Face2face.

                                Американцы жаловались на израильтян так же, что те постоянно импровизируют, а израильтяне на американцев, что те постоянно тупо следуют инструкциям.

                                Кстати, сказать, как у нас «Та уборщица… какая? Ну, эфиопка ...» или «В соседнем отделе есть такой мужик умный, индус низенький такой» — тоже нельзя.
                                Надо объяснять о ком идет речь, не используя национальность, религию и сексуальные предпочтения.

                                Итак, правила для общения с американцами:
                                Читать дальше →
                              • Семь принципов успешного социального продукта, которые вам надо знать

                                • Перевод
                                Социальные продукты — это весьма интересная птица. Даже для самого опытного продакт-менеджера, социальные продукты остаются неуловимыми. И хотя есть много очевидных истин про них, существует масса способов продумать их неправильно. Особенно если вы глубоко в текущем моменте, принимаете решения на уровне пикселей, стараетесь помнить что же именно важно, — и общая картина размывается.

                                Есть единственная магия, которую я обнаружила в дизайне привлекательных социальных продуктов, которые отлично прорываются через шум и овладевают временем и деньгами людей. Это тотальное следование следующим ключевым принципам дизайна, архитектуры продукта.
                                Читать дальше →
                              • Игру Portal 2 используют для тестирования кандидатов на вакансию

                                  image

                                  Довольно молодая компания WibiData, специализирующаяся на системах управления данными, придумала очень интересный способ тестирования кандидатов на собеседованиях. Они предлагают проходить специальные уровни в игре Portal 2. Как пишет игромания, глава компании Кристоф Бисцилия признался, что на идею его навел случай, когда юноша с помощью мода Portal 2 сделал девушке предложение. «Многослойные головоломки Portal 2, по моим ощущениям, тренируют те же отделы мозга, которые работают у программистов и тестеров», — объяснил Кристоф.
                                  Читать дальше →
                                • Как правильно покупать товары на Ebay

                                    image
                                    Тема Ebay в связи с его русификацией становится очень актуальной, поэтому решил поделиться с хабрасообществом несколькими советами из области как правильно покупать товары на Ebay, чтобы не нарватся на мошенников и сделать правильную покупку. Большая часть описанного основана на личном опыте.
                                    Читаем далее