• Automatic Relevance Determination или машинное обучение когда данных очень мало

      Когда речь заходит про машинное обучение, обычно подразумевают большие объемы данных — миллионы или даже миллиарды транзакций, из которых надо сделать сложный вывод о поведении, интересах или текущем cостоянии пользователя, покупателя или какого-нибудь аппарата (робота, автомобиля, дрона или станка).
      Однако в жизни обычного аналитика самой обычной компании много данных встречается нечасто. Скорее даже наоборот — у вас будет мало или очень мало данных — буквально десятки или сотни записей. Но анализ все же нужно провести. Причем не какой попало анализ, а качественный и достоверный.


      Зачастую ситуация усугубляется еще и тем, что вы без труда можете нагенерить для каждой записи много признаков (чаще всего добавляют полиномы, разницу с предыдущим значением и значением за прошлый год, one-hot-encoding для категориальных признаков и т.п.). Вот только совсем нелегко разобраться, какие из них действительно полезны, а какие только усложняют модель и увеличивают ошибки вашего прозноза.


      Для этого вы можете воспользоваться методами байесовой статистики, например, Automatic Relevance Determination.

      Читать дальше →
    • Тульпа — карманная шизофрения для гиков или реальный воображаемый друг

      • Tutorial
      Скажите, вы бы хотели иметь друга? Любого человека или другое существо, которое будет вашим самым лучшим другом, обладая той внешностью, которая вам нравится, и тем характером который вам необходим, которое не надо будет делить с ее или его друзьями, родителями, собачкой, игрушками или учебой.
      А секретаря, который всегда с вами, имеет прямой доступ к вашей памяти, напомнит, подскажет, и подаст нужную идею, напарника для мозгового штурма?
      Тогда добро пожаловать под кат.



      Тульпа — это стабильная самовнушенная осознанная визуализация, способная к самостоятельным мыслям и действиям, обладающая собственным сознанием. Что характерно, создается она совершенно осознанно, путем целенаправленных действий в течении долгого времени, и позволяет задавать начальный характер и форму по вашему усмотрению.
      Это ты сейчас с кем разговаривал? Расшифруй определение.
    • Что нужно знать, чтобы хорошо рисовать?

      • Перевод
      • Tutorial


      Давид Ревуа — прекрасный художник, работающий со свободным программным обеспечением, постоянный член сообществ Krita Foundation и Blender Institute, концепт-художник анимационных проектов Gooseberry Open Movie Project, Mango Open Movie Project (Tears of Steel) и Durian Open Movie Project (Sintel). В этой статье он делится с начинающими художниками списком знаний, которые необходимо приобрести, чтобы работы получались реалистичными. Он обращает внимание, что для рисования «в цифре» следует обзавестись теми же навыками, что и в традиционной технике. Итак, приобщимся к его опыту.
      Читать дальше →
    • Генератор своими руками на 220 вольт. Теперь отключения света не страшны

      • Tutorial
      Я покажу как собрать простой, но достаточно мощный, генератор на 220 вольт.



      Потребуется:


      — коллекторный мотор, можно другой на 12 вольт
      — насадка на ось мотора — патрон от дрели
      — бесперебойник UPS или инвертор с 12 на 220
      — диод на 10 ампер: Д214, Д242, Д215, Д232, КД203 и т. д.
      — провода
      — велосипед
      — и желательно аккумулятор на 12 вольт

      Сборка:


      — закрепляем велосипед так, что бы заднее колесо крутилось свободно, вывешиваем его
      — прикручиваем патрон на ось мотора
      — крепим мотор так, что бы патрон плотно прижимался к колесу, можно подтянуть его пружиной
      — подключаем мотор к аккумулятору: минусовой провод мотора к минусу аккумулятора, плюсовой провод мотора к аноду диода, катод диода к плюсу аккумулятора
      — аккумулятор соединяем с бесперебойником или с инвертором
      Всё! К бесперебойнику можно подключать потребители на 220 вольт и пользоваться электричеством! Как только аккумулятор разрядится, достаточно будет покрутить педали и примерно через час аккумулятор зарядится.
      Читать дальше →
    • Не пельменем единым жив программист или история о том, как все успеть

      • Tutorial
      image

      По заявкам трудящихся и в связи с переносом — возвращаю пост, который многих порадовал. Надеюсь НЛО будет не против.

      На написание этого поста меня сподвиг замечательный пост «За что конкретно я ненавижу некоторых отдельно взятых маркетологов — или как айтишник по магазинам ходил». Сразу хочу извиниться за возможные опечатки — пишу с планшета, сидя в микроавтобусе и вытягивая сеть телефоном. Hacker's keyboard очень удобен для ssh-доступа, но большие тексты писать им не очень удобно.

      IT- специалисты — народ любопытный. То соберут на базе микроконтроллеров автоматическую систему полива и освещения для любимого фикуса, то пропатчат прошивку мультиварки для раздачи торрентов. Но, по непонятной и загадочной причине, когда дело доходит до еды, пресловутый принцип DIY дает сбой. И наш герой, способный часами переделывать кинескоп старого телевизора в Луч Смерти, идет на кухню утолить голод соевым текстуратом пополам с гидроцеллюлозой и «коллагеновым сырьем».

      В этом посте я хочу разрушить миф о том, что еда может быть либо быстрой и удобной, либо съедобной. Не секрет, что многим из нас приходится работать по 12 часов в сутки, что не способствует кулинарным подвигам с участием 28 приправ и перьев с зада дракона, омытых слезами единорога. Вы получите замечательную возможность посмотреть в глаза своей половинки на 8 марта после того, как она получит не контроллер для дистанционного управления шторой, а свежевыпеченный хлеб ручной работы рано утром. Если вам надоело есть синтетику — добро пожаловать под hubracut.
      Читать дальше →
    • GTD на кухне: чем накормить голодного программиста

      • Tutorial
      imageИтак, как и обещал в первой части, продолжаем упрощать бытовую жизнь хабражителя. Сегодня 8 марта (кстати, девушки, поздравляю!) и части мужчин хочется порадовать своих женщин и освободить их от «рабского труда» на кухне, а другой части – приготовить для себя не традиционные пельмени\вареники\сосиски, а что-то посущественней.
      Вот несколько проверенных рецептов, которые пригодятся и первым, и вторым.

      Осторожно, много картинок. Голодным не входить!
      Читать дальше →
    • Дизайн будильника моей мечты

        Нет, не здоровенного. А просто удобного будильника для Андроида. После долгих поисков на Маркете я так и не смог найти будильник, который мне было бы приятно использовать. Поэтому в этой статье я буду проектировать будильник таким, каким бы я сам хотел его видеть.

        Сразу скажу, что это будильник для тех, кому нужен именно будильник, который будит их по утрам, а не таймер для готовки яиц или костыльная замена напоминаниям в календаре.

        Перед тем, как рассказать о том что есть в этом будильнике, я начну с того, чего в нём нет. Во-первых, в нём нет возможности установки нескольких будильников, так как в большинстве случаев они используются только для того, чтобы поставить 3 будильника подряд с целью не проспать. Это не работает и должно решаться другими средствами.

        Во-вторых, в нём нет псевдо-анализа стадий сна, так как пока я не нашёл подтверждения тому, что хоть одно из таких приложений работает. И уж точно они не работают, если спишь в кровати не один.

        И в-третьих, в нём нет никаких математических примеров для отключения звонка. Так что для любителей математики он не подойдёт.

        Дисклаймер. Вполне возможно, у вас уже есть будильник который вас полностью устраивает. Что ж, тогда эта статья вряд ли вам будет интересна. А для остальных я расскажу о проектировании будильника
        под катом
      • Сделайте ваши QR-коды более красивыми

        • Перевод
        imageГамильтон Чан является генеральным директором и основателем Paperlinks.
        Используя свободное приложение для iPhone от Paperlinks, рекомендованное Apple как одно из самых нужных и важных приложений, пользователи могут сканировать и просматривать содержимое QR-кодов. Paperlinks также обеспечивает мощную платформу для создания QR-кодов, хранения и отслеживания их посещаемости.

        Читать дальше →
      • Альтернативная среда сборки для N900

          На текущий момент существует единственный официальный способ компиляции под N900 — через Scratchbox. Чем он мне не угодил? Да вот чем. Во-первых, он есть только под i386, со всеми вытекающими из этого весёлостями в виде необходимости держать кучу 32-хбитных библиотек. Во-вторых, ставится оно вопреки всем канонам зачем-то в /scratchbox, попутно прописывая свои модули для binfmt и, вытворяя прочую похабщину, разрушает стройную структуру дистрибутива. В-третьих там достаточно древний qemu, что даёт отнюдь не рекордную скорость компиляции. Ну и в-четвёртых, ставится это чудо очень медленно (я не знаю, где они хостятся, но установщик качал полгига пакетов довольно-таки длительное время. Кстати говоря, весит оно в установленном виде тоже изрядно. А поверх него ещё идёт SDK.
          Ну и самое важное. qemu-user не поддерживает весь набор системных вызовов ядра. А, значит, часть софта (в частности, mono), банально не сможет работать. Проблему можно было бы решить, chroot'ясь в окружение из arm-ной системы в режиме полной эмуляции, но см. пункт первый.
          В общем, убогое поделие, вообще не представляю, у кого рука поднялась его использовать в серьёзном проекте.

          По-идее ещё можно компилить непосредственно на устройстве. Но тут проблема в том, что там стоит busybox, c которым очень плохо дружит тот же dpkg-buildpackage. Соответственно, при переносе rootfs c устройства и попытках оную использовать, эти грабли никуда не исчезают. А заменить его на coreutils не так-то просто, ибо это сломает часть зависимостей и отвалится полсистемы.



          И что делать? А мы пойдём другим путём. Изобразим из себя ярых последователей барона Мюнхгаузена и в лучших традициях процедуры bootstrap (поднятие самого себя за шнурки ботинок) установим систему с нуля из пакетов. Как именно, читайте под катом.
          Читать дальше →
        • Adobe Profiler Fail

            Доброго вечера всем хабравчанам. Я долго думал как назвать данный пост и решил назвать первым, что придет на ум. В принципе данное название почти полностью описывает то, о чем хочу рассказать. А расскажу я о том, как можно легко и просто вносить изменения в абсолютно любой просматриваемый вами swf файл без декомпиляции.


            И так начнем. Нашим подопытным будет плеер YouTube.

            Читать дальше →
          • Мой опыт восстановления зрения

            • Tutorial
               Этим летом я был на некоторое время предоставлен сам себе – всех своих я отправил подальше от дыма, а сам, недолго думая, решил немного подтянуть здоровье. Не просто записаться в тренажерный зал и накачать «квадратиков» для пляжа, а именно обследоваться у некоторых врачей, чтобы выработать для себя вектор дальнейших действий, дабы совсем не превратиться в «овоща».

            image

               Расскажу лишь про свой опыт восстановления зрения – именно оно больше всего подвержено риску у любого «компьютерного» человека.
            Читать дальше →
          • Р. Фейнман «Характер физических законов» (вторая лекция)

              Представляю вашему вниманию вторую лекцию из семи прочитанных лауреатом нобелевской премии профессором Ричардом Фейнманом в Корнелльском университете в 1964г, которая называлась «Связь математики и физики».

              image

              Я убежден, что не существует популярной науки, есть только популярная ее интерпретация. И это не самый мною любимый жанр, сейчас я практически не читаю научно популярных книг, наука не заслуживает того чтобы скользить вечно по поверхности. Однако какие-то книги я все-таки читал и вам советую, много и восхитительно писали: Бор с Эйнштейном (любой популярный текст, особенно советую их переписку), Паули (переписка), Гейзенберг «Часть и целое» (это уже больше философия в стиле Витгенштейна), сам Витгенштейн, Куайн «Две догмы эмпиризма», Дэвид Дойч «Структура реальности» (с оговорками- совершенно замечательная вещь), по квантовой механике опять же Фейнман «КЭД — удивительное свойство света и вещества», по логике — Хофштадтер GEB (Гедель, Эшер, Бах) — книга моего детства, по биохимии Франк-Каменецкий «Самая главная молекула» — замечательная книга про ДНК, конечно советую Джеймса Уотсона «Двойная спираль. Воспоминания об открытии структуры ДНК».
              И еще масса книг, которые я не вспомнил, от всех этих книг захватывает дух, но к сожалению на полках в книжных магазинах они растворились в бестолковом шуме какой-то сомнительной около научной литературы. И я не очень понимаю что собственно читают сейчас люди интересующиеся наукой.
              Читать дальше →
            • Ричард Фейнман. Характер физических законов. Лекция 1

                Мой хороший друг по собственной инициативе решил сделать перевод популярных лекций известного физика-теоретика, лауреата Нобелевской премии Ричарда Фейнмана, прочитанных им в Корнельском университете в 1964 году.

                В настоящий момент предварительно готова одна лекция, которую я с удовольствием представляю Вашему вниманию. Уже готов вариант с субтитрами, по мере готовности версии с озвучкой обновлю пост.

                Итак, «Характер физических законов», лекция первая.



                Те, кто интересуется, кто же такой Ричард Фейнман и почему его лекции настолько интересны, для начала могут ознакомиться со статьей в Wiki.

                Так же от себя лично могу порекомендовать изумительную книгу «Вы, конечно, шутите, мистер Фейнман!». В ней сам Фейнман рассказывает крайне увлекательные истории о своей жизни.

                Кстати, у главного идеолога и реализатора идеи русскоязычного перевода нет аккаунта на Хабре, поэтому если понравится результат работы, он будет рад получить приглашение на почту. Спасибо, инвайт получен! Организатора перевода зовут ztarlitz.

                UPD. Перенес в переводы.

                UPD2. Для тех, кому неудобно смотреть на vimeo, есть вариант на Яндекс.Видео.
              • The Chipophone — 8-битный синтезатор


                  8-битный синтезатор сделанный дома из старого электрооргана.
                  Больше информации, а так же создание на сайте
                  UPD: извиняюсь за грубую ошибку и позднее ее исправление. Заодно хочу прорекламировать сайт — www.8bitpeoples.com с невероятным количеством бесплатной 8-битной музыки и к тому же часто обновляющийся. Практически полный сайт-рип есть на демоноиде.
                • Спать мало, но правильно?

                    Навеяно этим постом от юзера case. Пост не новый, и на главную он не попал.
                    Но я вот наткнулся на него сегодня и решил написать кое-что о сне. Уверен, что это будет полезно многим хабравчанам, да и случайным читателям тоже.
                    Читать дальше →
                  • Как узнать, чего хочется на самом деле?

                      На самом деле нет никого «дела». И такого понятия как «на самом деле» на самом деле тоже нет. Вообще ничего из всего этого нет. Но это я ради красного словца. Надо же было с чего-то начинать. Вот и расчистил пространство для следующих слов и предложений. А теперь разберемся в природе собственных желаний.

                      У любого желания есть несколько характеристик:
                      • это желание откуда-то появляется
                      • оно кому-то принадлежит
                      • как-то этим кем-то переживается
                      • реализация желания приводит к каким-то последствиям для его обладателя, а в ряде случаев и для других людей

                      О том, кто желает?
                      Я. Он. Она… Кто-то другой…

                      Можно даже ткнуть пальцем в это существо, дабы опознать того, о ком конкретно мы говорим. Например, гордо сказать «это Я хочу» и ткнуть пальцем в самого себя. Только вот незадача – в зависимости от того, куда я этим пальцем попаду и того, с какой силой ткну, степень присутствия желания может меняться. Так желание может быть очень сильным, а может полностью отсутствовать. Хотя, не то чтобы это былой «незадачей». Скорее, наоборот, – в этом-то и кроется задача, о решении которой мы говорим.
                      Читать дальше →
                    • Коллекции иконок? Легко! Тысячи иконок в сетах.

                        В продолжении поста "Ресурсы по поиску качественных иконок" представляю свою коллекцию сайтов, на которых вы найдёте очень(!) много качественных наборов иконок. Все сайты проверены руками, следовательно открываются и скачиваются легко.
                        Читать дальше →
                      • Перевод учебника по алгоритмам



                          Рад сообщить, что вышел перевод отличнейшего учебника Дасгупты, Пападимитриу, Вазирани «Алгоритмы», над которым я работал последние несколько лет. В книге многие алгоритмы объяснены гораздо короче и проще, чем в других учебниках: с одной стороны, без излишнего формализа, с другой — без потери математической строгости. Откройте книгу на каком-нибудь известном вам алгоритме и убедитесь в этом. =)

                          В общем, угощайтесь: печатный вариант перевода, электронный вариант перевода (PDF), печатный вариант оригинала, электронный вариант оригинала (PDF).
                          Читать дальше →
                        • Основы Scala. 5 часов поедания мозгов

                          • Tutorial
                          Добрый день, уважаемое хабрасообщество!image

                          В конце ноября 2013 года мы с коллегой устроили встречу, на которой провели сеанс «интенсивного введения Scala в мозг добровольцев».

                          Выкладываю на суд общественности наше творчество и краткое описание «эксперимента».
                          Читать дальше →
                        • Как HTTPS обеспечивает безопасность соединения: что должен знать каждый Web-разработчик

                          • Перевод


                          Как же все-таки работает HTTPS? Это вопрос, над которым я бился несколько дней в своем рабочем проекте.

                          Будучи Web-разработчиком, я понимал, что использование HTTPS для защиты пользовательских данных – это очень и очень хорошая идея, но у меня никогда не было кристального понимания, как HTTPS на самом деле устроен.

                          Как данные защищаются? Как клиент и сервер могут установить безопасное соединение, если кто-то уже прослушивает их канал? Что такое сертификат безопасности и почему я должен кому-то платить, чтобы получить его?
                          Читать дальше →