• Распределенные вычисления для поиска жилья

      Все слышали о distributed computing проектах, которые пытаются решать масштабные задачи, вроде поиска внеземной жизни, лекарств от СПИДа и рака, поиска простых чисел и уникальных решений для Судоку. Все это очень занимательно, но не более того, ведь практической пользы для человека, поделившегося ресурсами своего компьютера — никакой.

      Сегодня я расскажу о распределенных вычислениях, решающих ваши проблемы. Ну не все конечно, а только некоторые, связанные с поиском жилья. Недавно я писал о проекте Sobnik, расширении для Chrome, которое обнаруживает посредников на досках объявлений. Две недели назад была запущена новая версия программы, в которой работа по сканированию и анализу объявлений распределяется по компьютерам пользователей. За прошедшее время было обработано около миллиона объявлений из более тысячи городов России, и это — только начало. Подробности, технические детали и еще немного цифр ждут вас под катом.

      Читать дальше →
    • Играем с генетическими алгоритмами

        Одним субботним декабрьским вечером сидел я над книгой The Blind Watchmaker (Слепой Часовщик), как на глаза мне попался невероятно интересный эксперимент: возьмём любое предложение, например Шекспировскую строку: Methinks it is like a weasel и случайную строку такой же длины: wdltmnlt dtjbkwirzrezlmqco p и начнем вносить в неё случайные изменения. Через сколько поколений эта случайная строка превратится в Шекспировскую строку, если выживать будут лишь потомки более похожие на Шекспировскую?

        Сегодня мы повторим этот эксперимент, но в уже совершенно другом масштабе.



        Структура статьи:
        1. Что такое генетический алгоритм
        2. Почему это работает
        3. Формализуем задачу со случайной строкой
        4. Пример работы алгоритма
        5. Эксперименты с классикой
        6. Код и данные
        7. Выводы

        Осторожно трафик!
        Читать дальше →
      • Почему по мере заполнения SSD падает скорость записи в RAID, или зачем нужен TRIM

          Эта проблема наиболее актуальна для аппаратных RAID или firmware RAID (таких как Intel RST RAID 1/10/5/6) с непромышленными SSD.

          Особенность SSD


          SSD пишут и читают данные страницами, записать можно только на очищенные страницы, а очистить страницы можно только большими блоками. Например, у диска размер страницы 8 КБ, в блоке находится 128 страниц, таким образом, размер блока — 1024 КБ (здесь и далее, если не указано иного, КБ и МБ двоичные).

          Например, если изменить 40 КБ в одном файле, то на физическом уровне это будет выглядеть так:


          Читать дальше →
        • Часть 2. Сколько мегабит/с можно пропустить через зрительный нерв и какое разрешение у сетчатки? Немного теории



            Другие публикации из этой серии


            Часть 1. Unboxing VisuMax — фемто-лазера для коррекции зрения
            Часть 3. Знакомьтесь — лазер по имени Amaris. Переезды и первое пробуждение VisuMax
            Часть 4.1 Возвращаем зрение. От очков до эксимерного лазера
            Часть 4.2 Возвращаем зрение. От очков до эксимерного лазера

            Предыдущая публикация, посвященная технологиям лазерной коррекции зрения была встречена с интересом, которого я, если честно, даже не ожидал. Именно поэтому я решил продолжить статью в виде целого цикла, в рамках которого мы рассмотрим подробнее технологии лежащие в основе лазерной офтальмохирургии. Если вы ожидали увидеть непосредственно сами лазеры в этой статье — я вас немного разочарую. Я долго пытался обойти биологическую тематику, но в итоге понял, что не смогу рассказать о лазерной коррекции зрения, не раскрыв основы строения и функционирования нашего зрения.

            Я постараюсь рассмотреть человеческое зрение через призму IT. Если кому-то не слишком интересно читать часть, посвященную биологическим аспектам зрения — ничего страшного. Просто пропустите разделы, начиная с оптической системы глаза, и сразу переходите к традиционному конкурсу от наших девушек. Однако, я все же рекомендовал бы ознакомиться с этим материалом, чтобы лучше понять следующую статью, в которой мы будем рассматривать LASIK, Femto-LASIK, ReLEx SMILE и другие методы лазерной офтальмохирургии.

            Есть настроение разобраться, что именно говорят эти непонятные люди в белых халатах, задумчиво глядя на результаты вашего обследования? Вы хотите узнать немного нового об уникальном природном даре — зрении? Тогда добро пожаловать под habracut. Как обычно — много иллюстраций и трафика (≈5 MB).
            Читать дальше →
          • Интересующимся мозгом/ИИ: ссылки на почитать

              Расчищая Авгиевы конюшни на своем компе, взялся за структурирование накопившихся линков. Подумал, может и другим будет интересно то, что когда-то мне показалось достойным. Опять же, будет к чему отсылать с вопросом есть чо? «что почитать?»

              Этот набор (порядка 400 ссылок) ни в коей мере не претендует на полноту или объективность. Наоборот, приглашаются все желающие дополнить и исправить (например раздел «Онлайн Курсы» подозрительно пуст). Если будет интерес, буду апдейтить этот пост новыми линками + апдейты отдельными постами оформлять.

              Не стал я сюда давать ссылки на книги по нейробиологии и совсем заумные статьи (хотя много ссылок на оригиналы статей) — это тема для отдельного поста, наверное, с хорошим обзором. Если кому-то захочется почитать статью, к которой доступ закрыт — пишите, вышлю.

              Много ссылок на английские сайты, я не стал их переводить, чтобы не вводить в заблуждение.

              PS: я оставил ссылки как есть, чтобы было видно куда ведет. Если кого напрягает — пишите, апдейтом спрячу.

              Знание - сила!
            • Осторожно при покупке MacBook. Высокотехнологический способ мошенничества в оффлайне

                Доброго всем времени суток дорогие друзья. Давно я не писал на хабре и очень жаль что моя новая публикация касается мошенников. И не просто мошенников, про которых я где-то прочитал, а про мошенников, которые меня лично обманули.

                Цель этой статьи — обнародовать достаточно хитрый и не тривиальный вид мошенничества, на который я натолкнулся буквально на прошлой неделе. Дело сейчас находится в следственном отделе, поэтому любителей детективов я сразу разочарую: деталей следствия и деталей дела сейчас я разглашать не буду. Только после того, как дело будет закрыто.
                Вторая цель — это найти таких же обманутых как я, чтоб получить компенсацию и пришить к делу еще одно/два/три заявления.

                Как вы догадались — преступники найдены (забегая вперед, скажу, что это произошло естественно без помощи полиции). О том, чего стоит опасаться при покупке нового или б/у макбука, а также о том, как были найдены и пойманы преступники читайте под катом.

                Не хочу наступить на те же грабли.
              • Повышение производительности работы в Mac OS X, в том числе путем уменьшения использования мыши

                Мне кажется целесообразным поделиться личным опытом роста производительности работы в Mac OS Х (на примере 10.7), в частности, путем максимального отказа от использования мыши (через что придем и к многим другим способам).

                С чем связана актуальность проблемы?
                1. Эргономически прицелиться и попасть мышью в мелкий объект всегда хуже для времени, мелкой моторики и зрения, чем использовать операции, не требующие идентификации мелких объектов и «прицеливания» в них. Для наиболее массового примера достаточно сравнить количество людей в Windows, которые переключают клавиатуры комбинацией клавиш или мышкой в соответствующем меню на рабочем столе (которое вроде тоже бы в пределах доступности).

                2. Для мобильной работы большая разница – брать с собой мышь или нет. Если в Windows многим недостаточно внутренних тачпадов для полноценной работы, то при взгляде на макбук с подключенной мышью возникает когнитивный диссонанс – т.к. часть вещей, ради которых человек взял ее с собой в дорогу, объективно имеет более эффективное альтернативное решение, если избавится от определенной парадигмы сознания.

                3. Меньшее использование мыши в OS X для переходящих с Windows позволяет предотвратить ряд неудобств и ошибок – в частности, «эффект красного крестика» и «синдром единственного рабочего стола», а также лучше понять отличия между окнами и процессами.

                Речь пойдет не о банальной замене мыши клавиатурными комбинациями, а о более системных изменениях, принципиально меняющих организацию работы.

                Итак.
                Читать дальше →
              • Как работает беспилотный автомобиль «Гугла»



                  Бывший секретный проект «Гугла» теперь в прямом смысле этого слова появляется на публике: компания получила лицензию для тестовых поездок по дорогам общего пользования в Неваде, а до этого приглашались желающие для тестовой поездки на закрытой площадке.

                  На данный момент принадлежащий поисковому гиганту флот роботизированных автомобилей «Тойота Приус» отмотал более 300 тысяч километров в городском окружении, на оживленных трассах и горных дорогах лишь с частичными вмешательствами человека. Проект всё ещё далек от выхода на рынок, но в «Гугле» в собственном кампусе установили беспилотные гольф-карты, которые наглядно демонстрируют, как уже в ближайшем будущем новая технология может изменить мир.

                  Читать дальше →
                • Одиночество в Сети. Можно ли найти тех, кому ты по-настоящему интересен?

                  image

                  Вопрос, который меня интересует, давно витает в воздухе Интернета и посещал не одну голову пользователя. Каждый, кто зарегистрирован хотя бы в одной социальной сети, ведет блог или микроблог, может быть, задавал этот вопрос себе. Как в Сети найти тех, кому ты будешь интересен таким, какой ты есть, и с кем, в свою очередь, будет интересно тебе?

                  Я решила провести мини-эксперимент, в ходе которого узнать, действительно ли Интернет для меня, как пользователя, социален, реально ли там найти близких по духу людей и если да – сколько усилий на это потребуется.
                  Читать дальше →
                • GarageBand — Что может «сочинить» почти дилетант за 8 минут

                    Наверное, многие владельцы iPad'ов знают о замечательной музыкальной программе под названием GarageBand (ссылка на AppStore, цена $4.99).

                    Но почему-то на просторах ютуба видео про нее не так-то много. Собственно, я решил внести свою лепту.

                    Итак, ниже привожу небольшой ролик, в котором показываю, что может создать дилетант за 8 минут. Владение музыкальными инструментами и нотной грамотой — не обязательно. На видео — результат недолгого копания с программой. Уверен, если провести с ней больше времени, можно написать (почти) полноценное произведение. (Как я понимаю, владельцы маков могут потом «допилить» и почистить результат своих музицированой в garageband'е для маков).

                  • Проблема новых MacBook Pro

                      В то время, как некоторые производители ноутбуков столкнулось с проблемой в Sandy Bridge, обновлённые Macbook Pro смогли избежать их, однако не всё так хорошо, как кажется. Тех, кто купил себе Macbook Pro 15/17" 2011 года выпуска прошу под кат.
                      Читать дальше →
                    • 12 способов не накосячить со вспышкой

                        После трёх лет работы со студийным светом я думал, что знаю про накамерную вспышку если не всё, то очень много. Три недели назад я попал в гости к одному особо опытному стробисту, который рассказал и показал столько, что я сразу понял, что надо садиться и делать перепись грабель, а потом тестить, тестить и ещё раз тестить.

                        Ниже — достаточно известные вещи, которые, однако, вызывали facepalm у тех, кто был вместе со мной или же у меня. В списке грабель вы с некоторой вероятностью можете найти что-нибудь новое. Если хотя бы она фича использования вспышки окажется для вас полезной, то мою задачу можно считать выполненной.
                        Читать дальше →
                      • Фотографии домашних офисов-2

                          После топика Бумбурума о своем домашнем офисе, думаю многие фрилансеры Хабра озадачились обустройством своего рабочего места. Представляю вам подборку фотографий интересных домашних офисов (в основном из США и Канады), большинство из которых реально реализовать и в российских условиях.
                          Читать дальше →
                        • Несправедливый торрент клиент для Mac


                            Вчера залез в сорцы Transmission и сделал то что так давно хотелось.
                            1) Последовательную загрузку торрентов (блоками по 30 процентов).
                            2) Загрузку без учета скаченного.
                            Изменил буквально 10 строк кода. Скачать можно тут.
                          • Как мы пишем веб-сервис для миллиарда пользователей

                            IT-директор проекта BeSmart.net Максим Модель про работу над глобальным обучающим сервисом

                            image

                            Наша команда работает над проектом BeSmart. Сейчас у нас девять программистов, включая IT-директора, то есть меня самого (само собой, есть дизайнеры, маркетологи и другие специалисты — всего более 20-ти человек). Мы работаем в белорусском Витебске, известном в России по фестивалю «Славянский базар».

                            BeSmart.net — это сервис для размещения обучающих лекций в формате видео, аудио и PDF, которые, как мы надеемся, со временем будут смотреть по всему миру. Амбиций много, но пока мы отставим их в сторону и расскажем, какие две цели стоят перед нами, разработчиками, и как мы их выполняем.
                            Читать дальше →
                          • Демонстрация возможностей высокоростной обработки IP-пакетов, на примере простого DDOS-фильтра, разработанного на базе фреймворка NETMAP

                              Как только я заинтересовался Netmap’ом, меня сразу же стало одолевать любопытство, сколько пакетов в секунду можно будет «выжать» на обычном железе в режиме генерации пакетов и/или в режиме приёма и фильтрации пакетов? С какой производительностью можно будет фильтровать трафик различных, популярных на сегодняшний день атак и какие при этом будут потери пакетов.



                              Данные, которые показывает автор Netmap Luigi Rizzo весьма впечатляют. Как известно, по опубликованным Luigi тестам, Netmap легко генерирует 14Mpps и позволяет «поднять» поток в 14Mpps из сетевого кабеля в userspace, используя только одном ядро процессора Core i7. Стало интересно применить эту технологию в фильтрах очистки трафика.
                              Итак, на прошедшей в сентябре выставке InfosecurityRussia 2013 мы представили стенд, на котором по запросу всех желающих генерировали различные атаки и демонстрировали защиту от них, собирая статистику и отрисовывая различные графики Zabbix’ом.
                              В статье мы сконцентрируемся на некоторых особенностях архитектуры NETMAP, а также показателях скорости обработки пакетов, которые с его помощью получены на «обычном» железе.

                              Читать дальше →
                            • Проблема старта

                              • Translation


                              В начале 2013 я решил основать компанию.

                              В предыдущие 4 года я разработал и запустил несколько программных продуктов завязанных вокруг популярного сервиса. Я начал в 2008 году с сайта-хостинга изображений, который быстро вырос до 2-х миллионов уникальных пользователей в месяц. Продолжил в 2011 году андройд-приложением, которое было скачано и установлено более 200 тысяч раз. Но пользовательское соглашение популярного сервиса положило этому конец.

                              Долгое время мне приходилось работать в одиночестве. Я был системным администратором, PHP, Perl и Android разработчиком одновременно, проектировал и управлял базами данных. Я занимался маркетингом, поддержкой пользователей и решал юридические вопросы. Делал все, начиная от удаления фотографий эротического содержания вручную, заканчивая настройкой Bind серверов.

                              Когда ты работаешь один, приходится решать слишком много проблем и тебе редко удается найти время, чтобы сделать это качественно. Это постоянное состояние напряжения заставляет многих реализовывать даже мелкие улучшения с ужасающей неэффективностью. Чрезмерно зависимые от других компаний, они находятся в нижних звеньях пищевой цепи. Для моего следующего проекта, наличие команды стало обязательным условием, но когда я попытался её собрать, это оказалось нелегким делом.

                              Читать дальше →
                            • Безопасность сетей доступа 3G/4G

                                Backhaul network — это сеть для подключения базовых станций (в терминологии 3G — NodeB) к контроллерам радиосети (RNC).

                                image

                                Затраты на подключение базовых станций — одна из значительных составляющих расходов оператора, поэтому издержки, связанные с построением и эксплуатацией этих сетей, стараются снижать, в частности используя новые технологии. Эволюция прошла путь от ATM-подключений до SDH/SONET, DSL, IP/MPLS и metro Ethernet. Сегодня весь трафик ходит в IP-пакетах.
                                Читать дальше →
                              • Восстановление открытых файлов но удаленных c файловой системы linux

                                  Всех с прошедшим новым годом!
                                  В этой заметке я бы хотел поделиться как можно восстановить открытый файл в linux.

                                  Предыстория


                                  Зашел человек на канал посвященный debian в jabber и сказал что взломали его jabber-bot и выполнили команду:
                                  $ rm -rf /*

                                  так как это было выполнено не под рутом, особых проблем быть не должно, но конфигурационные файлы бота удалены. Бот остался запущен и задача была восстановить открытые им файлы и попробовать максимально быстро поднять всё с теми же настройками.
                                  Читать дальше →
                                • Бесконечная прокрутка в веб-приложениях с примерами на AngularJS

                                  • Tutorial
                                  Мишко Хевери, главный разработчик Ангуляра, как-то упомянул, что приложение гарантированно работает без тормозов, если в нем не более 100 активных областей видимости. Такой подход, в общем, применим к любым приложениям. В играх давно не рендерят то, чего игрок не видит и только в вебе пока еще считается нормой отобразить целиком список из нескольких тысяч элементов. С приходом js-фреймворков ситуация должна измениться и лучшим решением станет удаление из DOM того чего нет на экране, нежели отказ от промежуточных тегов, биндингов и других вещей, облегчающих разработку. Поэтому провел небольшой анализ решений для отображения больших списков. Наткнулся на пару статей:

                                  1. The Infinite Path of Scrolling



                                  В ней парень рассказывает, что проходил стажировку в Гугле в команде Ангуляра и ему поручили исследовать этот вопрос. (Радует, что разработчики заинтересованы этим. Надеюсь, скоро увидим родную поддержку бесконечного скролла).
                                  Читать дальше →