Все слышали о distributed computing проектах, которые пытаются решать масштабные задачи, вроде поиска внеземной жизни, лекарств от СПИДа и рака, поиска простых чисел и уникальных решений для Судоку. Все это очень занимательно, но не более того, ведь практической пользы для человека, поделившегося ресурсами своего компьютера — никакой.

Сегодня я расскажу о распределенных вычислениях, решающих ваши проблемы. Ну не все конечно, а только некоторые, связанные с поиском жилья. Недавно я писал о проекте Sobnik, расширении для Chrome, которое обнаруживает посредников на досках объявлений. Две недели назад была запущена новая версия программы, в которой работа по сканированию и анализу объявлений распределяется по компьютерам пользователей. За прошедшее время было обработано около миллиона объявлений из более тысячи городов России, и это — только начало. Подробности, технические детали и еще немного цифр ждут вас под катом.

Одним субботним декабрьским вечером сидел я над книгой The Blind Watchmaker (Слепой Часовщик), как на глаза мне попался невероятно интересный эксперимент: возьмём любое предложение, например Шекспировскую строку: Methinks it is like a weasel и случайную строку такой же длины: wdltmnlt dtjbkwirzrezlmqco p и начнем вносить в неё случайные изменения. Через сколько поколений эта случайная строка превратится в Шекспировскую строку, если выживать будут лишь потомки более похожие на Шекспировскую?

Сегодня мы повторим этот эксперимент, но в уже совершенно другом масштабе.



Структура статьи:

1. Что такое генетический алгоритм
2. Почему это работает
3. Формализуем задачу со случайной строкой
4. Пример работы алгоритма
5. Эксперименты с классикой
6. Код и данные
7. Выводы

Осторожно трафик!

Эта проблема наиболее актуальна для аппаратных RAID или firmware RAID (таких как Intel RST RAID 1/10/5/6) с непромышленными SSD.

Особенность SSD

SSD пишут и читают данные страницами, записать можно только на очищенные страницы, а очистить страницы можно только большими блоками. Например, у диска размер страницы 8 КБ, в блоке находится 128 страниц, таким образом, размер блока — 1024 КБ (здесь и далее, если не указано иного, КБ и МБ двоичные).

Например, если изменить 40 КБ в одном файле, то на физическом уровне это будет выглядеть так:

Другие публикации из этой серии

Часть 1. Unboxing VisuMax — фемто-лазера для коррекции зрения
Часть 3. Знакомьтесь — лазер по имени Amaris. Переезды и первое пробуждение VisuMax
Часть 4.1 Возвращаем зрение. От очков до эксимерного лазера
Часть 4.2 Возвращаем зрение. От очков до эксимерного лазера

Предыдущая публикация, посвященная технологиям лазерной коррекции зрения была встречена с интересом, которого я, если честно, даже не ожидал. Именно поэтому я решил продолжить статью в виде целого цикла, в рамках которого мы рассмотрим подробнее технологии лежащие в основе лазерной офтальмохирургии. Если вы ожидали увидеть непосредственно сами лазеры в этой статье — я вас немного разочарую. Я долго пытался обойти биологическую тематику, но в итоге понял, что не смогу рассказать о лазерной коррекции зрения, не раскрыв основы строения и функционирования нашего зрения.

Я постараюсь рассмотреть человеческое зрение через призму IT. Если кому-то не слишком интересно читать часть, посвященную биологическим аспектам зрения — ничего страшного. Просто пропустите разделы, начиная с оптической системы глаза, и сразу переходите к традиционному конкурсу от наших девушек. Однако, я все же рекомендовал бы ознакомиться с этим материалом, чтобы лучше понять следующую статью, в которой мы будем рассматривать LASIK, Femto-LASIK, ReLEx SMILE и другие методы лазерной офтальмохирургии.

Есть настроение разобраться, что именно говорят эти непонятные люди в белых халатах, задумчиво глядя на результаты вашего обследования? Вы хотите узнать немного нового об уникальном природном даре — зрении? Тогда добро пожаловать под habracut. Как обычно — много иллюстраций и трафика (≈5 MB).

Расчищая Авгиевы конюшни на своем компе, взялся за структурирование накопившихся линков. Подумал, может и другим будет интересно то, что когда-то мне показалось достойным. Опять же, будет к чему отсылать с вопросом есть чо? «что почитать?»

Этот набор (порядка 400 ссылок) ни в коей мере не претендует на полноту или объективность. Наоборот, приглашаются все желающие дополнить и исправить (например раздел «Онлайн Курсы» подозрительно пуст). Если будет интерес, буду апдейтить этот пост новыми линками + апдейты отдельными постами оформлять.

Не стал я сюда давать ссылки на книги по нейробиологии и совсем заумные статьи (хотя много ссылок на оригиналы статей) — это тема для отдельного поста, наверное, с хорошим обзором. Если кому-то захочется почитать статью, к которой доступ закрыт — пишите, вышлю.

Много ссылок на английские сайты, я не стал их переводить, чтобы не вводить в заблуждение.

PS: я оставил ссылки как есть, чтобы было видно куда ведет. Если кого напрягает — пишите, апдейтом спрячу.

Доброго всем времени суток дорогие друзья. Давно я не писал на хабре и очень жаль что моя новая публикация касается мошенников. И не просто мошенников, про которых я где-то прочитал, а про мошенников, которые меня лично обманули.

Цель этой статьи — обнародовать достаточно хитрый и не тривиальный вид мошенничества, на который я натолкнулся буквально на прошлой неделе. Дело сейчас находится в следственном отделе, поэтому любителей детективов я сразу разочарую: деталей следствия и деталей дела сейчас я разглашать не буду. Только после того, как дело будет закрыто.
Вторая цель — это найти таких же обманутых как я, чтоб получить компенсацию и пришить к делу еще одно/два/три заявления.

Как вы догадались — преступники найдены (забегая вперед, скажу, что это произошло естественно без помощи полиции). О том, чего стоит опасаться при покупке нового или б/у макбука, а также о том, как были найдены и пойманы преступники читайте под катом.

Мне кажется целесообразным поделиться личным опытом роста производительности работы в Mac OS Х (на примере 10.7), в частности, путем максимального отказа от использования мыши (через что придем и к многим другим способам).

С чем связана актуальность проблемы?
1. Эргономически прицелиться и попасть мышью в мелкий объект всегда хуже для времени, мелкой моторики и зрения, чем использовать операции, не требующие идентификации мелких объектов и «прицеливания» в них. Для наиболее массового примера достаточно сравнить количество людей в Windows, которые переключают клавиатуры комбинацией клавиш или мышкой в соответствующем меню на рабочем столе (которое вроде тоже бы в пределах доступности).

2. Для мобильной работы большая разница – брать с собой мышь или нет. Если в Windows многим недостаточно внутренних тачпадов для полноценной работы, то при взгляде на макбук с подключенной мышью возникает когнитивный диссонанс – т.к. часть вещей, ради которых человек взял ее с собой в дорогу, объективно имеет более эффективное альтернативное решение, если избавится от определенной парадигмы сознания.

3. Меньшее использование мыши в OS X для переходящих с Windows позволяет предотвратить ряд неудобств и ошибок – в частности, «эффект красного крестика» и «синдром единственного рабочего стола», а также лучше понять отличия между окнами и процессами.

Речь пойдет не о банальной замене мыши клавиатурными комбинациями, а о более системных изменениях, принципиально меняющих организацию работы.

Итак.

Бывший секретный проект «Гугла» теперь в прямом смысле этого слова появляется на публике: компания получила лицензию для тестовых поездок по дорогам общего пользования в Неваде, а до этого приглашались желающие для тестовой поездки на закрытой площадке.

На данный момент принадлежащий поисковому гиганту флот роботизированных автомобилей «Тойота Приус» отмотал более 300 тысяч километров в городском окружении, на оживленных трассах и горных дорогах лишь с частичными вмешательствами человека. Проект всё ещё далек от выхода на рынок, но в «Гугле» в собственном кампусе установили беспилотные гольф-карты, которые наглядно демонстрируют, как уже в ближайшем будущем новая технология может изменить мир.

Вопрос, который меня интересует, давно витает в воздухе Интернета и посещал не одну голову пользователя. Каждый, кто зарегистрирован хотя бы в одной социальной сети, ведет блог или микроблог, может быть, задавал этот вопрос себе. Как в Сети найти тех, кому ты будешь интересен таким, какой ты есть, и с кем, в свою очередь, будет интересно тебе?

Я решила провести мини-эксперимент, в ходе которого узнать, действительно ли Интернет для меня, как пользователя, социален, реально ли там найти близких по духу людей и если да – сколько усилий на это потребуется.

Наверное, многие владельцы iPad'ов знают о замечательной музыкальной программе под названием GarageBand (ссылка на AppStore, цена $4.99).

Но почему-то на просторах ютуба видео про нее не так-то много. Собственно, я решил внести свою лепту.

Итак, ниже привожу небольшой ролик, в котором показываю, что может создать дилетант за 8 минут. Владение музыкальными инструментами и нотной грамотой — не обязательно. На видео — результат недолгого копания с программой. Уверен, если провести с ней больше времени, можно написать (почти) полноценное произведение. (Как я понимаю, владельцы маков могут потом «допилить» и почистить результат своих музицированой в garageband'е для маков).

В то время, как некоторые производители ноутбуков столкнулось с проблемой в Sandy Bridge, обновлённые Macbook Pro смогли избежать их, однако не всё так хорошо, как кажется. Тех, кто купил себе Macbook Pro 15/17" 2011 года выпуска прошу под кат.

После трёх лет работы со студийным светом я думал, что знаю про накамерную вспышку если не всё, то очень много. Три недели назад я попал в гости к одному особо опытному стробисту, который рассказал и показал столько, что я сразу понял, что надо садиться и делать перепись грабель, а потом тестить, тестить и ещё раз тестить.

Ниже — достаточно известные вещи, которые, однако, вызывали facepalm у тех, кто был вместе со мной или же у меня. В списке грабель вы с некоторой вероятностью можете найти что-нибудь новое. Если хотя бы она фича использования вспышки окажется для вас полезной, то мою задачу можно считать выполненной.

После топика Бумбурума о своем домашнем офисе, думаю многие фрилансеры Хабра озадачились обустройством своего рабочего места. Представляю вам подборку фотографий интересных домашних офисов (в основном из США и Канады), большинство из которых реально реализовать и в российских условиях.

Вчера залез в сорцы Transmission и сделал то что так давно хотелось.
1) Последовательную загрузку торрентов (блоками по 30 процентов).
2) Загрузку без учета скаченного.
Изменил буквально 10 строк кода. Скачать можно тут.

IT-директор проекта BeSmart.net Максим Модель про работу над глобальным обучающим сервисом



Наша команда работает над проектом BeSmart. Сейчас у нас девять программистов, включая IT-директора, то есть меня самого (само собой, есть дизайнеры, маркетологи и другие специалисты — всего более 20-ти человек). Мы работаем в белорусском Витебске, известном в России по фестивалю «Славянский базар».

BeSmart.net — это сервис для размещения обучающих лекций в формате видео, аудио и PDF, которые, как мы надеемся, со временем будут смотреть по всему миру. Амбиций много, но пока мы отставим их в сторону и расскажем, какие две цели стоят перед нами, разработчиками, и как мы их выполняем.

Как только я заинтересовался Netmap’ом, меня сразу же стало одолевать любопытство, сколько пакетов в секунду можно будет «выжать» на обычном железе в режиме генерации пакетов и/или в режиме приёма и фильтрации пакетов? С какой производительностью можно будет фильтровать трафик различных, популярных на сегодняшний день атак и какие при этом будут потери пакетов.



Данные, которые показывает автор Netmap Luigi Rizzo весьма впечатляют. Как известно, по опубликованным Luigi тестам, Netmap легко генерирует 14Mpps и позволяет «поднять» поток в 14Mpps из сетевого кабеля в userspace, используя только одном ядро процессора Core i7. Стало интересно применить эту технологию в фильтрах очистки трафика.
Итак, на прошедшей в сентябре выставке InfosecurityRussia 2013 мы представили стенд, на котором по запросу всех желающих генерировали различные атаки и демонстрировали защиту от них, собирая статистику и отрисовывая различные графики Zabbix’ом.
В статье мы сконцентрируемся на некоторых особенностях архитектуры NETMAP, а также показателях скорости обработки пакетов, которые с его помощью получены на «обычном» железе.

В начале 2013 я решил основать компанию.

В предыдущие 4 года я разработал и запустил несколько программных продуктов завязанных вокруг популярного сервиса. Я начал в 2008 году с сайта-хостинга изображений, который быстро вырос до 2-х миллионов уникальных пользователей в месяц. Продолжил в 2011 году андройд-приложением, которое было скачано и установлено более 200 тысяч раз. Но пользовательское соглашение популярного сервиса положило этому конец.

Долгое время мне приходилось работать в одиночестве. Я был системным администратором, PHP, Perl и Android разработчиком одновременно, проектировал и управлял базами данных. Я занимался маркетингом, поддержкой пользователей и решал юридические вопросы. Делал все, начиная от удаления фотографий эротического содержания вручную, заканчивая настройкой Bind серверов.

Когда ты работаешь один, приходится решать слишком много проблем и тебе редко удается найти время, чтобы сделать это качественно. Это постоянное состояние напряжения заставляет многих реализовывать даже мелкие улучшения с ужасающей неэффективностью. Чрезмерно зависимые от других компаний, они находятся в нижних звеньях пищевой цепи. Для моего следующего проекта, наличие команды стало обязательным условием, но когда я попытался её собрать, это оказалось нелегким делом.

Backhaul network — это сеть для подключения базовых станций (в терминологии 3G — NodeB) к контроллерам радиосети (RNC).



Затраты на подключение базовых станций — одна из значительных составляющих расходов оператора, поэтому издержки, связанные с построением и эксплуатацией этих сетей, стараются снижать, в частности используя новые технологии. Эволюция прошла путь от ATM-подключений до SDH/SONET, DSL, IP/MPLS и metro Ethernet. Сегодня весь трафик ходит в IP-пакетах.

Всех с прошедшим новым годом!
В этой заметке я бы хотел поделиться как можно восстановить открытый файл в linux.

Предыстория

Зашел человек на канал посвященный debian в jabber и сказал что взломали его jabber-bot и выполнили команду:

$ rm -rf /*

так как это было выполнено не под рутом, особых проблем быть не должно, но конфигурационные файлы бота удалены. Бот остался запущен и задача была восстановить открытые им файлы и попробовать максимально быстро поднять всё с теми же настройками.

Мишко Хевери, главный разработчик Ангуляра, как-то упомянул, что приложение гарантированно работает без тормозов, если в нем не более 100 активных областей видимости. Такой подход, в общем, применим к любым приложениям. В играх давно не рендерят то, чего игрок не видит и только в вебе пока еще считается нормой отобразить целиком список из нескольких тысяч элементов. С приходом js-фреймворков ситуация должна измениться и лучшим решением станет удаление из DOM того чего нет на экране, нежели отказ от промежуточных тегов, биндингов и других вещей, облегчающих разработку. Поэтому провел небольшой анализ решений для отображения больших списков. Наткнулся на пару статей:

1. The Infinite Path of Scrolling

В ней парень рассказывает, что проходил стажировку в Гугле в команде Ангуляра и ему поручили исследовать этот вопрос. (Радует, что разработчики заинтересованы этим. Надеюсь, скоро увидим родную поддержку бесконечного скролла).