Здравствуйте, меня зовут Алексей и я независимый разработчик игр. Два года назад я уволился из Wargaming чтобы немного поэкспериментировать и сделать MMO игрушку, в которую мне было бы интересно играть. Со временем ко мне присоединилась пара замечательных людей — Александр и Елена Дедковы. Сейчас я кратко расскажу что получилось из этой затеи.

Аннотация

В среднем, очередной пост про NAS появляется примерно раз в полгода, и рассказывает о том, как поставить систему по документации. Мы усложним задачу, привязав ее к реальному проекту и ограничив бюджет. Кроме того, мы еще и попытаемся подстелить себе соломку в тех местах, куда не еще не ступала нога молодого сисадмина, а также разрушим несколько отраслевых мифов.

Эта статья не для специалистов по серверному хранению данных, геймеров и прочих оверклокеров. На вас, коллеги, и так вся индустрия работает. Она для начинающих сисадминов, любителей UNIX-систем и энтузиастов свободного программного обеспечения. У всех накопилось старое железо. Всем нужно хранить большие объемы дома или в офисе. Но далеко не у всех есть простой доступ к серверным технологиям.

Я очень надеюсь, что вы найдете для себя несколько полезных идей и все-таки научитесь на чужих ошибках. Помните: система стоит не столько, сколько вы заплатили за железо, а сколько вы вложите потом времени и сил в тестирование и эксплуатацию.
Если не хотите читать — посмотрите ссылки и выводы в конце; может, и передумаете.

DISCLAIMER

Информация предоставляется AS-IS без какой-либо ответственности за ее использование кем-либо, где-либо и когда-либо. Все ненароком упомянутые торговые марки являются собственностью соответствующих владельцев. Некоторые из них в рекламе уже настолько не нуждаются, что я придумываю им шуточные названия.

Благодарности

Респект Андрею Александровичу Бахметьеву, инженеру и изобретателю. Я горд, что Андрей Александрович преподавал для меня в институте! Желаю ему всяческих успехов в его проектах!

Задача

Итак, есть малый бизнес-стартап, генерирующий порядка 50Гб файлов в неделю, с необходимостью их архивного хранения в течение нескольких лет. Файлы крупные (порядка 10-20 Мб каждый), обычными алгоритмами не сжимаемые. Начальный объем данных порядка 2Тб. Совсем старые данные можно хранить в оффлайне, подключая по требованию.
Нужно уложиться в весьма скромный начальный бюджет решения 500 евро (в ценах лета 2013) и двухнедельный срок на сборку и тестирование.

За эти деньги нужно построить систему, которая позволит работать с файлами небольшой группе в одной локальной сети с разных платформ (Windows, Mac OS). Требуется длительная работа без сисадмина на площадке, защита от отказов и базовые функции управления правами доступа.

Традиционные пути

Безусловно, можно купить сетевое хранилище: их делают NetApp, QNAP, Synology и другие игроки, и притом делают неплохо даже для малого бизнеса. Но наши 500 евро – это только начало разговора для пустой коробки, без самих дисков. Если у вас есть 1000-2000 евро, лучше купите готовое изделие, а мы попробуем максимально заплатить знаниями и минимально — временем и деньгами.

UPD (спойлер ред. 2 от 2014-03-08):


А как же облачное хранение, спросите вы? На момент написания этой статьи популярные облачные хранилища для наших объемов выглядят дороже, чем хотелось бы. Например, стоимость хранения неограниченного объема данных 36 месяцев на известном сервисе Брось Бокс обойдется в пару тысяч долларов с лишним, хотя и выплачивать их можно постепенно. Конечно, есть сервисы вроде Amazon Glacier (благодарю А.М. за подсказку) или Ажурных Окон, но, во-первых, они тарифицируют не только хранение, но и обращение (как его априорно подсчитать?), а во-вторых не будем забывать, что бизнес сидит на Интернет-аплинке 10Мбит, и маневры терабайтами потребуют не только определенных усилий по управлению процессами, но и будут весьма утомительными для пользователей.

Обычно в таких случаях берут старый компьютер, докупают большие диски, ставят Linux (не обязательно, кто-то ухитряется и Windows 7), делают массив RAID5. Отлично. Всё работает хорошо примерно полгода-год, но одним солнечным утром сервер вдруг пропадает из сети без всякого предупреждения. Конечно, сисадмин уже давно работает в другой фирме (текучка кадров), резервной копии нет (объемы слишком велики), а новый сисадмин починить систему не может (при этом на чем свет стоит ругает старого сисадмина и диалект Linux YYY, ведь надо было использовать Linux ZZZ, тогда проблем бы точно не было). Все эти истории повторяются давно и одинаково, меняются только версии ОС и растут объемы данных.

Отраслевые мифы

Миф о RAID5

Самый распространенный миф, в который я и сам верил до недавнего времени – это то, что второго подряд отказа в массиве на практике не может быть по теории вероятности. А вот и может, да еще как! Смоделируем реальную ситуацию: сервер проработал пару лет, после чего в массиве отказывает диск. Пока ничего страшного, ставим новый диск, и что происходит? Ага, реконструкция массива, т.е. длительная максимальная нагрузка на уже порядком изношенные диски. В такой ситуации отказы очень даже возможны и происходят.
Но это не все. Есть еще заложенная производителем методическая вероятность ошибки чтения, которая при определенных обстоятельствах сейчас уже практически гарантирует, что RAID5 после отказа диска обратно не соберется.

Бес нас попутал.
Мы создали MadRobots, чтобы привозить в Россию лучшие инновационные гаджеты со всего мира. А опустились до того, что стали торговать банальными айфонами. За это и поплатились — как платят в итоге все, кто идет за толпой и предает свои идеалы.
В прошлый раз я рассказывал, как начал инвестировать на «Кикстартере», увлекся «интернетом вещей» и в итоге обрел свое счастье, бросив работу в Panasonic и открыв свое дело.


После публикации поста на меня обрушился шквал писем и комментариев. Многих вдохновила история моих поисков, которые завершились классическим хэппи-эндом.

Однако путь к любому хэппи-энду (который для нас — только пролог) ведет через череду провалов, ошибок и трагикомических сцен. И наш случай не стал исключением.

Сегодня я расскажу о самой (пока что) драматичной нашей ошибке — неудачной попытке заработать на товаре, который, если верить мифам Древней Греции, обогатил не одного российского интернет-продавца.

Чаще всего результативность продавцов оценивают только по объему продаж. Поэтому заработная плата продавца обычно складывается из оклада и премии, зависящей от выручки. Несмотря на широкое применение этой схемы, у неё есть ряд важных недостатков. Первый и главный недостаток, она плохо мотивирует продавцов использовать все имеющиеся возможности увеличения продаж. Второй — она не мотивирует продавцов повышать лояльность и качество обслуживания покупателей. Третий — она, практически, не мотивирует продавцов повышать свой профессиональный уровень. В этой статье я расскажу о сбалансированной матрице показателей (KPI), позволяющей не только эффективно управлять продажами, но и добиваться других важных целей – повышать лояльность покупателей, обеспечивать обучение и развитие персонала.

Спросите, какое это имеет отношение к ИТ? Самое непосредственное. Успех управления по KPI зависит не только от того, ЧТО измеряется, но и КАК это делается. Качественные (не количественные) KPI, основанные на субъективной оценке руководителя и ручном вводе результатов «похоронили» не один проект внедрения KPI. Простота и технологичность измерения KPI — абсолютно необходимые условия успеха, и они обеспечиваются только внедрением ИТ. Сегодня ИТ в ритейле – это, как правило, только кассовые и учетные системы. Единственный показатель (KPI), который они позволяют получать автоматически – это выручка. Поэтому управление эффективностью продавцов чаще всего, сводится к выгрузке информации о выручке в MS Excel.

Здравствуй, читатель! Ты когда-нибудь занимался переводом своего офиса/школы/института/друзей на Linux? Помнишь, как долго и упорно ты доказывал, что это — путь добра и света? А помнишь первую проблему, из-за которой пришлось все вернуть назад? Дай угадаю. Первый документ созданный в LibreOffice или OpenOffice отказался корректно открываться в MS Office? Слезы, сопли и мольбы оставить Linux ни к чему не привели? Утри нос, читатель! Под катом — о том, как подружить LibreOffice 3.5 и MS Office 2010 так, чтобы все везде открывалось одинаково.

Сетевой инженер Брайан Сили (Bryan Seely) устал от обильного спама на картах Google Maps. Он неоднократно обращался в Google с просьбой улучшить модерацию объявлений и даже открыл аккаунт в твиттере с публикацией примеров, но без толку. Тогда находчивый инженер придумал способ, как обратить на себя внимание.



Он разместил на Google Maps несколько фальшивых объявлений, указав адреса ФБР и Секретной службы США, но свои собственные номера телефонов. Когда люди звонили по этим номерам, Брайан направлял звонок на настоящие номера спецслужб — и включал аудиозапись.

Идея запускать приложения не на компьютере пользователя, а на удаленном сервере, и транслировать изображение пользователю по сети – не нова, и давно «витает в воздухе». Согласитесь, идея хорошая: ведь для установки любого нового ПО на свой компьютер необходимо разобраться с политикой лицензирования (кому это актуально), найти дистрибутив (желательно, без вредоносного ПО внутри), установить и настроить ПО — иногда просто руки опускаются. Кроме того, подход с трансляцией ПО снимает необходимость в своем производительном «железе», что становится актуальным в свете ежегодного роста продаж планшетных компьютеров и смартфонов. Да и интернет есть повсюду в мегаполисах: слушать музыку и смотреть кино онлайн, в конце концов, все уже давно привыкли.

Вот только ни одного полнофункциональной разработки, подходящего для применения в сети Интернет до сих пор так и не видно. Мы подумали, что это никуда не годится и решили сделать ее.

Оригинальная статья: «The Tough Life of a Games Tester».

Какой геймер не мечтал о том, чтобы зарабатывать на жизнь, играя в игры? Хотя это и может показаться отличной профессией и крутым способом получить первую работу в игровой индустрии, правда не так уж и привлекательна.

IGN связался с тестировщиками со всего мира, чтобы услышать их мнение о суровой действительности. Мы получили десятки писем от сотрудников многочисленных игровых компаний. Они рассказали нам истории о тяжелых рабочих условиях, низкой заработной плате и отсутствии боевого духа у работников.

Их работодатели — это огромное количество компаний, включая как издателей традиционных игр для комьютеров, так и более новые организации, занимающиеся созданием игр для мобильных устройств.

При устройстве на работу тестировщики подписали соглашение о неразглашении данных со своими работодателями и могут быть уволены, на них даже могут подать в суд за разглашение информации. Все тестировщики, с которыми мы связались, разговарили с нами при условии полной анонимности. Мы придумали им псевдонимы, чтобы скрыть их реальные данные. Мы также проверили то, что все эти люди действительно являются тестировщиками игр. Мы попросили прокомментировать данную статью, обратившись к множеству игровых компаний, но так и не дождались ни одного ответа.

Написал мне вчера lfatal1ty, говорит, домашний роутер на x86 с CentOS как-то странно себя ведет, грузит канал под гигабит, и какой-то странный процесс «atddd» загружает процессор. Решил я залезть и посмотреть, что же там творится, и сразу понял, что кто-то пробрался на сервер и совершает с ним непотребства всякие. В процессах висели wget-ы на домен dgnfd564sdf.com и процессы atddd, cupsdd, cupsddh, ksapdd, kysapdd, skysapdd и xfsdxd, запущенные из /etc:

Начальный анализ

Сначала я полез смотреть, что же вообще происходит и насколько серьезно была скомпрометирована система. Первое, что мне пришло в голову проверить — /etc/rc.local. Там было следующее:

cd /etc;./ksapdd
cd /etc;./kysapdd
cd /etc;./atddd
cd /etc;./ksapdd
cd /etc;./skysapdd
cd /etc;./xfsdxd

«Хмм, ладно», подумал я. Полез в root'овский crontab

UPD: мы сняли работу Wiren Board Smart Home на видео

Краткое содержание:

На базе нашей платформы Wiren Board (компактный индустриальный компьютер с Linux и разными интерфейсами) мы сделали навороченный контроллер для домашней автоматизации Wiren Board Smart Home (ARM9 64MB RAM, GSM/GPRS, Ethernet, Wi-Fi, USB, 2xRS-485/Modbus, CAN, 2 реле, ASK/FSK радиомодуль 433MHz, NRF24L01+ и т.д.), к которому можно подключить кучу всяческих проводных и беспроводных исполнительных устройств и датчиков от разных систем и производителей. Устройство готово и протестировано. На устройства из первой большой партии мы открываем заказ с доставкой до майских праздников по специальной цене.

Прошлом посте было приведено краткое описание что такое Twister.
Если вы не читали: Twister — это децентрализованный аналог твиттера (микроблогинговый сервис) который построен по принципу P2P и использует всё самое лучшее от Bittorrent и Bitcoin. Другими словами — это микроблогинговый сервис который невозможно цензурировать, модерировать и у него нет единой точки отказа.

Сегодня мы с вами поговорим о паре важных вещей: Релиз Windows клиента (уже скомпилированный), изменения в протоколе, пережитые атаки, изменения в Web GUI.

Совсем недавно был пост о выходе Twister для Windows, к сожалению, версия обладала ошибкой, из-за которой некоторые клиенты не могли подключится, теперь всё работает.

Кроме того, теперь в твистере отображаются популярные хештеги (Trending).

Желающие протестировать P2P сервис микроблогига предлагаю попробовать снова запустить Twister (загрузив новую версию), теперь он действительно работает на Windows.

Коротко, что такое Twister — это децентрализованный аналог твиттера (микроблогинговый сервис) который построен по принципу P2P и использует всё самое лучшее от Bittorrent и Bitcoin. Другими словами — это микроблогинговый сервис который невозможно цензурировать, модерировать и у него нет единой точки отказа.

Разработчик Крис Кристофер (Chris Christopher) опубликовал довольно подробную инструкцию, как поднять канал связи между компьютерами, используя колонки. Можно отправлять пакеты TCP/IP и UDP «по воздуху», даже если на компьютерах отсутствует оборудование для связи.

Автор использовал стандартные ноутбуки и общедоступное программное обеспечение, в том числе программу gnuradio. Он говорит, что проще всего скачать готовый LiveDVD-образ дистрибутива Gnuradio (версия Ubuntu с уже установленной программой gnuradio).

Ещё нужно скачать с Github патч для gnuradio и установить его из-под рута. Патч модифицирует пакетные кодер и декодер gnuradio для поддержки пакетов переменного размера.

Проект MeshCentral ожидают большие перемены – будет добавлен ряд действительно интересных функций по использованию облачной инфраструктуры для интернета вещей. Сегодня мы анонсируем три новых способа взаимодействия MeshCentral и Arduino совместимых карт Intel Galileo: обмен сообщениями, загрузка скетчей Arduino и управление скетчами через веб-интерфейс.

Знакомьтесь, это обычный «литровый» пакет молока:

• Проверка на внимательность: там 900 грамм. Рядом несколько по 950. Но пакет может быть воспринят как литровый.
• Проверка на знание физики. Рядом лежит похожий кефир. Объём измеряется в миллилитрах, масса — в граммах. Плотность кефира трагически выше плотности воды. То есть 900 грамм кефира 3,2% жирности — это примерно 874,5 миллилитров.

Второй пациент:



25 лет гарантии. Круто, правда? Есть одна проблема. Надо сохранять чек. Проверка, опять же, на знание физики. Чек у них печатается на обычной кассовой термоленте (я проверил на месте). У меня в офисе лежит много чеков. Мы их ксерокопируем, потому что через год-два они полностью выцветают. Самый старый чек, который видел коллега, держался 3 года в папке в архиве. UPD: смотрите самый низ топика, Икея ответила.

В общем, мы немного прогулялись по магазинам в режиме отладки. Извините за некоторый оффтопик по отношению к текущему хабу, но понимание некоторых вещей требует базовых технических знаний и мышления.

Осторожно, трафик: под катом много находок с фотографиями.

Недавно, когда я изучал досовые бут-секторы, я обнаружил довольно загадочную вещь. DOS распознает, является ли бут-сектор загрузочным, по нескольким критерям, и один из них (странно, да?) — есть ли в первых двух байтах jump-инструкция, которая указывает, соответственно, куда-нибудь за BPB. В модуле MSDISK.INC из MS-DOS 3.21 OAK как раз и происходят такие проверки. Модуль проверяет, начинается ли BPB с прыжка, при этом за верную jump-инструкцию он принимает опкоды EBh (short JMP), E9h (JMP), или 69h. Стоп. 69? Это же IMUL!
Не-а, не IMUL. Комментарий в коде утверждает, что это «direct jump»:

   cmp   byte ptr cs:[DiskSector],069H  ; Is it a direct jump?
   je    Check_Signature                ; don't need to find a NOP
   cmp   byte ptr cs:[DiskSector],0E9H  ; DOS 2.0 jump?
   je    Check_Signature                ; no need for NOP
   cmp   byte ptr cs:[DiskSector],0EBH  ; How about a short jump.
   jne   BadDisk

Хорошо, вот только про 69h в документации 8086 ничего не сказано! Да, в 8186 и далее — это опкод IMUL, но то, что 8086 умеет IMUL — крайне маловероятно. Тем более, комментарий ясно указывает, что это прыжок.

Может быть, на процессорах 8086 69h ведёт себя как прыжок? Вопрос хороший, вот только информации по этому поводу почти нет.

Содержание оперативной памяти является очень важной информацией при изучении предыдущих действий с машиной. Оперативная память может содержать как части самих исполняемых процессов, так и части удаленных файлов, пользовательских сессий, криптографических ключей. При современном распространении сложных систем защиты информации, основанных на криптовании восстановление их ключей становиться чуть-ли не одной из основных задач для исследования. В защищенных системах зачастую оперативная память это единственное место где могут сохраниться защитные ключи и другая временная, но очень важная информация.

В данной статье мы хотим напомнить о такой концепции, как SDN и рассказать, как сейчас выглядит ее реализация в виде платформы Intel ONS.

Сперва лайфхак для тех, кому лень читать много текста и смотреть картинки: в самом конце статьи приведены условия получения 10G коммутатора. «Без-воз-мез-дно, то есть даром», — как говорила Сова во всем известном мультфильме.

Про SDN уже написано немало материалов, поэтому вкратце напомним, что основная идея — разделение управления сетевым оборудованием и управление передачей данных.

Пару дней назад увидел статью о публикации исходного кода под свободной лицензией MIT игрового движка Godot и сразу решил поковыряться в нём.
Оказалось не всё так сложно, скорее забавно. В своей первой публикации хотелось бы рассказать о первых шагах на пути к созданию игрового платформера, и всех подводных камнях, о которые я чуть было не переломал пальцы за эти дни.



Если это кому-то интересно, добро пожаловать под Хабракат!

В последнее время тема авторского права набирает в обществе все большую популярность. Закручиваются гайки, принимаются новые законы, а копирасты продолжают вопить о своей мифической упущенной выгоде. Давайте посмотрим, как некоторые из них заботятся о безопасности собственной продукции.