• Ваш персональный курс по Big Data

      Привет, хабр!

      После публикации нескольких статей по Big Data и Машинному обучению, ко мне пришло немало писем от читателей с вопросами. За последние несколько месяцев мне удалось помочь многим людям сделать быстрый старт, некоторые из них — уже решают прикладные задачи и делают успехи. А кто-то уже устроился на работу и занимается решением реальных задач. Моя цель — чтобы вокруг меня были умные люди, с которыми в том числе и я смогу работать в дальнейшем. Поэтому я хочу помочь тем, кто действительно хочет научиться решать настоящие задачи на практике. В сети присутствует большое количество мануалов о том, как стать ученым по данным (Data Scientist). В свое время я прошел все, что там есть. Однако, на практике порой нужны совсем другие знания. О том, какие именно навыки нужны — я расскажу в сегодняшней статье и постараюсь ответить на все Ваши вопросы.
      Читать дальше →
    • Сохраняем мозг со всеми синапсами

        Вчера мне довелось пообщаться с Monir Mazaheri — научным сотрудником отделения нейробиологии в Karolinska Institutet, Швеция. Она рассказала о последних открытиях в исследованиях деградации мозга и болезни Альцгеймера. Оказалось, есть очень простые способы развить свой интеллект, если вы молоды, и сберечь его, если вам ближе к 60. Суть в том, что не обязательно много заниматься чисто интеллектуальной работой, важнее задействовать все зоны мозга.
        Как же это сделать?
      • Ускорение загрузки Windows for fun and profit

          image Пожалуй, начну с того, что если перегружаться 15 раз в год, то любой «тюнинг» процесса загрузки отнимает больше времени, чем будет выиграно на перезагрузках за все время жизни системы. Однако, спортивный интерес берет свое, тем более, что люди интересуется процессом оптимизации быстродействия. А загрузка оказалась самым очевидным кандидатом в примеры того, как на мой взгляд должен выглядеть этот самый процесс. Сразу скажу, что грузиться будем с 5400 rpm винта, грузиться будем в «рабочую» систему: помимо недобитой вендорской крапвари там стоит еще куча всякого типа вижуал студии, антивируса, скайпа, стима, гуглапдейтера и пр…

          Про то, почему отключение pagefile-а скорее вредно, чем полезно — как нибудь в другой раз, а пока…
          Под катом много однообразных картинок и немножко унылого текста
        • Раздаем права на запуск/остановку сервисов под Windows

            Буквально сегодня понадобилось дать человеку возможность перезапускать тестовый вебсервер под виндой.
            Права админа давать естественно давать не хочется.
            «Мощный» юзер не подходит.

            букв много
            Читать дальше →
          • Создаем образ Windows XP SP3 для разворачивания по сети через WDS

              Опубликовано по просьбе хорошего человека fcserg, так что прошу карму форвардить ему

              Перед многими из нас часто возникают задачи типа «развернуть много рабочих станций», причем железо на всех этих станциях может быть разное. Мало того, на некоторых из этих машинах должен быть предустановлен разнообразный софт (от «корпоративных наборов» — аська, браузеры, pdf-читалки, до «университетских» наборов – Visual Studio, Project Manager). Раньше для таких целей использовался RIS (Remote Installation Services), теперь Microsoft агитирует за WDS (Windows Deployment Services). Мы остановимся именно на последнем.
              Читать дальше →
            • Связываем Active Directory, Asterisk и OpenFire

              Дружим между собой Active Directory, сервер IP телефонии Asterisk и Jabber-сервер OpenFire.



              Не буду касаться установки всего по отдельности – все неплохо описано и работает в индивидуальном порядке весьма замечательно. Напишу, как я объединял все это вместе, на что наткнулся и что у меня получилось.

              Читать дальше →
            • Как проверить и проанализировать использование памяти в системе Solaris

              Очень часто господа системные администраторы сталкиваются с проблемой просмотра загрузки операционной системы, и если большинству в общем то знакомы системы мониторинга на стандартных операционных системах, то в системе Solaris — это часто вызывает много вопросов и сомнений, особенно в выводах команд пугающих своими цифрами. Сегодня попробуем немного в этом разобраться.
              Читать дальше →
              • +16
              • 10,7k
              • 4
            • Видео с HighLoad++: Joe Damato — Performance tweaks and tools for Linux

                Как и обещали, выкладываем доклад Joe Damato — Performance tweaks and tools for Linux с HighLoad++, разделенный на три части.

                Часть первая (28:29), часть вторая (30:21), часть третья (18:23)

                video.mail.ru/corp/morozova/16

                Хорошего вам просмотра.
              • Большие потоки трафика и управление прерываниями в Linux

                  В этой заметке я опишу методы увеличения производительности линуксового маршрутизатора. Для меня эта тема стала актуальна, когда проходящий сетевой трафик через один линуксовый маршрутизатор стал достаточно высоким (>150 Мбит/с, > 50 Kpps). Маршрутизатор помимо роутинга еще занимается шейпированием и выступает в качестве файрволла.
                  Читать дальше →
                • Горячие клавиши в шелле

                    Посвящается B_dot, пост которого заставил заинтересоваться возможностями консоли плотнее.
                    cat /dev/cheat-sheet >> /dev/head

                    Краткое вступление


                    В этом посте будет рассказано о некоторых сочетания клавиш, которые могут упросить жизнь администраторам, работающим в консоли. Все они работают в bash'e. Сочетания клавиш я дополнительно проверял на циске (Cisco IOS Software, s72033_rp Software (s72033_rp-ADVIPSERVICESK9_WAN-M), Version 12.2(33)SXH4), csh и zsh. Рассмотренное в других записях повторять особо не буду. Сочетания сгруппированы по использованной функциональной клавише.
                    Особенно полезен этот текст будет людям, которые любят использовать клавиши Home, End и Delete (которые в цисковой консоли «не работают»).
                    Читать дальше →
                  • Генерируем цепочку сертификатов с эллиптическими кривыми при помощи OpenSSL

                      график функции y^2 = x^3-x+1Думаю многие слышали о криптографии эллиптических кривых, о том
                      что работает она во много раз быстрее RSA и при несоизмеримо меньшей длине ключа обеспечивает несоизмеримо большую стойкость ко взлому. Если не слышали, то можно глянуть на wiki или почитать в книгах А.А. Болотова.
                      К сожалению, данный вид шифрования слабо распространен. Я постараюсь объяснить как им пользоваться и поможет мне в этом OpenSSL.

                      Чтобы не быть голословным приведу сравнение необходимых длин ключей для обеспечения сравнимой стойкости ко взлому для различных алгоритмов. Нам интересна правая часть.
                      Сравнение алгоритмов
                      Видно, что популярным сегодня ключам RSA длиной 1024-2048 бит соответствует всего навсего 160-224битный ключ ECC (Elliptic Curve Cryptography)

                      Ну а чтобы понять какой RSA тормоз достаточно попробовать сгенерировать самый длинный из предложенных в таблице ключей (и пойти вздремнуть):

                      openssl genrsa 15360

                      Желающих прикоснуться к «next gen» криптографии, придуманной аж в 1985 году, прошу под кат.
                      Читать дальше →
                    • Chef или как управлять тысячей серверов

                        Suck on my chocolate salty balls (c) ChefДавайте каждый попробует ответить на вопрос: как установить apache на сервер? Этот вопрос порождает ещё десяток: какая ОС стоит на сервере, какую версию ставить, где лежат конфиги по-умолчанию и т.д. и т.п.

                        А теперь давайте попробуем ответить на вопрос: как установить apache на 1000 серверов? Тут, при стандартном подходе, вопросов возникнет ровно в 1000 раз больше. Часть из вас наверняка подумали, что можно написать скрипт на shell/perl/python/ruby, который будет обходить все сервера и устанавливать apache, другая часть подумала о distributed shell'ах (PDsh, dsh, etc), кто-то же подумал монтировать rootfs серверов по NFS.

                        В ряде случаев выше предложенные варианты решений удовлетворительны, но на практике я нигде не видел полностью гомогенных систем (зачастую, внутри компании можно встретить не только разные версии ОС, но и различные дистрибутивы. Также в России/СНГ очень распространена каша из FreeBSD/Linux в ядре проектов), так что вряд ли за адекватное время будет возможно написать скрипт, который установит и настроит apache на зоопарке в 1000 машин под CentOS, Debian, Ubuntu, FreeBSD всевозможных версий.

                        По моим наблюдениям, очень мало IT подразделений, даже очень крупных компаниий, используют в своей работе SCM (Software Configuration Management). В этом посте я постараюсь описать все преимущества использования Chef в IT инфраструктуре на простых примерах и больших масштабах.

                        Если же, после столь короткого вступления, вы не прониклись идеей Chef, да и времени читать длинный технический пост у вас нет, то рекомендую вам пролистать до конца и посмотреть как используем Chef мы, Engine Yard, 37signals и подумать, можете ли вы переложить на него часть своей работы.
                        Читать дальше →
                      • Удаленное обучение на основе Open Source — BigBlueButton

                          Какое-то время работал с организацией системы обучения на основе ВКС Tandberg. Когда была поставлена задача организации удаленного обучения, Open Source решения были просты и унылы. Конторе пришлось изрядно потратится. Но Open Source не стоит на месте, все больше и больше компаний выходят на рынок с новыми идеями и большинство из них бесплатны для простого обывателя.


                          Читать дальше →
                        • Играемся с гироскопом ноутбука thinkpad в linux

                            В линукс показания с этого датчика можно считать из файла /sys/devices/platform/hdaps/position
                            Можно создать виртуальный джойстик и, например, катать им шарики в neverball, крутить google earth и т.п. :)
                            Всё это описано тут
                            Я тоже решил развлечься и написал небольшую программу, которая заставляет cairo-clock сползать по экрану в зависимости от наклона ноутбука.
                            подробности
                          • Закончен предварительный перевод книги «Волшебство Git»

                              Я, как и многие программисты, после знаменитого выступления Линуса Торвальдса о Git на Google Talks заинтересовался распределенными системами управления версиями, а в особенно Git.

                              Я довольно таки свободно читаю на английском, но мне приятнее читать на русском языке, при условии нормального перевода.
                              Существует замечательная книга «Git Magic» Бена Лина (Ben Lynn).
                              Благодаря труду многих людей вышел первый черновой вариант этой книги. Всех желающих улучшить перевод — приглашаю под кат.
                              Читать дальше →
                            • Таблетка от пингвиньего жара своими руками

                                Стал я тут недавно 'счастливым' обладателем нетбука на базе Atom N270. Windows XP, естественно для меня, был немедленно выкинут с жёсткого диска и заменён Linux'ом. И всё было хорошо… где-то минут 15, пока процессор (вообще, конечно, все вам скажут, что не процессор, а чипсет, но всякие тесты, вроде кручения бесконечных пустых циклов в bash показали, что именно процессор) не стал чрезмерно горячим в процессе установки всяких разных пакетов (я вообще не понимаю, откуда Intel взяла оценку для TDP N270 в 2.5Вт).

                                Другая ситуация. У моего знакомого довольно пожилой ноутбук ASUS с достаточно странными настройками ACPI, в таблицах которого записано, что включать throttling нужно при температуре системы в 89 градусов Цельсия, а отрубать систему от критического перегрева при температуре в 81 градус.

                                Эмс… Вы не сочтите это всё антипиаром ASUS и Intel, ибо (я уверен) на других ноут(нет)буках с другими x86-процессорами вполне появляются схожие проблемы, и этот пост о том, как их решать, а не о том, какие праАативные флагманы IT… И вообще, я фанат ARM'ов… Так что для меня, что Intel, что AMD — одинаковое x86-зло… Но просто факт остаётся фактом. В некоторых старых моделях ноутбуков от ASUS кривые таблицы ACPI, а Atom'ы греются.

                                Нужно как-то управлять режимами работы процессора, чтобы остужать пыл горячих кремниевых парней, дабы не разрушали они естественный прохладный микроклимат для пингвина.

                                Проблема только в том, что стандартные рецепты манипулирования только лишь power-уровнями процессора в Linux (при помощи подсистемы cpufreq), которые раздаются на всех форумах направо и налево, недостаточно эффективны. Тот же Atom ощутимо греется находясь и в самом 'экономном' режиме, а моему знакомому в работе периодически нужна высокая производительность процессора, однако не ценой отключения по критической температуре. И при этом сброс процессора его ноутбука в 'экономный' режим при повышении температуры от перегрева не спасал.

                                В общем, проблемы надо как-то решать. Собственно вот, где-то на троечку с плюсом их решить получилось, решение описываю ниже с некоторыми подробностями, о которых редко пишут на user-форумах Linux (и вообще, я даже и сам не понял, откуда я всё это решение раздобыл :).

                                Читать дальше →