• Как мы просто сократили объем входящего в дата-центр трафика на 70%

      Хочу рассказать о том, как довольно простым лайфхаком мы радикально сократили объем входящего в дата-центр трафика, одновременно сделав жизнь пользователей нашего мобильного приложения чуть лучше и даже уменьшив расход заряда их батареи.

      Единственное, о чем мы пожалели — что не применили это решение раньше.

      Читать далее
    • Разрабатываем и развёртываем собственную платформу ИИ с Python и Django

      • Перевод
      Взлёт искусственного интеллекта привёл к популярности платформ машинного обучения MLaaS. Если ваша компания не собирается строить фреймворк и развёртывать свои собственные модели, есть шанс, что она использует некоторые платформы MLaaS, например H2O или KNIME. Многие исследователи данных, которые хотят сэкономить время, пользуются этими инструментами, чтобы быстро прототипировать и тестировать модели, а позже решают, будут ли их модели работать дальше. 

      Но не бойтесь всей этой инфраструктуры; чтобы понять эту статью, достаточно минимума знаний языка Python и фреймворка Django.  Специально к старту нового потока курса по машинному обучению в этом посте покажем, как быстро создать собственную платформу ML, способную запускать самые популярные алгоритмы на лету.


      Портрет Орнеллы Мути Джозефа Айерле (фрагмент), рассчитанный с помощью технологии искусственного интеллекта.
      Приятного чтения!
    • Как собрать радио для коллег без единого разрыва

        Привет, Хабр! Вот уже почти 5 из 10 лет я совмещаю работу сетевиком с любимым хобби — подкастом про IT. За это время наш сервер для аудиотрансляций развивался, менялся и оказался полезен не только нам, но и коллегам. Недавно я правильно клонировал нашу сборку на базе Linux для радио ЦОД.fm в DataLine и решил поделиться своими наработками со всем сообществом.

        Сегодня покажу, из чего я собирал новогоднее радио для затравки к онлайн-корпоративу и создания праздничного настроения у коллег перед новым годом.

        Читать далее
      • Разворачиваем школьный учебный портал на Moodle и BigBlueButton

        В конце марта 2020 маленькая камчатская школа столкнулась с той же проблемой, что и все школы нашей страны: как учить детей если они не могут ходить в школу?

        Просто скидывать материал для самостоятельного изучения нельзя, должна быть обратная связь, надо убедиться, что ученик правильно понял материал.

        Изучение федеральных порталов дало понимание, что имеющиеся уроки имеют слишком примитивное изложение тем, а те, что позволяют загружать свой материал скорее всего не переживут возросшую нагрузку. Поэтому были сформулированы требования к учебному порталу:
        Читать дальше →
      • Программист, стая и Джон Стейнбек

          Вообще, если взглянуть беспристрастно, я – очень плохой работник. И как программист, и как менеджер, и как хоть кто. Но с работы меня не выгоняют. Даже повышают периодически, предоставляют ресурсы, возможности и телевизор.

          Причины две (только моему начальнику не говорите): я умею выстраивать отношения (=плести интриги) и готовить «корейский завтрак» — быстро вникать в контекст любой задачи и находить решение. Собственно, за это меня и держат.

          Но так было не всегда. Ровно наоборот – с первых трех работ я уволился сам, и именно потому, что не умел плести интриги и быстро вникать в контекст задач, как технических, так и менеджерских. А потом что-то изменилось.

          Ну, изменилось и изменилось – я просто наслаждался результатом, пока не прочитал книжку про работу мозга. Тут всё встало на свои места. Дело оказалось в дефолт-системе мозга.
          Читать дальше →
        • Как настроить китайский левитрон

            В данной статье рассмотрим электронную начинку подобных устройств, принцип работы и метод настройки. До сих пор мне встречались описания готовых фабричных изделий, очень красивых, и весьма не дешевых. Во всяком случае, при беглом поиске цены начинаются от десяти тысяч рублей. Я предлагаю описание китайского набора для самостоятельной сборки за 1.5 тысячи.

            image
            Читать дальше →
          • Методики уменьшения размеров образов Docker

            • Перевод
            Задавались ли вы когда-нибудь вопросом о том, почему размер Docker-контейнера, содержащего всего одно приложение, может находиться в районе 400 Мб? Или, может быть, вас беспокоили немаленькие размеры образа Docker, содержащего единственный бинарник размером в несколько десятков Мб?



            Автор статьи, перевод которой мы сегодня публикуем, хочет разобрать основные факторы, влияющие на размеры контейнеров Docker. Он, кроме того, собирается поделиться рекомендациями по уменьшению размеров контейнеров.
            Читать дальше →
          • Текстовые капчи легко распознаются нейронными сетями глубокого обучения



            Нейронные сети глубокого обучения достигли больших успехов в распознавании образов. В тоже время текстовые капчи до сих пор используются в некоторых известных сервисах бесплатной электронной почты. Интересно смогут ли нейронные сети глубоко обучения справится с задачей распознавания текстовой капчи? Если да то как?
            Читать дальше →
          • Pocketsphinx. Распознавание речи и голосовое управление в Linux

            • Tutorial
            — Всё в порядке, Лёня?
            Динамики отрегулированы на максимум, я морщусь, отвечаю:
            — Да. Тише звук.
            — Звук — тише, — соглашается «Виндоус-Хоум», — тише, тише…
            — Хватит, Вика
            С.Лукьяненко, «Лабиринт отражений»

            Введение


            В 1997-ом году Лукьяненко пророчил для десктопа сочетание CLI и голосового управления. Однако сейчас голосовое управление — достаточно узкая ниша.
            Голосовое управление — взаимодействие с устройством при помощи звуковых команд. Не путайте это понятие с распознаванием речи. Для голосового управления достаточно, чтобы устройство реагировало на единственную нужную команду (ведь ваша собака не может работать машинисткой?). Распознавание речи — гораздо более глобальная проблема: в этом случае устройство должно преобразовывать в текстовый формат все слова, произнесенные вами. Как легко догадаться, распознавание речи на данный момент реализовано поверхностно относительно человеческих возможностей.
            Функционал, рассмотренный в статье, может быть применен, к примеру, для организации модного сейчас «умного дома» или просто управления компьютером. Честно говоря, для описания управления компьютером хватило бы пары абзацев, но я попытаюсь показать вам основы работы с CMU Sphinx.
            Кстати, процентов 70 описанного здесь подойдет и пользователям Windows.
            Научим Linux слушаться?
          • Увеличиваем потенциал брошенного производителем сетевого хранилища

            • Tutorial

            В процессе эксплуатации того или иного умного устройства пользователи зачастую сталкиваются с рядом проблем, которые решить может только производитель. Решение, казалось бы, рядом: сообщаем по официальным каналам о найденном баге, производитель исправляет, выкладывает новую прошивку, дает инструкции по обновлению, обновляемся и все счастливы.


            На практике же все не так сказочно и зачастую достучаться до производителя бывает сложно или совсем невозможно. А может банально закончиться срок поддержки данной модели устройства, тогда заниматься исправлением точно никто не будет.


            Эта история о том, что можно сделать самостоятельно, имея начальные навыки, желание и время разобраться в процессе обновления програмного обеспечения ПО встраиваемых устройств.


            image


            Для нетерпеливых: в конце получился полноценный аппарат с актуальной версией загрузчика U-Boot, image Debian Jessie и image OpenMediaVault на борту.

            Читать дальше →
          • Неочевидные способы защиты от malware

              В спорах и обсуждениях того, как защитить свой компьютер от зловредов сломано немало копий и на эту тему можно найти множество книг и статей, причем бОльшая часть из них просто дублируют друг друга, рассказывая одно и тоже разными словами. Тому, кто интересуется информационной безопасностью крайне сложно в таких обсуждениях и статьях встретить о защите что-то новое, чего раньше он не знал или просто не задумывался над этим… но, насколько это ни самонадеянно звучит, я все-таки постараюсь пробудить у вас хоть капельку интереса к этой избитой теме и расскажу именно о неочевидных способах защиты, опустив старческое брюзжание о том, что нужно вовремя обновлять плагины к браузерам, не переходить по левым ссылкам и т.д

              В этой небольшой заметке о некоторых интересных особенностях функционирования зловредов я призываю вас отказаться от антивируса и от других способов самозащиты — обновлений, настройки программ и внимательности при переходе по ссылкам и запуске приложений… к слову «призываю» добавляем частицу «НЕ» и все будет на своих местах.

              Читать дальше →
            • Пять важных принципов работы с данными, о которых мы забываем при подготовке презентации проектов

              image

              Возьмем пример: на ежегодном совещании нам необходимо выбить для проекта дополнительное финансирование.

              Для этого потребуется провести презентацию продукта, предоставив статистику и аналитические данные руководству и коллегам, а также показать собственникам бизнеса, что наш проект рентабелен и имеет потенциал для роста.

              Мы-то понимаем, что наш проект крут и приведет к увеличению прибыли, удовлетворив требования бизнеса, но только цифры и данные смогут убедить наших оппонентов.

              За помощью обратимся к книге «Управление на основе данных» Тима Филлипса, а точнее ко второй ее части, посвященной принципам работы с данными.
              Читать дальше →
            • Что нового в Windows Server 2016 Failover Clustering

                Автор статьи – Роман Левченко (www.rlevchenko.com), MVP – Cloud and Datacenter Management

                Всем привет! Совсем недавно была объявлена глобальная доступность Windows Server 2016, означающая возможность уже сейчас начать использование новой версии продукта в Вашей инфраструктуре. Список нововведений довольно обширный и мы уже описывали часть из них (тут и тут), но в этой статье разберем службы высокой доступности, которые, на мой взгляд, являются самыми интересными и используемыми (особенно в средах виртуализации).

                Читать дальше →
              • Переходим на мобильность без мучений для IT и рядовых сотрудников

                  Мобильная революция захватила все сферы жизни человека. Смартфоны и планшеты сопровождают нас везде, мы привыкли решать с их помощью всевозможные задачи, общаться по всем возможным каналам, сохранять необходимую информацию. Конечно же, мобильность ценится и в бизнесе — большая часть пользователей уже не мыслит рабочие процессы без мобильных девайсов и приложений. Странно говорить о таком в 2016 году, но большая часть решений, которые используются сотрудниками подавляющего большинства российских компаний, не имеют никакого отношения к понятию корпоративная мобильность.


                  Читать дальше →
                • Ловим чужой WiFi на расстоянии 1 км

                    image

                    В прошлой статье мы рассмотрели варианты увеличения зоны покрытия WiFi для роутеров с внешними штыревыми антеннами. Но рассмотрим ситуацию «с другой стороны», в которой встроенный сетевой адаптер ноутбука или ПК плохо видит сеть, в результате чего сигнал WiFi принимается с низким уровнем, а в некоторых случаях, нужная WiFi сеть не видна вовсе. Конечно следует понимать, что встроенный WiFi адаптер не имеет направленной антенны и задачи у него совсем иные, нежели «дальний прием».
                    Читать дальше →
                  • Знакомство с хранилищем Ceph в картинках

                    Облачные файловые хранилища продолжают набирать популярность, и требования к ним продолжают расти. Современные системы уже не в состоянии полностью удовлетворить все эти требования без значительных затрат ресурсов на поддержку и масштабирование этих систем. Под системой я подразумеваю кластер с тем или иным уровнем доступа к данным. Для пользователя важна надежность хранения и высокая доступность, чтобы файлы можно было всегда легко и быстро получить, а риск потери данных стремился к нулю. В свою очередь для поставщиков и администраторов таких хранилищ важна простота поддержки, масштабируемость и низкая стоимость аппаратных и программных компонентов.

                    Знакомьтесь: Ceph


                    Ceph — это программно определяемая распределенная файловая система с открытым исходным кодом, лишенная узких мест и единых точек отказа, которая представляет из себя легко масштабируемый до петабайтных размеров кластер узлов, выполняющих различные функции, обеспечивая хранение и репликацию данных, а также распределение нагрузки, что гарантирует высокую доступность и надежность. Система бесплатная, хотя разработчики могут предоставить платную поддержку. Никакого специального оборудования не требуется.



                    При выходе любого диска, узла или группы узлов из строя Ceph не только обеспечит сохранность данных, но и сам восстановит утраченные копии на других узлах до тех пор, пока вышедшие из строя узлы или диски не заменят на рабочие. При этом ребилд происходит без секунды простоя и прозрачно для клиентов.
                    Читать дальше →
                  • Масштабируемая конфигурация nginx

                      Игорь Сысоев

                      Игорь Сысоев ( isysoev )


                      Меня зовут Игорь Сысоев, я автор nginx и сооснователь одноименной компании.

                      Мы продолжаем разработку open source. С момента основания компании темпы разработки существенно увеличились, поскольку над продуктом работает множество людей. В рамках open source мы оказываем платную поддержку.

                      Я буду говорить о масштабируемой конфигурации nginx, но это не о том, как обслужить с помощью nginx сотни тысяч одновременных соединений, потому что nginx для этого настраивать не надо. Нужно выставить адекватное число рабочих процессов или поставить его в режим «авто», поставить worker_connections в 100 000 соединений, после этого заниматься настройкой ядра — это гораздо более глобальная задача, чем просто настройка nginx. Поэтому я буду рассказывать о другой масштабируемости — о масштабируемости конфигурации nginx, т.е. о том, как обеспечить рост конфигурации от сотни строчек до нескольких тысяч и при этом тратить минимальное (желательно константное) время на сопровождение этой конфигурации.
                      Читать дальше →
                    • Все что вы хотели узнать о BPM, но боялись спросить

                        В сети имеется множество публикаций о том, ради чего стоит внедрить BPM (Business Process Management) в вашей компании. Как обычно формулируются преимущества, которые дает бизнесу внедрение BPM:

                        1. Визуальное моделирование и выполнение бизнес-процессов.
                        2. Набор готовых компонент для построения гибких бизнес-процессов.
                        3. Взаимодействие с пользователем для выполнения ручных действий.
                        4. Гибкость конфигурирования бизнес-процессов.
                        5. Поддержка версионности бизнес-процессов.

                        Это не все, что можно упомянуть, но достаточно типичный набор преимуществ платформы.

                        На самом ли деле все так безоблачно? Не пора ли всем выбросить старые инструменты, и полностью перейти на новую платформу?
                        Читать дальше →
                      • Отказоусточивый прокси-сервер на базе Squid в домене Windows

                          UPD: различия в потреблении памяти между моей конфигурацией и той, которая используется у авторов негативных комментариев, вызваны тем, что со Squid'ом помимо стандартного скрипта wbinfo_group.pl, с помощью которого определяется принадлежность доменного пользователя доменной группе, используется скрипт, который определяет сам логин пользователя для того, чтобы squid умел предоставлять пользователю права, отличающиеся от тех прав, которые предоставлены его группе.

                          imageОднажды дождливым серым вечером у меня появилась потребность внедрить прокси-сервер, но не простой, а такой, который бы обладал следующим функционалом:
                          • предоставление/ограничение доступа в зависимости от членства учетной записи в определенной группе Active Directory;
                          • предоставление/ограничение доступа в зависимости от прав, предоставленных учетной записи (например, чтобы можно было всей группе разрешить пользоваться поисковиками, а одному самому хитрому пользователю этой группы отключить строго определенный поисковик);
                          • предоставление доступа без всяких ограничений для «VIP» MAC-адресов;
                          • предоставление доступа к минимальному набору ресурсов всем пользователям (и недоменным в том числе);
                          • количество движений, которые должен выполнить пользователь для работы с прокси-сервером, должно быть сведено к минимуму;
                          • администрирование прокси-сервера производится посредством веб-интерфейса;
                          • совокупная стоимость владения данным прокси-сервером должна быть минимальной.

                          Тех, кому интересна длинная история метаморфоз, превративших один компьютер в супермонстра, приглашаю под кат