• Как создать свою файловую систему на основе blob полей в базе данных. Почему это удобно. Вопросы эффективности

      Уважаемые читатели. Это третья статья из цикла по базам данных.

      Оглавление:

      1. Как сделать разный часовой пояс в разных базах данных на одном сервере.
      2. Как вести логи изменений данных пользователями в базе данных, сохраняя их в другой базе данных (чтобы база основная база данных не забивалась мусором и не росла)
      3. Как создать свою файловую систему на основе blob полей в базе данных. Почему это удобно. Вопросы эффективности хранения файлов (как получить максимальное быстродействие и при этом минимальное занимаемое место)

      Данный способ – способ реализации хранения файлов, приложенных пользователем на сайте, через веб интерфейс. Это не будет “файловой системой” в том понимании как это организовано в операционной системе.

      Пример, описанный в этой статье, будет решать задачу стоявшую когда-то у меня: “Выделить раздел внутри аккаунта компании на веб сайте, где сотрудники компании смогут хранить свои файлы, создавать папки (назовем его “Диск”). Диск должен быть изолированным от аккаунтов других компаний и должен интегрироваться в процессы работы аккаунта (организация хранения файлов, прикладываемых к задачам, проектам, карточкам контрагентов, отчетов и т.п.) ”.

      Сразу замечу, что данный способ, с точки зрения быстродействия, менее эффективен простого сохранения файлов на веб-сервере. Но он имеет определенные преимущества, которые в моем случае перевесили недостатки потери скорости загрузки.
      Читать дальше →
    • Сравнительный анализ методов балансировки трафика



        Сергей Зубов (CDNvideo)


        Сегодня я бы хотел дать некий обзорный доклад о балансировке трафика в высоконагруженных системах. Так как доклад обзорный, рассмотрим различные методы балансировки, что такое балансировка, в принципе, различные методы и алгоритмы балансировки, и озвучим плюсы и минусы того или иного метода.


        Читать дальше →
      • Виртуализация с использованием Ubuntu Server 16.04 и pHpVirtualBox 5.0.5

        Недавно столкнулся с задачей быстрого и простого развертывания серверов на основе связки Ubuntu Server 16.04 и pHpVirtualBox 5.0.5 для дальнейшей виртуализации всяческих OS.
        Задача тривиальная, но быстрого, простого и самое главное — пошагового рецепта не нашел, поэтому по итогам успешной инсталляции решил выложить примитивный FAQ для всех интересующихся.
        Читать дальше →
      • Обратная сторона Agile

        imageХочу поделиться историей, ну и заодно услышать мнения других участников хабрасообщества. Это небольшая история о том, как агрессивное внедрение методологии разработки Agile (Scrum) в отдельно взятой российской IT компании послужило началом исхода из компании лучших разработчиков. Обычно в статьях про Agile рассказывают, какая это классная и полезная методология, и вообще — это лучшее, что было придумано в этом направлении. Возможно, эта статья поможет взглянуть на Agile с другой стороны, ведь у любой монеты, как оказалось, есть две стороны.

        В общем, в 2010-м году была основана одна российская компания (что-за компания конкретизировать смысла нет), работала она в сфере IT-разработки (ПО для банковских продуктов).
        Читать дальше →
      • SSH вместо VPN

        image

        Наверняка многие системные администраторы сталкивались с ситуацией когда количество удалённых пользователей в компании становилось больше одного столько, что мысли о нормальном VPN вместо nat-а на скорую руку не давали покоя и становились навязчивой идеей. И уверен каждый морщился, когда понимал, что предстоит объяснять пользователям, что и где нажимать. А в моём, персональном случае ещё и позиция в отношении подопечных: «они не должны даже задумываться как это работает».
        Читать дальше →
      • Безопасность в IoT: Архитектура системы безопасности

        • Translation
        • Tutorial
        При проектировании системы важно понять, каким угрозам эта система может подвергаться, и разработать соответствующие меры защиты при проектировании и построении её архитектуры. Особенно важно с самого начала учитывать требования безопасности при проектировании продукта. Если вы понимаете, каким образом злоумышленники могут скомпрометировать вашу систему, то это поможет еще до начала работы принять соответствующие меры по снижению рисков.


        Читать дальше →
        • +15
        • 11.6k
        • 4
      • Агрегация несущих в LTE или на что обратить внимание при покупке следующего смартфона

        Скорость мобильного интернета зависит как от оператора связи, так и от вашего устройства. Когда при описании сети оператора используются термины 4G+ или LTE-Advance, то речь идет о том, что на сети поддерживается технология агрегации несущих, она-то и обеспечивает более высокие скорости мобильного интернета. Что это такое, как это уже реализовано на сетях российских операторов мобильной связи, какие смартфоны ее поддерживают – об этом данная статья.
        Читать дальше →
      • Визуализация интеграционных приложений

        • Translation
        image

        С тех пор как я начал выполнять обязанности системного архитектора, мне чаще приходится рисовать прямоугольники и стрелки, чем писать программный код. С этим можно было бы бороться, например, бессонными ночами участвовать в проектах с открытым исходным кодом, создавать подтверждения осуществимости концепции и демонстрационный код, но и там тоже нужно рисовать прямоугольники, чтобы продемонстрировать архитектуру. Эта статья посвящена визуализации обмена сообщениями в распределенных системах, сервис-ориентированной архитектуре (SOA) и микросервисным приложениям при использовании методологии разработки agile (этот термин потерял свое значение, но более подходящего в данном случае нет).
        Читать дальше →
        • +17
        • 16.5k
        • 6
      • Шаблон графика отпусков (или графика обучения или иного графика) в MS Excel файле

          Работаю небольшим руководителем и имею в обязанностях составление и поддержание в актуальном виде графика отпусков своего отдела. Данный график составляется в конце года на следующий год и предоставляется в отдел кадров организации. При этом отдел кадров требует предоставлять его в формате таблицы-списка, но самому мне для работы нужен формат наглядного графика. К тому же в связи с постоянными переносами отпусков сотрудников данный график необходимо поддерживать актуальным.

          Не делать ненужную работу и все что можно автоматизировать для меня жизненный принцип. В данной статье хочу поделится опытом создания MS EXCEL файла графика. Возможно полученный шаблон или данный опыт окажется полезным и вам.
          Читать дальше →
        • Боли в руках при работе за компьютером. Часть 3. Синдром лестничной мышцы

          • Tutorial
          В прошлых статьях цикла вы познакомились с диагностикой основных туннельных синдромов верхней конечности и учились снимать напряжение с надплечий. Теперь наступило время разобраться с синдромом лестничной мышцы.

          Топография лестничных мышц и плечевого сплетения

          Сосудисто-нервные пучки проходят в окружении мышц, костей, связок и фасций. Первым местом, где может быть сдавливание сосудисто-нервного пучка для руки является прохождение его через канал, образованный передней и средней лестничной мышцей.

          При синдроме лестничных мышц первоначально возникает нарушение венозного и лимфатического оттока от руки, что вызывает отёчность конечности и создает предпосылки для сдавливания сосудисто-нервных пучков в узких местах на руке. Чаще всего это происходит в запястном канале, локтевом канале, под круглым пронатором предплечья.
          Читать дальше →
        • Боли в руках при работе за компьютером. Часть 1: туннельные синдромы – обзор и диагностика проблем

            Синдром запястного канала — боли, онемение в кисти руки, частый спутник длительно работающих за компьютером людей. Множество популярных публикаций и решений эргономики сводят проблему только к длительной травматизации срединного нерва в запястном канале, что очень упрощает ситуацию и не позволяет получить эффективное решение.

            image


            Основная проблема в том, что для работы за компьютером используются точные мелкие движения руки в статической позе, из-за чего возникают предпосылки для повреждения сосудисто-нервных пучков на всём протяжении — от шеи до кисти руки. И часто боли в кисти руки являются следствием отдаленных проблем, не связанных с запястным каналом.
            Читать дальше →
          • Боли в руках при работе за компьютером. Часть 2. Освобождаем надплечья и шею

            • Tutorial
            Частый совет напряжённому человеку: «Чего напрягся – расслабься, получай удовольствие…». Что происходит в результате? – Человек напрягается еще больше!

            В прошлой статье вы познакомились с основными проблемами, вызывающими боли в руках при работе за компьютером.
            image

            Теперь пришло время практики. Напряжение в шее и надплечьях – «не снимаемый груз на плечах» самая частая проблема, с которой обращаются за помощью ко мне, как преподавателю соматики. Сегодня мы будем учиться снимать напряжение в шее и надплечьях.

            Урок займет 15-20 минут, вы можете делать его сидя, не отходя от компьютера. Под катом – видео урока, правила выполнения соматических уроков и текстовая расшифровка расширенной версии урока (осторожно – очень много букв!).

            Читать дальше →
          • Коротко и просто о сложном – маршрутизация в «8-800»

              image

              В предыдущем посте мы рассмотрели базовые принципы работы сервиса «8-800». Сегодня же поговорим о маршрутизации. Что такое «интеллектуальная» маршрутизация и как она работает в сервисе «8-800» предлагаю рассмотреть на реальных примерах из моей практики в МегаФон.
              Подробности
            • Гарнитура HyperX Cloud Stinger: комфорт и отличная связь за разумные деньги

                Привет, GT! С гарнитурами HyperX вы уже знакомы. В блоге Kingston уже были материалы про все линейки: и про турнирный Drone, и про промежуточный Cloud (в лице CloudX), и про флагманский Revolver. Настало время познакомиться с новой моделью, которая вышла на рынок буквально в прошлом месяце.



                Разработана с нуля, заточена на использование с компьютерами и ноутбуками, вылизана до мелочей и предлагает бескомпромиссное качество за свои деньги. Знакомьтесь, HyperX Stinger.
                Читать дальше →
              • Хакаем CAN шину авто для голосового управления



                  Современный автомобиль это не только средство передвижения, но и продвинутый гаджет с мультимедийными функциями и электронной системой управления агрегатами и кучей датчиков. Многие автопроизводители предлагают функции ассистентов движения, помощников при парковке, мониторинга и управления авто с телефона. Это возможно благодаря использованию в авто CAN шины к которой подключены все системы: двигатель, тормозная система, руль, мультимедиа, климат и др.

                  Мой автомобиль Skoda Octavia 2011 г. в. не предлагает возможностей управления с телефона, поэтому я решил исправить этот недостаток, а заодно и добавить функцию голосового управления. В качестве шлюза между CAN шиной и телефоном я использую Raspberry Pi с шилдом CAN BUS и WiFi роутер TP-Link. Протокол общения агрегатов авто закрытый, и на все мои письма предоставить документацию протокола Volkswagen отвечал отказом. Поэтому единственный способ узнать, как общаются устройства в авто и научиться ими управлять является реверс-инжиниринг протокола CAN шины VW.

                  Я действовал поэтапно:

                  1. Разработка CAN шилда для Raspberry Pi
                  2. Установка ПО для работы с CAN шиной
                  3. Подключение к CAN шине авто
                  4. Разработка сниффера и изучение протокола CAN шины
                  5. Разработка приложения для телефона
                  6. Голосовое управление с помощью Homekit и Siri

                  В конце видео голосового управления стеклоподъемником.
                  Читать дальше →
                • Удалённое включение компьютера бесплатно, без SMS и без облаков, с помощью Mikrotik

                  • Tutorial
                  … а также без проброса портов, SSH/telnet и установки сторонних приложений. С любого компьютера, подключённого к интернет и даже с телефона!

                  Периодически мне бывает нужно включить домашний компьютер, когда я нахожусь не дома. Обычно я не запаривался и звонил или отправлял сообщение с такой просьбой жене, которая сидит дома в декрете. Очень удобное средство удалённого управления с голосовым интерфейсом. Однако у этого способа есть ряд недостатков — ушла гулять, укладывает ребёнка, или ещё чем либо занята. Хотелось простого решения из того что есть под рукой.
                  Тыкни меня!
                • Поднимаем Owncloud с нуля с динамическим IP и Let's Encrypt. Тысяча слонов!*

                  • Tutorial


                  Давно хотел написать целостный туториал по поднятию Owncloud в условиях домашнего сервера или небольшой компании до 500 пользователей. Owncloud — это прекрасный open-source проект, который позволяет на собственной инфраструктуре поднять свой вариант сервера синхронизации. По возможностям очень похож на Dropbox, а в чем-то его и превосходит. Огромный плюс — отсутствие ограничений по объемам хранения, полный контроль над сервером. Минусы тоже очевидны: вам самим придется следить за всем этим безобразием и беспокоиться о надежности сервера, валяющегося на антресолях или в шкафу.

                  Совсем недавно мне подвернулась задача по развертыванию Owncloud в домашне-боевых условиях. Я честно отработал свои два литра кошерного русского имперского стаута и решил поделиться своим опытом, собрав все воедино. Итак, сегодня мы рассмотрим:

                  1. Развертывание актуального LEMP-stack
                  2. HTTPS. Let's Encrypt для Nginx с автоматическим обновлением сертификата
                  3. Конфигурирование Nginx для Owncloud
                  4. Кэширование php-apcu
                  5. Подключение внешнего основного хранилища по NFS
                  Читать дальше →
                • Упрощаем бинарный поиск в Excel — реализация Double VLOOKUP Trick с помощью UDF

                    Добавлю в копилку статей Хабра о Бинарном поиске еще одну. Речь пойдет о кастомной реализации, может быть полезно всем, кто часто использует в работе ВПР для сравнения больших списков или для поиска данных в больших массивах.
                    Читать дальше →
                  • Бесплатные утилиты для бэкапа с бесплатного ESXI

                    Как-то появилось у меня несколько персональных проектов, которые требовали относительно много дискового места — около 2TB. Подходящих VPS не нашлось (мало кто предлагает много HDD места), поэтому я взял выделенный сервер у OVH, поставил там ESXI 5.5 с бесплатной лицензией и всё работало.

                    Через некоторое время, с развитем проектов, я стал настраивать админские фишки — мониторинг, бэкап, и выяснил, что оказывается сервер, в котором мне обещали Soft RAID, и на который хостер (OVH) накатил свой образ ESXI — без RAID! То есть просто 2 диска. Ну да, теперь вот я знаю, что ESXI не поддерживает Soft RAID, только Hard. Стало неуютно. Да и 2TB стало не хватать. В общем взял я себе сервер побольше, с аппаратным RAID и поставил туда ESXI 6.0.

                    И возникло две задачи, решение которых я тут опишу:

                    1. Перенести виртуальные машины (некоторые из которых около 1TB) с одного сервера на другой с минимальным оффлайном
                    2. Делать регулярные бэкапы

                    Скажу сразу, что обе эти задачи легко решаются, если есть хотя бы минимальная платная лицензия ESXI. Дело в том, что «родной» Backup API в бесплатной версии ESXI выключен. Поэтому приходится находить другие пути.

                    С платной лицензией есть вариант миграции через vCenter. Ещё есть бесплатная версия Veeam Backup, которая позволяет делать бэкапы и переносить виртуальные машины с одной системы на другую и при этом не требуется их останавливать. Но с бесплатной лицензией ESXI, текущая версия — Veeam 9 — не работает вообще.
                    Читать дальше →
                  • Учим английский дешево и эффективно

                      Английский можно выучить дешево, иногда даже бесплатно. В этой статье я расскажу про личный опыт: какой софт и ресурсы в Интернет оказались максимально эффективными для меня, и как ими правильно пользоваться.

                      Если вы не готовы тратить на английский хотя бы 2 часа в день, то дальше можно не читать.
                      Читать дальше →