Pull to refresh
22
0
Andrey Esin @la_stik

Системный администратор, DevOps инженер

Send message

Как мы улучшили СУБД промышленного уровня Platform V Pangolin в версии 6.1

Level of difficultyMedium
Reading time7 min
Views2.9K

Меня зовут Михаил Гелемеев, я лидер команды сопровождения Platform V Pangolin в СберТехе.

Platform V Pangolin — реляционная система управления базами данных. Она основана на свободно распространяемой версии PostgreSQL и содержит ряд доработок, обеспечивающих соответствие повышенным требованиям к безопасности данных, доступности, надежности, а также удобству эксплуатации. Наш продукт помогает получить функциональные возможности реляционной СУБД, включая построение кластеров высокой доступности, резервирование данных, снятие и восстановление резервных копий.

В январе мы выпустили новую версию — Platform V Pangolin 6.1. В ней появились обновления для работы с большим объёмом данных. Если вкратце — работать с секциями стало проще и быстрее: дешевле доступ к данным в секционированных таблицах, и для них можно гибко создавать уникальные глобальные индексы. Теперь можно предотвратить высокое потребление CPU и RAM пользовательской сессией, это улучшает доступность сервиса. Мы также добавили инструмент диагностики текущей активности для детального понимания процессов сессии, так работа СУБД становится более прозрачной.

В статье подробнее расскажу о каждой из доработок. Их можно условно разделить на две части: для пользователей и для администраторов/инфраструктуры.

Читать далее
Total votes 9: ↑7 and ↓2+9
Comments1

Сам себе мобильный интернет. Запускаем базовую станцию стандарта 4G LTE

Level of difficultyHard
Reading time13 min
Views91K
Приветствую всех!

Я уже не раз рассказывал про то, как в домашних условиях поднять сотовые сети разных стандартов. Но всё же все они были уже весьма древними. Самое время замахнуться на кое-что поинтереснее — LTE.



Итак, в сегодняшней статье поговорим о том, что детально в нашем сообществе не описывал практически никто — о том, как запустить базовую станцию самого нового из поддерживаемых большинством телефонов этой страны стандартов. Поговорим об особенностях её работы и о трудностях, с которыми, возможно, придётся столкнуться при запуске. Традиционно будет много интересного.
Читать дальше →
Total votes 313: ↑312 and ↓1+368
Comments159

Сверхточный Raspberry PI Stratum 1 NTP сервер

Reading time6 min
Views25K
В этой статье я расскажу, как собрать Stratum 1 NTP сервер на Raspberry PI для синхронизации времени за скромную сумму и навсегда забыть о проблемах, связанных с не совпадающим временем на всех ваших устройствах. А самое главное, он будет давать результат на два порядка точнее, чем обычный сервер.

В предыдущей статье, посвященной синхронизации времени по радио и СРНС (системы радионавигационной связи), я не успел рассказать про выбор приёмника GPS / ГЛОНАСС с выходом PPS. Между тем от этого зависит точность приёма сигнала, величина может составить от одной миллисекунды до нескольких микросекунд и зачастую это имеет решающее значение.

Для самого точного приема сигнала времени нужен приёмник GPS / ГЛОНАСС с выходом PPS. Дело однако в том, что на российском рынке не просто раздобыть устройство с такими характеристиками по доступной цене. Много таких моделей давно уже перестали выпускать, а в заброшенных интернет магазинах с версткой 1990-х остались лишь их описания с предложением подписаться на уведомление при поступлении товара.

Читать дальше →
Total votes 37: ↑34 and ↓3+50
Comments16

Хождение по граблям в чистом поле или как собрать MAC-адреса близлежащих Wi-Fi-устройств

Reading time11 min
Views30K
Все свои публичные выступления (благо, их не так много) я начинаю с явного или неявного упоминания тезиса “Наша индустрия — сложная, проблемы могут вскрыться на любом, даже самом очевидном шаге, а оптимистично предполагать, что все будет просто и легко — наивно”. Как ни странно, эта простая мысль, полученная многолетним набиванием шишек, порой является откровением и для более опытных специалистов, хотя, казалось бы, весь оголтелый задор и вера в непогрешимость собственных идей и практик должна была выветриться уже давно. Расскажу байку на этот счет, пример простого, с первого взгляда, проекта.


Читать дальше →
Total votes 24: ↑22 and ↓2+28
Comments44

Как сэкономить в AWS до полумиллиона долларов?

Reading time19 min
Views17K
Привет, Хабр! Представляю вашему вниманию перевод статьи «How to reduce your AWS costs? Save up to $500k with these guidelines!» автора George Batschinski.

image

В этой статье мы в подробностях расскажем, как Back4App уменьшила свои расходы в AWS с $55,492 в месяц до $20,074 в месяц и сэкономила $500.000 за год. Мы опишем практические шаги, основанные на собственном опыте снижения затрат в AWS и поделимся советами, которые были полезны и нам.
Читать дальше →
Total votes 36: ↑33 and ↓3+30
Comments11

Core UX Features & MVP при создании продукта

Reading time12 min
Views13K

Я уже 12 лет создаю различные веб-сервисы и мобильные приложения. И миллион раз я советовал людям делать MVP. Но я чувствую, что нужно быть очень осторожным с этим советом, нужно допускать множество оговорок, когда даешь этот совет и объяснять, что же такое "M" и "V" в этой аббревиатуре.


MVP хорошая концепция если вы хотите проверить гипотезу, посмотреть на реакцию аудитории, быть гибким, и не тратить много сил и денег.


Но многие люди даже после запуска не отпускают эту идею. Думая о том, что теперь это их кредо на всю оставшуюся жизнь.

Читать дальше →
Total votes 33: ↑32 and ↓1+31
Comments7

Зачем нам в «Леруа Мерлен» нужен собственный российский отдел разработки на 200 человек

Reading time8 min
Views28K
Привет! Я Валерий Лаптев, руководитель разработки LM в России. За два года мне нужно было поднять огромный отдел, и это был довольно интересный опыт.

Дело в том, что «Леруа Мерлен» есть во многих странах. Головная компания — во Франции, называется ADEO. Там пишут код под Францию, Италию, Испанию и Россию. Бизнес-модели у нас разные: если на российском рынке мы держим минимальные цены (ниже всех конкурентов в мониторинге), то в Европе всё иначе. На самом деле отличий море — начиная от особенностей локали и заканчивая другим законодательством. Есть особенности инфраструктуры России (те же очень большие задержки до Хабаровска) и другой жизненный цикл оформления заказа. Всё это порождает вот такой адский код, состоящий из огромных блоков IF:



Два года назад у нас было 60 магазинов и много-много хотелок по фичам. Накатывались они примерно за полгода и не всегда правильно. Последней каплей после кучи отклонённых по низкому приоритету фич была просьба завести в заказ поле-строку, чтобы мы его уже потом сами парсили. Это нужно было для особенностей доставки в России, поскольку страна больше других стран присутствия LM. Нам отказали и в этом, точнее, сказали, что будет где-то через семь-восемь месяцев.

Полугодовой цикл неспешной головной компании нам не подходил. Естественно, мы предложили написать свой код, отдать на ревью и подождать внедрения… Правда, из этого ничего хорошего не вышло.
Читать дальше →
Total votes 57: ↑52 and ↓5+47
Comments49

HBO, cпасибо что напомнил… «Чернобыльская аптечка» беларуского фармацевта

Reading time20 min
Views124K
Что бы ни сказали — не станем спорить
Что бы ни дарили — не станем верить

Егор Летов «Как листовка»

Думаю не стоит лишний раз говорить о нашумевшем сериале Чернобыль и эффективности такого «сериального» воздействия на массы. Особенно на массы, проживающие на территориях, показанных в фильме. Выход каждой новой серии сопровождается всплеском публикаций в FB. В каждой из которых горечь, страх, боль. Что в такой ситуации я могу сделать ("кто виноват и что делать?")? Могу только описать свой взгляд на терапию лучевых поражений. Спасибо родненькой кафедре химии высоких энергий и проф. Шадыро О.И., которые пестовали в своих лабораториях нас, непутевых фармацевтов-радиохимиков. Надеюсь своей статьей честь этой, легендарной некогда, кафедры я не опорочу.

Ну и пишу, пишу, потому что стали забывать… Пугающе быстро стали забывать. Сначала в аптеках исчез йодид калия (я уж не говорю про описываемые в статье антидоты), потом так же неотвратимо исчезли льготы у ликвидаторов, знания у людей и т.д. и т.п.

В общем, спасибо, сценаристы HBO, за то, что всколыхнули Память. Мой посильный вклад — под катом. Рейтинг доступных (и не очень) антидотов, способных сработать при радиационном выбросе. В закладки — класть строго ВСЕМ! И прочитал сам — перекинь другу.

Читать дальше →
Total votes 227: ↑210 and ↓17+193
Comments272

Введение в геномику для программистов

Reading time4 min
Views15K
Об авторе. Энди Томасон — ведущий программист Genomics PLC. Он с 70-х годов занимается графическими системами, играми и компиляторами; специализация — производительность кода.

Гены: краткое введение


Геном человека состоит из двух копий примерно по 3 миллиарда пар оснований ДНК, для кодирования которых используются буквы A, C, G и T. Это около двух бит на каждую пару оснований:

3 000 000 000 × 2 × 2 / 8 = 1 500 000 000 или около 1,5 ГБ данных.

На самом деле эти копии очень похожи, и ДНК всех людей практически одинаков: от торговцев с Уолл-Стрит до австралийских аборигенов.

Существует ряд «референсных геномов», таких как файлы Ensembl Fasta. Эталонные геномы помогают построить карту с конкретными характеристикам, которые присутствуют в ДНК человека, но не уникальны для конкретных людей.
Читать дальше →
Total votes 37: ↑35 and ↓2+33
Comments32

Выбор телевизора себе, любимому, с позиции науки, а не рекламы

Reading time4 min
Views121K

Всем привет.

На написание этой небольшой статьи меня натолкнул спор касательно выбора телевизора.

Сейчас в этой области — равно как в «мегапикселях для камер» — царит маркетинговая вакханалия в погоне за разрешениями: HD Ready давно сменились на Full HD, а уже становятся всё более популярными 4К и даже 8К.

Давайте разберёмся — а что нам реально-то нужно?
Читать дальше →
Total votes 142: ↑124 and ↓18+106
Comments346

Восстановление циркуляции в мозге через несколько часов после смерти

Reading time2 min
Views54K
Ранее считалось, что после остановки сердца или прекращении активности мозга по другим причинам, без кислорода и электрической активности клетки мозга начинают умирать через несколько минут, и процесс этот необратим. В связи с этим врачи объявляли, что пациент — brain-dead, что являлось законным основанием для признания смерти.

Исследование, проведённое учеными Йельского Университета в Нью Хэйвене — Zvonimir Vrselja, Stefano G. Daniele с соавторами — показало, что это совсем не так.

Специалисты и ранее ставили под сомнение прежний подход, поскольку:

Читать дальше →
Total votes 83: ↑72 and ↓11+61
Comments163

SMS-мониторинг веса трех ульев за 35$

Reading time12 min
Views24K

NewBee


Прошло совсем немного времени с предыдущей публикации о системе за 30$.


Что-же изменилось за прошедший лунный месяц?


  1. Добавлена солнечная батарейка — время работы практически неограниченно.
  2. Добавлена отправка информации по звонку.
  3. Возможность работы со всеми видами модулей связи, попавших в поле моего зрения — AiThinker, Goouu tech, SIM800/900, Neoway M590 *

Но самое главное, что теперь физически разнесены модуль связи и микроконтроллер, что исключает помехи в его работе с HX711.


И все это благодаря конструктивной критике хабровчан и пчеловодов, подключившихся к обсуждению системы.


Остальные ТТХ остались прежними — максимальный вес ульев — 200кг, после заката выполняется измерение, и отправка показателей.


Предвосхищая критику по поводу неиспользования режимов сна и дополнительных сигнальных линий GSM-модулей скажу следующее:


У каждого модуля связи есть своя специфика — кто засыпает по низкому уровню сигнала, кто по высокому, некоторые — по двойному нажатию.


Специфика "сделай сам" подразумевает некую творческую часть вот как раз в тут ее и стоит проявить.


Я-же делал систему с прицелом на дальнейшее развитие мониторинга других параметров улья, где сон не особо и нужен.


В общем, на заглавной схеме — чистый андроид базовая система, от которой можно плясать куда угодно с конструкцией и количеством/набором датчиков, модулей ии т.д.


Данная-же статья — о весах, а под катом — мое персональное видение и исполнение системы.


Одним словом — WELCOME! ПОЕХАЛИ!

Читать дальше →
Total votes 33: ↑31 and ↓2+29
Comments24

Как быть дизайнером своей жизни: советы от Билла Бернетта, руководителя программы дизайна Стэнфорда и ветерана Apple

Reading time3 min
Views12K


Когда Билл Бернетт совместно с коллегой-профессором Дэйвом Эвансом создал курс «Дизайн своей жизни» (Designing Your Life) для студентов Стэнфорда, все что он хотел — это чтобы молодые люди и девушки смогли применить принципы дизайн-мышления для создания после выпуска той жизни, которую они сами для себя хотят.


Спустя 10 лет книга «Дизайн своей жизни» переведена на 26 языков, издана сотнями тысяч экземпляров и является бестселлером. В самом Стэнфорде курс «Дизайн своей жизни» является самым популярным среди факультативов, и как минимум двое ученых сделали себе докторские диссертации, проверяя, как работает метод. (Вердикт: все работает.)


Недавно я пообщался с Биллом в рамках программы сертификации по DYL. Получился такой рассказ-набор заветов и баек о том, как можно смотреть на изменения в жизни, если мыслить как дизайнер.

Total votes 20: ↑18 and ↓2+16
Comments0

Как научить машину понимать инвойсы и извлекать из них данные

Reading time8 min
Views9.7K
Привет, Хабр! Меня зовут Станислав Семенов, я работаю над технологиями извлечения данных из документов в R&D ABBYY. В этой статье я расскажу об основных подходах к обработке полуструктурированных документов (инвойсы, кассовые чеки и т.д.), которые мы использовали совсем недавно и которые используем прямо сейчас. А еще мы поговорим о том, насколько для решения этой задачи применимы методы машинного обучения.
Читать дальше →
Total votes 23: ↑22 and ↓1+21
Comments13

Не долго музыка играла… или как ОС Эльбрус так и не стала свободной

Reading time7 min
Views114K
Несколько дней назад некоторые СМИ сообщили о возможности свободного скачивания операционной системы Эльбрус. Ссылки на дистрибутив предоставлялся только для x86 архитектур, но даже в таком виде, это могло бы стать очень важной вехой в развитии данной операционной системы.

Один из заголовков СМИ: ОС «Эльбрус» стала свободной. Ссылки на скачивание
Разработчик линейки отечественных процессоров «Эльбрус» обновил на своем сайте раздел, касающийся специализированного ПО. В свободном доступе для скачивания оказалась ОС «Эльбрус» для стандартных процессоров архитектуры x86. В скором времени разработчики планируют открыть ее исходные коды.
Другой заголовок этой же новости: Операционную систему «Эльбрус» уже можно скачать!

Да, это действительно могло бы стать очень важной вехой в развитии ОС Эльбрус. Могло стать, но к сожалению, пока не стало (надеюсь, что ключевым словом будет слово пока)

image
Читать дальше →
Total votes 163: ↑151 and ↓12+139
Comments321

Как согласовать полёт зонда в стратосферу (с чем мы столкнёмся на практике при запуске)

Reading time6 min
Views36K
12 апреля мы собираемся запустить стратосферный зонд с небольшим сервером, откуда на CDN внизу будет передаваться наша страница. Входящий канал — низкоорбитальные спутники связи, исходящий — радиопоток на частотах любительского диапазона (телеметрия и управление) и Wi-Fi (видео и данные).


Проблема с запуском в том, что это неуправляемый летательный аппарат. В смысле, это просто шар с гелием, к которому прицеплено несколько килограммов железа. И это важно, потому что это железо может стукнуться о чей-нибудь самолёт или упасть на чью-нибудь территорию. Муниципалитетам, например, не очень нравится, когда на территорию его объектов такое падает. Заповедникам тоже. А Росатому уж вообще очень не нравится.

На борту будет камера, то есть это получится аэрофотосъёмка. Разрешение на неё надо получать у Федеральной службы безопасности.

Это пиковый полёт, то есть мы поднимаемся до рабочей высоты, быстро выполняем миссию и спускаемся на посадку. Зонд обычно уносит на 100-150 километров от точки старта по направлению ветра, дующего на высоте от земли до 30 километров. Выше 20 км как правило пропадает турбулентность, да и плотность воздуха там в 100 раз меньше (на съёмке видно характерную границу атмосферы), поэтому полёт там становится более плавным. Лететь мы можем хоть до Владивостока, но чем больше траектория тем сложнее получить официальное согласование полёта, что заставляет нас максимально сокращать полёт.
Читать дальше →
Total votes 111: ↑107 and ↓4+103
Comments119

6 занимательных системных багов при эксплуатации Kubernetes [и их решение]

Reading time10 min
Views17K


За годы эксплуатации Kubernetes в production у нас накопилось немало занимательных историй, как баги в различных системных компонентах приводили к неприятным и/или непонятным последствиям, влияющим на работу контейнеров и pod'ов. В этой статье мы сделали подборку некоторых наиболее частых или интересных из них. Даже если вам никогда не повезёт столкнуться с такими ситуациями, читать о подобных кратких детективах — тем более, «из первых рук» — всегда занятно, разве не так?..
Читать дальше →
Total votes 59: ↑58 and ↓1+57
Comments7

Не нервничай, не спеши, не перебивай: история одной трагедии

Reading time15 min
Views137K
На этой неделе исполнилось 42 года со дня ужасного террористического акта на Канарских островах, который привел к гибели почти 600 человек. Нет, сам взрыв бомбы, устроенный боевиком из Движения за независимость Канарских островов (организация на сегодняшний день не существует; автор данной статьи решительно против любых форм терроризма) привел только к ранениям 8 человек. Однако череда последующих событий, включающих технические сбои, неодолимые внешние факторы, недочеты в управлении персоналом, человеческую психологию в стрессовых условиях и просто грубые нарушения правил, сложилась в такой клубок невероятных трагических совпадений, что заслуживает самого внимательного анализа.


Читать дальше →
Total votes 246: ↑242 and ↓4+238
Comments390

Ловушка (тарпит) для входящих SSH-соединений

Reading time4 min
Views38K
Не секрет, что интернет — очень враждебная среда. Как только вы поднимаете сервер, он мгновенно подвергается массированным атакам и множественным сканированиям. На примере ханипота от безопасников можно оценить масштаб этого мусорного трафика. Фактически, на среднем сервере 99% трафика может быть вредоносным.

Tarpit — это порт-ловушка, который используется для замедления входящих соединений. Если сторонняя система подключается к этому порту, то быстро закрыть соединение не получится. Ей придётся тратить свои системные ресурсы и ждать, пока соединение не прервётся по таймауту, или вручную разрывать его.

Чаще всего тарпиты применяют для защиты. Технику впервые разработали для защиты от компьютерных червей. А сейчас её можно использовать, чтобы испортить жизнь спамерам и исследователям, которые занимаются широким сканированием всех IP-адресов подряд (примеры на Хабре: Австрия, Украина).
Читать дальше →
Total votes 86: ↑84 and ↓2+82
Comments66

Information

Rating
Does not participate
Location
Королев, Москва и Московская обл., Россия
Date of birth
Registered
Activity