Pull to refresh
karantir @karantirread⁠-⁠only

User

Send message

Проектирование надёжности сайта для Kubernetes

Reading time11 min
Views3.6K

За последние 4,5 года Kubernetes значительно улучшилась с точки зрения удобства использования, и теперь начать работу с Kubernetes стало проще, чем когда-либо. Облачные провайдеры, такие как Amazon AWS, теперь располагают продуктами Kubernetes, которые создают кластеры для вас и управляют ими. Это существенное преимущество по сравнению с созданием собственного кластера Kubernetes.

Один из самых заметных сдвигов в нашей отрасли, который я наблюдал за последние 2 года, заключается в том, что теперь все больше компаний используют Kubernetes в своих производственных нагрузках. Именно сейчас все становится интересным для SRE. Мы получаем возможность учиться друг у друга, обсуждать общие проблемы в области надежности и делиться ее принципами, которым нужно следовать, чтобы укрепить кластеры Kubernetes.

Читать далее
Total votes 9: ↑9 and ↓0+9
Comments0

Снится ли GGG Тиму Бернерсу-Ли?

Reading time8 min
Views2.5K

В 2007 году знаменитый автор слова из трёх букв 'W' опубликовал в своем блоге рассуждения о востребованности слова нового, на сей раз - из трёх букв 'G'. "Гигантский Глобальный Граф" - так предполагалось это произносить в полном, необрезанном виде. О чём шла речь? О том, что слово "граф" больше подходит для обозначения технологии представления взамосвязанных данных, нежели "паутина", пусть даже и "семантическая". Термин не прижился. Отчасти, возможно, из-за некоторой тавтологичности, отчасти же - из-за того, что привычная "паутина" оказалась милее сердцу обывателя, чем какой-то "граф".

Ну, да ладно, "ГГГ" не всплыло взлетело - не беда, ведь в конце концов - это лишь один из возможных псевдонимов планетарной семантической сети. Но что представлялось сиру Тиму в качестве цели для достижения (с помощью новых-то технологий связывания данных)?.. "Важны не документы, а то, что в них содержится. Очевидная истина." - писал он, - "...когда я бронирую билет на авиарейс, меня интересует именно этот рейс. Не страница рейса на сайте путешествий или страница рейса на сайте авиакомпании, но URI самого авиарейса. Вот что я поставлю в закладки. И каким бы устройством я ни воспользовался для открытия закладки, оно будет иметь доступ к ситуационно зависимому обзору всего, что я знаю об этом рейсе из разных источников. Задача заказа и совершения рейса потребует множества взаимодействий. И на их протяжении, эти задача и рейс будут на первом месте в моём осознании, веб-сайты – на втором, а сети и устройства – на третьем."

Читать далее
Total votes 11: ↑11 and ↓0+11
Comments7

@teqfw/core

Reading time7 min
Views2.5K

Эта статья не о том, как нужно писать приложения на JavaScript'е. Эта статья о том, как можно писать приложения на JavaScript'е. В прошлой публикации я описал свой "велосипед" — DI-контейнер @teqfw/di. В этой я покажу, каким образом его можно применять для создания консольных приложений.


Сразу отмечу, что речь идет о "чистом" JavaScript (ECMAScript 2015+ aka ES6+). Я признателен авторам TypeScript за то влияние, которое он оказал на развитие JS, но считаю, что в 2021-м году отличия TS от JS не столь драматические, как это было в году 2012-м, и не вижу для себя смысла использовать TS там, где достаточно JS. Если вы считаете по-другому и имеете острое желание высказать своё мнение, то можете сразу переходить к комментам, пропустив саму публикацию.


Те же, кому интересно, как же всё-таки в JS-приложении может использоваться "логическая адресация" элементов кода (пространства имён) вместо "физической" (файловая система) — добро пожаловать под кат.


Читать дальше →
Total votes 3: ↑1 and ↓20
Comments0

Как контейнеризировать среды ML разработки и не посадить на мель процессы MLOps

Reading time11 min
Views3.9K


Проблема эффективного создания продуктов на базе Machine Learning в бизнесе не ограничивается подготовкой данных, разработкой и обучением нейросети или другого алгоритма. На итоговый результат влияют такие факторы, как: процессы верификации датасетов, организованные процессы тестирования, и размещение моделей в виде надежных Big Data приложений.
Бизнес-показатели зависят не только от решений Data Scientist’а, но и от того, как команда разработчиков реализует данную модель, а администраторы и инженеры развернут ее в кластерном окружении. Важно качество входных данных (Data Quality), периодичность их поступления, источники и каналы передачи информации, что является задачей дата-инженера. Организационные и технические препятствия при взаимодействии разнопрофильных специалистов приводят к увеличению сроков создания продукта и снижению его ценности для бизнеса. Для устранения таких барьеров и придумана концепция MLOps, которая, подобно DevOps и DataOps, стремится увеличить автоматизацию и улучшить качество промышленных ML-решений, ориентируясь на нормативные требованиям и выгоду для бизнеса. Применять подходы MLOps необходимо на всех этапах создания ML решений.

В статье мы поговорим об использовании принципов и практик MLOps на стадии разработки моделей, и расскажем как самим развернуть сервис самообслуживания по созданию сред разработки для дата-саентистов.
Читать дальше →
Total votes 2: ↑2 and ↓0+2
Comments3

Как я оседлала лошадку тревожной прокрастинации, и что из этого вышло

Reading time11 min
Views26K

Бывают такие задачи, которые становятся камнем преткновения, и затыкают запланированное течение дел до такой степени, что формируется что-то похожее на водопад. Другие задачи потоком хлещут поверх затора, но сам камень не сдвигается.

Таким камнем стала для меня эта статья. Я задумала написать её ещё в апреле. Натолкнул меня на эту мысль ролик про прокрастинацию. К концу видео автор прорисовывают связь между прокрастинацией и тревожностью. По ходу просмотра и ревизии собственного опыта и наблюдений, всплыло несколько мыслей про то, откуда что берётся, как связаны между собой тревога, усталость и прокрастинация, и как с этим всем обращаться. И, самое главное, как развернуть это всё себе на пользу.

Накидала тезисы, структурировала в план, и даже написала пару первых абзацев. Дальше пошло как-то туго, структура перестала нравиться, начала её переделывать.  Затем кончился день, на следующий что-то отвлекло, подъехали новые срочные задачи, и...

Читать далее
Total votes 27: ↑22 and ↓5+26
Comments22

Безусловный базовый доход: немного истории, текущая ситуация и перспективы

Reading time5 min
Views20K

О получении денег на безвозмездной основе частью или всеми членами определенного сообщества размышляли лучшие умы во все времена — как в древности, так и сейчас. Например, в своей «Утопии» Томас Мор высказал такую мысль: «Оттого, что здесь нет скаредного распределения добра, нет ни одного бедного, ни одного нищего. И хотя ни у кого там ничего нет, все, однако же, богаты».

Жан Жак Руссо в «Исповеди» вполне справедливо заявил: «Деньги, которыми обладаешь, — орудие свободы; деньги, за которыми гонишься, — орудие рабства». Томас Пейн развивал идею предоставления людям гарантированного минимального дохода. Он предлагал выплачивать определенную сумму в качестве компенсации земельного налога.
Читать дальше →
Total votes 42: ↑40 and ↓2+47
Comments546

Список ноотропов, покупка которых не окажется пустой тратой денег

Reading time5 min
Views304K

Небольшая подборка веществ помогающих нашим мозгам работать чуточку лучше. Большинство из них продается в ближайшей аптеке, отпускается без рецепта, имеют доказательную базу и плюс-минус универсальны, так как «качают» самое важное — мотивацию, энергию и память.

Читать далее
Total votes 95: ↑59 and ↓36+49
Comments238

Ковид-пандемия: взгляд ковидоскептика

Reading time62 min
Views157K


Роман Левентов leventov
Довожу до вашего сведения, что я отправил ссылку на ваш пост в интернет-приемную sledcom.ru. За распространение фейков сейчас есть административная и уголовная ответственность: www.garant.ru/news/1362894. Можете считать это чем угодно, заговором, цензурой, и т. д. но надеюсь что у вас сработает инстинкт самосохранения.



Port5 Роман всё правильно сделал, респект ему.







When they say «trust the science», they really mean «don't ask questions».

Пытаясь спорить в комментариях с горячими сторонниками ковидных ограничений, я понял, что я не могу в отдельных комментариях объяснить всего. Мне хотелось бы показать людям, откуда берётся ковидоскептицизм, но в рамках описания отдельных элементов это невозможно.

Любые проблемы всегда выдаются за «отдельные недостатки», за «случайные инциденты». И отдельные факты действительно могут казаться такими, если не представлены в комплексе. Только общий взгляд на последовательность событий помогает выявить закономерность.

Я понял, что должен написать большую сводную статью, представляющую взгляд ковидоскептика, в которой я перечислю хотя бы основные сомнения и подозрения, которые возникали на протяжении этих полутора лет.

Статья представлена в условно хронологическом порядке. Это означает, что я буду перечислять события примерно так, как они происходили в течение этого года, но в рамках разговоров об этих события я стану ссылаться на более новые данные, используя эффект «послезнания». Это позволит мне одновременно придерживаться какой-то единой нити повествования, и при этом давать ссылки на данные, которые появлялись в совершенно разное время, некоторые раньше, а некоторые позже.

В самом начале событий мы не имели практически никакой информации и оперировали в основном догадками, но ближе к настоящему моменту ситуация прояснялась — хотя нельзя сказать, что она стала менее подозрительной, скорее даже более. Впрочем, вы сами это увидите.
Читать дальше →
Total votes 313: ↑131 and ↓182-13
Comments2354

Всё получится, если МАМАвТЕМЕ: от идеи до MVP образовательного маркетплейса

Reading time8 min
Views1.2K

Запускать стартапы в принципе непросто и рискованно, на фоне меняющейся парадигмы мышления конечного потребителя рискованно вдвойне, а в условиях пандемии... - ну вы поняли. Для нас этот опыт уже бесценен, на своих граблях мы изрядно потоптались, готовы делиться полученным опытом. В первой статье на Хабре мы с командой расскажем, как зарождался образовательный маркетплейс МАМАвТЕМЕ, с какими гипотезами мы начали проект, как проверяли их живучесть и к каким промежуточным выводам пришли.

Читать далее
Total votes 6: ↑6 and ↓0+6
Comments10

DeepMind считает, что обучения с подкреплением хватит для разработки сильной формы искусственного интеллекта

Reading time5 min
Views7.5K
image

В многолетней погоне за созданием искусственного интеллекта IT-специалисты спроектировали и разработали всевозможные сложные механизмы и технологии для создания аналогов зрения, языка, мышления, моторики и других способностей, присущих разумной жизни. Хотя эти усилия и привели к созданию систем слабой формы искусственного интеллекта, которые могут эффективно решать определенные проблемы в ограниченных условиях и окружении, такие системы и в подметки не годятся уровню интеллекта не только людей, но и животных.

В новой статье, опубликованной в рецензируемом научном журнале Artificial Intelligence, ученые из DeepMind утверждают, что интеллект и связанные с ним способности появятся не в результате формулирования и решения сложных проблем, а в результате соблюдения простого, но действенного принципа: максимизация вознаграждения. Речь идет про обучение с подкреплением.
Читать дальше →
Total votes 11: ↑11 and ↓0+11
Comments62

Откровения пьяного старшего инженера

Reading time8 min
Views139K
image

Я пьян и, наверное, пожалею об этом, но вот пьяный рейтинг вещей, которым я научился как инженер за последние 10 лет.

  • Лучший способ достичь карьерного роста — сменить компанию.
  • Стек технологий на самом деле не имеет значения, потому что в моей области есть примерно 15 базовых шаблонов разработки программного обеспечения. Я работаю с данными, поэтому они не будут такими же, как веб-разработка или embedded. Но все области имеют около 10-20 основных принципов, и технический стек просто пытается упростить эти вещи, так что не переживайте.
  • Есть причина, по которой люди рекомендуют искать работу. Если я недоволен работой, наверное, пора уходить.
  • У меня появилось несколько хороших друзей на всю жизнь в компаниях, с которыми я работал. Мне не нужно это от каждого места, где я работаю. Я был совершенно счастлив, работая в тех местах, где у меня не складывались дружеские отношения с моими коллегами, и я был несчастен в местах, где у меня было несколько хороших друзей.
Читать дальше →
Total votes 186: ↑153 and ↓33+170
Comments177

Как нормально распознавать бухгалтерские документы

Reading time4 min
Views2.6K

Бухгалтерские документы, пожалуй, для всех распознавальщиков находятся на особом счету. Именно этот класс документов представляет особый вызов системам автоматического ввода данных. Почему? Во-первых, документы сложные: мелкий шрифт, большое количество таблиц, вставок. Во-вторых, такие документы всегда сопровождаются печатями, подписями и прочими «радостями» делопроизводства. В-третьих, таких бумаг в любой компании просто много – всегда есть, что распознавать. С завидной периодичностью выходят новые инновационные продукты, которые «решают» проблему ввода данных с бухгалтерских документов. Высоконагруженные сервера, распределённые системы распознавания данных, RPA, роботизированные сервисы… Предложений много, а задача все еще актуальна. Почему?

Читать далее
Total votes 1: ↑0 and ↓1-1
Comments0

Quantization Aware Training. Или как правильно использовать fp16 inference в TensorRT

Reading time8 min
Views7.9K

Low-precision inference в TensorRT сегодня - мастхэв, бест практис и прочие иностранные. Сконвертить из TensorFlow легко, запустить легко, использовать fp16 легко. Да и КПД выше, чем у pruning или distillation. На первый взгляд всё работает идеально. Но на самом деле всё ли так гладко? Рассказываем, как мы в TrafficData споткнулись об fp16, встали и написали статью.

Читать далее
Total votes 2: ↑2 and ↓0+2
Comments7

Сравнение процессоров Байкал-М и Эльбрус-8СВ

Reading time6 min
Views63K

Сравнение процессоров Байкал-М и Эльбрус-8СВ


Baikal VS Elbrus


Недавно у меня по работе появился компьютер на базе процессора Байкал-М (BE-M1000), а также у меня есть удалённый доступ к компьютерам на процессорах Эльбрус, поэтому я решил сравнить их производительность в различных тестах.

Читать дальше →
Total votes 34: ↑31 and ↓3+39
Comments64

Анализ дыхательных упражнений при помощи биосенсоров

Reading time13 min
Views26K

Основная цель данной статьи - показать, каким образом такие техники, как холотропное дыхание и метод Вима Хофа, могут воздействовать на физическое и психическое состояние человека.

Disclaimer: Данная статья приводится для ознакомления и из научного интереса. Я настоятельно не рекомендую практиковать подобное в течении длительного времени. Я не врач, и не могу проанализировать все возможные негативные воздействия от подобных техник.

Читать далее
Total votes 18: ↑18 and ↓0+18
Comments21

Тихая революция и новый дикий запад в ComputerVision

Reading time7 min
Views33K

Казалось бы, революция с Computer Vision уже была. В 2012 году выстрелили алгоритмы основанные на сверточных нейронных сетях. Года с 2014 они дошли до продакшна, а года с 2016 заполонили все. Но, в конце 2020 года прошел новый виток. На этот раз не за 4 года, а за один. поговорим о Трансформерах в ComputerVision. В статье будет обзор новинок, которые появились в последний год.

Читать далее
Total votes 103: ↑103 and ↓0+103
Comments22

20 лучших практик по работе с Dockerfile

Reading time13 min
Views37K

Эта статья содержит рекомендации по написанию Dockerfile и принципам безопасности контейнеров и некоторые другие связанные темы, например про оптимизацию образов.

Если вы знакомы с контейнеризованными приложениями и микросервисами, то скорее всего понимаете, что хотя ваши сервисы "микро", но поиск уязвимостей и устранение проблем с безопасностью способен затруднить управление вашими сервисами, уже с приставкой "макро".

К счастью, большинство потенциальных проблем мы можем решить еще на этапе разработки.

Хорошо подготовленный Dockerfile исключает необходимость использовать привилегированные контейнеры, открывать порты, в которых нет необходимости, включать лишние пакеты и избегать утечки чувствительных данных. Старайтесь решить эти проблемы сразу, это поможет в дальнейшем сократить усилия на поддержку ваших приложений.

Читать далее
Total votes 38: ↑36 and ↓2+40
Comments22

KODI: собираем удобный и функциональный медиацентр для дома. Часть 1

Reading time27 min
Views419K

Поговорим о том, как при наличии небольшого количества времени и навыков построить мультимедийный комбайн с дополнительными возможностями домашнего сервера на базе Kubuntu 20.04 и KODI, способного работать 24/7/365.

Читать дальше →
Total votes 55: ↑54 and ↓1+68
Comments189

Ящик пива за лучшую сисадминскую байку и наш личный топ историй

Reading time18 min
Views43K
Мы в RUVDS очень любим три вещи: сисадминов, байки и пиво.

В этот раз мы решили объединить эти любимые вещи и сделать конкурс лучших сисадминских баек: про работу, клиентов и забавные случаи из практики.


Ммммм, сисадмин-техпод-байка-пиво

Каждому, кто расскажет забавную историю в комментариях, мы подарим по баночке нашего фирменного темного эля DukeNukem, а победителю, чей рассказ наберет больше всего плюсов — вышлем целый ящик пива.

Для вдохновения и правильного настроя, делимся нашими любимыми сисадминскими байками: тут почти нет новых историй, зато много ностальгии, доброго юмора и даже пара нерешенных до сих пор загадок. Поехали?



Раньше я работал в IT-отделе компании Samsung. Одному из сотрудников нужно было сбросить пароль, я сменил пароль на «Samsung1» и сказал ему об этом. Мне перезвонили через две минуты и сказали, что пароль не подходит. Я снова сбросил его, но он снова не сработал. Я подумал, что проблемы со стороны пользователя и решил зайти к нему.
Каково было мое удивление, когда я увидел, что он неправильно набирает пароль! Он печатал «Semsung1».
«Подсказываю! Это компания, в которой вы работаете, и ее название написано на мониторах, перед которыми вы сидите»

Питер Дж.
Читать дальше →
Total votes 52: ↑47 and ↓5+68
Comments484

Как мы делали SCRUM

Reading time20 min
Views39K
Страшный сон команды разработчиков — это когда до начала разработки надо «нырнуть» в неизвестную предметную область и «проэстимейтить» half-baked idea. При этом нужно буквально «подписаться кровью» за результат в назначенный срок за фиксированные деньги.

На деле дать точную оценку неточных требований нереально. Типичный путь в проектном менеджменте — составить подробнейшее ТЗ перед началом разработки. А затем реализовать весь функционал одним большим куском. Но такой "вотерфольный" подход грозит уже другими рисками: запуском проекта в стиле «большого взрыва» — когда ты получаешь первый результат в самом конце проекта. И он может оказаться очень далек от реальных бизнес целей и нужд пользователей.

Зачем так рисковать, если можно пойти совершенно другим путем?

Зачем SCRUM


Когда при ознакомлении с проектом есть понимание «мы знаем, что мы этого не знаем» и даже «мы не знаем, где границы того, чего мы не знаем», выручает SCRUM



Специфика SCRUM может отпугнуть, если никогда не работал с этим фреймворком, тем, что на старте еще не известна длина пути, который предстоит пройти, чтобы получить работающий проект и удовлетворяющий на 100%.

Заказчику трудно — он НЕ может подготовить стратегический план развития проекта с достоверными датами релизов. Неизвестность пугает, особенно когда нужно оплачивать этот путь уже сейчас.
Читать дальше →
Total votes 20: ↑15 and ↓5+10
Comments13

Information

Rating
Does not participate
Registered
Activity