Неожиданный выход HDD из строя — неприятная для сервера ситуация. Выяснение причин и замена жесткого диска (не всегда это можно сделать «горячим» способом) почти всегда означают даунтайм работы системы. При этом подсказок о своем состоянии HDD не дает, специалисты могут ориентироваться только на время эксплуатации диска и свой опыт.  

Меня зовут Владислав Маркин, я инженер по разработке ПО искусственного интеллекта в YADRO. Вместе с моим коллегой, экспертом Андреем Соколовым, мы решили применить возможности ИИ в прогнозировании проблем с HDD. Задача не тривиальная: модели нужны данные для обучения и тренировки, а где их найти — отдельный вопрос. 

В статье расскажу, что нам удалось сделать, что стало основой прототипа нашей прогнозной модели и какие результаты она показала в применении для дисков в серверах YADRO.

Сегодня обзор новой книги по математическому аппарату ИИ — для всех вовлеченных в анализ данных и построение ML/DL моделей. «Базовая математика для искусственного интеллекта» (Essential Math for AI: Next‑Level Mathematics for Efficient and Successful AI Systems) от издательства O'Reilly Media, в переводе от БХВ Петербург — это фолиант на 600 стр. для дата-сайентистов всех уровней. Полезность книги — в обширном материале по мат.аппарату ИИ, собранном в одном месте.

Существует мнение, что основная проблема больших языковых моделей — в склонности к галлюцинациям. Когда нейросеть генерирует текст с информацией, не связанной с запросом.  

Меня зовут Полина, я инженер по разработке ПО искусственного интеллекта в YADRO. Вместе с коллегами я разрабатываю системы на базе генеративных моделей, в том числе вопросно-ответных ассистентов. В рамках одного из проектов мы вместе с экспертом команды Андреем Соколовым задались вопросом: действительно ли проблема галлюцинаций так актуальна для современных предобученных LLM в вопросно-ответном сценарии.

Для этого мы провели эксперимент на собранном датасете. Попутно рассказали про модели-трансформеры и дали строгое определение понятию «галлюцинации LLM». Все подробности — под катом.

Государственные системы будут увеличивать контроль над людьми и приходить к тому, что сейчас происходит в Китае. Это в их ДНК.

Мы видим, что сейчас происходит с Павлом Дуровым: его судят за свободу слова и за крипту в Телеграме. Телеграм — лучший мессенджер в мире, и недавно количество его пользователей перевалило за 1 млрд. Государства не устраивает степень свободы, которую получили люди в Телеграме. И вместо точечной работы с преступниками они хотят влиять на саму площадку.

А популярные социальные сети, где есть приемлемая свобода слова, уже сегодня можно сосчитать по пальцам одной руки (спасибо Маску, что выкупил X — он следующий).

Для удушения свобод государства будут использовать новые технологии — но и мы должны использовать их в борьбе за свою свободу.

Аудитории Хабра нравятся рецензии на книги по базовым ИТ-технологиям. И сегодня — как раз такая:«Docker. Вводный курс. 3 издание» (Docker: Up & Running, 3rd Edition) от издательства O'Reilly Media, в переводе от БХВ Петербург. Популярное руководство по Docker, написанное Шоном П. Кейном и Карлом Маттиасом, выпущено в 2023 году и предназначена для разработчиков, сисадминов и DevOps-инженеров. Полезность книги — в подробном объяснении технологии Docker от самых основ и до продвинутых концепций и практик.

Привет Хабр! На дворе конец лета и слушатели ИТ-курсов в раздумьях о выборе обучения на осень 2024 и профессии как таковой. А мы продолжим цикл статей о плюсах и минусах разных профессий в ИТ. Давайте поговорим о DevOps-инженере. Как говорят рекрутеры, на фоне переизбытка выпускников курсов по разработке на Python, профессия DevOps-инженера смотрится одной из топов по востребованности и оплате.
P.S. Иллюстрация ИИ к статье — “я художник, так вижу DevOps и девушки их любят”.

Чаще всего обзоры электронных книг посвящены одной конкретной модели. Однако сравнительные тесты дают больше полезной информации: сразу видны лучшие электронные книги – и аутсайдеры. В этой статье речь пойдет о моделях брендов Digma, PocketBook и Amazon. Разберемся, какой ридер самый крутой.

В российских магазинах сегодня встречаются десятки ридеров. На первый взгляд все эти модели похожи друг на друга. Но если копнуть чуть глубже, окажется, что они предлагают различные наборы функций и возможностей. В этом обзоре электронных книг я решил свести три устройства такого типа: Digma X1, PocketBook 629 Verse и Amazon Kindle 2022. Эти модели оснащены классическими для читалок экранами с диагональю 6 дюймов. Все они могут выступать альтернативой друг другу, хотя и по определенным причинам стоят разных денег.

Рассмотрим поближе, какие электронные книги я отобрал для сравнения.

Привет! Меня зовут Кирилл, в МТС Диджитал я руковожу направлением спецпроектов.

Сколько себя помню, меня всегда восхищали фильмы и сериалы про шпионов. И конечно, шпионские высокотехнологичные гаджеты и транспортные средства. От потрясающе крутой лодки из сериала «Гром в раю» до взрывающейся ручки, разработанной Q для агента 007. В них частенько фигурировали особые одноразовые носители информации: записка воспламенялась после прочтения, а аудиокассета начинала дымиться, необратимо уничтожая магнитную ленту.

Оказывается, подобные штуки были не только у секретных агентов, но и у частных компаний. Одна из них — Flexplay Technologies — даже оформила патенты на все мыслимые и немыслимые способы самоуничтожения оптических дисков. Все началось с того, что двое ученых, изучающих влияние информационных технологий на экономику, решили создать собственную DRM-защиту для DVD-дисков, которая работала на физическом уровне. Дальше — под катом.

Недавно в комментариях к тексту про построение личной базы знаний на Хабре читатель отметил, что в таких статьях не хватает примеров работы с техническими данными. Давайте это исправим. Мы спросили у инженеров YADRO и технарей из сообщества «Цеттелькастен и Персональные базы знаний», как и для чего они ведут свои заметки.  Герои статьи используют Obsidian и Emacs, а также личные Telegram-каналы, чтобы изучать новые языки программирования, проходить технические собеседования и вести рабочие записи.

Для тех, кто пока не знаком с методом социолога Никласа Лумана, в начале статьи рассказали об истории Цеттелькастена и показали, как выглядело хранилище данных полвека назад. Короб с ящиками и карточками стал прототипом современных систем для ведения заметок, которыми пользуются инженеры. 

Хорошая новость — все больше книг по машинному и глубокому обучению теперь доступны и в русском переводе. Очередная рецензия будет на книгу «Прикладное машинное обучение и искусственный интеллект для инженеров» (Applied Machine Learning and AI for Engineers) автора Джеффа Просиза от O'Reilly Media, в переводе от БХВ Петербург. В отличие от многих других введений и пособий на эту тему, книга Дж. Просиза избегает упора на излишне сложную математику, делая акцент на практическое применение ML и DL технологий.

Прежде чем перейти к разбору книги  “Прикладное машинное обучение и искусственный интеллект для инженеров”, напомним про две другие книги-новинки по теме ML/DL вышедшие в 2024 году в издательстве БХВ Петербург. Вот наши рецензии на них:

Установка драйверов для видеокарт от Nvidia с одной стороны сейчас не вызывает столько проблем, как было еще 10–15 лет назад, с другой стороны если с драйверами еще как-то народ управляется, то вот работоспособную CUDA получить могут не все. У себя в HOSTKEY мы создали специальный скрипт, который пользователь может запустить самостоятельно и получить рабочее окружение для запускавсего — от PyTorch до Stable Diffusion и Ollama с поддержкой GPU.

Привет, Хабр! В предыдущем тексте мы рассмотрели все существующие матричные расширения. Возникает вопрос: ждать ли в ближайшее время новых расширений для матричных операций? Ответ — да, они разрабатываются прямо сейчас для архитектуры RISC-V. Новость может вызвать удивление, ведь в обзоре уже есть целых два матричных расширения RISC-V. Но оба эти расширения — кастомные, и, конечно же, в консорциуме RISC-V International задумались о разработке стандартного решения. 

В этот статье я подробно расскажу, что это за решения и чего от них ожидать. А еще поделюсь последними новостями из мира разреженных матриц.

Всех категорический приветствую. Буквально первого августа, прямо в ночь, стал у меня жутко лагать YouTube. Естественно, мне это сильно не понравилось. Ну, что же, давайте разбираться, почему и как это исправить в условиях моей личной сети.

Что случилось?

Хорошо описано произошедшее здесь, на Хабре. Если совсем кратко, своими словами - во время установки SSL соединения в открытом виде домен передается к которому мы подключаемся(так называемое SNI). И если это googlevideo.com то начинают твориться "интересные вещи". Можно проверить это локально коммандами из статьи.

$ curl https://speedtest.selectel.ru/100MB -o/dev/null

Существует огромное количество руководств, статей, видеоуроков по bash. И это очень здорово, но есть одна проблема с ними. Процент материала "для начинающих" среди всего этого богатства стремится к 100, а вот по-настоящему интересных тонкостей касаются не только лишь все.

Я всегда любил bash-скриптинг, и сейчас пишу довольно много кода на bash. Периодически наталкиваюсь на неочевидные моменты; решил, что настала пора поделиться опытом с уважаемым хабрасообществом.

Кому интересно разобраться, что же может быть не так с bash/zsh на этот раз -- добро пожаловать под кат.

Комментарий активиста Профсоюза IT насчёт блокировки Youtube и об ограничении свободного доступа к информации вообще. Коллектив профсоюза полностью разделяет это мнение.

Я работаю в IT уже 17 лет (написал и сам ужаснулся). Я начинал с протирания доски в кабинете информатики (должность называлась «лаборант»), сейчас работаю в достаточно крупной IT-компании.

С самого начала я жадно впитывал знания. Интернет, коллеги, собственный опыт. Любой источник знаний был хорош, любая информация годилась. Я читал книги на экране размером 128х128 точек. Я качал учебники по dial-up. Я просил коллегу научить меня обжимать коннектор RJ-45. Я купался в море информации. С каждым новым местом работы, с каждой новой областью деятельности становилось всё труднее находить рядом того, кто может расширить мой кругозор достаточно для удовлетворения неутихающей жажды. Жажды знать больше. Всё чаще и чаще я слышал «загугли». И гуглил, гуглил, читал и снова искал новое. Это как дышать, как пить воду. Я потребляю информацию утром, во время обеда и перед сном. Со временем я понял, что для большей эффективности нужно потреблять информацию разного профиля. Плотницкое, слесарное, столярное дело, электрика, физика, сельское хозяйство, история, логика, философия. Всё это — информация. Всё это может утолить жажду. И я искал. Разумеется, для того, в чём не нужна справочная точность, я стал использовать Youtube.

Привет, Хабр!

В последнее время замечаю огромное количество информации по поводу замедления Великого, но очень мало где видел конкретику о том, как именно это работает. Одно лишь отчаяние "мы все умрём".

Сразу скажу, что буду говорить обо всём, что известно на данный момент. Понятно, что с этим разбирался далеко не один я: огромное спасибо обывателям ntc party форума за проделанный ресёрч.

В конце статьи есть информация об известных на данный момент способах обхода, а также список ресурсов, с помощью которых можно еще глубже копнуть в замедление.

UPD 10.08.2024 Многие жалуются на недоступность ютуба в целом: не грузит домашнюю страницу. Переживать не стоит, оно обрабатывается всё тем же ТСПУ по всё той же стратегии, обходы должны работать.

Привет, жители Хабра! На связи Кирилл из МТС Диджитал.

Недавно мой верный Chromebook выдал сообщение, что больше не будет обновляться и со временем пользоваться им станет небезопасно. Но это не страшно — есть два варианта продлить срок использования этого чудесного гаджета. 

Первый из них предложил сам Google, а второй предполагает несколько хитрых манипуляций по разблокировке и перепрошивке BIOS. После этого появится возможность заменить операционную систему. В этом посте попробуем оба варианта и постараемся ответить на вопрос: что же делать с устаревшим гаджетом?

Встроенный LCD дисплей имеет разрешение 640х480 пикселов и отображает 32 оттенка серого цвета. Видеокарта поддерживает режимы VGA (800x600)/HC/CGA/MDA. В качестве центрального процессора установлен камень 386DX, работающий на частоте 33 МГц, оперативной памяти установлено 4 МБ, что по тем временам было весьма жирно. Встроенный жёсткий диск имел размер 200 МБ. В качестве съёмных носителей используется пятидюймовый дисковод, поддерживающий дискеты размером 1,2 МБ, и стандартный дисковод 3,5 дюйма на 1,44 МБ.

Всем привет! Это команда Amnezia. 

Мы читаем комментарии под нашими постами и знаем, что один из самых частых вопросов – когда будет XRay? Так вот, мы добавили XRay в приложение AmneziaVPN, а точнее протокол Reality от XRay для всех платформ -  IOS, Android, Windows, Linux и MacOS. Если у вас еще нет последнего релиза, скорее скачивайте и создавайте VPN на собственном сервере в пару кликов с одним из самых защищенных и быстрых протоколов в мире, ниже мы немного о нем расскажем, а в конце статьи будет пошаговая  инструкция как это сделать.

Почему XRay Reality так популярен ?

Все дело в том, что Reality подходит для стран с самым высоким уровнем интернет-цензуры, сейчас его используют в Китае и Иране, он защищен от детектирования методами active probing. 

Распознать цензоров REALITY может еще на этапе TLS-хендшейка. Если REALITY видит, что к нему приходит его клиент, то сервер запускает для него VPN туннель, а если приходит любой другой запрос на 443 порт, то TLS-подключение передается на какой-нибудь другой реальный сайт, например, google.com, где цензор получит настоящий TLS-сертификат от google.com и вообще все настоящие данные с этого сайта.

Со стороны систем анализа трафика это выглядит как подключение к настоящему сайту, сервер отдает настоящий TLS-сертификат этого сайта, и вообще все (включая TLS fingerprint сервера) выглядит очень по-настоящему и не вызывает подозрений. 

Особенно приятно, что при этом производительность REALITY и скорость подключения у протокола действительно хороши, в сравнении, например, со связкой OpenVPN over Cloak.