Привет, Хабр! Доводилось ли вам тратить долгие бесплодные часы в попытке настроить коннекторы Kafka Connect, чтобы добиться адекватного потока данных? Мне, к сожалению, доводилось. Представляю вашему вниманию перевод статьи "How to Tune Kafka Connect Source Connectors to Optimize Throughput" автора Catalin Pop. Это прекрасное руководство от Confluent, где подробно и с примером описывается, как настроить Source коннекторы.
SK hynix представила концепцию 300-слойной памяти 3D NAND
SK hynix на конференции ISSCC 2023 презентовала идею флеш-памяти 3D NAND с более чем 300 слоями. Разработчики стремятся повысить пропускную способность чипов со 164 Мбайт/с до 194 Мбайт/с.
Asus представила карту расширения Hyper M.2 x16 Gen5 для установки четырёх SSD NVMe M.2
Asus выпустила карту расширения Hyper M.2x16 Gen5 (PCIe 5.0/4.0) для твердотельных накопителей. Карта позволяет установить до четырёх SSD NVMe M.2. Поддерживаются накопители формата M.2 2242, 2260, 2280 и 22110.
Samsung разработала первый в мире чип памяти GDDR7 с пропускной способностью 32 Гбит/с
Samsung завершила разработку первого в своём роде чипа памяти GDDR7 DRAM. Он обеспечит пропускную способность 32 Гбит/с. Чип будет предназначаться для приложений ИИ, высокопроизводительных вычислений и транспортных средств.
Трой Хант рассказал о неожиданно большом счёте за облачный хостинг Have I Been Pwned
Основатель сервиса проверки утечек Have I Been Pwned (HIBP) Трой Хант заявил, что столкнулся с проблемой при оплате облачного хостинга. По его словам, счёт за услуги облачное хранилище Azure Table Storage за декабрь был намного выше обычного. Хант объяснил, в чём была суть проблемы.
МТИ сравнил четыре крупнейших мегасозвездия спутников
Исследователи из департамента аэронавтики и астронавтики Массачусетского технологического института провели сравнение четырех крупнейших глобальных спутниковых сетей от SpaceX, Telesat, OneWeb и Amazon. Исследователи рассчитали пропускную способность каждой сети и глобальную емкость данных на основе их технических характеристик, переданных Федеральной комиссии по связи США (FCC).
Какие факторы влияют на производительность систем хранения и как?
В то время, как при производстве накопителей используется множество других метрик, чтоб описать и гарантировать должную производительность, на рынке систем хранения и дисковых накопителей, принято использовать IOPS, как сравнительную метрику, с целью «удобства» сравнения. Однако производительность систем хранения, измеряемая в IOPS (Input Output Operations per Second), операциях ввода / вывода (записи / чтения), подвержена влиянию большого множества факторов.
В этой статье я хотел бы рассмотреть эти факторы, чтобы сделать меру производительности, выраженную в IOPS, более понятной.
Начнем с того, что IOPS вовсе не IOPS и даже совсем не IOPS, так как существует множество переменных, которые определяют сколько IOPS мы получим в одних и других случаях. Также следует принять во внимание, что системы хранения используют функции чтения и записи и обеспечивают различное количество IOPS для этих функций в зависимости от архитектуры и типа приложения, в особенности в случаях, когда операции ввода / вывода происходят в одно и тоже время. Различные рабочие нагрузки предъявляют различные требования к операциям ввода / вывода (I/O). Таким образом, системы хранения, которые на первый взгляд должны были бы обеспечивать должную производительность, в действительности могут не справится с поставленной задачей.
Apache Kafka и миллионы сообщений в секунду
Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Разработан алгоритм, позволяющий значительно увеличить пропускную способность оптоволоконных сетей
Группа учёных, работающих в Австралийском Центре Устройств Сверхвысокой Пропускной Способности для Оптических Систем (CUDOS), разработала алгоритм кодирования данных, который может существенно увеличить эффективность существующих оптических сетей. По утверждению исследователей, их разработка позволит передавать весь мировой трафик по единственному волокну!
Производительность хранилищ
Microsoft продолжает совершенствовать технологию HoloLens
Пока мир продолжает грызть кактус системных требований устройств виртуальной реальности, компания Microsoft продолжает развивать свой смежный продукт под названием HoloLens, основанный на технологии дополненной реальности.
Сатья Наделла в очередной раз принял решение не врываться на уже плотно занятый рынок гарнитур виртуальной реальности, а попробовать создать продукт близкий по духу, но намного более понятный для обывателя. Так же немаловажно и то, что HoloLens уже сегодня может иметь вполне себе адекватное бытовое применение, когда как технологии виртуальной реальности и соответствующие устройства еще как минимум десятилетие останутся уделом гиков, готовых выложить круглую сумму за оборудование и обладающие крепким вестибулярным аппаратом.
HoloLens — гарнитура дополненной реальности, первый этап технологии, о которой нам давно рассказывают писатели-фантасты. До построения висящей в воздухе голограммы еще далеко, но комплект HoloLens (гарнитура, датчики и камеры) уже успешно может выполнять функцию видео-звонка в режиме дополненной реальности.
Цифровая трансформация цементного завода (ч. 3): волшебные интерфейсы и оживление железа
Как увеличить пропускную способность отгрузки в 2 раза без капитальных затрат? Как ускорить процессы и повысить их управляемость с помощью ИТ? Об этом и не только, далее в статье...
Реальная скорость Wi-Fi (на предприятиях)
Что пытаются натянуть за уши маркетологи? Что говорят инженеры? Где же истина?
Как всегда, где-то рядом. Какой пропускной способности ожидать в реальных условиях и почему – вы найдете ответ в этой статье. Если совсем нет времени читать, а хочется знать волшебную цифру – 75 Мбит/c на двухдиапазонную точку доступа, на всех. Кому интересны детали, читайте дальше.
21 век не помещается в провода
Собственно, в среде профессионалов эта проблема обсуждается довольно давно, правда до сих пор мало кто так открыто привлекал к ней внимание. Как выразился вице-президент ABI Стэн Шатт (Stan Schatt), это был «маленький грязный секрет индустрии». Однако благодаря этому, среди множества путей ее решения уже сегодня можно с большой долей уверенности выбрать те, которые гарантированно устроят всех, как меньшее из зол.
Один из них — это постепенный переход традиционного кабельного телевидения на цифровой формат вещания IPTV. Это позволит значительно разгрузить сети за счет очевидных технических плюсов «цифры» (к примеру, компрессии видео), а также за счет возможности передавать пользователю только то, что он хочет смотреть, а не все, что ему можно показать. Выгода от этого, достаточно дорогостоящего, шага должна перевесить затраты провайдеров. Хотя, по большому счету, для них он станет единственным выходом. По еще одному хлесткому выражению Шатта, которое он обронил в интервью Ars Technica, их, «пинающихся и кричащих» это переведет в 21 век.
Другой путь, идущий параллельно и неразрывно с первым, заключается в банальном расширении спектра частот, на которых работают сети. Текущие нужды вполне покрываются полосой в 750 МГц, однако в будущем, как говорит Шатт, этого будет не хватать.
Конечно, сумма в $80 млрд. не вызывает энтузиазма ни у кого, кроме кредиторов, однако за последние 10 лет отрасль и так уже потратила на свой рост более $100 млрд., так что сильных потрясений ожидать все таки не стоит.
Измеряем на коленке пропускную способность памяти
Мне показалось, что это интересный подход. Лично я раньше не оценивал задачи производительности с такой стороны. Да, я знаю о разнице в производительности процессора и памяти.
Я знаю, как писать код, который активно использует кэш. Знаю примерые цифры задержки. Но этого недостаточно, чтобы сходу оценить пропускную способность памяти.
Интернет будет переполнен в 2010 году
Собственно доклад «Потребности пользователей могут превысить пропускную способность Сети к 2010 году» на английском доступен полностью и без ограничений здесь (требуется только бесплатная регистрация на сайте). Его содержание вкратце понятно уже из названия. Кроме разбора того, какими темпами все новые и новые пользователи и устройства, подключенные к Сети, съедят все доступные каналы, в Nemertes рассчитали также затраты, которые могут потребоваться на предотвращение информационного коллапса. В глобальных масштабах модернизация инфраструктуры требует $137 млрд., львиная доля из которых приходится на одни США, которым неплохо бы раскошелиться примерно на полсотни миллиардов.
Главными виновниками стремительного заполнения Сети названы, естественно, потоковое видео и аудио и файлообменные сети. Кроме того, огромное влияние оказывает растущая популярность мобильных устройств, активно использующих высокоскоростное беспроводное подключение к интернету.
Как решение Huawei SD-WAN обеспечивает стабильную работу приложений и сервисов
Идентификация, балансировка и управление: Рассказываем о 10+ технологиях, которые использует Huawei, чтобы обеспечить бесперебойную работу бизнес-приложений в распределенных корпоративных сетях SD-WAN.
Проблемы использования SPAN для мониторинга в современной сети
Ранее мы опубликовывали статью «TAP или SPAN? Рекомендации по зеркалированию трафика для профессионалов», в которой были описаны отличия подходов по съему трафика и проведен их анализ. Опрос и комментарии показали, что многие специалисты активно используют SPAN. Данной статьей мы дополним информацию о SPAN и расскажем, почему ее нельзя использовать для мониторинга и съема трафика в современной сети.
Как ускорить работу PostgreSQL
В статье рассказываем, как оптимизировать базу данных PostgreSQL на примере Linux на IBM Z. Опираясь на представленные примеры, вы шаг за шагом узнаете, какие опции и параметры конфигурации улучшат установку PostgreSQL с точки зрения:
МЭФ-2012 глазами пэ-хэ-пэ-шника
Санкт-Петербург. Ровно полгода до конца света.
Закончился Международный Экономический Форум. На смену пришли белые ночи и субботние отчеты.
На Форуме были использованы разные системы безопасности.
Обойти защиту можно было без sql-инъекций.
Достаточно иметь приятеля с пропуском.