Pull to refresh

Как настроить Source коннекторы Kafka Connect для оптимизации пропускной способности

Level of difficultyMedium
Reading time14 min
Views1.4K

Привет, Хабр! Доводилось ли вам тратить долгие бесплодные часы в попытке настроить коннекторы Kafka Connect, чтобы добиться адекватного потока данных? Мне, к сожалению, доводилось. Представляю вашему вниманию перевод статьи "How to Tune Kafka Connect Source Connectors to Optimize Throughput" автора Catalin Pop. Это прекрасное руководство от Confluent, где подробно и с примером описывается, как настроить Source коннекторы.

Читать далее
Total votes 3: ↑3 and ↓0+3
Comments0

SK hynix представила концепцию 300-слойной памяти 3D NAND

Reading time2 min
Views1.5K

SK hynix на конференции ISSCC 2023 презентовала идею флеш-памяти 3D NAND с более чем 300 слоями. Разработчики стремятся повысить пропускную способность чипов со 164 Мбайт/с до 194 Мбайт/с.

Читать далее
Total votes 2: ↑2 and ↓0+2
Comments0

Asus представила карту расширения Hyper M.2 x16 Gen5 для установки четырёх SSD NVMe M.2

Reading time2 min
Views3.1K

Asus выпустила карту расширения Hyper M.2x16 Gen5 (PCIe 5.0/4.0) для твердотельных накопителей. Карта позволяет установить до четырёх SSD NVMe M.2. Поддерживаются накопители формата M.2 2242, 2260, 2280 и 22110. 

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments6

Samsung разработала первый в мире чип памяти GDDR7 с пропускной способностью 32 Гбит/с

Reading time1 min
Views2.1K

Samsung завершила разработку первого в своём роде чипа памяти GDDR7 DRAM. Он обеспечит пропускную способность 32 Гбит/с. Чип будет предназначаться для приложений ИИ, высокопроизводительных вычислений и транспортных средств.

Читать далее
Total votes 3: ↑3 and ↓0+3
Comments0

Трой Хант рассказал о неожиданно большом счёте за облачный хостинг Have I Been Pwned

Reading time3 min
Views4.5K

Основатель сервиса проверки утечек Have I Been Pwned (HIBP) Трой Хант заявил, что столкнулся с проблемой при оплате облачного хостинга. По его словам, счёт за услуги облачное хранилище Azure Table Storage за декабрь был намного выше обычного. Хант объяснил, в чём была суть проблемы.

Читать далее
Total votes 14: ↑13 and ↓1+12
Comments9

МТИ сравнил четыре крупнейших мегасозвездия спутников

Reading time3 min
Views2.7K

Исследователи из департамента аэронавтики и астронавтики Массачусетского технологического института провели сравнение четырех крупнейших глобальных спутниковых сетей от SpaceX, Telesat, OneWeb и Amazon. Исследователи рассчитали пропускную способность каждой сети и глобальную емкость данных на основе их технических характеристик, переданных Федеральной комиссии по связи США (FCC).

Читать далее
Total votes 14: ↑13 and ↓1+12
Comments6

Какие факторы влияют на производительность систем хранения и как?

Reading time13 min
Views33K
Системы хранения данных для подавляющего большинства веб-проектов (и не только) играют ключевую роль. Ведь зачастую задача сводится не только к хранению определенного типа контента, но и к обеспечению его отдачи посетителям, а также обработки, что накладывает определенные требования к производительности.

В то время, как при производстве накопителей используется множество других метрик, чтоб описать и гарантировать должную производительность, на рынке систем хранения и дисковых накопителей, принято использовать IOPS, как сравнительную метрику, с целью «удобства» сравнения. Однако производительность систем хранения, измеряемая в IOPS (Input Output Operations per Second), операциях ввода / вывода (записи / чтения), подвержена влиянию большого множества факторов.

В этой статье я хотел бы рассмотреть эти факторы, чтобы сделать меру производительности, выраженную в IOPS, более понятной.

Начнем с того, что IOPS вовсе не IOPS и даже совсем не IOPS, так как существует множество переменных, которые определяют сколько IOPS мы получим в одних и других случаях. Также следует принять во внимание, что системы хранения используют функции чтения и записи и обеспечивают различное количество IOPS для этих функций в зависимости от архитектуры и типа приложения, в особенности в случаях, когда операции ввода / вывода происходят в одно и тоже время. Различные рабочие нагрузки предъявляют различные требования к операциям ввода / вывода (I/O). Таким образом, системы хранения, которые на первый взгляд должны были бы обеспечивать должную производительность, в действительности могут не справится с поставленной задачей.
Читать дальше →
Total votes 16: ↑12 and ↓4+8
Comments3

Apache Kafka и миллионы сообщений в секунду

Reading time4 min
Views85K

Мы в компании любим и уважаем Apache Kafka, и в ознаменование выхода ее недавнего обновления я решил подготовить статью про ее производительность. А еще рассказать немного про то, как выжать из нее максимум.
Читать дальше →
Total votes 43: ↑38 and ↓5+33
Comments24

Разработан алгоритм, позволяющий значительно увеличить пропускную способность оптоволоконных сетей

Reading time1 min
Views46K


Группа учёных, работающих в Австралийском Центре Устройств Сверхвысокой Пропускной Способности для Оптических Систем (CUDOS), разработала алгоритм кодирования данных, который может существенно увеличить эффективность существующих оптических сетей. По утверждению исследователей, их разработка позволит передавать весь мировой трафик по единственному волокну!
Подробности
Total votes 73: ↑70 and ↓3+67
Comments40

Производительность хранилищ

Reading time5 min
Views12K
Поскольку компания LSI (теперь уже часть Avago Technologies) продала свое подразделение flash-контроллеров небезызвестной Seagate, основной областью их внимания вновь становятся решения для RAID и SAS (своеобразный back to basics). Чтоб отметить это «возвращение к корням», я решил перевести интересную статью Томаса Павела (Thomas Pavel), директора по продажам storage-подразделения EMEA. Не уверен насчет того, выложена ли данная статья в Интернет, по крайней мере пока не нашел.
Читать дальше →
Total votes 11: ↑8 and ↓3+5
Comments4

Microsoft продолжает совершенствовать технологию HoloLens

Reading time2 min
Views16K
image

Пока мир продолжает грызть кактус системных требований устройств виртуальной реальности, компания Microsoft продолжает развивать свой смежный продукт под названием HoloLens, основанный на технологии дополненной реальности.

Сатья Наделла в очередной раз принял решение не врываться на уже плотно занятый рынок гарнитур виртуальной реальности, а попробовать создать продукт близкий по духу, но намного более понятный для обывателя. Так же немаловажно и то, что HoloLens уже сегодня может иметь вполне себе адекватное бытовое применение, когда как технологии виртуальной реальности и соответствующие устройства еще как минимум десятилетие останутся уделом гиков, готовых выложить круглую сумму за оборудование и обладающие крепким вестибулярным аппаратом.

HoloLens — гарнитура дополненной реальности, первый этап технологии, о которой нам давно рассказывают писатели-фантасты. До построения висящей в воздухе голограммы еще далеко, но комплект HoloLens (гарнитура, датчики и камеры) уже успешно может выполнять функцию видео-звонка в режиме дополненной реальности.
Total votes 25: ↑21 and ↓4+17
Comments29

Цифровая трансформация цементного завода (ч. 3): волшебные интерфейсы и оживление железа

Reading time12 min
Views8.9K

Как увеличить пропускную способность отгрузки в 2 раза без капитальных затрат? Как ускорить процессы и повысить их управляемость с помощью ИТ? Об этом и не только, далее в статье...

Читать статью >>
Total votes 10: ↑9 and ↓1+8
Comments10

Реальная скорость Wi-Fi (на предприятиях)

Reading time11 min
Views43K
Непрекращающийся хайп вокруг гигабитных скоростей Wi-Fi современных стандартов провоцирует инженеров прояснять эту тему понятным для всех образом.
Что пытаются натянуть за уши маркетологи? Что говорят инженеры? Где же истина?
Как всегда, где-то рядом. Какой пропускной способности ожидать в реальных условиях и почему – вы найдете ответ в этой статье. Если совсем нет времени читать, а хочется знать волшебную цифру – 75 Мбит/c на двухдиапазонную точку доступа, на всех. Кому интересны детали, читайте дальше.


Читать дальше →
Total votes 25: ↑25 and ↓0+25
Comments32

21 век не помещается в провода

Reading time2 min
Views473
Компания ABI Research, которая за почти 20-летнюю историю работы в сфере телекоммуникационного бизнеса зарекомендовала себя в качестве достойного внимания источника интересных исследований и взвешенной аналитики, на днях выпустила доклад с тревожным названием «Приближается кризис пропускной способности кабеля». Беспокойство экспертов вызывают молниеносные темпы увеличения нагрузки на кабельные сети во всем мире из-за роста популярности таких «тяжелых» приложений, как видео высокой четкости и онлайн-игры. И если уже сейчас не предпринять решительные меры, очень скоро даже в странах с развитой сетевой инфраструктурой может наступить тотальный ступор. По расчетам ABI, на предотвращение катастрофы в течение ближайших 5 лет отрасли необходимо потратить около $80 млрд.

Собственно, в среде профессионалов эта проблема обсуждается довольно давно, правда до сих пор мало кто так открыто привлекал к ней внимание. Как выразился вице-президент ABI Стэн Шатт (Stan Schatt), это был «маленький грязный секрет индустрии». Однако благодаря этому, среди множества путей ее решения уже сегодня можно с большой долей уверенности выбрать те, которые гарантированно устроят всех, как меньшее из зол.

Один из них — это постепенный переход традиционного кабельного телевидения на цифровой формат вещания IPTV. Это позволит значительно разгрузить сети за счет очевидных технических плюсов «цифры» (к примеру, компрессии видео), а также за счет возможности передавать пользователю только то, что он хочет смотреть, а не все, что ему можно показать. Выгода от этого, достаточно дорогостоящего, шага должна перевесить затраты провайдеров. Хотя, по большому счету, для них он станет единственным выходом. По еще одному хлесткому выражению Шатта, которое он обронил в интервью Ars Technica, их, «пинающихся и кричащих» это переведет в 21 век.

Другой путь, идущий параллельно и неразрывно с первым, заключается в банальном расширении спектра частот, на которых работают сети. Текущие нужды вполне покрываются полосой в 750 МГц, однако в будущем, как говорит Шатт, этого будет не хватать.

Конечно, сумма в $80 млрд. не вызывает энтузиазма ни у кого, кроме кредиторов, однако за последние 10 лет отрасль и так уже потратила на свой рост более $100 млрд., так что сильных потрясений ожидать все таки не стоит.
Total votes 8: ↑7 and ↓1+6
Comments0

Измеряем на коленке пропускную способность памяти

Reading time9 min
Views18K
Несколько недель назад в разговоре за обедом коллега пожаловался на какой-то медленный процесс. Он подсчитал количество сгенерированных байт, количество циклов обработки, и в конечном счёте, объём оперативной памяти. Коллега заявил, что современный GPU с пропускной способностью памяти более 500 ГБ/с съел бы его задачу и не подавился.

Мне показалось, что это интересный подход. Лично я раньше не оценивал задачи производительности с такой стороны. Да, я знаю о разнице в производительности процессора и памяти.



Я знаю, как писать код, который активно использует кэш. Знаю примерые цифры задержки. Но этого недостаточно, чтобы сходу оценить пропускную способность памяти.
Читать дальше →
Total votes 26: ↑26 and ↓0+26
Comments21

Интернет будет переполнен в 2010 году

Reading time1 min
Views499
Доклад о приближающемся кризисе интернета, опубликованный неделю назад сравнительно молодой аналитической конторой Nemertes Research, получил к настоящему моменту достаточно сильный отклик в прессе. Далеко не новая тема грядущего «конца света» в интернете, когда Сеть по каким-либо причинам уже не сможет работать так, как нужно, в последнее время очень активно муссируется с разных сторон. Но нет дыма без огня, и пропускать пессимистические прогнозы мимо ушей вряд ли будет самым разумным подходом к проблеме.

Собственно доклад «Потребности пользователей могут превысить пропускную способность Сети к 2010 году» на английском доступен полностью и без ограничений здесь (требуется только бесплатная регистрация на сайте). Его содержание вкратце понятно уже из названия. Кроме разбора того, какими темпами все новые и новые пользователи и устройства, подключенные к Сети, съедят все доступные каналы, в Nemertes рассчитали также затраты, которые могут потребоваться на предотвращение информационного коллапса. В глобальных масштабах модернизация инфраструктуры требует $137 млрд., львиная доля из которых приходится на одни США, которым неплохо бы раскошелиться примерно на полсотни миллиардов.

Главными виновниками стремительного заполнения Сети названы, естественно, потоковое видео и аудио и файлообменные сети. Кроме того, огромное влияние оказывает растущая популярность мобильных устройств, активно использующих высокоскоростное беспроводное подключение к интернету.
Total votes 12: ↑9 and ↓3+6
Comments5

Как решение Huawei SD-WAN обеспечивает стабильную работу приложений и сервисов

Reading time7 min
Views2.2K

Идентификация, балансировка и управление: Рассказываем о 10+ технологиях, которые использует Huawei, чтобы обеспечить бесперебойную работу бизнес-приложений в распределенных корпоративных сетях SD-WAN.

Читать далее
Total votes 4: ↑4 and ↓0+4
Comments4

Проблемы использования SPAN для мониторинга в современной сети

Reading time4 min
Views6.1K

Ранее мы опубликовывали статью «TAP или SPAN? Рекомендации по зеркалированию трафика для профессионалов», в которой были описаны отличия подходов по съему трафика и проведен их анализ. Опрос и комментарии показали, что многие специалисты активно используют SPAN. Данной статьей мы дополним информацию о SPAN и расскажем, почему ее нельзя использовать для мониторинга и съема трафика в современной сети.

Читать далее
Total votes 2: ↑1 and ↓10
Comments7

Как ускорить работу PostgreSQL

Reading time10 min
Views21K

В статье рассказываем, как оптимизировать базу данных PostgreSQL на примере Linux на IBM Z. Опираясь на представленные примеры, вы шаг за шагом узнаете, какие опции и параметры конфигурации улучшат установку PostgreSQL с точки зрения:

Читать далее
Total votes 19: ↑18 and ↓1+17
Comments9

МЭФ-2012 глазами пэ-хэ-пэ-шника

Reading time4 min
Views2.6K
imageСубботнее произведение с элементами преувеличения.

Санкт-Петербург. Ровно полгода до конца света.
Закончился Международный Экономический Форум. На смену пришли белые ночи и субботние отчеты.

На Форуме были использованы разные системы безопасности.
Обойти защиту можно было без sql-инъекций.

Достаточно иметь приятеля с пропуском.
Читать дальше →
Total votes 34: ↑18 and ↓16+2
Comments13
1