Pull to refresh
  • by relevance
  • by date
  • by rating

Новый SSD для ноутбуков и десктопов. KC600 — высокая скорость, большой объем

Kingston Technology corporate blog High performance *Data storage *Computer hardware Desktop PC's
Не устаревают только костяные счеты. Все, что сложнее их, рано или поздно, уступает место новому. Пришла очередь популярного (и заслуженно!) твердотельного накопителя КС400. Он был выпущен уже три года назад, пришло время заменить его на конвейере более совершенной моделью. Kingston объявил о выпуске КС600, твердотельника с высокой скоростью работы, большим выбором объемов, на любой кошелек и для самых разных задач, и, вдобавок, с широким набором средств шифрования.


Total votes 11: ↑10 and ↓1 +9
Views 5.1K
Comments 0

Microsoft выпустила новую версию DeepSpeed+ZeRO для тренировки нейросетей

ITSumma corporate blog High performance *GPGPU *Machine learning *
image

Компания Microsoft выпустила в свет новую версию библиотеки для тренировки нейросетей DeepSpeed+ZeRO, о чем свидетельствуют обновления соответствующего репозитория на GitHub. Теперь библиотека способна работать по 1 трлн параметров против 100 млрд, заявленных в первой версии DeepSpeed+ZeRO.

Ранняя версия библиотеки была представлена публике еще в феврале этого года и позиционировалась как инструмент, который значительно расширяет возможности по тренировке нейросетей по большому спектру параметров.
Читать дальше →
Total votes 13: ↑13 and ↓0 +13
Views 2.3K
Comments 1

Как в Hazelcast добавляли распределенный SQL

Конференции Олега Бунина (Онтико) corporate blog High performance *SQL *Database Administration *Distributed systems *

Чтобы разработать свой распределенный SQL-движок, можно написать свой SQL-оптимизатор для построения движков. Вам придется сделать парсер, семантический анализатор и придумать правила трансформации и оптимизации. Всё протестировать, а потом как-то интегрировать в свою систему. Но можно пойти более быстрым путем — внедрить для этого готовый инструмент.

Владимир Озеров, бывший инженер Hazelcast, а сейчас руководитель Querify Labs, на конференции HighLoad++ 2021 поделился опытом разработки и проектирования с нуля распределенного SQL-движка для продукта Hazelcast IMDG. Видео его выступления можно посмотреть здесь.

Сегодня статья о том, для чего в Hazelcast IMDG понадобилась эта разработка, и в чем преимущества и недостатки фреймворка Apache Calсite. Как на нем были реализованы встроенные оптимизации, выбор вторичных индексов и планирование перемещения данных в кластере. И как справились с описанием запросов произвольной сложности, кооперативной многозадачностью и оптимизированием сетевого протокола.

Читать далее
Total votes 10: ↑9 and ↓1 +8
Views 819
Comments 0

О чем расскажут на С++ Russia 2021

JUG Ru Group corporate blog Programming *C++ *Conferences

Уже скоро стартует С++ Russia. И в преддверии конференции хотим поделиться с хабражителями описаниями докладов.

С++ Russia — это всегда хардкор. В этот раз поговорим про ассемблер, асинхронные движки с корутинами, исключения, GPGPU и многое другое. Будут и низкоуровневые оптимизации, и метапрограммирование, и «кишочки», и конкурентность с многопоточностью.

Среди спикеров будут члены комитета по стандартизации C++, контрибьюторы известных проектов, один из авторов языка Swift (внезапно!), авторы книг и курсов, разработчики из крупных компаний. А также Антон Полухин @antoshkka, сочетающий в себе почти все перечисленное.

Под катом программа с описанием докладов,  для вашего удобства разбили ее на тематические блоки.

Смотреть программу
Total votes 12: ↑11 and ↓1 +10
Views 2.9K
Comments 1

libscgi — эффективное решение для простых и быстрых скриптов

High performance *
Очень часто необходимо реализовать простое легкое решение, которое должно отработать довольно быстро. А с использованием технологии AJAX это стало еще актуальнее. Это может быть как скрипт автокомплита, скрипт специфического поиска, вывод информации из справочника. Ранее использовались cgi скрипты. При больших нагрузках они оказались не очень эффективными и были разработаны протоколы fcgi и scgi. Следует заметить что производительность scgi сервера довольно-таки высокоя (более 1500 запр/сек) и памяти занимает всего 600K.

Протокол Simple Common Gateway Interface (SCGI) — это протокол по взаимодействию приложений с веб (http) серверами. Большинство современных WEB-серверов (Apache/nginx/lighttpd) имеют встроенную поддержку scgi. Ниже дано краткое описание использование простой библиотечки, которая представляет собой scgi сервер.

Исходники тут.
Читать дальше →
Total votes 31: ↑27 and ↓4 +23
Views 3.9K
Comments 40

Первый опыт работы с Handler Socket & php_handlersocket

NoSQL *
handlersocket

Немного вскружилла голову статья Использование MySQL как NoSQL — История о том, как достичь 750,000 запросов в секунду (Перевод моего друга Вадима). Есть и другие материалы по этой теме. И вот дошли руки до экспериментов.

Под PHP разработано три разных клиента:
extension code.google.com/p/php-handlersocket
PEAR openpear.org/package/Net_HandlerSocket
PHP native github.com/tz-lom/HSPHP

Ниже приведены мои впечатления о первых экспериментах.
Читать дальше →
Total votes 50: ↑45 and ↓5 +40
Views 10K
Comments 64

Tarantool Данные и Протокол

NoSQL *

Tarantool это замечательное высокопроизводительное no-Sql решение, разработка компании Mail.Ru. Исходники

Данное решение позволяет использовать как режим key/value, так и выборку множества записей в рекордсет по одному или нескольким критериям (полям поиска). Аналогов в рунете и не только, я пока не встречал. С натяжкой можно сравнить редис. Но в редисе — списковые данные и их нельзя выбирать по ключу. Судя до утверждениям разработчиков, скорость доступа по ключу превосходит memcache, при этом еще в бэдграунде осуществляется постоянное сохранение данных на диск. Но к сожалению, данная разработка имеет единственный perl клиент для доступа к данным, из-за чего не имеет такой популярности, как например у redis или memcache.

В doc/box-protocol источников есть описание Протокола, которое я в настоящее время переработал для написания клиента на Си и PHP. Изучив Протокол, вы можете реализоать нативный клиент на любимом Вам языке. Надеюсь, данная статья в этом Вам пригодится.

Читать дальше →
Total votes 66: ↑50 and ↓16 +34
Views 5.3K
Comments 40

Релиз Nginx CT++ Module 0.5 — высокопроизводительного модуля-шаблонизатора для веб-сервера

Nginx *
Первоначально хотел оформить как топик-ссылку, но тогда не получилось бы вставить картинку:

а она всё иллюстрирует, как нельзя лучше. Если картинка вас заинтересовала, то вы можете сразу пройти на открытый по случаю релиза сайт, или заглянуть под хабракат за комментами и некоторыми моими мыслями.

Позднее, как появится свободное время, напишу более подробную пошаговый HowTo, что вообще можно и что нужно делать с модулем, как можно представить MVC в виде: M — ваши сервисы, V — этот модуль и C — Nginx.
Читать дальше →
Total votes 65: ↑61 and ↓4 +57
Views 3.1K
Comments 72

Введение в OpenCL

High performance *
Эта статья посвящена основам программирования на OpenCl. OpenCl -это язык программирования на GPU/CPU, по своей структуре близкий к стандарту c99. Его развитием занимается Khronos Group, где на их сайте доступна полная документация. Во избежание полемики на тему «ну это же всё тривиально, достаточно покопаться в инете» сразу оговорюсь: в рунете информация на эту тематику практически полностью отсутствует, а в западном инете доступна весьма в разрозненном состоянии на десятке сайтов. Здесь будет приведена некоторая компиляция базовых принципов, максимально упрощающая начинающему программисту жизнь, а так же позволяющая с самого первого проекта максимально задействовать вычислительные мощности видеокарты. Людям написавшим 2-3 серьёзных программы на OpenCl это будет уже неинтересно. Статья в некотором смысле является продолжением моей прошлой статьи.
Читать дальше →
Total votes 47: ↑46 and ↓1 +45
Views 49K
Comments 26

На выставке SIGGRAPH 2011 рабочая станция HP Z800 одновременно обрабатывала 12 потоков Full HD видео

Working with video *


Конечно, такой результат сама по себе рабочая станция HP Z800 показать не могла. В самом деле, даже очень мощный ПК вряд ли сможет обрабатывать одновременно 12 потоков несжатого Full HD видео, да еще и с цветокоррекцией. Все это стало возможным благодаря объединению сил (и наработок) компаний Fusion-io, NVIDIA, Thinkbox Software и Tweak Software, создавшими творческий тандем специально для выставки SIGGRAPH 2011. Разработчики оснастили HP Z800 видеоускорителем NVIDIA Quadro Plex7000 а также твердотельными накопителями ioDrive Duos (стандарт PCI Express ioMemory).

Читать дальше →
Total votes 2: ↑2 and ↓0 +2
Views 749
Comments 0

Disruptor — новая парадигма многопоточного программирования

High performance *
На прошлой неделе компания LMAX, где я работаю, получила приз Java Duke's Choice Award 2011 за фреймворк Disruptor. Ранее об этой технологии писал Martin Fowler, известный многим читателям публикациями об объектном программировании.

В этой статье я хотела бы вкратце рассказать об этой технологии, а так же о конкретной проблеме, которую эта технология решает в компании LMAX.

Читать дальше →
Total votes 33: ↑26 and ↓7 +19
Views 30K
Comments 25

AzaThread — многопоточность для PHP с блэкджеком

PHP *
В сети гуляет довольно много решений для эмуляции многопоточности в php. Чаще всего они основываются на форках, но есть и вариации на тему с использованием curl, proc_open и т.п.

Все встреченные варианты по тем или иным причинам меня не устроили и пришлось написать свое решение.
Набор требований у меня был следующий:
  • Использование форков;
  • Синхронный режим с сохранением интерфейса при отсутствии необходимых расширений;
  • Многократное использование дочерних процессов;
  • Полноценный обмен данными между процессами. Т.е. запуск с аргументами и получение результата по завершении;
  • Возможность обмена событиями между дочерним процессом-«потоком» и основным процессом во время работы;
  • Работа с пулом потоков с сохранением многократного использования, передачи аргументов и получения результатов;
  • Обработка ошибок выполнения;
  • Таймауты на выполнение работы, ожидание работы потоком, инициализацию;
  • Максимум производительности;

В результате получилась библиотека AzaThread (старое название — CThread).
Подробности
Total votes 156: ↑146 and ↓10 +136
Views 17K
Comments 66

В IBM говорят, что готовы создавать квантовые компьютеры

IBM corporate blog High performance *
Традиционные компьютерные системы, у истока которых стояла IBM, основаны на логических элементах, которые могут находиться одновременно в только в одном состоянии, трактуемом, например, как «0» или «1». Будущее компьютеров — квантовые вычисления (идея квантового компьютера была предложена ещё в 1980 году советским математиком Ю. И. Маниным) — основано на квантовых битах (кубитах), которые могут одновременно (см. кот Шрёдингера) находиться в состояниях «0» и «1»; это их свойство получило название "суперпозиции". Таким образом, компьютерная система из двух кубитов может осуществить четыре вычисления одновременно, из трёх кубитов — восемь вычислений и т.д. Вообще, при увеличении количества кубитов вычислительная способность компьютера будет возрастать экспоненциально.

Длительное время исследователи IBM работали над проблемой квантовой декогерентности — возникновения ошибок в вычислениях, вызванных влиянием таких факторов, как тепло, электромагнитное излучение, дефекты материалов т.д. Сейчас же инженеры достигли такого уровня производительности и стабильности квантовых устройств, который является минимально необходимым для реализации действующего квантового компьютера.

Главным направлением работы было увеличение временного периода, когда у кубита возможно длительное время сохранять его квантово-механические свойства при помощи экспериментирования с химической чистотой полупроводниковых элементов. По словам одного из учёных IBM, участвующих в проекте квантового компьютера, Матиаса Стеффена (Matthias Steffen), уже сейчас квантовые вычисления перестают быть лишь объектом лабораторных исследований.

Узнать подробности
Total votes 73: ↑65 and ↓8 +57
Views 5.1K
Comments 109

Балансировка статических файлов средствами nginx

Nginx *
Представим, что у нас есть приложение/сайт с достаточно высокой нагрузкой.

Многие разработчики приложений для «ВК» или «Одноклассников» сталкивались с ситуацией, когда приложение выходит в топ новых приложений и на вас сваливается огромнейшая нагрузка.
Допустим, в процессе обращения клиента к серверу, генерируется картинка. Серверов у нас много. Каким образом клиенту отдать эту картинку, если у вас нет единой файловой системы и файлы не синхронизируются между серверами?

Как поступить, когда на сервер ежесекундно приходит большое количество народу? Ответ прост — nginx.

Читать дальше →
Total votes 49: ↑37 and ↓12 +25
Views 26K
Comments 19

Тянет — потянет, вытянуть не может…

Cognitive Technologies corporate blog Website development *.NET *
Recovery mode
Мне, как человеку по долгу службы связанному с разработкой новой системы, часто задают один и тот же вопрос: «Сколько пользователей система тянет?». Очень неудобный вопрос, не правда ли? Мне всегда сначала хочется поупражняется в остроумии, и включить модель поведения «вредного админа»: задать несколько встречных вопросов, которые избавят меня на время от необходимости думать на эту непростую, но интересную тему:
• На какой конфигурации железа?
• Сколько времени должно «тянуть»?
• На каком начальном объеме данных?
Ну и контрольный выстрел: а что значит «тянет»?
Но, хочешь не хочешь, а отвечать надо. Об одном нелёгком поиске ответа на этот вопрос мой нижеследующий пост.
Читать дальше →
Total votes 9: ↑6 and ↓3 +3
Views 7.5K
Comments 0

Бесплатного супа больше не будет

Programming *
Фундаментальный поворот к параллелизму в программировании

Автор: Герб Саттер
Перевод: Александр Качанов

The Free Lunch Is Over: A Fundamental Turn Toward Concurrency in Software
(By Herb Sutter)

Ссылка на оригинал статьи: www.gotw.ca/publications/concurrency-ddj.htm

Примечание переводчика: В данной статье дается обзор современных тенденций развития процессоров, а также, что именно эти тенденции значат для нас — программистов. Автор считает, что тенденции эти имеют фундаментальное значение, и что каждому современному программисту придется кое в чем переучиваться, чтобы не отстать от жизни.

Данная статья достаточно старая. Ей уже 7 лет, если считать с момента ее первой публикации в начале 2005 года. Помните об этом, когда будете читать перевод, так как многие вещи, которые для вас уже стали привычными, для автора статьи в 2005 году были в новинку и только-только появлялись.

Читать дальше →
Total votes 122: ↑113 and ↓9 +104
Views 16K
Comments 81

Адронный коллайдер, десятибалльный ветер и коммутаторы

Dell Technologies corporate blog High performance *
На Хабре было уже достаточно много топиков на тему ЦОД и вычислительных кластеров, но интересно ли Вам, на каком оборудовании работает гигант facebook или, например, Московский Internet Exchange? Что лежит в основе СКИФ—МГУ «Чебышёв» и какие «железки» в своей сети использует Большой адронный коллайдер? Добро пожаловать под кат, как говорится!

Осторожно! Много картинок и текста.
Читать дальше →
Total votes 31: ↑20 and ↓11 +9
Views 18K
Comments 60

Первые шаги с OpenCL или сказ о том как одинаковый код на GPU и CPU запускать

High performance *Programming *GPGPU *
Итак, прошел почти год с момента моего первого поста о программировании видеокарт и страшилок о том, как это все сложно. Теперь настала пора показать, что все не так плохо и как пользоваться этой странной штукой по имени OpenCL, да еще и использовать его главное преимущество, то есть возможность запускать один и тот же код на разных девайсах. А еще я покажу как можно получить на порядок большую производительность обычного процессора практически бесплатно.
За деталями под кат...
Total votes 57: ↑54 and ↓3 +51
Views 52K
Comments 21

Первая опытно-промышленная партия отечественных мультиклеточных процессоров MCp

High performance *System Programming *
Я понимаю, конечно, что Сколково, гос-корпорации, непонятное название, много псевдонаучного PR по поводу этих самых клеток и прочие негативные коннотации имеют место быть, но партия процессоров изготовлена. Их даже можно потрогать руками и посетовать на кривые ножки :) в новости на картинке не фотошоп — на сайте разработчиков и в прокремлёвской газете (не, ну мне самому стыдно, однако… против факта не попрёшь).

Погордиться отечественной электроникой
Total votes 124: ↑118 and ↓6 +112
Views 7.3K
Comments 115

15 миллионов страниц в сутки. Результаты нагрузочного тестирования .NET Forge CMS в облаке Windows Azure и на Windows Server

Microsoft corporate blog High performance *


Интересные результаты получены при нагрузочном тестировании системы управления контентом .NET Forge CMS в облачном окружении Windows Azure и на серверах Windows Server. Подготовку методики тестирования, проведение нагрузочных тестов и анализ данных проводила компания «ГАЛС Софт» на оборудовании хостинг-провайдера Infobox. Тестирование проходило при участии российского отделения Microsoft.

В тестировании исследовались возможности следующих редакций .NET Forge CMS:

  • Community-редакция: бесплатная редакция с широкими возможностями для создания сайтов сообществ, блогов, персональных сайтов и других типов решений;
  • Бизнес-редакция для создания интернет-магазинов, сайтов с высокой нагрузкой, для которых критически важны вопросы масштабирования, отказоустойчивости и безопасности;
  • Веб-кластер создания интернет-магазинов, сайтов с высокой нагрузкой, включающая поддержку платформы Windows Azure и Web Farm.

Читать дальше →
Total votes 30: ↑19 and ↓11 +8
Views 6.1K
Comments 29