sahsAGU Oct 24 2018 at 10:00

System.IO.Pipelines: высокоэффективный IO в .NET

12 min

27K

Microsoft corporate blog.NET*C#*Programming*

Translation

+25

Comments 17

vpman Oct 24 2018 at 12:12

Здорово! Неделю назад делал свой «велосипед», не зная про эту библиотеку.
Оказывается все уже изобретено. Спасибо переводчику!

KohrAhr Oct 24 2018 at 13:24

Добрый день,

А если я хочу передать текстовый файл длиной 10 MByte? Как быть в этом случае? Я не хочу на принимающей стороне (сервер) делать модуль который будет аккумулировать части сообщений и затем собирать их в одно большое сообщение. Спасибо!

dotnetdonik Oct 27 2018 at 08:05

Возьмите готовый веб сервер с байндингом на какой-то из файловых типов. Задача описанная в статье и предложенный апи немного более низкоуровневая и описанный инструмент так же вернёт вам готовый файл, только сделает это создавая меньше нагрузки на gc при возможности.

AlexZyl Oct 24 2018 at 22:47

обеспечивающие бесперебойные асинхронные операции без распределения

Что-что, простите?

wlbm_onizuka Oct 25 2018 at 10:37

без аллокаций памяти

AlexZyl Oct 25 2018 at 11:38

Вот это и стало понятно только из оригинала статьи. Поэтому я поддержу товарища kekekeks с его комментарием к предыдущей статье касательно перевода.

wlbm_onizuka Oct 26 2018 at 19:17

аллокацию довольно часто называют распределением, думаю можно считать устоявшимся термином., просто как-то мимо вас прошло)

AlexZyl Oct 26 2018 at 21:14

А можно пример где так называют? И вы точно не путаете с «выделением»?
Ибо пока что отдает гугл-транслейтом

wlbm_onizuka Oct 27 2018 at 16:41

погуглите «распределение памяти memory allocation», найдется куча всего подряд с первых мест

gdt Nov 28 2018 at 04:54

Всё-таки allocation = выделение в этом контексте. Вот смотрите, вам нужен кусок памяти, вы его себе распределите, или же выделите?

xystarcha Oct 25 2018 at 21:35

Ну наконец-то какой-то конвейер с backpressure.
Может, теперь reactor .net доделают, и можно будет возвращаться на .net :)

mayorovp Oct 29 2018 at 11:17

А чем вас не устраивали вот эти?

TPL Dataflow
Rx.NET (System.Reactive) — правда, тут backpressure только синхронный
Akka.NET Streams

dotnetdonik Oct 31 2018 at 01:36

Могу ошибаться, но в rx вроде как нет backpressure вообще — простой producer/consumer. В data flow ещё есть bounded buffer, но там на клиенте надо делать все — исходя из результата post. А в pipelines backpressure сделан внутри самой либы и flush блочит producer’a.

mayorovp Oct 31 2018 at 07:55

В rx можно получить backpressure в некоторых операторах, если не возвращать управление из OnNext.

Кстати, вот еще одна библиотека: System. Threading.Channels

dotnetdonik Oct 31 2018 at 10:05

По поводу rx это врядли можно считать поддержкой backpressure т.к имплементируешь сам. По поводу channels — оно вроде как ещё очень далеко от production ready функционала. Все эти вещи впринципе можно сделать на Blocking Collection из коробки далеко не надо ходить. Другое дело что все это не затачивалось под оптимизацию нагрузки на gc, и работу с sequence/slices потока — инструменты для разных задач будем говорить прямо.

xystarcha Nov 1 2018 at 16:56

Ну, про Rx тут уже сказали, а Akka слишком тяжеловесна для массового inproc (да, у нас есть немного Акки inter-proc и на важных участках inproc)

timiskhakov Nov 4 2019 at 17:19

Довольно интересная библиотека на самом деле. Нашел ей применение при решении задачи, в которой нужно было очень быстро, используя как можно меньше памяти, парсить среднего размера файлы (20-40 мб) в структуры данных приложения. По итогам написал заметку о примере использования, может, кому-нибудь пригодится: timiskhakov.github.io/posts/exploring-spans-and-pipelines.