Comments 3
Минусы:
Я бы добавил, что файлы в памяти дают широкие возможности для использования, но скрывают детали реализации, что позволяет писать очень неэффективно работающий код.
Такие вещи можно отловить только целенпарвленным тестированием. Пока файл влезает в пямять целиком - всё будет работать очень быстро. А потом уже очень сильно зависит от кода.
Важно отметить! Размер чанка (chunk_size) может влиять на производительность. Слишком маленький размер может привести к избыточным операциям ввода-вывода, а слишком большой — к неэффективному использованию памяти. Оптимальный размер зависит от конкретного случая и может потребовать экспериментов
Там внутри тоже есть буферизация. https://docs.python.org/3/library/functions.html#open
Так что read(1) не проблема, если буфера большие.
Работа с большими файлами в Python