k0rsakov Jul 6 at 08:36

Инфраструктура для data engineer S3

Easy

4 min

1.9K

Data Mining*Big Data*Data storage*Data storages*Data Engineering*

Tutorial

Comments 14

temadiary Jul 6 at 08:45

так какие зависимости?
из команды установки сложно разобраться какие именно package's нужны

pip install -r requirements.txt

k0rsakov Jul 6 at 09:07

minio==7.2.7
pandas==2.2.2
fsspec==2024.6.1
s3fs==2024.6.1

vanzhiganov Jul 7 at 02:10

Вот же полный список зависимостей:

aiobotocore==2.13.1
aiohttp==3.9.5
aioitertools==0.11.0
aiosignal==1.3.1
argon2-cffi==23.1.0
argon2-cffi-bindings==21.2.0
attrs==23.2.0
botocore==1.34.131
certifi==2024.7.4
cffi==1.16.0
frozenlist==1.4.1
fsspec==2024.6.1
idna==3.7
jmespath==1.0.1
minio==7.2.7
multidict==6.0.5
numpy==2.0.0
pandas==2.2.2
pycparser==2.22
pycryptodome==3.20.0
python-dateutil==2.9.0.post0
pytz==2024.1
s3fs==2024.6.1
six==1.16.0
typing_extensions==4.12.2
tzdata==2024.1
urllib3==2.2.2
wrapt==1.16.0
yarl==1.9.4

temadiary Jul 6 at 08:51

не ясно почему выбраны и для чего те или иные пакеты
на веру? ну такое, всё равно что копипастить с SO

k0rsakov Jul 6 at 09:08

minio – нужен для общения с Minio
pandas – для чтения удаленного .csv и удобной работы с ним
fsspec – необходимый пакет для записи в S3
s3fs – необходимый пакет для записи в S3

INCorpes Jul 18 at 00:56

Не уверен слышали ли Вы про boto3, но именно он рекомендуется для работы с сервисами AWS. Примеры можно найти в официальной документации на любой вкус.

k0rsakov Jul 19 at 11:22

Слышал. Но это демонстрация и не более. Если у сервиса есть своё API, то почему бы его и не использовать?

lair Jul 6 at 16:05

S3 (Simple Storage Service) — протокол передачи данных, разработанный компанией Amazon. Также — объектное хранилище.

Вообще-то, это сервис, предлагаемый Amazon (даже из названия - Simple Storage Service - это следует). MinIO - это имитация амазоновского сервиса, которая поддерживает тот же протокол, чтобы было проще заменять одно на другое. При этом внутренняя функциональность у них не обязана быть одинаковой.

Ну а то, что вы для работы с S3 используете пакет MinIO, лишний раз показывает, что вы не понимаете, кто на ком стоял, и зачем это на самом деле нужно.

lev Jul 6 at 16:32

Тоже немного позанудствую - никакого path в s3 нет, есть понятие key, который может выглядеть как '0/1/path/to/file.txt'

https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-keys.html

lair Jul 6 at 16:51

...и использование /, афаик,только конвенция, и штатный апи позволяет при запросе списка объектов бить по разным сепараторам.

k0rsakov Jul 19 at 11:24

path/key – это просто терминология, которая используется внутри команды. Не проблема говорить и Key.

Всё зависит от команды, потому что некоторые могут это воспринять как key-value хранилище, которое таковым не является.

Но спасибо, что об этом упомянули, я считаю, что это важно для читателя.

lair Jul 19 at 14:38

Всё зависит от команды, потому что некоторые могут это воспринять как key-value хранилище, которое таковым не является.

Да нет, вполне себе является.

k0rsakov Jul 19 at 11:23

Я тут и не говорил, что Minio является отцом всех отцов. Спасибо, что упомянули про AWS. Я думаю, что читателям это будет полезно.

Minio – это LikeS3, да, но это Open Source и использовался для демо, для туториала, для новичков, что отмечено в заголовке статьи.

lair Jul 19 at 14:37

То, что это туториал для новичков, только увеличивает вашу ответственность давать корректные описания всего.