All streams
Search
Write a publication
Pull to refresh
4
0
Мартынов Максим @dolfinus

Швец, жнец, на Python'е игрец

Send message

Зачем тащить джангу, если можно использовать Airflow? Его сейчас практически каждый DE знает

Насколько сильно проседает производительность по сравнению с обычным Spark?

Нет, для того, чтобы 22 считался ключом, после двоеточия должен быть пробел

Какова вероятность что на сайте окажется кто-то младше 8 лет и введет свой день рождения честно, при этом будет заинтересован в самом сайте?

Я когда-то при регистрации на PayPal указал, что мне 18 (хотя было 16). Десять лет спустя они требуют предоставить скан паспорта для продолжения возможности пользоваться аккаунтом, я его загружаю, и меня через несколько месяцев банят за нарушение правил, навсегда. Просто успех :)

Это в каком банке вклады под 21 процент?

Недавно наткнулся на статью, где автор не только сталкивался с разной частотой ядер, но ещё и с тем, что у некоторых P ядер частота заметно колебалась, внося значительный шум (~25%) в результаты бенчмарков:

https://sillycross.github.io/2022/06/11/2022-06-11/

Не, squash всех слоев в образе с приложением полностью ломает кэширование.

А squash только одного слоя (который к тому же можно сделать отдельным образом) все ещё даёт возможность использовать кэш, правда только при сборке на том же хосте, где собиралась предыдущая версия образа

А чем здесь поможет btrfs?

В целом, можно взять образ на основе Debian slim, применить скрипт выше, и с помощью multistage скопировать все файлы в новый stage на базе scratch. По сути это будет тоже самое, что слить все правки в один слой. А поверх него уже собирать образ с приложением.

Я просто не совсем понимаю, о какой компрессии и дедупликации идёт речь. zram? KSM+copy-on-write?

Контейнеры - это обычные процессы, запущенные в своих изолированных namespace (pid, network, fs, etc). Все, что работает для процессов на хосте, работает и для процессов в контейнерах.

В документации есть примеры замены разделителя, и также отключения этой функции

python-benedict

Какой-то комбайн. Ладно бы он просто упрощал работу с dict, но в либу ещё зачем-то встроили магию в виде парсинга и экспорт в ini/yaml/xsl/etc, чтение данных из http/s3.

Речь об оперативной памяти?

Отдельно стоит выделить, что при использовании Docker-compose контейнеры подключаются к единой создаваемой сети, и все контейнеры доступны друг для друга.

Да, но в пределах текущего проекта. Разные проекты не имеют доступа друг к другу, если явно это не разрешить через подключение к external network.

Даже 5-минутное видео на Ютубе содержит больше полезной информации:

Кто-то реально использует DVC? Сколько видел советов его использования, но ни один знакомых мне дата саентистов им не пользуется.

У Sonar есть локальный клиент sonar-scanner, который получает у сервера проверки и проверяет по ним код, отправляя обратно на сервер результаты. Так что технически он хоть и работает локально, все равно ему нужен сервер для работы.

Рекомендую использовать линтеры, они гораздо проще монструозного сонара и запускаются локально с локальным же конфигом. И не важно, где их запускать - в консоли, IDE или CI, поведение одно и тоже.

Information

Rating
Does not participate
Location
Москва, Москва и Московская обл., Россия
Works in
Date of birth
Registered
Activity