Дело в том что у меня есть опыт разработки комбинирования конкуреной и многопроцессорной архитектуры. Собственно сбор данных для ETL порядка 2ТБ ежесуточно.
Вопросов к anyio не возникало, но хорошо и надежно нагрузить все ядра так и не удалось, нет-нет раз в неделю все подписало. В итоге переделал все на GO как итог скорость почти в 5 раз возросла и проблемы ушли.
Но вот ETL, он на другом сотруднике, остаётся на базовом питоне. И тут было бы неплохо нам расшить. Вот я и подумал может есть опыт )
Дело в том что у меня есть опыт разработки комбинирования конкуреной и многопроцессорной архитектуры. Собственно сбор данных для ETL порядка 2ТБ ежесуточно.
Вопросов к anyio не возникало, но хорошо и надежно нагрузить все ядра так и не удалось, нет-нет раз в неделю все подписало. В итоге переделал все на GO как итог скорость почти в 5 раз возросла и проблемы ушли.
Но вот ETL, он на другом сотруднике, остаётся на базовом питоне. И тут было бы неплохо нам расшить. Вот я и подумал может есть опыт )
Сеейчас с телефона сложновато детально смотреть код. А что насчёт загрузки ВСЕХ процессорных ядер? Или предполагается поднимать копии скриптов?