Распределение вычислительной мощности между несколькими ПК

[Jury_78]

Это не похоже на python

#Запускаем проверку на наличие файлов каждую минуту
While True: 
 	Time.sleep(60)
#Получаем список файлов
files = os.listdir(directory)

к тому же цикл бесконечный...

[spacediver]

Спасибо, хороший пример бытового программирования на питоне! Этим он и хорош)

Отдельный интерес: а в чём примерно заключалась обработка и как вам удалось её автоматизировать?

[NewTechAudit]

Обрабатывались аудиозаписи во внутреннем контуре компании с помощью офлайн библиотеки vosk, были сотрудники у которых, компьютеры простаивали ночью и не знакомы с Python, поэтому решили упростить им настройку и запуск скрипта.

[thedrnic]

Никак не показано кто и как будет будет заполнять папку с файлами для обработки, а между прочим логика скрипта-менеджера, который бы распределял нагрузку на доступные машины, была бы куда интереснее.

Судя по коду, к получению файлов вы никогда не перейдёте.

While True: 
 	Time.sleep(60)
#Получаем список файлов
files = os.listdir(directory)

если это псевдо-код, то он несёт краёне малое количество полезной нагрузки.

А если линукс, то как быть или в системе может не быть мейлера, тогда как?

outlook=win32.Dispatch('outlook.application')
mail=outlook.CreateItem(0)

Может данный скрипт и закрывает ваши личные потребности, но это всё довольно легко ищется в поиске.

[nukler]

>>Судя по коду, к получению файлов вы никогда не перейдёте.

Ага, а после "files = os.listdir(directory)" обнаружится стотыщьмильенов файлов, операционка выдохнет и пойдет смотреть сколько у неё есть места для свопа. А дальше больше "for file in files:" будет медленно и уныло перебирать каждый файл загружая на 100% одно ядро 12 ядерного Intel Core i7 - 12700.
АСТАНАВИТЕСЬ!

[NewTechAudit]

При увеличении файлов можно переносить их в другую папку, либо порционно добавлять

[nukler]

Для этого был придуман os.scandir(), используйте его в работе.

https://peps.python.org/pep-0471/

[NewTechAudit]

@thedrnic Скрипт писался для Windows. Ответить не могу, но уверен есть схожий функционал и у других программ

[OptimumOption]

Я уже приготовился записывать простой рецепт универсального распараллеливания задачи и консолидации географически распределенных процессорных мощностей, но меня ждал облом... Статья ни о чем... Причем еще и заголовок не соответствует содержимому...

[stalinets]

А можно было пойти другим путём? Найти в продаже у перекупов или сборщиков китайскую двухпроцессорную материнку на сокеты 2011v3 и пару процессоров Haswell на много-много ядер и потоков, например, 2*(18c36t), и запустить обработку на этом монстре во все 72 потока. Такие компы очень любят видеомонтажёры, чтобы быстро рендерить 4k и 8k видео.

[NewTechAudit]

В условиях задачи надо быстро и на тех ресурсах что имеем.

 

[MaxiZhorin]

тут явная проблема с табуляцией цикла, он будет вечно крутить 60 сек