Попробуйте собрать токенизатор на 256, не на текстовом корпусе а на его словаре (чтобы размер токенов был по мельче) с токенизатором модель сильно дольше сходиться, но по качеству с subsampling x4 намного лучше букв.
Есть пару вопросов по архитектуре: Почему решили делать модель на буквах, а не использовали токенизатор? Не кажется ли разрешение melspec 64, слишком низким для шумного звука?
"К сожалению, драйверы NVIDIA под Linux не поддерживают понижение напряжения. Поэтому единственным вариантом остается понижение лимита мощности (power limit)."
Можно снизить напряжение так: nvidia-settings -a /GPUGraphicsClockOffsetAllPerformanceLevels=100
Забыл упомянуть, что на X99-F8D как и на X99-T8D vrm второго процессора, который рядом с панелью выводов без колхоза на нем охлаждения закипает с разблокированным Xeon E5 2678v3. Это можно заметить по тому, что материнка выкручивает обороты cpu_fan на максимум, хотя температура самих CPU в пределах нормы, а также сбрасывает частоты процессора. С разблокированными Xeon E5 2696v3 не помогает даже приколхоженый к vrm вентилятор. Поэтому для 2х процессорных систем лучше Xeon E5v4. Да и к тому же Xeon E5 2696v4 быстрее, чем разблокированный Xeon E5 2696v3. Была до этого сборка с X99-F8D и Xeon E5 2696v3.
Во-первых хотелось восьми канальную память и серверный чипсет, на однопроцессорных платах Китайцы часто его от декстопа лепят.
Во вторых много разъемов pci-e и nvme, с большим количеством выделенных на них линий, потому что часть слотов относиться к первому процессору, а часть ко второму. Есть планы добавить еще карт и накопителей.
Попробуйте собрать токенизатор на 256, не на текстовом корпусе а на его словаре (чтобы размер токенов был по мельче) с токенизатором модель сильно дольше сходиться, но по качеству с subsampling x4 намного лучше букв.
Отличная статья!
Есть пару вопросов по архитектуре:
Почему решили делать модель на буквах, а не использовали токенизатор?
Не кажется ли разрешение melspec 64, слишком низким для шумного звука?
Закроется ли крышка с 5090 в корпусе 4u с угловым переходником питания?
Да, так и есть, карта будет упираться в максимальные частоты.
Забыл добавить что вместе с этим можно зафиксировать максимальные частоты:
nvidia-smi -pm 1
nvidia-smi -lgc 100, 2000
"К сожалению, драйверы NVIDIA под Linux не поддерживают понижение напряжения. Поэтому единственным вариантом остается понижение лимита мощности (power limit)."
Можно снизить напряжение так:
nvidia-settings -a /GPUGraphicsClockOffsetAllPerformanceLevels=100
Забыл упомянуть, что на X99-F8D как и на X99-T8D vrm второго процессора, который рядом с панелью выводов без колхоза на нем охлаждения закипает с разблокированным Xeon E5 2678v3.
Это можно заметить по тому, что материнка выкручивает обороты cpu_fan на максимум, хотя температура самих CPU в пределах нормы, а также сбрасывает частоты процессора.
С разблокированными Xeon E5 2696v3 не помогает даже приколхоженый к vrm вентилятор.
Поэтому для 2х процессорных систем лучше Xeon E5v4. Да и к тому же Xeon E5 2696v4 быстрее, чем разблокированный Xeon E5 2696v3.
Была до этого сборка с X99-F8D и Xeon E5 2696v3.
Я думаю водяное охлаждение это хорошая идея, под нагрузкой даже пара 3060 неплохо подогревает вышестоящие процессоры.
Особенно актуально оно будет если ставить пару горячих 3090, в не турбо исполнении.
В идеальном варианте конечно собрать общий контур водяного охлаждения для карт и процессоров, но это уже совсем не бюджетно.
До этого была однопроцессорная сборка с e5-2678v3, в сравнении с ней замелил только явный прирост без просадок.
Одна карта уже была и к ней была куплена вторая такая же, в целом охлаждения им хватает больше 70 градусов не нагреваются.
Лучше брать e5v4, они существенно холоднее и немного быстрее по скорости на ядро, из недорогих Xeon e5-2650v4 за 2000 рублей вполне неплохой вариант.
Во-первых хотелось восьми канальную память и серверный чипсет, на однопроцессорных платах Китайцы часто его от декстопа лепят.
Во вторых много разъемов pci-e и nvme, с большим количеством выделенных на них линий, потому что часть слотов относиться к первому процессору, а часть ко второму. Есть планы добавить еще карт и накопителей.