Comments 4
С этим всем как-то связано то, что dava.engine был убран с GitHub, примерно в тоже время?
Движок заопенсорсите? :)
Интересны подробности тестирования графики.
Мы вот имеем для теста визульного результата эталонные картинки, с которыми сравнивается результат теста. Рендер в тестах настроен на максимально повторяемый результат, чтобы не фейлить из-за рендомного сида и т.п. Но всё равно хватает различий между AMD и Nvidia, даже между разными поколениями карт одного производителя, чтобы тотальное попиксел ное сравнение не работало (речь о десктопе). В итоге имеем некоторый допуск… В итоге допуска имеем ложно позитивные тесты иногда, в итоге ошибки копятся, иногда фейля тесты на не связанных с причиной ошибки изменениях в будущем, ещё тесты которые валятся исключительно на одном агенте один раз из двух запусков, и ещё ворох геморроя :) Прибавим к этому тот факт, что не для каждого пулреквеста выполняются абсолютно все тесты, а, как замечено в статье, есть набор долгоиграющих «ночных» тестов, и получим геморрой² при поиске причины фейла.
Интересно бы узнать, как у вас дела с этим.
Недавно попалась интересная статья на эту тему: bartwronski.com/2019/08/14/how-not-to-test-graphics-algorithms/amp/?__twitter_impression=true
Но чтобы это реализовать, надо, мягко говоря, почти с нуля переписывать движок.
Мы вот имеем для теста визульного результата эталонные картинки, с которыми сравнивается результат теста. Рендер в тестах настроен на максимально повторяемый результат, чтобы не фейлить из-за рендомного сида и т.п. Но всё равно хватает различий между AMD и Nvidia, даже между разными поколениями карт одного производителя, чтобы тотальное попиксел ное сравнение не работало (речь о десктопе). В итоге имеем некоторый допуск… В итоге допуска имеем ложно позитивные тесты иногда, в итоге ошибки копятся, иногда фейля тесты на не связанных с причиной ошибки изменениях в будущем, ещё тесты которые валятся исключительно на одном агенте один раз из двух запусков, и ещё ворох геморроя :) Прибавим к этому тот факт, что не для каждого пулреквеста выполняются абсолютно все тесты, а, как замечено в статье, есть набор долгоиграющих «ночных» тестов, и получим геморрой² при поиске причины фейла.
Интересно бы узнать, как у вас дела с этим.
Недавно попалась интересная статья на эту тему: bartwronski.com/2019/08/14/how-not-to-test-graphics-algorithms/amp/?__twitter_impression=true
Но чтобы это реализовать, надо, мягко говоря, почти с нуля переписывать движок.
Sign up to leave a comment.
Как мы сделали движок и игру на нем за полтора года. Часть вторая. Инфраструктура