Конечно, заголовок этого поста выглядит немного риторическим. Потому, что:
1) Нет методик и метрик оценки, которые признаны всеми игроками рынка (какие есть в автомобильном бизнесе, компьютерном железе или в спорте). Это главная проблема обеспечения достоверности и адекватности результатов тестов. Но она успешно решается отраслью по мере ее взросления.
2) C проблемой холиваров все сложнее. CMS — это платформы, а платформы (даже сугубо технические) — самые фундаменталистские, консервативные и религиозные понятия человеческой культуры. Потому что за каждой технологической или духовной платформой стоят живые люди, ее приверженцы. А люди воспринимают мир немного по-разному, через призму ценностей своей платформы (православие-протестантизм, патриоты-либералы, iOS-Android, процедурное программирование-ООП, спагетти-код в шаблонах-MVC и тп).
Поэтому везде, где появится попытка сравнения платформ, автоматически начнется холивар. Многие люди просто отказываются воспринимать доводы, противоречащие догмам, ценностям и представлениям их платформы. Ни один разумный исследователь сегодня не рискнет публиковать сравнительный тест Библии и Корана на основе мнений студентов факультета богословия.
Тем не менее, корректно сравнивать CMS можно, просто это сильно дороже и сложнее, чем дать лабораторку нескольким студентам. Вопрос достоверности в методике, метриках, условиях тестирования, судьях и признании большинством профессионалов рынка. Причем, в случае адекватных по методике исследований их холиварность сильно снижается – даже упертым фанатикам труднее спорить с четкими и доказанными фактами.
После всего, что было понаписано
тут и
тут, я не могу не предложить вниманию сообщества свое видение методик сравнения и выбора платформ разработки, которое поддержали многие коллеги по рынку.