Извините, но в отношении вас наша политика еще проще: мы вам не отвечаем.
Все необходимые аргументы были приведены в прошлом треде, на который вы сослались.
У нас есть методика сравнения. У вас нет. То, что вы предлагаете, методикой не является. Или является неправильной методикой, это кому как удобнее.
Я вам уже сказал выше, почему «неправильно», вы просто не хотите слушать. Простой пример. Берем два теста AV-Comparatives: Retrospective/Proactive и File Detection. В первом случае награду Advanced+ (высшую по классификации исследователей) получили вендоры, показавшие результат в 84% детектов или выше. Во втором — ту же награду получают вендоры, показавшие результат в 99,3% и выше. Почему так? Тестеры учитывают особенности теста, принимают во внимание возможную погрешность. Вы же это принимать во внимание не хотите, оставив только «проценты». ОК, ваше право. Наше право дать понять, что это плохая методика.
Спасибо за качественные вопросы! Отвечать тоже будем долго :)
1)Как понял в ЛК считают чем больше наград получил АВ за последний год, тем скажем-так «круче» АВ, так?… Но мне кажется, что это в корне неправильно, во первых как тут было-уже написано в комменте, «Тесты бывают разные»
Не совсем так. Считается нормированная успешность участия во всех известных тестах. Т.е. отношение числа успешных тестов (или по TOP3 или по TOP1) к числу тестов, в которых данный вендор принял участие. Делается это именно потому, что «тесты разные». Методики разные, набор сэмплов вредоносного ПО отличается от теста к тесту и так далее. Например, в одном тесте награда присуждается за 70% детектов и более, в другом — за 95% и более. По сути, единственное, что эти тесты объединяет — это призовые места. А вот «количество наград», точнее «количество тестов, в которых вендор принял участие» служит только базой для расчетов, а не показателем эффективности того или иного продукта.
В коменте таблицу разумеется видел, но опять мало информации что за тесты, меня интересует тип тестов, т.е. сигнатурный детект, проактивная защита, или что-то ещё… Так-хоть картина будет больше видна сильных/слабых сторон АВ!
сюда же:
Но ведь если АВ например «Провалил» тест на что-то одно это-же вовсе не означает, что в комплексе он хуже другова АВ, таким образом я считаю можно сравнивать «Силу» АВ только в тестах по какой-то одной методике!
В доке все тесты расписаны, там видно что есть как общие тесты «всего продукта», так и специализированные тесты восстановления системы от активного заражения, или защиты от банковской малвары, или от ложных срабатываний и т.д. Все их можно посмотреть по отдельности на сайтах тестовых лабораторий. Но так как задача стояла сделать комплексную оценку по результатам независимых тестов, нужно было их как-то объединить. В этом есть необходимость, так как, например, те самые тесты проактивной защиты дают чисто теоретический результат. Никто не будет специально отключать половину защитных функций на рабочей системе. Это не является моделью работы реального продукта в реальных условиях. Таких нюансов много. То есть тестовые лаборатории создают модель реального мира, в котором защитное ПО борется с вредоносными программами. У них неплохо получается, но это никогда не 100% точная модель. Из-за этого даже тесты по «одной методике» сложно сравнивать между собой. Поэтому мы поднялись на уровень выше.
3)Непонятно как происходит оценка «Воровства детекта» в тестах и вообще происходит-ли такая оценка.
«Воровство детекта» — это реально существующая проблема, но она не выявляется в тестах. Пример, собственно, вы сами и привели. Опять же, если какой-то вендор что-то «накрутил», то в паре тестов он получит неплохой результат, но в других тестах неминуемо проиграет.
4)Ну и четвёртое, вот мне интересно, а кому больше нужны все эти тесты, антивирусным компаниям, или пользователям (Т.е. потенциальным покупателям АВ)?… Но ведь покупатель не будет разбираться что за тесты, что даже за организация проводила тест и как?… Или всё-же я что-то непонимаю и результаты тестов как-то могут повлиять на продажу топовых АВ прежде всего?
Покупатель разбирается так, как считает нужным, мы можем только что-то рекомендовать. Кому-то важно оценить все детали, кому-то — чтобы техподдержка по телефону отвечала, кто-то еще какими-то другими доводами руководствуется. Важнее всего то, что работа тестовых лабораторий — это единственный независимый источник информации об эффективности работы защитного ПО. У нас к этому «источнику» тоже иногда бывает немало претензий, но суть от этого не меняется.
Мы достигли очень хорошего результата в независимых тестах в целом, за счет новых технологий, более эффективной работы вирусных аналитиков и других мер. Результатом очень гордимся, и планируем продолжать в том же духе. Поможет ли это продажам? Посмотрим :) Как я уже говорил, тесты отчасти отражают реальную жизнь, а значит высокие результаты в них конвертируются в бОльшее количество людей, которые довольны продуктом. Независимо от того, знают они о независимых тестах или нет.
«Слабо верится в то, что кто-либо будет указывать факт «спонсорства» в результатах теста»
Там где спонсорство есть, это указывается. Пример: ссылка, цитата:
This assessment was commissioned and sponsored by Kaspersky Lab to serve as an independent efficacy
assessment of its Kaspersky Endpoint Security (KES) for Windows product and it’s Automatic Exploit
Prevention (AEP) module.
Кажется с вашим «не по наслышке знаю» стало все понятно.
Вы путаете регулярные тесты с исследованиями по заказу какой-либо компании. На первых строится репутация независимых тестировщиков, им самим невыгодно играть в чью-то пользу. Вторые как правило делаются потому, что набор стандартных тестов не покрывает все возможности защитного ПО, и вендор хочет исследовать конкретную фичу. Сам факт «спонсорства» в таком случае всегда указывается, хотя конечный результат заказчик также не контролирует.
Не могу сказать, что делают маркетологи у конкурентов :) Cамо по себе количество тестов много пользы не принесет, но оно используется для подсчета важного параметра — доли тестов, в которых вендор победил или занял призовые места. А вообще есть два типа вендоров: те, кто участвует в тестах «за награду» и те, кто использует независимые тесты вместе с собственными, чтобы действительно что-то изменить в продукте к лучшему.
Ключевых характеристик в принципе немного — эффективность детектирования и блокирования угроз, количество ложных срабатываний, производительность. Только вот подход к измерению этих характеристик у всех лабораторий разный. Исследуются разные типы угроз (например, распространенные, самые свежие, все подряд или соответствующие определенному вектору угроз, как то банковская малвара, эксплойты, трояны итд), в разных условиях. Производительность измеряют в разных сценариях, так или иначе моделирующих поведение обычного пользователя.
Подготовиться к этому — в смысле что-то поменять в продукте под соответствующую методику теста — ну, теоретически можно. Правда сами лаборатории таких читеров (будем говорить прямо) обнаруживают и исключают из тестов надолго (были преценденты с довольно известными вендорами). Единственный разумный способ повлиять по результатам — это аргументированно оспорить предварительные результаты, если обнаруживаются ошибки теста. Например, если регистрируется ложное срабатывание на какую-то программу, лаборатория считает ее легитимной, а мы — вредоносной (той же адварью, например). Либо если зачтен пропуск, хотя даже логи продукта указывают на то, что вредоносная программа была обнаружена и удалена.
Исследовательские лаборатории как правило весьма детально расписывают свою методику: что и как тестировали, при каких настройках программ итд. Пример для лаборатории AV-Comparatives. Общие описания тестов здесь: www.av-comparatives.org/comparatives-reviews/ Далее по ссылкам более подробные описания методик, самые подробные — в начале каждого отчета.
И снова здравствуйте :) Цифры по нашей методике по основным вендорам (включая упомянутые вами) есть в доке (вот она).
График по вашему заказу нарисовать невозможно, так как «проценты» везде разные — где-то по детектам, где-то по производительности. Отличаются методики тестирования даже в тестах одной Лаборатории (динамическое, real-world, статическое, reactive & proactive и еще много разных других). Как это объединять? Мы свой вариант объединения предложили: частота участия в тестах, попадание в тройку лидеров, количество побед.
ОК, вашу методику я понял. С ней не согласен, но как минимум в ней есть логика и смысл.
«1,9% в одном тесте» это не показатель. Наш подход: измерять производительность по совокупности всех тестов всех доверенных независимых лабораторий (есть даже организация соответствующая, следящая за честным подходом к тестированию: www.amtso.org/). Подробнее напишем в понедельник, там видимо и продолжим.
Вы же понимаете, что вам будет трудно меня переубедить? :)
Нет, не ок. Смотрите что получается. Вы говорите: «Есть тест Real-World, я считаю, что он самый главный, поэтому буду оценивать показатели только в нем, на false positives обращать внимания не буду, а 2% разницы в детекте посчитаю несущественной, и еще мысленно заменю продукт, который тестировали на тот, который мне хочется». И делаете вывод.
Я говорю: «Есть много разных тестов, Real-World очень крутой, но не единственный. Это все равно, что оценивать производительность компьютера только по скорости чтения с жесткого диска. Нужно оценивать много разных тестов в совокупности. По ним между нами и бесплатными продуктами, а также между нами и большинством наших конкурентов с коммерческим ПО, есть отрыв, который заметен и важен с точки зрения реальной защиты данных пользователей».
Я тоже не хочу вас обязательно переубедить. Важно то, что наша дискуссия из пяти комментов имеет на порядок больше ценности и полезной информации, чем весь пост выше.
Ложные срабатывания традиционно оцениваются (не нами), как очень плохой результат, за это снимают много баллов. В любом случае важна интерпретация. Можно взять показания Real-World теста одной лаборатории, посчитать самостоятельно все цифры и сделать выводы. Наш подход: оценивать много разных тестов комплексно.
Кстати, у AV-Comparatives тот же подход. В сводном отчете за 2014 год Avira выглядит неплохо, но у нас результат лучше: награды в 8 тестах против шести, стабильные показатели в целом.
И наконец. В годовом отчете ясно написано, что исследовался Avira Antivirus Pro. То есть платный продукт.
https://www.facebook.com/kaspercareer/
Плюс будет в нашем ютюб-канале.
https://www.youtube.com/user/KasperskyChannelRU
Все необходимые аргументы были приведены в прошлом треде, на который вы сослались.
У нас есть методика сравнения. У вас нет. То, что вы предлагаете, методикой не является. Или является неправильной методикой, это кому как удобнее.
Яндекс — вполне нормальный такой довесок к бесплатной софтине, нет?
1)Как понял в ЛК считают чем больше наград получил АВ за последний год, тем скажем-так «круче» АВ, так?… Но мне кажется, что это в корне неправильно, во первых как тут было-уже написано в комменте, «Тесты бывают разные»
Не совсем так. Считается нормированная успешность участия во всех известных тестах. Т.е. отношение числа успешных тестов (или по TOP3 или по TOP1) к числу тестов, в которых данный вендор принял участие. Делается это именно потому, что «тесты разные». Методики разные, набор сэмплов вредоносного ПО отличается от теста к тесту и так далее. Например, в одном тесте награда присуждается за 70% детектов и более, в другом — за 95% и более. По сути, единственное, что эти тесты объединяет — это призовые места. А вот «количество наград», точнее «количество тестов, в которых вендор принял участие» служит только базой для расчетов, а не показателем эффективности того или иного продукта.
В коменте таблицу разумеется видел, но опять мало информации что за тесты, меня интересует тип тестов, т.е. сигнатурный детект, проактивная защита, или что-то ещё… Так-хоть картина будет больше видна сильных/слабых сторон АВ!
сюда же:
Но ведь если АВ например «Провалил» тест на что-то одно это-же вовсе не означает, что в комплексе он хуже другова АВ, таким образом я считаю можно сравнивать «Силу» АВ только в тестах по какой-то одной методике!
В доке все тесты расписаны, там видно что есть как общие тесты «всего продукта», так и специализированные тесты восстановления системы от активного заражения, или защиты от банковской малвары, или от ложных срабатываний и т.д. Все их можно посмотреть по отдельности на сайтах тестовых лабораторий. Но так как задача стояла сделать комплексную оценку по результатам независимых тестов, нужно было их как-то объединить. В этом есть необходимость, так как, например, те самые тесты проактивной защиты дают чисто теоретический результат. Никто не будет специально отключать половину защитных функций на рабочей системе. Это не является моделью работы реального продукта в реальных условиях. Таких нюансов много. То есть тестовые лаборатории создают модель реального мира, в котором защитное ПО борется с вредоносными программами. У них неплохо получается, но это никогда не 100% точная модель. Из-за этого даже тесты по «одной методике» сложно сравнивать между собой. Поэтому мы поднялись на уровень выше.
3)Непонятно как происходит оценка «Воровства детекта» в тестах и вообще происходит-ли такая оценка.
«Воровство детекта» — это реально существующая проблема, но она не выявляется в тестах. Пример, собственно, вы сами и привели. Опять же, если какой-то вендор что-то «накрутил», то в паре тестов он получит неплохой результат, но в других тестах неминуемо проиграет.
4)Ну и четвёртое, вот мне интересно, а кому больше нужны все эти тесты, антивирусным компаниям, или пользователям (Т.е. потенциальным покупателям АВ)?… Но ведь покупатель не будет разбираться что за тесты, что даже за организация проводила тест и как?… Или всё-же я что-то непонимаю и результаты тестов как-то могут повлиять на продажу топовых АВ прежде всего?
Покупатель разбирается так, как считает нужным, мы можем только что-то рекомендовать. Кому-то важно оценить все детали, кому-то — чтобы техподдержка по телефону отвечала, кто-то еще какими-то другими доводами руководствуется. Важнее всего то, что работа тестовых лабораторий — это единственный независимый источник информации об эффективности работы защитного ПО. У нас к этому «источнику» тоже иногда бывает немало претензий, но суть от этого не меняется.
Мы достигли очень хорошего результата в независимых тестах в целом, за счет новых технологий, более эффективной работы вирусных аналитиков и других мер. Результатом очень гордимся, и планируем продолжать в том же духе. Поможет ли это продажам? Посмотрим :) Как я уже говорил, тесты отчасти отражают реальную жизнь, а значит высокие результаты в них конвертируются в бОльшее количество людей, которые довольны продуктом. Независимо от того, знают они о независимых тестах или нет.
Там где спонсорство есть, это указывается. Пример: ссылка, цитата:
This assessment was commissioned and sponsored by Kaspersky Lab to serve as an independent efficacy
assessment of its Kaspersky Endpoint Security (KES) for Windows product and it’s Automatic Exploit
Prevention (AEP) module.
Кажется с вашим «не по наслышке знаю» стало все понятно.
В подробном описании методики (тут: media.kaspersky.com/en/business-security/TOP3_2014.pdf) указаны все учтенные тесты за 2014 год с разбивкой по лабораториям.
Подготовиться к этому — в смысле что-то поменять в продукте под соответствующую методику теста — ну, теоретически можно. Правда сами лаборатории таких читеров (будем говорить прямо) обнаруживают и исключают из тестов надолго (были преценденты с довольно известными вендорами). Единственный разумный способ повлиять по результатам — это аргументированно оспорить предварительные результаты, если обнаруживаются ошибки теста. Например, если регистрируется ложное срабатывание на какую-то программу, лаборатория считает ее легитимной, а мы — вредоносной (той же адварью, например). Либо если зачтен пропуск, хотя даже логи продукта указывают на то, что вредоносная программа была обнаружена и удалена.
Исследовательские лаборатории как правило весьма детально расписывают свою методику: что и как тестировали, при каких настройках программ итд. Пример для лаборатории AV-Comparatives. Общие описания тестов здесь: www.av-comparatives.org/comparatives-reviews/ Далее по ссылкам более подробные описания методик, самые подробные — в начале каждого отчета.
График по вашему заказу нарисовать невозможно, так как «проценты» везде разные — где-то по детектам, где-то по производительности. Отличаются методики тестирования даже в тестах одной Лаборатории (динамическое, real-world, статическое, reactive & proactive и еще много разных других). Как это объединять? Мы свой вариант объединения предложили: частота участия в тестах, попадание в тройку лидеров, количество побед.
В полном соответствии с нашими взглядами на платное и бесплатное.
«1,9% в одном тесте» это не показатель. Наш подход: измерять производительность по совокупности всех тестов всех доверенных независимых лабораторий (есть даже организация соответствующая, следящая за честным подходом к тестированию: www.amtso.org/). Подробнее напишем в понедельник, там видимо и продолжим.
Нет, не ок. Смотрите что получается. Вы говорите: «Есть тест Real-World, я считаю, что он самый главный, поэтому буду оценивать показатели только в нем, на false positives обращать внимания не буду, а 2% разницы в детекте посчитаю несущественной, и еще мысленно заменю продукт, который тестировали на тот, который мне хочется». И делаете вывод.
Я говорю: «Есть много разных тестов, Real-World очень крутой, но не единственный. Это все равно, что оценивать производительность компьютера только по скорости чтения с жесткого диска. Нужно оценивать много разных тестов в совокупности. По ним между нами и бесплатными продуктами, а также между нами и большинством наших конкурентов с коммерческим ПО, есть отрыв, который заметен и важен с точки зрения реальной защиты данных пользователей».
Я тоже не хочу вас обязательно переубедить. Важно то, что наша дискуссия из пяти комментов имеет на порядок больше ценности и полезной информации, чем весь пост выше.
Кстати, у AV-Comparatives тот же подход. В сводном отчете за 2014 год Avira выглядит неплохо, но у нас результат лучше: награды в 8 тестах против шести, стабильные показатели в целом.
И наконец. В годовом отчете ясно написано, что исследовался Avira Antivirus Pro. То есть платный продукт.