O mais recente artigo publicado pelo Andreas Clementi, da Av-Comparatives.org (considerado por muitos o mais confiável do mundo em se tratando de comparativos de Avs) reúne uma série de sites com comparativos de Avs, detalhes sobre os mesmos, avaliando quem é confiável e quem não é. Vale a pena a leitura (em inglês).
Arquivo em PDF, pode ser baixado diretamente aqui.
Com colaboração do usuário E-ponto, um resumo breve dos CONFIÁVEIS:
1- Empresas que utilizam base de amostras muito grande como a própria AV-Comparatives que efetua testes on-demand e proactive publicando os resultados completos e seu site para conhecimento do público e a AV-Test GmbHque executa uma bateria de testes completo incluindo on-demand, on access, proactive, impacto na performance da máquina, velocidade de escaneamento, etc, porém os resultados só estão disponíveis em revistas especializadas cujos editores compraram os referidos relatórios de teste da AV-Test GmbH.
2- Empresas que utilizam base de amostras ITW (In The Wild) que é uma organização cujo conselho técnico, composto por representantes técnicos indicados pelos fabricantes de software antivírus e consultores especializados em segurança em tecnologia da informação, elegem mensalmente as pragas mais perigosas em ação e as mais disseminadas na internet. Nessa categoria temos a Virus Bulletin que executa testes on-demand e on-access e apresenta resultados detalhados dos testes apenas para os assinantes da revista mensal, temos também a CheckVir que apresenta apenas em seu site resultados pouco detalhados, mais ou menos o pass/no-pass tal qual a VB em seu site.
3- Empresas certificadoras e como diz o próprio nome não foram constituidas para apresentarem resultados detalhados para o público, mas sim para dizer ao fabricante se seu produto é certificado ou não segundo critérios pré-estabelecidos, o fabricante em geral tem um tempo para corrigir algum erro de não conformidade detectado durante os testes a fim de poder receber o selo de certificação. Estas empresas por se basearem em padrões que devem ter aceitação mundial utilizam as amostras ITW em seus testes e as mais destacadas nessa área são a ICSA Labs e West Cost Labs Checkmark
4- Testes acadêmicos ainda que, segundo Andreas, estejam se tornando cada vez mais raros e não ativos atualmente. Exemplos: aVCTC da University of Hamburg, Virus Research Unit da University of Tampere e o Test Lab da Moscow State University (o qual nunca teve seus resultados publicados na Web).
NÃO-CONFIÁVEIS:
1- Testes feitos por "VXers" (coletores de amostras de virus que trocam sua coleção com pessoas desconhecidas). Segundo o artigo, muitos destes VXers são apenas coletores e não têm experiência em análise de malwares. Como exemplo, Andreas cita o relativamente conhecido Virus.gr, mantido por um "Vxer" conhecido como VirusP (Antony Petraskis). Dentre as críticas aos testes realizados por VirusP, Andreas cita que as amostras não são checadas por funcionalidade, que os produtos não são atualizados no mesmo dia/momento e que os vendedores não possuem a chance de verificar a validade dos resultados. Andreas lembra que desde muitos anos, VirusP ainda não realizou tentativas de melhorar seus testes adequadamente.
2 - Testes influenciados por dinheiro e ganho de comissão para a venda dos AntiVirus nos links dos comparativos, através de ID afiliadas também não são considerados obviamente confiáveis. Como exemplos, Andreas cita o TopTenReviews,6starreviews e No1reviews.
3- Testes executados por usuários e/ou pessoas inexperientes também não são confiáveis. Andreas cita como principais razões: pequenas quantidades de amostras, muitas amostras não analisadas (contendo muito lixo entre as mesmas) e porque você não sabe quem realmente está por trás dos testes (pode ser alguém que trabalha para alguma empresa de AntiVirus)... se aplica também a testes feitos por jornalistas que apenas conduzem testes esporádidos, de tempos em tempos. Andreas cita dois que, segundo as razões por ele apresentadas, não devem ser considerados confiáveis: Malware-Test e ConsumerReports. Também não devem ser considerados confiáveis testes feitos com base em sites de scan online em múltiplas engines de AntiVirus ou amostras de honeypots.
A Conclusão de Andreas no artigo, em uma tradução livre para o português:
"A melhor coisa a fazer é não confiar somente em um resultado de teste, mas verificar vários sites de testes independentes de tempos em tempos, traçar conclusões sobre a as taxas de detecção e então combiná-las com sua própria experiência de uso com versões trial dos softwares, colocando na conta a quantidade de recursos do sistema usados, a GUI (interface), compatibilidade, etc. Adicionalmente, quando você ler comparativos/reviews, você dever perguntar-se o seguinte:
1. Qual é o tamanho da quantidade de amostras? Que grupo de amostras representa?
2. Quem está atrás do teste? Ele tem bastante experiência/conhecimento/recursos para executar tais testes?
3. As amostras estão livres de lixo e de outras coisas como "tools", etc.? O responsável verificou as amostras de alguma maneira?
4. Os resultados são reproduzíveis, ou seja, verificáveis? As companhias de AntiVirus receberam as amostras que seus produtos não detectaram depois do teste ser finalizado, para estarem capacitadas a verificar os resultados?
5. Que configurações foram usadas nos produtos testados? Todos os produtos foram configurados usando as mesmas configurações?
6. Quando o teste foi executado? Os resultados já estão ultrapassados?
7. Os produtos foram testados sob as mesmas condições e foram todos atualizados no mesmo momento/dia?
8. Como os produtos foram testados? A metodologia do teste é pública/conhecida e aceita em geral por outros pesquisadores e companhias de AntiVirus?
9. O responsável pelo teste tem algum interesse financeiro no resultado final do ranking?
10. Qual é o objetivo do teste? O que foi testado? O que os resultados dizem?"
FONTE: http://www.babooforum.com.br/idealbb... No=1�
Nenhum comentário:
Postar um comentário