Sehr geehrte Damen und Herren,In ihrer Ausgabe 4/12 betrachtet die Stiftung Warentest Sicherheitssoftware. Dabei wurdenins...
dynamische Erkennung oder Reputationsprüfung genutzt wird. Dies wird in Ihrem Testaber nicht berücksichtigt.Zudem mahnt ih...
Derzeit haben wir den Eindruck, dass Ihre Veröffentlichung bei Verbrauchern und Nutzernunserer Produkte zu einer gewissen ...
Nächste SlideShare
Wird geladen in …5
×

2012 04 04 Offener Brief an die Stiftung Warentest

1.751 Aufrufe

Veröffentlicht am

In einem offenen Brief kritisieren acht führende Hersteller von Virenschutzprogrammen die Testmethoden der Stiftung Warentest, denn diese berücksichtigen nicht die Alltagsanforderungen moderner Sicherheitssoftware. Die Stiftung soll das im kommenden Heft klarstellen.

Veröffentlicht in: Bildung
0 Kommentare
0 Gefällt mir
Statistik
Notizen
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Keine Downloads
Aufrufe
Aufrufe insgesamt
1.751
Auf SlideShare
0
Aus Einbettungen
0
Anzahl an Einbettungen
837
Aktionen
Geteilt
0
Downloads
0
Kommentare
0
Gefällt mir
0
Einbettungen 0
Keine Einbettungen

Keine Notizen für die Folie

2012 04 04 Offener Brief an die Stiftung Warentest

  1. 1. Sehr geehrte Damen und Herren,In ihrer Ausgabe 4/12 betrachtet die Stiftung Warentest Sicherheitssoftware. Dabei wurdeninsgesamt 18 Antiviren- und Internetsicherheitsprodukte getestet. Als Verbraucherschätzen wir die Arbeit der Stiftung Warentest als Testgremium auch wegen ihrerUnabhängigkeit überaus. Umso mehr wundern wir uns, dass die Testmethoden leider nurunzureichend beschrieben sind. So ergibt sich der Eindruck, dass der Schwerpunkt aufveraltete Testmethoden gelegt wurde, die vor einigen Jahren absolut valide waren – esheute aber leider nicht mehr sind. Jedoch scheint diese Methode weder dieFunktionsweise moderner Sicherheitssoftware innerhalb der getesteten Programme zuprüfen noch das Verhalten der Benutzer oder tatsächlicher Infektionen abzubilden.Herstellerübergreifend und zusammen mit unabhängigen Softwaretestern bieten wir Ihnendeshalb eine offene Diskussion über Ihre Testmethoden an und hoffen, Ihnen dabei einigeAnregungen geben zu können, um zukünftig realitätsnähere Testergebnisse erzielen zukönnen.Wie Sie sicher wissen, gibt es auch schon kritische Kommentare Ihrer Leser auf IhrerWebseite, die auch nicht in ihrem Sinne sein können(https://www.test.de/themen/computer-telefon/test/Schadprogramme-Angriff-aus-dem-Internet-4348485-4348487/). Mit ZDNet hat zudem auch ein führendes deutsches IT-Onlinemedium das Thema bereits kritisch aufgegriffen:http://www.zdnet.de/news/41561250/stiftung-warentest-findet-nur-vier-von-18-antiviren-programmen-gut.htm.Vor diesem Hintergrund fragen wir uns, warum die Stiftung Warentest nicht von Beginn anmit etablierten Testinstituten in diesem Bereich zusammengearbeitet hat, die auf einemoderne Testmethodik setzen, um die tatsächliche Gefährdungslage für Nutzer und dieLeistung der Schutzsoftware in einem realistischen Szenario abzuprüfen und diese auchvergleichbar zu machen. Auch die Anti Malware Testing Standards Organization hatgrundlegende Empfehlungen veröffentlicht, um Testern dabei zu helfen, Aufbau undDurchführung Ihrer Tests zu optimieren. Unser Eindruck ist, dass diese in ihrem Test nichtberücksichtigt wurden.Besonders folgende Aspekte der Testmethoden der Stiftung Warentest müssen wir leiderhinterfragen:Die verwendeten Methoden prüfen im Schwerpunkt die reaktive signaturbasierteErkennung von inaktivem Schadcode ab, anstelle von praxisnahen Tests, die allevorhandenen Schutz-und Erkennungstechnologien (z.B. verhaltensbasierte Erkennung)mit einschließen und auf die Hauptinfektionswege (Internetseiten mit aktivem Schadcode,z.B. Drive-by) fokussieren.Es macht heutzutage keinen Sinn mehr, Sicherheitsproduktezum Teil ohne Internetverbindung zu testen. Die Hauptinfektionsquelle ist das Internet undMalware benötigt das Internet, um Schaden anzurichten. Ein Hauptzweck von Malware,wie von Ihnen auch im Artikel beschrieben, ist das Stehlen von Daten, diese müssenallerdings über das Internet übertragen werden. Das Beispiel mit einem USB-Stick istdemnach zwar valide, was die Infektion an sich angeht, aber der echte Schaden könnteabgewendet werden, da die Schutzprodukte die Schadfunktion stoppen würden, sobaldeine Internetverbindung besteht. Würde man den Schädling von dem USB-Stick ausführenoder nach dem Kopieren auf die Maschine starten würde man feststellen, ob andereSchutzmethoden wie die verhaltensbasierte Erkennung greifen. Selbst ein Programmohne eine einzige Signatur könnte in der Realität einen sehr guten Schutz bieten, indem
  2. 2. dynamische Erkennung oder Reputationsprüfung genutzt wird. Dies wird in Ihrem Testaber nicht berücksichtigt.Zudem mahnt ihr Test die langsamen Updates der Virensignaturen an und weist daraufhin, dass bei einigen Herstellern die Updatefrequenz nicht eingestellt werden kann. Diesist bei Cloud-basierenden Reputations-Dienstleistungen obsolet, da diese Arbeit in derWolke gemacht wird – bei bestehender Internetverbindung. Die Wolke wird also ständigaktualisiert, so dass die Notwendigkeit für Updates auf dem Client entfällt.Für mehr Transparenz: Unser Angebot zur offenen DiskussionDie Stiftung Warentest erwähnt in der Testbeschreibung nicht, wie aktive Malware undDrive-By-Downloads getestet wurden. Auch die die näheren Beschreibungen die nach derTestveröffentlichung online von Ihnen veröffentlicht wurden, werfen leider weitere Fragenauf.Deshalb würden wir gerne einige weitere Themen mit Ihnen diskutieren: Was waren dieQuellen der Samples? Wie hat die Stiftung Warentest sichergestellt, dass es sichtatsächlich um Malware handelt? Wurde nur die Erkennung über Signaturen oder wurdeauch der Schutz getestet (was passiert bei Ausführung des Schadprogrammes, wird auchwirklich alles geblockt)? Wurden keinerlei Reparatur- oder Systemwiederherstellungstestsdurchgeführt? Wie gut helfen die Produkte bei einer Infektion? Es scheint einen einseitigenFokus auf Signaturen zu geben. Was ist mit dynamischer Erkennung oderReputationsprüfung?Warum wurden keine Fehlalarm-Tests durchgeführt? Damit sind die Erkennungsraten mitVorsicht zu genießen. Ein Produkt, das einfach alles erkennt (sowohl gutartige als auchbösartige Dateien), hätte in Ihrem Test – soweit wir ihn momentan verstehen –hervorragend abgeschnitten, wäre aber in der Realität nicht zu gebrauchen. Warum liefder Test auf virtuellen Maschinen? Das kann die Ergebnisse verfälschen, da digitaleSchädlinge auf virtuellen Maschinen anders reagieren können bzw. nicht oder nicht richtigfunktionieren, so dass auch keine erkennungswürdige Schadfunktion vorliegt.Anerkannte TeststandardsEuropaweit renommierte Labors für das Testen von Sicherheitssoftware arbeiten heutenach folgenden Standards: Alle Samples werden live aus dem Internet geladen – zeitnahzum Test (maximal 24 Stunden alt). Alle Samples werden zeitgleich mit allen Produktengetestet. Die Samples werden ausgeführt. Alle Sicherheitskomponenten innerhalb einesProdukts werden getestet, um die Effektivität des Gesamtpakets aufzuzeigen. Es wird dasAngriffsszenario und nicht ein einzelnes Produktfeature abgekoppelt vom Gesamtpaketgetestet. So stellt man sicher, dass man keine Produkte benachteiligt, die ein bestimmtesFeature nicht haben, aber in der gleichen Situation trotzdem mit einer anderenTechnologie schützen. Bei über 70.000 neuen Schädlingen pro Tag ist Signaturerkennungnur noch eines von mehreren Mitteln, die zur Verfügung stehen – es müssen alleFunktionen eines Sicherheitsprodukts überprüft werden.Leider fehlt bei Ihrem Test eine detaillierte Beschreibung der Methoden, die uns helfenwürde, Ihr Vorgehen besser zu verstehen. So könnten wir auch besser nachvollziehen,warum Sie ein bestimmtes Angriffsszenario zur Bewertung der Produkte gewählt haben.Dann lassen sich die Resultate richtig bewerten – aus unserer Sicht, aber vor allem auchaus Sicht der Verbraucher.
  3. 3. Derzeit haben wir den Eindruck, dass Ihre Veröffentlichung bei Verbrauchern und Nutzernunserer Produkte zu einer gewissen Verunsicherung führt, die aus unserer Sicht nichtnotwendig ist. Um diese Punkte unparteiisch und transparent mit Ihnen zu besprechen undanschließend eventuell auch wissenschaftlich überprüfen zu lassen, schlagen wir vor, dieTestmethodik und die verwendeten Samples unter Einbeziehung einer unabhängigen undunbeteiligten Stelle zu diskutieren.Hierfür hat sich mit der AV-TEST GmbH eines der renommiertesten Testinstitute Europasbereit erklärt, entweder im Labor der Stiftung Warentest oder in den Geschäftsräumen desAV-TEST-Instituts.Zudem ersuchen wir die Stiftung Warentest nachdrücklich, in ihrer nächsten Ausgabe anhervorgehobener Stelle darauf hinzuweisen, dass sie mit uns diese Punkte diskutiert undihre Leser zu informieren, dass die verwendeten Testszenarien, die bei vielen Produktenzu schwachen Ergebnissen geführt haben, in Alltagssituationen nicht auftreten. Zudembitten wir Sie, einen herstellerübergreifenden Dialog mit uns aufzunehmen, um künftig dieAlltagssituation Ihrer Leser in Ihren Tests besser abbilden zu können.Mit freundlichen GrüßenClaus Meisel, CheckpointKlaus Jetter, F-SecureJosef Pichlmayr, IkarusMagnus Kalkuhl, Kaspersky LabToralv Dirro, McAfeeMarkus Mertes, Panda SecurityStefan Wesche, SymantecRaimund Genes, Trend MicroAndreas Marx, AV-Test

×