Forschungsarbeit trifft auf Realität: Die AndProtect-App im Feldversuch

Im September letzten Jahres starteten wir den abschließenden Feldversuch unseres Forschungsprojektes und ließen unsere Entwicklung unter realen Bedingungen von Nutzern und Nutzerinnen testen. Der Feldversuch dauerte bis November und hatte zum Ziel, die Benutzerfreundlichkeit unserer AndProtect-App bewerten zu lassen. Zudem wollten wir untersuchen, ob und wenn ja, welche Verhaltensänderungen sich durch unsere Analyse-App ergeben. Der siebenwöchige Feldversuch lieferte überraschende, interessante und vor allem viele Ergebnisse, die wir im Folgenden kurz zusammenfassen wollen.

Wie lief unser Feldversuch ab?

Im August 2017 starteten wir einen Aufruf zur Teilnahme an unserer Smartphone-Studie. Dieser Studienaufruf wurde über Mailverteiler und die Testpersonendatenbank der Professur für Allgemeine und Arbeitspsychologie der TU Chemnitz (TUC) gestreut. Innerhalb des Studienaufrufes verzichteten wir auf die genaue Beschreibung bzw. das Ziel unserer entwickelten App, da wir auch Personen, die sich bisher wenig oder nicht für Daten-/und Privatsphärenschutz interessierten, einbinden wollten. Das Studiendesign wurde im Vorfeld durch die Ethikkommission der Fakultät für Human- und Sozialwissenschaften der TUC begutachtet und Hinweise eingearbeitet.

Der Feldversuch startete im September 2017 individuell zwei Wochen vor einem vereinbarten Vor-Ort-Termin. Diese ersten beiden Wochen dienten zur Erfassung des „normalen“ App-Nutzungsverhaltens der Teilnehmer (Baselinephase). Hierfür übermittelten uns die Teilnehmer ihre Liste installierter Apps und füllten zwei Onlinebefragungen aus. Dies wurde in den folgenden vier Wochen der Versuchsphase so fortgesetzt. Die Versuchsphase begann mit einem Vor-Ort-Termin in den Laborräumen der TUC. Hier wurden die Teilnehmer gebeten, die AndProtect-App zu installieren und ihren ersten Eindruck zu schildern. Während der Versuchsphase konnte eine Hälfte der Teilnehmer (Gruppe 1) die AndProtect-App vier Wochen durchgängig in vollem Umfang nutzen. Für die andere Hälfte der Versuchsteilnehmer (Gruppe 2) gliederte sich die Versuchsphase in eine erste Phase, ohne Individualisierungsfunktion und in eine zweite Phase, in der die Individualisierungsfunktion verfügbar war. Somit war für uns ein Vergleich des AndProtect-App-Nutzungsverhaltens mit und ohne Individualisierungsfunktion möglich. Durch die Individualisierungsfunktion konnten die Teilnehmer die Bewertung einer App anpassen, indem sie das Risiko von Datenarten (z. B. Standort) für ihre Apps selbst einschätzten.

Zentrale Inhalte der wöchentlichen Befragungen in der Versuchsphase waren auf das App-Nutzungsverhalten sowie die Gebrauchs- und Alltagstauglichkeit der AndProtect-App bezogen. Der Aufwand für die Teilnahme an der Baseline- und Versuchsphase wurde jeweils mit einer Aufwandentschädigung vergütet. Der Feldversuch endete Mitte November 2017.

Wer nahm an unserem Feldversuch teil?

Auf Basis der Angaben in einem ersten Screeningfragebogen (installierte Betriebssystemversion, Anzahl der installierten und genutzten Apps, Verfügbarkeit und Bereitschaft am Feldversuch über 6 Wochen teilzunehmen) wählten wir 28 Probanden für den Versuch aus. Dabei achteten wir auf ein ausgewogenes Geschlechterverhältnis. Zudem wählten wir eine große Bandbreite von Teilnehmern mit wenigen bis sehr vielen installierten Apps aus. Letztendlich waren 27 Teilnehmer bereit den Feldversuch zu beginnen, davon erschienen 26 zum Vor-Ort-Termin und starteten die Versuchsphase. Die Versuchsphase beendeten 22 Teilnehmer von denen 21 alle Befragungen vollständig ausfüllten.

Die 26 Teilnehmer, die die Versuchsphase begannen, waren im Mittel 34 Jahre alt. Es nahmen geringfügig mehr Männer (14) als 12 Frauen an der Versuchsphase teil, deren höhste Bildungsabschlüsse (31% Lehre; 27% Fachhochschule/Hochschule; 19% Abitur) mit der deutschen Bevölkerung vergleichbar sind. Die Unterstützung von Forschung und Entwicklung motivierte die Mehrheit zur Teilnahme am Feldversuch. Insgesamt lässt sich festhalten, dass die Teilnehmer an unserem Feldversuch eine heterogene Stichprobe bilden, welche eine Bandbreite von Personen mit unterschiedlichen demographischen Variablen beinhaltet.

Die Teilnehmer des Feldtests beschrieben sich selbst als technikaffin und kompetent im Umgang mit Smartphones und Apps. Sie besitzen im Mittel seit acht Jahren ein Smartphone und nutzen Apps täglich über zwei Stunden, besonders Messenger-Apps. Die Feldtestteilnehmer beschreiben sich selbst als „etwas besorgt“ hinsichtlich ihrer Privatsphäre. Im Vergleich zu anderen Stichproben sind diese Angaben als nicht überdurchschnittlich hoch einzuordnen.

Die Teilnehmer schätzen überwiegend die Effektivität von Smartphone-Apps. Als Nachteil empfinden sie v.a. die ablenkende Wirkung, die Funktions- /Bedienweise von Apps und die Gefährdung der Privatsphäre. Letzteres wurde -wenig überraschend- zum Ende des Feldversuches häufiger genannt.

Wie wird die AndProtect-App bewertet?

Während der Versuchsphase fragten wir die Teilnehmer regelmäßig, ob und aus welchen Gründen sie die AndProtect-App nutzten oder nicht. Das Kennenlernen und die Bewertung der AndProtect-App im Rahmen der Studie waren für die Teilnehmer die überwiegenden Gründe die AndProtect-App zu nutzen. Neben dem allgemeinen Interesse an Funktionen und Inhalten nutzten die Teilnehmer die AndProtect-App auch gezielt um bestimmte Apps zu überprüfen.

Die Teilnehmer nutzten die AndProtect-App in der ersten Woche häufiger als in den folgenden Wochen der Versuchsphase. Als Grund für die Nicht-Nutzung der AndProtect-App wurden v.a. „kein Bedarf/Mehrwert“ und „mangelnde Zeit“ genannt. Das Informationspotential unserer App nimmt über die Zeit ab, denn es kamen im Verlauf der Versuchsphase nach der initial erhaltenen Reportliste nur noch vereinzelte Berichte zu angefragten Apps hinzu. Am besten bewerteten die Teilnehmer die Informationen zu den einzelnen Apps und die Farbkodierung, die den Risikowert einer App anzeigt.

Erfreulich für uns war, dass von den Teilnehmern deutlich weniger konkrete Nachteile als Vorteile der AndProtect-App genannt wurden. Die inhaltlich benannten Nachteile verteilten sich sehr divers auf vielfältige Funktionen und Komponenten der AndProtect-App. Dabei wurden bspw. lange Wartezeiten, zu wenige gescannte Apps, mangelnde Handlungsoptionen und mangelnde Informationen zur Bedienung der App genannt. Daraus konnten wir viele Verbesserungsmöglichkeiten ableiten.

Die Teilnehmer stimmen zudem im Mittel „eher zu“, dass die App reliabel und funktional ist. Dies unterschied sich jedoch von den Bewertungen hinsichtlich der Nützlichkeit. Hier stimmten die Teilnehmer im Mittel „eher nicht“ zu. Hieraus (und aus den zuvor kritisierten mangelnden Handlungsoptionen) ergibt sich für uns Weiterentwicklungspotential für die AndProtect-App, unter anderem weiterführende Handlungsempfehlungen für Smartphone-Nutzer auszusprechen.

Zur Erfassung der Usability und User Experience wurden verschiedene standardisierte Fragebögen eingesetzt. Hier fiel die Bewertung der AndProtect-App insgesamt „gut aus. Es konnten zudem keine Gruppenunterschiede (mit vs. ohne Individualisierungsfunktion) festgestellt werden.

Was verändert die AndProtect-App und was nicht?

Nach eigener Einschätzung des überwiegenden Teils der Feldversuchsteilnehmer bewirkte unsere AndProtect-App im App-Nutzungsverhalten eine Veränderung. Dies bezog sich zum einen auf die genauere Prüfung von Permissions bzw. das Ändern/Entziehen von Permissions. Diese Einschätzung spiegelte sich bedingt in den geschlossenen Fragen zur Nutzung der Permissions-Funktion wieder. Hier lässt sich eine geringfügige Tendenz feststellen, dass die Teilnehmer ihren Apps ab der Nutzung der AndProtect-App häufiger Permissions entzogen. Der Anteil der Apps, bei denen unsere Teilnehmer Permissions ausschalteten, stieg um 10%. Dieser Anstieg war bei Teilnehmern zu verzeichnen, die die Funktion vor dem Feldtest schon nutzten, da der Anteil dieser Funktionsnutzer nicht anstieg. Insgesamt ist jedoch der Anteil der Permissions, die eingeschaltet wurden, zu jedem Befragungszeitpunkt größer als der Anteil der ausgeschalteten Permissions.

Das Ein- und Ausschalten von Permissions scheint also für einige Probanden eine sinnvolle Funktion zu sein, die durch unsere AndProtect-App häufiger genutzt wird. Andere Probanden nutzen die Funktion hingegen gar nicht, was durch den Feldtest auch nicht verändert werden konnte.

Besonders zu Beginn der Versuchsphase ist ein Anstieg von deinstallierten Apps zu verzeichnen. Daraus lässt sich ableiten, dass die AndProtect-App zu einer Art Aufräumeffekt führt. Die Begründungen der Teilnehmer für die Deinstallationen bestätigen dies: Sie gaben an, keinen Bedarf mehr für die deinstallierte App zu haben oder sie nannten explizit, dass die Informationen der AndProtect-App sie zur Deinstallation bewogen haben.

Ergänzend muss zu den Deinstallationen angemerkt werden, daß diese bereits in der Mitte der Baselinephase einsetzten, noch bevor die AndProtect-App installiert wurde. Hier vermuten wir, dass allein das Übersendung der Appliste in der Baselinephase die Teilnehmer motiviert haben könnte Apps zu deinstallieren.

Der Deinstallationseffekt zeigt sich zudem nicht für alle Teilnehmer. Betrachtet man die individuellen Verläufe installierter Apps, so ergeben sich auch Anstiege. Dies lässt uns vermuten, dass die AndProtect-App nur für bestimmte Teilnehmer einen Effekt hatte. Dies stimmt mit den Selbsteinschätzungen der Probanden überein; denn etwa ein Drittel gab an, keine Veränderung im Umgang mit Apps durch die AndProtect-App bemerkt zu haben.

Nach der Installation der AndProtect-App stiegen auch die Installationen anderer Apps leicht an. Aus den Begründungen für die Installationen neuer Apps lässt sich ausschließen, dass es sich bei den Neuinstallationen um „Alternativ-Apps“ handelte, sondern Empfehlungen von Freunden oder ein individueller Bedarf zu einer Installation führten.

Weiterführende Informationen

Die Ergebnisse unseres Feldtests haben wir hier in einer kurzen Präsentation für Sie grafisch aufbereitet.

Wir bedanken uns recht herzlich für die Unterstützung und Geduld bei den Teilnehmern unseres umfangreichen Feldversuches.

Für weiterführende Fragen stehen wir Ihnen gerne zur Verfügung.

 

Das AndProtect-Team

Susen Döbelt (susen.doebelt[at]psychologie.tu-chemnitz.de)

Josephine Halama (josephine.halama[at]psychologie.tu-chemnitz.de)

Sebastian Fritsch (sfritsch[at]secuvera.de)

Minh-Hoang Nguyen (minh-hoang.nguyen[at]dai-labor.de)

Schreibe einen Kommentar