Sicherheit von Deep-Learning und Robustheit gegen natürliche Adversarial-Examples

zurück zur Übersicht

Projektart und Laufzeit

Vorstudie zur Dissertation, seit September 2020

Koordinator

Hilti Lehrstuhl für Daten- und Anwendungssicherheit

Forschungsschwerpunkt

Geschäftsprozessmanagement

Forschungsgebiet/e

Digital Innovation

Beschreibung

Im Gegensatz zur IT-Sicherheit hat bisher die Betriebssicherheit (Safety) von Lernalgorithmen in der wissenschaftlichen Gemeinschaft relativ wenig Beachtung gefunden. Für vertrauenswürdige KI-Systeme müssen allerdings beide Faktoren berücksichtigt werden. Der Unterschied zwischen diesen synonymen Begriffen ist, dass es bei der Betriebssicherheit um natürliche Datensätze geht, welche die lernenden Systeme zum katastrophalen Versagen führen können. Natürliche Datensätze unterliegen nicht den typischen Nebenbedingungen für Angriffe gegen Lernalgorithmen, z.B. dass sie unsichtbar sind oder die Semantik der ursprünglichen Datensätze aufrechterhalten. Daher können natürliche "bösartige Datensätze" ("adversarial examples") nicht durch bestehende Abwehrmechanismen behandelt werden. Andererseits, entstehen natürliche Datensätze aus physikalischen Prozessen und erfüllen dementsprechend physikalische Gesetze. Dieses Phänomen bietet eine Möglichkeit für die Gestaltung von neuartigen Sicherheitsmechanismen.
Das Hauptziel dieser Forschung ist die Entwicklung einer Methodik für die Analyse der Betriebssicherheit von Deep-Learning in Bezug auf natürliche bösartige Datensätze. Diese Methodik sollte Techniken für die systematische Suche nach natürlichen bösartigen Datensätzen, Erstellung von nachweisbaren Sicherheitsgarantien, explorative Überprüfung von Sicherheitsmerkmalen sowie die Evaluierung von Anwendungen umfassen.