Die prämierten Forschungsarbeiten des Fachgebiets Systemsicherheit beschäftigen sich mit Sicherheitsrisiken im Bereich der Künstlichen Intelligenz (KI): SafeSplit entwickelt eine Schutzmaßnahme gegen versteckte Manipulationen in verteiltem Lernen. VoiceRadar präsentiert eine neue Methode zur Erkennung von synthetisch generierten Stimmen.

Beim Split Learning trainieren mehrere Beteiligte gemeinsam ein neuronales Netzwerk, ohne ihre lokalen Daten direkt weiterzugeben. Diese Methode ermöglicht maschinelles Lernen mit erhöhtem Datenschutz, ist jedoch anfällig für sogenannte Backdoor-Angriffe, bei denen einzelne Teilnehmer das Modell gezielt manipulieren.

SafeSplit, auf der Konferenz vorgestellt von Philip Rieger, ist die erste speziell für Split Learning entwickelte Verteidigungsmethode gegen solche Angriffe. Das System überprüft das trainierte Modell in zwei Schritten:

• Statische Frequenzbereichsanalyse: Änderungen in den Modellparametern werden untersucht, um ungewöhnliche Muster zu erkennen.
• Dynamische Rotationsdistanzanalyse: Diese Metrik misst, wie sich die Modellparameter während des Trainings verändern.

Durch diese doppelte Absicherung erkennt SafeSplit manipulierte KI-Modelle zuverlässig und begrenzt wirksam die Auswirkungen von schädlichen Änderungen an Modellen.

Mit fortschrittlichen Methoden im Bereich von Text-to-Speech- und Sprachumwandlungsmodellen lassen sich inzwischen täuschend echte, künstliche Stimmen generieren – mit großen Risiken für Betrug und Desinformation. Bisherige Erkennungssysteme stoßen an ihre Grenzen, da KI-generierte Stimmen immer realistischer werden.

Das System VoiceRadar, auf der NDSS präsentiert von Alessandro Pegoraro, stellt einen neuen Ansatz zur Erkennung von gefälschten Audiodaten vor, der Mikrofrequenzschwingungen und eine von physikalischen Modellen inspirierte Kompositionsanalyse nutzt. Durch die Einbindung dieser Merkmale in die Verlustfunktion von Machine-Learning-Modellen verbessert VoiceRadar die Erkennung von KI-generierten Stimmen erheblich und ermöglicht, das künstliche Stimmen und sogenannte Audio Deep Fakes deutlich präziser identifiziert werden können als mit bisherigen Methoden.

Die Arbeit entstand in Zusammenarbeit mit der University of Texas in San Antonio (UTSA), einer Partneruniversität der TU Darmstadt.

Die beiden Arbeiten zeigen neue Ansätze auf, um KI-gestützte Systeme vor Manipulationen zu schützen. Die Forschungsgruppe von Professor Ahmad-Reza Sadeghi arbeitet bereits mit Industriepartnern und Universitäten wie der University of California in San Diego (UCSD) zusammen, um diese Methoden weiterzuentwickeln, ihre Anwendung in realen Szenarien zu testen und sie in die Praxis zu überführen. Derzeit kooperiert das Fachgebiet Systemsicherheit mit der Kobil GmbH, einem etablierten IT-Sicherheitsunternehmen aus Worms, um eine maßgeschneiderte Version von VoiceRadar in deren KI-basiertes Identitätssystem zu integrieren. Ziel ist es, Deepfake-Stimmen zuverlässig zu erkennen und so die Sicherheit der Identitätsprüfung zu verbessern.