Gemeinwohlorientierte Forschung mit KI: Missbrauch eindämmen durch Zweckbindung für KI-Modelle (38c3)

Chaos Computer Club - recent audio-only feed

Trainierte KI-Modelle sind mächtige Werkzeuge, die in Wissenschaft und Forschung oft für gute Zwecke gebaut werden. Aber wie alle Werkzeuge können sie auch zweckentfremdet werden – in Bereichen, für die sie nicht gedacht waren, in denen sie profitgierigen Interessen dienen und gesellschaftlichen Schaden anrichten. Vor dem Hintergrund des Trends von "open source" AI ist die Gefahr der unkontrollierten Zweckentfremdung von KI-Modellen enorm gestiegen. Wir zeigen: Das Risiko einer missbräuchlichen Sekundärnutzung von für Forschungszwecke trainierten KIs ist aktuell die größte regulatorische Lücke, trotz DSGVO und AI-Act. Zugleich ermöglicht das Zweckentfremden von Modellen die immer weiter wachsende Machtposition von Big Tech. Um das Problem zu bekämpfen, muss das Prinzip "Zweckbindung" für das Zeitalter der KI geupdated werden. Skandale wie die Weitergabe von Forschungsdaten der UK Biobank an Versicherungsunternehmen zeigen ein typisches, aber oft übersehenes Risiko im Zusammenhang mit KI: Modelle und Trainingsdaten, die eigentlich dem Gemeinwohl dienen sollten, werden im Schatten der öffentlichen Aufmerksamkeit, jedoch ohne geltendes Recht zu verletzen, für diskriminierende, manipulative und profitorientierte Zwecke zweitverwendet. Wer etwa in der medizinischen Forschung ein Modell zur Erkennung von psychischen Krankheiten anhand von Audiodaten (Stimmaufzeichnung) baut, kann dieses Modell auch außerhalb des medizinischen Kontexts auf beliebige Individuen anwenden – und zum Beispiel bei Video-Bewerbungsgesprächen ein automatisiertes Risiko Scoring damit machen (unsere Beispiele zeigen, dass daran gerade großes Interesse besteht). Der Besitz trainierter KI-Modelle stellt eine enorme Konzentration von Informationsmacht dar – und mit dieser Macht geht ein Missbrauchspotenzial einher, wenn die Tools z.B. in einen kommerziellen Kontext übertragen werden. Zum Schutz unserer Gesellschaft vor Missbrauch KI-basierter Forschung müssen wir deshalb die Zirkulation trainierter KI-Modelle und anonymisierter Trainingsdaten unter demokratische Kontrolle stellen. Wir brauchen ein Regulierungskonzept, das offene Forschungszwecke ermöglicht und gleichzeitig kommerziellen Missbrauch verhindert. Modelle mit allgemeinem Verwendungszweck wie sie die KI-VO legitimiert, sollte es nicht geben. Als Lösung holen wir das alte, bei der Industrie verhasste und in der Politik fast schon vergessene Datenschutzprinzip der Zweckbindung aus der Mottenkiste und aktualisieren es für die Kontrolle von KI. Unser Regulierungsvorschlag einer "Zweckbindung für KI-Modelle" beruht auf unserer mehrjährigen interdisziplinären Forschung zwischen Ethik, Rechtswissenschaft und Informatik. Licensed to the public under http://creativecommons.org/licenses/by/4.0 about this event: https://events.ccc.de/congress/2024/hub/event/gemeinwohlorientierte-forschung-mit-ki-missbrauch-eindmmen-durch-zweckbindung-fr-ki-modelle/