vege - fotolia.com

Quelle: vege - AdobeStock

user-lock

Politik-Tracker Datenethikkommission

Bewertung der Umsetzung der Empfehlungen der Datenethikkommission

Im Oktober 2019 hat die Datenethikkommission (DEK) der Bundesregierung die zentralen Handlungsempfehlungen zu den Themen Künstliche Intelligenz, algorithmische Systeme und Datenpolitik vorgestellt. Diese Empfehlungen enthalten wichtige Aufgaben für die Bundesregierung und den europäischen Gesetzgeber.

Der vzbv bewertet regelmäßig die Umsetzung der zehn wichtigsten Empfehlungen aus Verbrauchersicht.

Bewertungszeit: Zwei Jahre

Status der Umsetzung von DEK-Handlungsempfehlungen

Wählen Sie den Zeitpunkt, für welchen die Bewertung angezeigt werden soll.
NICHT BEGONNEN
BEGONNEN
ABGESCHLOSSEN
4
6
0
Halbes Jahr
2
8
0
Ein Jahr
1
9
0
Zwei Jahre
0
0
0
Drei Jahre
0
0
0
Vier Jahre
0
0
0
Fünf Jahre
Die Empfehlung wurde/wird nicht umgesetzt
Die Empfehlung wurde/wird kaum umgesetzt
Die Empfehlung wurde/wird teilweise umgesetzt
Die Empfehlung wurde/wird größtenteils umgesetzt
Die Empfehlung wurde/wird vollständig umgesetzt
Illustration: Aus dem Smartphone eines Mannes fließt ein Ebenbild seiner selbst aus Nullen und Einsen

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Rechtsrahmen für Profilbildungen und automatisierte Entscheidungen

Es greift tief in die Rechte und Freiheiten der Menschen ein, wenn Unternehmen ihr Verhalten und ihre Lebensumstände analysieren und bewerten. Die besonderen Beschränkungen der Datenschutz-Grundverordnung für automatisierte Entscheidungen greifen hier jedoch zu kurz.

Weiterlesen

Rechtsrahmen für Profilbildungen und automatisierte Entscheidungen

Es greift tief in die Rechte und Freiheiten der Menschen ein, wenn Unternehmen ihr Verhalten und ihre Lebensumstände analysieren und bewerten. Die besonderen Beschränkungen der Datenschutz-Grundverordnung für automatisierte Entscheidungen greifen hier jedoch zu kurz.

Warum ist das wichtig?

Es greift tief in die Rechte und Freiheiten der Menschen ein, wenn Unternehmen ihr Verhalten und ihre Lebensumstände analysieren und bewerten. Die besonderen Beschränkungen der Datenschutz-Grundverordnung (DSGVO) für automatisierte Entscheidungen greifen hier jedoch zu kurz. Aktuell werden Verbraucher:innen daher nicht ausreichend vor Profilbildungen und ungerechtfertigten automatisierten Entscheidungen geschützt.

Zudem fehlen Qualitätsanforderungen an automatisierte Entscheidungen, die sicherstellen, dass die Systeme mit validen Annahmen und Modellen arbeiten, die Ergebnisse auf relevanten, richtigen Daten basieren und nicht diskriminieren.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt erstens die Schaffung eines konkreten und strengeren Rechtsrahmens für Profilbildung und Scoring, insbesondere in persönlichkeitssensiblen Bereichen. Damit soll das Risiko der Manipulation und der Diskriminierung effektiv reduziert werden (DEK-Forderung Nr. 3).

Zweitens sollen Anbieter zu technischen und mathematischen-prozeduralen Qualitätsgarantien verpflichtet werden. Ziel ist die Korrektheit und Rechtmäßigkeit algorithmisch ermittelter Ergebnisse durch Verfahrensvorgaben abzusichern. (DEK-Forderung Nr. 51).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Die EU-Kommission schlägt in ihrem Entwurf für den Artificial Intelligence Act (AIA) verpflichtende Anforderungen für das Risiko- und Qualitätsmanagement sowie die Datengrundlage für hochriskante Systeme vor. Etwa, ob etwa lernende Systeme anhand von nicht verzerrten Daten trainiert werden, damit sichergestellt wird, dass sie nicht zu Diskriminierungen führen. Dies ist zu begrüßen. Leider sieht die EU-Kommission eine zu eng gefasste Definition von Hochrisiko-Anwendungen vor. Mit dieser wären viele Systeme mit einem hohen Schadenspotenzial nicht erfasst. Zudem ist in vielen Fällen keine unabhängige Kontrolle dieser Vorgaben vorgesehen. Die Bundesregierung ist in ihrer bisherigen Positionierung zum Europäischen Rechtsrahmen in dieser Hinsicht viel zu zögerlich.
  • Gut ist, dass sich die Bundesregierung dafür eingesetzt hat, dass die EU-Kommission die DSGVO auf Schutzlücken beim Scoring und der Profilbildung prüfen soll. In der KI-Strategie der Bundesregierung und der Datenstrategie der Bundesregierung fehlen aber deutliche Bekenntnisse zur Verschärfung und Konkretisierung des Rechtsrahmens für Profilbildungen und Scoring.
Illustration: Mann mit Maske

Quelle: vzbv

3 von 5 Sternen.
Die Empfehlung wurde/wird teilweise umgesetzt

Anonymisierung und Pseudonymisierung

Anonyme Daten schützen die Privatsphäre von Verbrauchern. Allerdings ist eine einwandfreie Anonymisierung eine Herausforderung, insbesondere wenn solche Daten mit unbestimmten Empfängern geteilt, veröffentlicht oder aus verschiedenen Quellen zusammengeführt werden.

Weiterlesen

Anonymisierung und Pseudonymisierung

Anonyme Daten schützen die Privatsphäre von Verbrauchern. Allerdings ist eine einwandfreie Anonymisierung eine Herausforderung, insbesondere wenn solche Daten mit unbestimmten Empfängern geteilt, veröffentlicht oder aus verschiedenen Quellen zusammengeführt werden.

Warum ist das wichtig?

Die Anonymisierung von Daten schützt die Privatsphäre von Verbraucher:innen. Allerdings ist eine einwandfreie Anonymisierung eine Herausforderung, insbesondere wenn solche Daten mit unbestimmten Empfängern geteilt, veröffentlicht oder aus verschiedenen Quellen zusammengeführt werden.

Auch ist die Anonymisierung in der DSGVO nicht absolut formuliert. Es gibt somit Anonymisierungsmaßnahmen und -techniken unterschiedlicher Qualität, die für verschiedene Zwecke unterschiedlich angemessen und geeignet sind. Daher sind Anforderungen an die Anonymisierung erforderlich. Beispielsweise muss geklärt werden, wann eine Anonymisierung hinreichend ist. Zudem bedarf es weiterer Schutzkonzepte, die das Risiko der De-Anonymisierung verringern.

Synthetische Datensätze werden künstlich aus Originaldatensätzen über echte Personen generiert. Sie enthalten keine Daten über natürliche Personen, besitzen aber dieselben statistischen Eigenschaften wie die Originaldaten. Deshalb kann man mit ihnen datenschutzfreundlich algorithmische Systeme trainieren.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt die Entwicklung von Verfahren und Standards für die Anonymisierung. Außerdem plädiert die DEK für die Einführung eines strafbewehrten Verbots einer De-Anonymisierung bisher anonymer Daten sowie ein Verbot der Aufhebung der Pseudonymisierung jenseits eng definierter Rechtfertigungsgründe. Ebenso wird empfohlen, die vielversprechende Forschung im Bereich synthetischer Daten weiter zu fördern (DEK-Forderung Nr. 20).

Wie bewertet der vzbv die bisherige Umsetzung?

  • In der Datenstrategie der EU-Kommission werden Fragen rund um die Anonymisierung von personenbezogenen Daten nicht thematisiert. Es ist bedauerlich, dass hier weder eine Förderung der Forschung an Anonymisierungstechnologien, noch konkrete Anforderungen an die Anonymisierung sowie an die Verwendung anonymisierter Daten durch gesetzliche Vorgaben und die Entwicklung von Standards vorgesehen sind. Jedoch diskutieren das EU-Parlament und der EU-Rat derzeit in den Verhandlungen zum Data Governance Act (DGA) ein Verbot der De-Anonymisierung.
  • In der nationalen Datenstrategie sowie in der Fortschreibung der KI-Strategie greift die Bundesregierung Fragen zur Anonymisierung und Pseudonymisierung von Daten auf. Sie möchte die Forschung und Standardisierung in diesen Bereichen sowie im Gebiet der Erstellung synthetischer Trainingsdaten fördern. Auch möchte sie prüfen, wie die ungerechtfertigte Diskriminierung von Menschen durch die Auswertung aggregierter/anonymer/synthetischer Daten verhindert werden kann. Dies ist zu begrüßen und im Sinne der DEK. Der vzbv bedauert jedoch, dass ein Verbot von De-Anonymisierung bisher nicht in der Datenstrategie thematisiert wird.
Illustration: Frau überwacht Systeme an Monitoren

Quelle: vzbv

4 von 5 Sternen.
Die Empfehlung wurde/wird größtenteils umgesetzt

Regulierung und Förderung von Datenintermediären

Datenmanagement- und Datentreuhandsysteme reichen von technischen Dashboards bis hin zu Systemen zur Datenverwaltung und Einwilligungsmanagement.

Weiterlesen

Regulierung und Förderung von Datenintermediären

Datenmanagement- und Datentreuhandsysteme reichen von technischen Dashboards bis hin zu Systemen zur Datenverwaltung und Einwilligungsmanagement.

Warum ist das wichtig?

Datenmanagement- und Datentreuhandsysteme (folgend: Datenintermediäre) können Verbraucher:innen bei der Kontrolle über die Verwendung ihrer Daten unterstützen – etwa bei der Einwilligung in AGBs und Datenschutzerklärungen. Wenn die Datenintermediäre im Interesse der Nutzer:innen handeln, können sie eine Schnittstelle zwischen der Datenwirtschaft und den Nutzer:innen bilden.

Eine Regulierung muss sicherstellen, dass die Rechte einzelner Personen geschützt werden. Insbesondere muss ausgeschlossen sein, dass die Datenintermediäre wirtschaftliche Eigeninteressen an den Daten haben.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt die Förderung von Forschung und Entwicklung im Bereich von innovativen Datenmanagement- und Datentreuhandsystemen. Diese Einführung von Datenmanagement- und Datentreuhandsystemen sollte auf europäischer Ebene erfolgen. Dies könnte dem Schutz von Verbraucher:innen vor vermeintlich neutralen Interessenverwaltern, die tatsächlich jedoch wirtschaftliche Eigeninteressen am Betreiben der Systeme haben, dienen (DEK-Forderung Nr. 21).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Mit dem DGA hat die EU-Kommission einen Rechtsakt vorgeschlagen, der unter anderem Regelungen für Datenintermediäre festlegen soll. Demnach müssen Datenintermediäre beispielsweise als neutrale Mittler agieren und dürfen die ihnen anvertrauten Daten nicht für eigene Interessen verwenden. Dies begrüßt der vzbv.
  • Auch die Bundesregierung möchte entsprechend der nationalen Datenstrategie Datenintermediäre etablieren. So unterstützt sie auf EU-Ebene den Vorschlag der Europäischen Kommission zum DGA. Auf nationaler Ebene hat der Bundestag mit dem Telekommunikation-Telemedien-Datenschutzgesetz eine entsprechende Regelung für „Anerkannte Dienste zur Einwilligungsverwaltung“ verabschiedet, die durch eine Rechtsverordnung weiter ausgestaltet werden soll. Auch dies unterstützt der vzbv grundsätzlich.
Illustration: Frau überträgt Daten von einem Smartphone auf ein anderes

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Datenportabilität und Pflicht zur Interoperabilität

Datenportabilität erleichtert Verbrauchern die Übertragung ihrer Daten von einem Anbieter zu einem anderen.

Weiterlesen

Datenportabilität und Pflicht zur Interoperabilität

Datenportabilität erleichtert Verbrauchern die Übertragung ihrer Daten von einem Anbieter zu einem anderen.

Warum ist das wichtig?

Datenportabilität erleichtert Verbraucher:innen die Übertragung ihrer Daten von einem Anbieter zu einem anderen. Dies kann den Anbieterwechsel fördern und damit zu mehr Wettbewerb führen.

Was empfiehlt die Datenethikkommission?

Datenportabilität ist das Recht einer Person, personenbezogene Daten bei einem Anbieterwechsel mitzunehmen. Durch diese bessere Kontrolle der eigenen Daten wird das Recht auf informationelle Selbstbestimmung gestärkt. Die DEK empfiehlt, die Datenportabilität zu erleichtern und zu befördern. Nötig sind laut DEK dafür die Erarbeitung branchenbezogener Verhaltensregeln für Unternehmen und Standards für Datenformate. Sie fordert eine Evaluierung, wie sich das bestehende Portabilitätsrecht auf den Markt auswirkt und wie eine weitere Stärkung der marktmächtigen Player verhindert werden kann (DEK-Forderung Nr. 22).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Die EU-Kommission prüft im Rahmen ihrer Datenstrategie, ob es eines erweiterten Rechts des Einzelnen auf Datenübertragbarkeit gemäß Artikel 20 DSGVO bedarf. Dies ist zu begrüßen.
  • In der Datenstrategie der Bundesregierung sind keine Vorhaben zur Datenportabilität enthalten. Dies ist bedauerlich.
  • Die Verpflichtungen für Datenportabilität und Interoperabilität im DMA werden voraussichtlich nur für einige bestimmte Dienste, die sich in der Hand der größten Technologierkonzerne befinden, gelten. Dies begrenzt die Wirksamkeit dieser Verpflichtungen erheblich.
Illustration: Mann beaufsichtigt Algorithmen, die gemäß ihres Risikos sortiert sind

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Risikoadaptierten Regulierungsansatz einführen

Algorithmische Systeme können wichtige Entscheidungen über Menschen treffen oder vorbereiten. Dabei können - absichtlich oder unabsichtlich – Einzelnen, Gruppen oder der Gesellschaft große Schäden entstehen.

Weiterlesen

Risikoadaptierten Regulierungsansatz einführen

Algorithmische Systeme können wichtige Entscheidungen über Menschen treffen oder vorbereiten. Dabei können - absichtlich oder unabsichtlich – Einzelnen, Gruppen oder der Gesellschaft große Schäden entstehen.

Warum ist das wichtig?

Algorithmische Systeme können wichtige Entscheidungen über Menschen treffen oder vorbereiten. Dabei können – absichtlich oder unabsichtlich – Einzelnen, Gruppen oder der Gesellschaft große Schäden entstehen. Die Risiken umfassen beispielsweise Diskriminierungen, Verletzung von Persönlichkeitsrechten, gesundheitliche und wirtschaftliche Schäden, Ausschluss von Teilhabe sowie Autonomieverlust der Menschen. Je höher das Schadenspotenzial einer Anwendung, umso wichtiger ist es, sicherzustellen, dass sie rechtskonform, gerecht und sicher funktioniert.

Was empfiehlt die Datenethikkommission?

Die DEK fordert mehr Kontrolle und eine nach Risiko gestaffelte Regulierung für algorithmische Systeme. Ein steigendes Schädigungspotenzial soll mit wachsenden Anforderungen und Eingriffstiefen der regulatorischen Instrumente einhergehen. Konkret empfiehlt die DEK fünf Regulierungsklassen. Algorithmische Systeme mit „unvertretbarem Schädigungspotenzial“ sollen sogar verboten werden können (etwa bestimmte autonome Waffensysteme). Bei der Risikobewertung sollen alle Komponenten, Entwicklungsschritte und ihre Implementierung im sozialen Kontext berücksichtigt werden (DEK-Forderung Nr. 36).

Wie bewertet der vzbv die bisherige Umsetzung?

Der von der EU-Kommission im AIA  vorgeschlagene risikoadaptierte Regulierungsansatz für KI bleibt in verschiedenen Aspekten hinter dem zurück, was die DEK empfiehlt.

Im Vordergrund des Vorschlags der EU-Kommission steht zwar ein abgestuftes Regulierungssystem mit mehreren Risikoklassen, dieses ist aber unausgewogen und lückenhaft: Die vorgesehenen Verbote umfassen eine viel zu eng umgrenzte Auswahl von KI-Anwendungen. Ebenso umfasst die Definition von Hochrisiko-Anwendungen, für die eine Reihe von KI-Regeln gelten sollen, zu wenige Anwendungskontexte. Auch außerhalb dieser Anwendungskontexte gibt es zahlreiche Anwendungen, die aufgrund ihrer Risiken strengerer Regeln bedürfen. Vor allem KI-Systeme, die Verbraucher:innen erheblichen wirtschaftlichen/finanziellen Schaden zufügen können, werden weitgehend ausgeblendet. Etwa beispielsweise Systeme, die im Versicherungsbereich als „Lügendetektoren“ eingesetzt werden.

Die dem AIA zugrundeliegende Definition des Risikos und potenzieller Schäden von KI ist zu eng gefasst. Nicht berücksichtigt werden etwa Verstöße gegen Verbraucherrechte (etwa Irreführung) oder dass KI-Systeme einzelne Menschen oder Gruppen erhebliche wirtschaftliche/finanzielle Schäden zufügen können. So zum Beispiel KI-Systeme, die darüber entscheiden können, ob und zu welchen Konditionen Nutzer Angebote erhalten oder an Märkten teilhaben können und welche Dienste und Angebote sie erhalten. Erfreulicherweise plädiert die Bundesregierung in ihrer Stellungnahme zum KI-Weißbuch der EU- Kommission für einen fein ausdifferenzierten risikobasierten Ansatz. Ein bestimmter Einsatz der Bundesregierung für eine deutliche Ausweitung des Anwendungsbereichs des AIA ist allerdings leider nicht zu erkennen.

Illustration: Frau weiß nicht, ob sie mit Roboter oder Mensch spricht

Quelle: vzbv

5 von 5 Sternen.
Die Empfehlung wurde/wird vollständig umgesetzt

Kennzeichnungspflicht für algorithmischen Systeme

Digitale Sprachassistenten sind beispielsweise bereits so hoch entwickelt, dass viele Menschen am Telefon nicht erkennen, ob es sich bei dem Anrufer um eine Maschine handelt.

Weiterlesen

Kennzeichnungspflicht für algorithmischen Systeme

Digitale Sprachassistenten sind beispielsweise bereits so hoch entwickelt, dass viele Menschen am Telefon nicht erkennen, ob es sich bei dem Anrufer um eine Maschine handelt.

Warum ist das wichtig?

Digitale Sprachassistenten sind beispielsweise bereits so hoch entwickelt, dass viele Menschen am Telefon nicht erkennen, ob es sich bei dem Anrufer um eine Maschine handelt. Manche Systeme sollen in Echtzeit Emotionen von Menschen erkennen und auswerten. Menschen sollten darauf aufmerksam gemacht werden müssen, dass sie mit einem algorithmischen System interagieren. Dann können sich Verbraucher:innen beispielsweise für oder gegen einen Dienst entscheiden und/oder vor der Inanspruchnahme zusätzliche Informationen einholen und sich gegen Irreführungen wehren. Ebenso müssen Betroffene, wenn wichtige Entscheidungen über sie automatisiert vorbereitet oder getroffen werden, wissen, dass das passiert und in welchem Umfang. Nur dann können sie ihre entsprechenden Rechte ausüben und beispielsweise die Datengrundlage überprüfen und sich gegen Diskriminierung wehren.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt eine Kennzeichnungspflicht für algorithmische Systeme mit einem gewissen Risikopotenzial. Verbraucher:innenn soll deutlich gemacht werden, ob und in welchem Umfang algorithmische Systeme zum Einsatz kommen. Unabhängig von den Risiken der Anwendung sollte immer eine Kennzeichnungspflicht gelten, wenn bei der Interaktion mit algorithmischen Systemen eine Verwechselungsgefahr zwischen Menschen und Maschine besteht. Ausnahmen wären Fälle, in denen man eine maschinelle Stimme erwartet, etwa bei Bahnhofsdurchsagen (DEK-Forderung Nr. 45).

Wie bewertet der vzbv die bisherige Umsetzung?

Mit dem Entwurf für den Artificial Intelligence Act (AIA) schlägt die EU-Kommission eine Kennzeichnungspflicht für KI-Systeme in drei Anwendungsbereichen vor: KI-Systeme, die mit Personen interagieren, Systeme zur Emotionserkennung oder biometrischen Kategorisierung sowie KI-generierte Bild-, Ton- oder Videoinhalte, die wirklichen Personen, Gegenständen, Orten oder anderen Einrichtungen oder Ereignissen merklich ähneln (sogenannte „Deepfakes“). So soll sichergestellt werden, dass Verbraucher:innen bewusst ist, wenn sie mit einer solchen Anwendung interagieren, beziehungsweise damit konfrontiert sind.

Illustration: Roboter erklärt einer Frau seine Funktionsweise

Quelle: vzbv

1 von 5 Sternen.
Die Empfehlung wurde/wird nicht umgesetzt

Individuelle Erklärung für Betroffene einer Entscheidung

Auskunftsrechte sind für Verbraucher zentral, um algorithmenbasierte Entscheidungen nachvollziehen und individuell überprüfen zu können.

Weiterlesen

Individuelle Erklärung für Betroffene einer Entscheidung

Auskunftsrechte sind für Verbraucher zentral, um algorithmenbasierte Entscheidungen nachvollziehen und individuell überprüfen zu können.

Warum ist das wichtig?

Auskunftsrechte sind für Verbraucher:innen zentral, um algorithmenbasierte Entscheidungen nachvollziehen und individuell überprüfen zu können. Nur so können sie ihre – beispielsweise in der DSGVO festgelegten – Rechte wahrnehmen und eine Entscheidung fundiert anfechten. Etwa um sich gegen Diskriminierungen oder Fehlentscheidungen zu wehren. Wesentlich ist dabei, dass Verbraucher:innen verständlich, relevant und konkret informiert werden und ihnen das Ergebnis und die Datengrundlage für den Einzelfall erläutert wird (anders als bei der allgemeinen Informationspflicht nach DSGVO, bei der die Funktionsweise eines algorithmischen Systems allgemein dargelegt wird).

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt, Betreiber von algorithmischen Systemen in bestimmten Bereichen zu verpflichten, betroffenen Personen eine individuelle Erklärung der konkreten Gründe der Entscheidung über sie zu geben. Dies soll zusätzlich zur allgemeinen Erläuterung der Logik (Vorgehensweise) und Tragweite des Systems erfolgen (DEK-Forderung Nr. 47).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Der Entwurf der EU-Kommission für einen Artificial Intelligence Act (AIA) schlägt lediglich eine Kennzeichnungspflicht für bestimmte Anwendungsbereiche von KI-Systemen vor (Systeme, die mit Personen interagieren, Systeme zur Emotionserkennung, Deep Fake Videos/Audios). Darüber hinaus sind keine effektiven Transparenzverpflichtungen gegenüber Verbrauchern vorgesehen.
  • In der KI- und Datenstrategie der Bundesregierung findet sich kein klares Bekenntnis zu einer Verpflichtung der Betreiber algorithmischer Systeme, Betroffenen die getroffene Entscheidung individuell zu erklären. In ihrer KI-Strategie bekennt sich die Bundesregierung zu einem risikoadäquaten Maß an Transparenz und Nachvollziehbarkeit von KI-Systemen. Dies ist aus Verbrauchersicht zu wenig und zu unverbindlich.
Illustration: Mann sitzt am Computer und sieht eine Risiko-Warnung. Er hat die Möglichkeit per Button zuzustimmen oder abzulehnen

Quelle: vzbv

1 von 5 Sternen.
Die Empfehlung wurde/wird nicht umgesetzt

Pflicht zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung

Die in der DSGVO vorgesehene Folgenabschätzung umfasst ausschließlich Informationen zu den Folgen bezüglich des Schutzes personenbezogener Daten und keine umfassende Risikoanalyse algorithmischer Systeme.

Weiterlesen

Pflicht zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung

Die in der DSGVO vorgesehene Folgenabschätzung umfasst ausschließlich Informationen zu den Folgen bezüglich des Schutzes personenbezogener Daten und keine umfassende Risikoanalyse algorithmischer Systeme.

Warum ist das wichtig?

Die in der DSGVO vorgesehene Folgenabschätzung (Art. 35 Abs. 1 DSGVO) umfasst ausschließlich Informationen zu den Folgen bezüglich des Schutzes personenbezogener Daten und keine umfassende Risikoanalyse algorithmischer Systeme.

Vertrauen in algorithmische Systeme kann nur auf Grundlage einer informierten öffentlichen Debatte und Bewertung um die Chancen und Risiken dieser Systeme entstehen.

Um diese Debatte führen zu können, müssen die grundlegenden Eigenschaften und potenziellen Risiken algorithmischer Systeme öffentlich zugänglich sein. Dafür muss etwa bekannt sein, auf welcher allgemeinen Datengrundlage ein Machine-Learning-basiertes algorithmisches System trainiert wurde, welche Datenkategorien einbezogen werden oder auf welche Kriterien das System optimiert.

Was empfiehlt die Datenethikkommission?

Die DEK will Betreiber von algorithmischen Systemen (ab einem gewissen Schädigungspotenzial) zur Veröffentlichung einer Risikofolgenabschätzung verpflichten. Diese sollte auch bei der Verarbeitung nicht-personenbezogener Daten greifen und Risiken außerhalb des Datenschutzes berücksichtigen: Risiken für die Selbstbestimmung, Privatheit, körperliche Unversehrtheit, persönliche Integrität sowie das Vermögen, Eigentum und Diskriminierung. Zudem soll die Risikofolgenabschätzung neben den zugrundeliegenden Daten und der Logik des Modells auch Qualitätsmaße und Fairnessmaße zu den zugrundeliegenden Datenmodellen berücksichtigen: Etwa zu Bias (Verzerrungen) oder (statistischen) Fehlerquoten, die ein System bei der Vorhersage oder Kategorienbildung aufweist (DEK-Forderung Nr. 49).

Wie bewertet der vzbv die bisherige Umsetzung?

  • In ihrem Entwurf für den Artificial Intelligence Act (AIA) sieht die EU-Kommission lediglich vor, Entwickler von hochriskanten KI-Systemen zu verpflichten, den Betreibern der Systeme und Behörden Informationen bezüglich der Fähigkeiten und Grenzen des Systems vorzulegen. Etwa zum Zweck des Systems, Informationen zur Datengrundlage (etwa zu Verzerrungen oder Bias) und Robustheitsmasse. Es handelt es sich dabei um keine umfassende Risikoanalyse, die auch Systemrisiken im sozioökonomischen Kontext betrachtet. Vor allem ist keine Pflicht zur Veröffentlichung der Folgenabschätzung vorgesehen, so wie von der DEK gefordert. Dies ist aus Verbrauchersicht nicht ausreichend und sollte dringend nachgebessert werden.
  • Der vzbv bedauert, dass die Bundesregierung nach ihrer Stellungnahme zum KI-Weißbuch oder der KI-Strategie nicht darauf hinarbeitet, eine Pflicht zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung auf europäischer Ebene voranzutreiben.
Illustration: Maschine verarbeitet Daten und druckt dabei ein Protokoll aus

Quelle: vzbv

3 von 5 Sternen.
Die Empfehlung wurde/wird teilweise umgesetzt

Pflicht zur Dokumentation und Protokollierung

Aufsichtsbehörden müssen auch komplexe Systeme nachvollziehen können. Dies ist nur gewährleistet, wenn die Prozessschritte, Datengrundlage, algorithmisches Modell etc. entsprechend dokumentiert werden.

Weiterlesen

Pflicht zur Dokumentation und Protokollierung

Aufsichtsbehörden müssen auch komplexe Systeme nachvollziehen können. Dies ist nur gewährleistet, wenn die Prozessschritte, Datengrundlage, algorithmisches Modell etc. entsprechend dokumentiert werden.

Warum ist das wichtig?

Aufsichtsbehörden müssen auch komplexe Systeme nachvollziehen können. Dies ist nur gewährleistet, wenn die Prozessschritte, Datengrundlage, algorithmisches Modell etc. entsprechend dokumentiert werden. Die Dokumentationspflicht muss dabei den gesamten Prozess der Entscheidungsfindung beziehungsweise Entscheidungsvorbereitung eines algorithmischen Systems umfassen (etwa das Trainingsmodell und Trainingsdaten, Entscheidungen über die Kriterien, nach denen ein Modell optimiert wurde). Nur dann kann eine externe Aufsicht effektiv kontrollieren, ob ein System rechtskonform ist, beispielsweise hinsichtlich des Diskriminierungsverbots.

Was empfiehlt die Datenethikkommission?

Die DEK fordert eine Pflicht zur Dokumentation und Protokollierung der Programmabläufe der Software bei sensiblen Anwendungen, die nachhaltige Schäden verursachen können. Die dabei verwendeten Datensätze und Modelle sollen so dokumentiert und protokolliert werden, dass Aufsichtsbehörden diese im Rahmen einer Kontrolle nachvollziehen können. Zudem sollen Anforderungen an die Dokumentation und Protokollierung konkretisiert werden, um Rechtssicherheit für die verantwortlichen Betreiber/Entwickler zu schaffen (DEK-Forderung Nr. 50).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Der Entwurf der EU-Kommission für den Artificial Intelligence Act (AIA) sieht Pflichten zur Dokumentation und Aufbewahrung von Daten und Aufzeichnungen vor. Im Falle einer Kontrolle sollen Entscheidungen von KI-Systemen damit zurückverfolgt und überprüft werden können. Die Pflicht zur Aufbewahrung und Dokumentation umfasst unter anderem: Informationen zu Trainingsdaten, Trainingsmethoden und Datengrundlage der Systeme vor. Problematisch ist, dass aufgrund des vorgesehenen zu engen Anwendungsbereichs viele kritische Systeme nicht erfasst wären. In ihrer Stellungnahme zum KI-Weißbuch unterstützt die Bundesregierung die Vorschläge der EU-Kommission zur Dokumentation, Aufzeichnung und Aufbewahrung von Daten.
  • Es ist zu begrüßen, dass die Bundesregierung gemeinsam mit dem DIN die Normungsroadmap KI vorantreibt. Diese beschäftigt sich auch mit dem Thema Prüfkriterien und –Methoden sowie der dafür notwendigen Dokumentation und Protokollierung von Methoden, Programmabläufen und Datengrundlagen algorithmischer Systeme.
Illustration: Zwei Menschen überwachen einen Algorithmus mit Ferngläsern

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme

Die technisch-methodische Expertise, um die Rechtmäßigkeit und gesellschaftliche Auswirkungen algorithmischer Systeme nachvollziehen zu können, kann nicht bei allen Aufsichtsbehörden vorausgesetzt werden.

Weiterlesen

Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme

Die technisch-methodische Expertise, um die Rechtmäßigkeit und gesellschaftliche Auswirkungen algorithmischer Systeme nachvollziehen zu können, kann nicht bei allen Aufsichtsbehörden vorausgesetzt werden.

Warum ist das wichtig?

Die technisch-methodische Expertise, um die Rechtmäßigkeit und gesellschaftliche Auswirkungen algorithmischer Systeme nachvollziehen zu können, kann nicht bei allen Aufsichtsbehörden vorausgesetzt werden. Eine technisch versierte „Unterstützungseinheit“ ist nötig. Die Durchsetzung gesetzlicher Rahmenbedingungen würde damit weiter bei den bisher zuständigen Behörden liegen.

Was empfiehlt die Datenethikkommission?

Die Datenethikkommission fordert die Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme. Dieses soll die bestehenden Aufsichtsbehörden unterstützen, vor allem durch methodisch-technischen Sachverstand. Insbesondere bei der Kontrolle, inwieweit algorithmische Systeme Recht und Gesetz einhalten (DEK-Forderung Nr. 56).

Wie bewertet der vzbv die bisherige Umsetzung?

Zwar betont die Bundesregierung in ihrer KI-Strategie die Wichtigkeit einer „angemessene[n] Kontrollstruktur und Überprüfbarkeit von KI-Anwendungen und ihren Ergebnissen“. Bisher ist aber keine Initiative der Bundesregierung zur Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme im Sinne der DEK bekannt. Im Rahmen der KI-Strategie wurde zwar das „Observatorium Künstliche Intelligenz in Arbeit und Gesellschaft“ geschaffen. Eine direkte Unterstützung bestehender Aufsichtsbehörden lässt sich jedoch aus dessen Aufgabenbeschreibung nicht erkennen.

Der Entwurf für einen Artificial Intelligence Act (AIA) der EU-Kommission diskutiert eine europäische Governance-Struktur für KI. Diese soll vor allem die Koordination und Zusammenarbeit der nationalen und europäischen Aufsichtsbehörden unterstützen. Es ist jedoch auch vorgesehen, dass in jedem Mitgliedsstaat eine noch einzurichtende nationale Marktüberwachungsbehörde auf Antrag von zuständigen Aufsichtsbehörden, technische Tests von Hochrisiko-KI-Systems durchführen soll. Die zuständige Aufsichtsbehörde soll dabei in die Durchführung der Tests einbezogen werden. Es ist zu hoffen, dass die Bundesregierung diese künftige Marktüberwachungsbehörde so ausstattet, dass sie der DEK-Idee eines bundesweiten Kompetenzzentrums Algorithmische Systeme entspricht.