vege - fotolia.com

Quelle: vege - AdobeStock

user-lock

Politik-Tracker Datenethikkommission

Bewertung der Umsetzung der Empfehlungen der Datenethikkommission

Im Oktober 2019 hat die Datenethikkommission (DEK) der Bundesregierung die zentralen Handlungsempfehlungen zu den Themen Künstliche Intelligenz, algorithmische Systeme und Datenpolitik vorgestellt. Diese Empfehlungen enthalten wichtige Aufgaben für die Bundesregierung und den europäischen Gesetzgeber.

Der vzbv bewertet regelmäßig die Umsetzung der zehn wichtigsten Empfehlungen aus Verbrauchersicht.

Bewertungszeit: Ein Jahr

Status der Umsetzung von DEK-Handlungsempfehlungen

Wählen Sie den Zeitpunkt, für welchen die Bewertung angezeigt werden soll.
NICHT BEGONNEN
BEGONNEN
ABGESCHLOSSEN
4
6
0
Halbes Jahr
2
8
0
Ein Jahr
1
9
0
Zwei Jahre
0
0
0
Drei Jahre
0
0
0
Vier Jahre
0
0
0
Fünf Jahre
Die Empfehlung wurde/wird nicht umgesetzt
Die Empfehlung wurde/wird kaum umgesetzt
Die Empfehlung wurde/wird teilweise umgesetzt
Die Empfehlung wurde/wird größtenteils umgesetzt
Die Empfehlung wurde/wird vollständig umgesetzt
Illustration: Aus dem Smartphone eines Mannes fließt ein Ebenbild seiner selbst aus Nullen und Einsen

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Rechtsrahmen für Profilbildungen und automatisierte Entscheidungen

Es greift tief in die Rechte und Freiheiten der Menschen ein, wenn Unternehmen ihr Verhalten und ihre Lebensumstände analysieren und bewerten. Die besonderen Beschränkungen der Datenschutz-Grundverordnung für automatisierte Entscheidungen greifen hier jedoch zu kurz.

Weiterlesen

Rechtsrahmen für Profilbildungen und automatisierte Entscheidungen

Es greift tief in die Rechte und Freiheiten der Menschen ein, wenn Unternehmen ihr Verhalten und ihre Lebensumstände analysieren und bewerten. Die besonderen Beschränkungen der Datenschutz-Grundverordnung für automatisierte Entscheidungen greifen hier jedoch zu kurz.

Warum ist das wichtig?

Es greift tief in die Rechte und Freiheiten der Menschen ein, wenn Unternehmen ihr Verhalten und ihre Lebensumstände analysieren und bewerten. Die besonderen Beschränkungen der Datenschutz-Grundverordnung (DSGVO) für automatisierte Entscheidungen greifen hier jedoch zu kurz. Aktuell werden Verbraucher:innen daher nicht ausreichend vor Profilbildungen und ungerechtfertigten automatisierten Entscheidungen geschützt.

Zudem fehlen Qualitätsanforderungen an automatisierte Entscheidungen, die sicherstellen, dass die Systeme mit validen Annahmen und Modellen arbeiten, die Ergebnisse auf relevanten, richtigen Daten basieren und nicht diskriminieren.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt erstens die Schaffung eines konkreten und strengeren Rechtsrahmens für Profilbildung und Scoring, insbesondere in persönlichkeitssensiblen Bereichen. Damit soll das Risiko der Manipulation und der Diskriminierung effektiv reduziert werden (DEK-Forderung Nr. 3).

Zweitens sollen Anbieter zu technischen und mathematischen-prozeduralen Qualitätsgarantien verpflichtet werden. Ziel ist die Korrektheit und Rechtmäßigkeit algorithmisch ermittelter Ergebnisse durch Verfahrensvorgaben abzusichern. (DEK-Forderung Nr. 51).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Die EU-Kommission schlägt in ihrem Weißbuch zur KI verpflichtende Anforderungen an die Datengrundlage für hochriskante Systeme vor. Ob etwa lernende Systeme anhand von Daten trainiert werden, die einen sicheren Betrieb garantieren, dass sie nicht durch verzerrte Daten diskriminieren und Anforderungen an Robustheit und Genauigkeit erfüllen. Dies ist zu begrüßen. Leider steht in der aktuellen Diskussion der EU-Kommission eine binäre, zu eng gefasste Definition von Hochrisiko-Anwendungen im Vordergrund. Mit dieser wären viele Systeme mit einem hohen Schadenspotenzial nicht erfasst.
  • Gut ist, dass sich die Bundesregierung dafür eingesetzt hat, dass die EU-Kommission die DSGVO auf Schutzlücken beim Scoring und der Profilbildung prüfen soll. In der KI-Strategie der Bundesregierung fehlt aber ein deutliches Bekenntnis zur Verschärfung und Konkretisierung des Rechtsrahmens für Profilbildungen und Scoring.
Illustration: Mann mit Maske

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Anonymisierung und Pseudonymisierung

Anonyme Daten schützen die Privatsphäre von Verbrauchern. Allerdings ist eine einwandfreie Anonymisierung eine Herausforderung, insbesondere wenn solche Daten mit unbestimmten Empfängern geteilt, veröffentlicht oder aus verschiedenen Quellen zusammengeführt werden.

Weiterlesen

Anonymisierung und Pseudonymisierung

Anonyme Daten schützen die Privatsphäre von Verbrauchern. Allerdings ist eine einwandfreie Anonymisierung eine Herausforderung, insbesondere wenn solche Daten mit unbestimmten Empfängern geteilt, veröffentlicht oder aus verschiedenen Quellen zusammengeführt werden.

Warum ist das wichtig?

Die Anonymisierung von Daten schützt die Privatsphäre von Verbraucher:innen. Allerdings ist eine einwandfreie Anonymisierung eine Herausforderung, insbesondere wenn solche Daten mit unbestimmten Empfängern geteilt, veröffentlicht oder aus verschiedenen Quellen zusammengeführt werden.

Auch ist die Anonymisierung in der DSGVO nicht absolut formuliert. Es gibt somit Anonymisierungsmaßnahmen und -techniken unterschiedlicher Qualität, die für verschiedene Zwecke unterschiedlich angemessen und geeignet sind. Daher sind Anforderungen an die Anonymisierung erforderlich. Beispielsweise muss geklärt werden, wann eine Anonymisierung hinreichend ist. Zudem bedarf es weiterer Schutzkonzepte, die das Risiko der De-Anonymisierung verringern.

Synthetische Datensätze werden künstlich aus Originaldatensätzen über echte Personen generiert. Sie enthalten keine Daten über natürliche Personen, besitzen aber dieselben statistischen Eigenschaften wie die Originaldaten. Deshalb kann man mit ihnen datenschutzfreundlich algorithmische Systeme trainieren.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt die Entwicklung von Verfahren und Standards für die Anonymisierung. Außerdem plädiert die DEK für die Einführung eines strafbewehrten Verbots einer De-Anonymisierung bisher anonymer Daten sowie ein Verbot der Aufhebung der Pseudonymisierung jenseits eng definierter Rechtfertigungsgründe. Ebenso wird empfohlen, die vielversprechende Forschung im Bereich synthetischer Daten weiter zu fördern (DEK-Forderung Nr. 20).

Wie bewertet der vzbv die bisherige Umsetzung?

  • In der Datenstrategie der EU-Kommission werden Fragen rund um die Anonymisierung von personenbezogenen Daten nicht thematisiert. Es ist bedauerlich, dass hier weder eine Förderung der Forschung an Anonymisierungstechnologien, noch konkrete Anforderungen an die Anonymisierung sowie an die Verwendung anonymisierter Daten durch gesetzliche Vorgaben und die Entwicklung von Standards vorgesehen sind.

  • In den bisher bekannt gewordenen Vorschlägen einer nationalen Datenstrategie sowie in der KI-Strategie greift die Bundesregierung Fragen zur Anonymisierung und Pseudonymisierung von Daten auf. Sie möchte die Forschung und Standardisierung in diesen Bereichen sowie im Gebiet der Erstellung synthetischer Trainingsdaten fördern. Auch möchte sie prüfen, wie die ungerechtfertigte Diskriminierung von Menschen durch die Auswertung aggregierter/anonymer/synthetischer Daten verhindert werden kann. Dies ist zu begrüßen und im Sinne der DEK. Der vzbv bedauert jedoch, dass ein Verbot von De-Anonymisierung bisher nicht in der Datenstrategie thematisiert wird.

Illustration: Frau überwacht Systeme an Monitoren

Quelle: vzbv

3 von 5 Sternen.
Die Empfehlung wurde/wird teilweise umgesetzt

Regulierung und Förderung von Datenintermediären

Datenmanagement- und Datentreuhandsysteme reichen von technischen Dashboards bis hin zu Systemen zur Datenverwaltung und Einwilligungsmanagement.

Weiterlesen

Regulierung und Förderung von Datenintermediären

Datenmanagement- und Datentreuhandsysteme reichen von technischen Dashboards bis hin zu Systemen zur Datenverwaltung und Einwilligungsmanagement.

Warum ist das wichtig?

Datenmanagement- und Datentreuhandsysteme (folgend: Datenintermediäre) können Verbraucher:innen bei der Kontrolle über die Verwendung ihrer Daten unterstützen – etwa bei der Einwilligung in AGBs und Datenschutzerklärungen. Wenn die Datenintermediäre im Interesse der Nutzer:innen handeln, können sie eine Schnittstelle zwischen der Datenwirtschaft und den Nutzer:innen bilden.

Eine Regulierung muss sicherstellen, dass die Rechte einzelner Personen geschützt werden. Insbesondere muss ausgeschlossen sein, dass die Datenintermediäre wirtschaftliche Eigeninteressen an den Daten haben.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt die Förderung von Forschung und Entwicklung im Bereich von innovativen Datenmanagement- und Datentreuhandsystemen. Diese Einführung von Datenmanagement- und Datentreuhandsystemen sollte auf europäischer Ebene erfolgen. Dies könnte dem Schutz von Verbraucher:innen vor vermeintlich neutralen Interessenverwaltern, die tatsächlich jedoch wirtschaftliche Eigeninteressen am Betreiben der Systeme haben, dienen (DEK-Forderung Nr. 21).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Die EU-Kommission prüft im Rahmen ihrer Datenstrategie, ob „Vorschriften für Anbieter von Anwendungen für personenbezogene Daten oder für neuartige Datenmittler, wie Anbieter persönlicher Datenräume“, erforderlich sind, wobei deren Rolle als neutraler Vermittler gewährleistet werden muss. Dies begrüßt der vzbv.

  • Laut ersten Berichten zur nationalen Datenstrategie möchte die Bundesregierung Datentreuhänder etablieren. Sie möchte sich auf EU-Ebene für gesetzliche Regelungen einsetzen, die konkrete Qualitätskriterien definieren und die Unabhängigkeit von Datentreuhändern und deren Qualifikation gewährleisten sowie eine Akkreditierung/Zertifizierung von Treuhändern etablieren. Auch auf nationaler Ebene möchte die Bundesregierung im Rahmen des Telekommunikations-Telemedien-Datenschutz-Gesetzes (TTDSG) eine Regelung bezüglich der Anerkennung von Diensten zur Verwaltung persönlicher Informationen treffen („Personal Information Management System“ – PIMS). Auch dies unterstützt der vzbv grundsätzlich. Jedoch ist nach Ansicht des vzbv das TTDSG nicht geeignet für eine solche Regelung, da dieses mit dem Fokus auf elektronische Kommunikationsdienste sowie Telemedien einen zu engen Anwendungsbereich umfasst. Daher sollte eine entsprechende Regelung im Bundesdatenschutzgesetz als horizontale Vorschrift erfolgen.

Illustration: Frau überträgt Daten von einem Smartphone auf ein anderes

Quelle: vzbv

3 von 5 Sternen.
Die Empfehlung wurde/wird teilweise umgesetzt

Datenportabilität und Pflicht zur Interoperabilität

Datenportabilität erleichtert Verbrauchern die Übertragung ihrer Daten von einem Anbieter zu einem anderen.

Weiterlesen

Datenportabilität und Pflicht zur Interoperabilität

Datenportabilität erleichtert Verbrauchern die Übertragung ihrer Daten von einem Anbieter zu einem anderen.

Warum ist das wichtig?

Datenportabilität erleichtert Verbraucher:innen die Übertragung ihrer Daten von einem Anbieter zu einem anderen. Dies kann den Anbieterwechsel fördern und damit zu mehr Wettbewerb führen.

Was empfiehlt die Datenethikkommission?

Datenportabilität ist das Recht einer Person, personenbezogene Daten bei einem Anbieterwechsel mitzunehmen. Durch diese bessere Kontrolle der eigenen Daten wird das Recht auf informationelle Selbstbestimmung gestärkt. Die DEK empfiehlt, die Datenportabilität zu erleichtern und zu befördern. Nötig sind laut DEK dafür die Erarbeitung branchenbezogener Verhaltensregeln für Unternehmen und Standards für Datenformate. Sie fordert eine Evaluierung, wie sich das bestehende Portabilitätsrecht auf den Markt auswirkt und wie eine weitere Stärkung der marktmächtigen Player verhindert werden kann (DEK-Forderung Nr. 22).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Die EU-Kommission prüft im Rahmen ihrer Datenstrategie, ob es eines erweiterten Rechts des Einzelnen auf Datenübertragbarkeit gemäß Artikel 20 DSGVO bedarf. Dies ist zu begrüßen.

  • Laut Eckpunktepapier zur Datenstrategie plant die Bundesregierung, die Forschung zur Entwicklung einer praxistauglichen Datenportabilität zu fördern. In den bisher bekannt gewordenen Entwürfen zur Datenstrategie ist dieses Vorhaben jedoch nicht enthalten. Dies ist zu bedauern.

Illustration: Mann beaufsichtigt Algorithmen, die gemäß ihres Risikos sortiert sind

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Risikoadaptierten Regulierungsansatz einführen

Algorithmische Systeme können wichtige Entscheidungen über Menschen treffen oder vorbereiten. Dabei können - absichtlich oder unabsichtlich – Einzelnen, Gruppen oder der Gesellschaft große Schäden entstehen.

Weiterlesen

Risikoadaptierten Regulierungsansatz einführen

Algorithmische Systeme können wichtige Entscheidungen über Menschen treffen oder vorbereiten. Dabei können - absichtlich oder unabsichtlich – Einzelnen, Gruppen oder der Gesellschaft große Schäden entstehen.

Warum ist das wichtig?

Algorithmische Systeme können wichtige Entscheidungen über Menschen treffen oder vorbereiten. Dabei können – absichtlich oder unabsichtlich – Einzelnen, Gruppen oder der Gesellschaft große Schäden entstehen. Die Risiken umfassen beispielsweise Diskriminierungen, Verletzung von Persönlichkeitsrechten, gesundheitliche und wirtschaftliche Schäden, Ausschluss von Teilhabe sowie Autonomieverlust der Menschen. Je höher das Schadenspotenzial einer Anwendung, umso wichtiger ist es, sicherzustellen, dass sie rechtskonform, gerecht und sicher funktioniert.

Was empfiehlt die Datenethikkommission?

Die DEK fordert mehr Kontrolle und eine nach Risiko gestaffelte Regulierung für algorithmische Systeme. Ein steigendes Schädigungspotenzial soll mit wachsenden Anforderungen und Eingriffstiefen der regulatorischen Instrumente einhergehen. Konkret empfiehlt die DEK fünf Regulierungsklassen. Algorithmische Systeme mit „unvertretbarem Schädigungspotenzial“ sollen sogar verboten werden können (etwa bestimmte autonome Waffensysteme). Bei der Risikobewertung sollen alle Komponenten, Entwicklungsschritte und ihre Implementierung im sozialen Kontext berücksichtigt werden (DEK-Forderung Nr. 36).

Wie bewertet der vzbv die bisherige Umsetzung?

Der von der EU-Kommission im Weißbuch zur KI und in der Folgeabschätzung zu ihrer Initiative für ethische und rechtliche Anforderungen für Künstliche Intelligenz diskutierte risikoadaptierte Regulierungsansatz für KI bleibt in verschiedenen Aspekten hinter dem zurück, was die DEK empfiehlt.

Im Vordergrund des Vorschlags der EU-Kommission steht ein binärer Ansatz und kein abgestuftes Regulierungssystem mit mehreren Risikoklassen.

Die Definition des Risikos und potenziellen Schadens ist zu eng gefasst. Im Weißbuch zur KI und in der Folgeabschätzung thematisiert die EU-Kommission neben Schäden/Risiken für Einzelne auch Folgen für soziale Gruppen. Leider werden Auswirkungen auf die Gesellschaft sowie ökonomische Schäden allgemein (außerhalb von Schäden am Eigentum) nicht berücksichtigt, obwohl KI-Systeme darüber entscheiden können, ob und zu welchen Konditionen Nutzer Angebote erhalten oder an Märkten teilhaben können. Erfreulicherweise plädiert die Bundesregierung in ihrer Stellungnahe zum KI-Weißbuch für einen feiner ausdifferenzierten risikobasierten Ansatz. Der Empfehlung der DEK mit Blick auf fünf Risikostufen wird jedoch nicht gefolgt.

Leider begrenzt der Ansatz der EU-Kommission zur Definition von Hochrisiko-Anwendungen den Anwendungsbereich der KI-Regeln auf bestimmte Sektoren oder Anwendungskontexte Aber auch außerhalb dieser gibt es Anwendungen, die aufgrund ihrer Risiken strengerer Regeln bedürfen.

Illustration: Frau weiß nicht, ob sie mit Roboter oder Mensch spricht

Quelle: vzbv

2 von 5 Sternen.
Die Empfehlung wurde/wird kaum umgesetzt

Kennzeichnungspflicht für algorithmischen Systeme

Digitale Sprachassistenten sind beispielsweise bereits so hoch entwickelt, dass viele Menschen am Telefon nicht erkennen, ob es sich bei dem Anrufer um eine Maschine handelt.

Weiterlesen

Kennzeichnungspflicht für algorithmischen Systeme

Digitale Sprachassistenten sind beispielsweise bereits so hoch entwickelt, dass viele Menschen am Telefon nicht erkennen, ob es sich bei dem Anrufer um eine Maschine handelt.

Warum ist das wichtig?

Digitale Sprachassistenten sind beispielsweise bereits so hoch entwickelt, dass viele Menschen am Telefon nicht erkennen, ob es sich bei dem Anrufer um eine Maschine handelt. Manche Systeme sollen in Echtzeit Emotionen von Menschen erkennen und auswerten. Menschen sollten darauf aufmerksam gemacht werden müssen, dass sie mit einem algorithmischen System interagieren. Dann können sich Verbraucher:innen beispielsweise für oder gegen einen Dienst entscheiden und/oder vor der Inanspruchnahme zusätzliche Informationen einholen und sich gegen Irreführungen wehren. Ebenso müssen Betroffene, wenn wichtige Entscheidungen über sie automatisiert vorbereitet oder getroffen werden, wissen, dass das passiert und in welchem Umfang. Nur dann können sie ihre entsprechenden Rechte ausüben und beispielsweise die Datengrundlage überprüfen und sich gegen Diskriminierung wehren.

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt eine Kennzeichnungspflicht für algorithmische Systeme mit einem gewissen Risikopotenzial. Verbraucher:innenn soll deutlich gemacht werden, ob und in welchem Umfang algorithmische Systeme zum Einsatz kommen. Unabhängig von den Risiken der Anwendung sollte immer eine Kennzeichnungspflicht gelten, wenn bei der Interaktion mit algorithmischen Systemen eine Verwechselungsgefahr zwischen Menschen und Maschine besteht. Ausnahmen wären Fälle, in denen man eine maschinelle Stimme erwartet, etwa bei Bahnhofsdurchsagen (DEK-Forderung Nr. 45).

Wie bewertet der vzbv die bisherige Umsetzung?

Das KI-Weißbuch schlägt vor, eine Kennzeichnungspflicht für hochriskante Anwendungsfälle einzuführen. So soll sichergestellt werden, dass Verbrauchern bewusst ist, wenn sie mit einer Hochrisiko-Anwendung interagieren. Der bei der Kommission im Vordergrund stehende binäre Ansatz zur Definition von Hochrisiko-Anwendungen begrenzt den Anwendungsbereich einer Kennzeichnungspflicht auf hochriskante Anwendungen innerhalb vorab definierter Hochrisiko-Sektoren oder einzelner Anwendungsbereiche. Aber auch außerhalb dieser gibt es riskante KI-Anwendungen, die strengerer KI-Regeln bedürfen. Insofern ist der bislang im Weißbuch vorgeschlagene Ansatz zu eng gefasst und sollte erweitert werden. In ihrer Stellungnahe zum KI-Weißbuch merkt die Bundesregierung lediglich an, dass Kennzeichnungspflichten für KI „erforderlich sein können“. Dies ist aus Verbrauchersicht zu unverbindlich.

Illustration: Roboter erklärt einer Frau seine Funktionsweise

Quelle: vzbv

1 von 5 Sternen.
Die Empfehlung wurde/wird nicht umgesetzt

Individuelle Erklärung für Betroffene einer Entscheidung

Auskunftsrechte sind für Verbraucher zentral, um algorithmenbasierte Entscheidungen nachvollziehen und individuell überprüfen zu können.

Weiterlesen

Individuelle Erklärung für Betroffene einer Entscheidung

Auskunftsrechte sind für Verbraucher zentral, um algorithmenbasierte Entscheidungen nachvollziehen und individuell überprüfen zu können.

Warum ist das wichtig?

Auskunftsrechte sind für Verbraucher:innen zentral, um algorithmenbasierte Entscheidungen nachvollziehen und individuell überprüfen zu können. Nur so können sie ihre – beispielsweise in der DSGVO festgelegten – Rechte wahrnehmen und eine Entscheidung fundiert anfechten. Etwa um sich gegen Diskriminierungen oder Fehlentscheidungen zu wehren. Wesentlich ist dabei, dass Verbraucher:innen verständlich, relevant und konkret informiert werden und ihnen das Ergebnis und die Datengrundlage für den Einzelfall erläutert wird (anders als bei der allgemeinen Informationspflicht nach DSGVO, bei der die Funktionsweise eines algorithmischen Systems allgemein dargelegt wird).

Was empfiehlt die Datenethikkommission?

Die DEK empfiehlt, Betreiber von algorithmischen Systemen in bestimmten Bereichen zu verpflichten, betroffenen Personen eine individuelle Erklärung der konkreten Gründe der Entscheidung über sie zu geben. Dies soll zusätzlich zur allgemeinen Erläuterung der Logik (Vorgehensweise) und Tragweite des Systems erfolgen (DEK-Forderung Nr. 47).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Das KI-Weißbuch schlägt verpflichtende Anforderungen für hochriskante algorithmische Systeme vor (unter anderem zu Transparenz gegenüber Aufsichtsbehörden, Dokumentationspflichten und eine Kennzeichnungspflicht). Bedauerlicherweise ist eine Pflicht für Betreiber der Systeme, Betroffenen eine individuelle Erklärung für die konkreten Gründe einer Entscheidung zu mitzuteilen, jedoch nicht vorgesehen.

  • In der KI- und Datenstrategie der Bundesregierung findet sich kein klares Bekenntnis zu einer Verpflichtung der Betreiber algorithmischer Systeme, Betroffenen die getroffene Entscheidung individuell zu erklären. Laut KI-Strategie will die Bundesregierung lediglich prüfen, inwieweit Transparenz, Nachvollziehbarkeit und Überprüfbarkeit von KI-Systemen hergestellt werden können. Dies ist aus Verbrauchersicht zu wenig und zu unverbindlich.

Illustration: Mann sitzt am Computer und sieht eine Risiko-Warnung. Er hat die Möglichkeit per Button zuzustimmen oder abzulehnen

Quelle: vzbv

1 von 5 Sternen.
Die Empfehlung wurde/wird nicht umgesetzt

Pflicht zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung

Die in der DSGVO vorgesehene Folgenabschätzung umfasst ausschließlich Informationen zu den Folgen bezüglich des Schutzes personenbezogener Daten und keine umfassende Risikoanalyse algorithmischer Systeme.

Weiterlesen

Pflicht zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung

Die in der DSGVO vorgesehene Folgenabschätzung umfasst ausschließlich Informationen zu den Folgen bezüglich des Schutzes personenbezogener Daten und keine umfassende Risikoanalyse algorithmischer Systeme.

Warum ist das wichtig?

Die in der DSGVO vorgesehene Folgenabschätzung (Art. 35 Abs. 1 DSGVO) umfasst ausschließlich Informationen zu den Folgen bezüglich des Schutzes personenbezogener Daten und keine umfassende Risikoanalyse algorithmischer Systeme.

Vertrauen in algorithmische Systeme kann nur auf Grundlage einer informierten öffentlichen Debatte und Bewertung um die Chancen und Risiken dieser Systeme entstehen.

Um diese Debatte führen zu können, müssen die grundlegenden Eigenschaften und potenziellen Risiken algorithmischer Systeme öffentlich zugänglich sein. Dafür muss etwa bekannt sein, auf welcher allgemeinen Datengrundlage ein Machine-Learning-basiertes algorithmisches System trainiert wurde, welche Datenkategorien einbezogen werden oder auf welche Kriterien das System optimiert.

Was empfiehlt die Datenethikkommission?

Die DEK will Betreiber von algorithmischen Systemen (ab einem gewissen Schädigungspotenzial) zur Veröffentlichung einer Risikofolgenabschätzung verpflichten. Diese sollte auch bei der Verarbeitung nicht-personenbezogener Daten greifen und Risiken außerhalb des Datenschutzes berücksichtigen: Risiken für die Selbstbestimmung, Privatheit, körperliche Unversehrtheit, persönliche Integrität sowie das Vermögen, Eigentum und Diskriminierung. Zudem soll die Risikofolgenabschätzung neben den zugrundeliegenden Daten und der Logik des Modells auch Qualitätsmaße und Fairnessmaße zu den zugrundeliegenden Datenmodellen berücksichtigen: Etwa zu Bias (Verzerrungen) oder (statistischen) Fehlerquoten, die ein System bei der Vorhersage oder Kategorienbildung aufweist (DEK-Forderung Nr. 49).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Das KI-Weißbuch schlägt lediglich vor, Entwickler von hochriskanten Systemen zu verpflichten, den Betreibern der Systeme oder Behörden Informationen bezüglich der Fähigkeiten und Grenzen des Systems vorzulegen. Etwa der Zweck des Systems, die Bedingungen, unter denen es bestimmungsgemäß funktionieren sollte, und Genauigkeitsmaße. Es handelt es sich dabei um keine umfassende Risikoanalyse, die auch Systemrisiken im sozioökonomischen Kontext betrachtet. Vor allem ist keine Pflicht zur Veröffentlichung der Folgenabschätzung vorgesehen, so wie von der DEK gefordert. Dies ist aus Verbrauchersicht nicht ausreichend und sollte dringend nachgebessert werden.
  • Der vzbv bedauert, dass die Bundesregierung in ihrer Stellungnahme zum KI-Weißbuch nicht darauf hinarbeitet, eine Pflicht zur Erstellung und Veröffentlichung einer Risikofolgenabschätzung auf europäischer Ebene voranzutreiben.

Illustration: Maschine verarbeitet Daten und druckt dabei ein Protokoll aus

Quelle: vzbv

3 von 5 Sternen.
Die Empfehlung wurde/wird teilweise umgesetzt

Pflicht zur Dokumentation und Protokollierung

Aufsichtsbehörden müssen auch komplexe Systeme nachvollziehen können. Dies ist nur gewährleistet, wenn die Prozessschritte, Datengrundlage, algorithmisches Modell etc. entsprechend dokumentiert werden.

Weiterlesen

Pflicht zur Dokumentation und Protokollierung

Aufsichtsbehörden müssen auch komplexe Systeme nachvollziehen können. Dies ist nur gewährleistet, wenn die Prozessschritte, Datengrundlage, algorithmisches Modell etc. entsprechend dokumentiert werden.

Warum ist das wichtig?

Aufsichtsbehörden müssen auch komplexe Systeme nachvollziehen können. Dies ist nur gewährleistet, wenn die Prozessschritte, Datengrundlage, algorithmisches Modell etc. entsprechend dokumentiert werden. Die Dokumentationspflicht muss dabei den gesamten Prozess der Entscheidungsfindung beziehungsweise Entscheidungsvorbereitung eines algorithmischen Systems umfassen (etwa das Trainingsmodell und Trainingsdaten, Entscheidungen über die Kriterien, nach denen ein Modell optimiert wurde). Nur dann kann eine externe Aufsicht effektiv kontrollieren, ob ein System rechtskonform ist, beispielsweise hinsichtlich des Diskriminierungsverbots.

Was empfiehlt die Datenethikkommission?

Die DEK fordert eine Pflicht zur Dokumentation und Protokollierung der Programmabläufe der Software bei sensiblen Anwendungen, die nachhaltige Schäden verursachen können. Die dabei verwendeten Datensätze und Modelle sollen so dokumentiert und protokolliert werden, dass Aufsichtsbehörden diese im Rahmen einer Kontrolle nachvollziehen können. Zudem sollen Anforderungen an die Dokumentation und Protokollierung konkretisiert werden, um Rechtssicherheit für die verantwortlichen Betreiber/Entwickler zu schaffen (DEK-Forderung Nr. 50).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Das KI-Weißbuch schlägt Pflichten zur Aufbewahrung von Daten und Aufzeichnungen vor. Im Falle einer Kontrolle sollen Entscheidungen von KI-Systemen damit zurückverfolgt und überprüft werden können. Die Pflicht zur Aufbewahrung und Dokumentation umfasst unter anderem: Informationen zu Trainingsdaten, Trainingsmethoden, Methoden für Programmierung, Training, Erprobung und Validierung der Systeme. Der vzbv bedauert, dass die Datensätze an sich nur in bestimmten Fällen vorgehalten werden sollen. Problematisch ist, dass aufgrund des vorgesehenen zu engen Anwendungsbereichs viele relevante Systeme nicht erfasst wären. In ihrer Stellungnahme zum KI-Weißbuch unterstützt die Bundesregierung die Vorschläge der EU-Kommission zur Dokumentation, Aufzeichnung und Aufbewahrung von Daten.

  • Es ist zu begrüßen, dass die Bundesregierung gemeinsam mit dem DIN Projekte zur Entwicklung von Normungs-Roadmaps im Bereich KI initiiert hat. Diese beschäftigen sich auch mit dem Thema der Dokumentation und Protokollierung von Methoden, Programmabläufen und Datengrundlagen algorithmischer Systeme.

Illustration: Zwei Menschen überwachen einen Algorithmus mit Ferngläsern

Quelle: vzbv

1 von 5 Sternen.
Die Empfehlung wurde/wird nicht umgesetzt

Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme

Die technisch-methodische Expertise, um die Rechtmäßigkeit und gesellschaftliche Auswirkungen algorithmischer Systeme nachvollziehen zu können, kann nicht bei allen Aufsichtsbehörden vorausgesetzt werden.

Weiterlesen

Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme

Die technisch-methodische Expertise, um die Rechtmäßigkeit und gesellschaftliche Auswirkungen algorithmischer Systeme nachvollziehen zu können, kann nicht bei allen Aufsichtsbehörden vorausgesetzt werden.

Warum ist das wichtig?

Die technisch-methodische Expertise, um die Rechtmäßigkeit und gesellschaftliche Auswirkungen algorithmischer Systeme nachvollziehen zu können, kann nicht bei allen Aufsichtsbehörden vorausgesetzt werden. Eine technisch versierte „Unterstützungseinheit“ ist nötig. Die Durchsetzung gesetzlicher Rahmenbedingungen würde damit weiter bei den bisher zuständigen Behörden liegen.

Was empfiehlt die Datenethikkommission?

Die Datenethikkommission fordert die Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme. Dieses soll die bestehenden Aufsichtsbehörden unterstützen, vor allem durch methodisch-technischen Sachverstand. Insbesondere bei der Kontrolle, inwieweit algorithmische Systeme Recht und Gesetz einhalten (DEK-Forderung Nr. 56).

Wie bewertet der vzbv die bisherige Umsetzung?

  • Das KI-Weißbuch diskutiert eine europäische Governance-Struktur für KI. Diese soll aber vor allem die Koordination und Zusammenarbeit der nationalen und europäischen Aufsichtsbehörden unterstützen. Eine Unterstützung der Aufsichtsbehörden bei ihrer Aufsichtstätigkeit im Sinne der DEK ist leider nicht vorgesehen.

  • Zwar kündigt die Bundesregierung in ihrer KI-Strategie an, die „Einrichtung beziehungsweise den Ausbau von staatlichen Stellen und privaten Prüfinstitutionen zur Kontrolle algorithmischer Entscheidungen“ zu prüfen. Bisher ist aber keine Initiative der Bundesregierung zur Schaffung eines bundesweiten Kompetenzzentrums Algorithmische Systeme im Sinne der DEK bekannt. Im Rahmen der KI-Strategie wurde zwar das „Observatorium Künstliche Intelligenz in Arbeit und Gesellschaft“ geschaffen. Eine direkte Unterstützung bestehender Aufsichtsbehörden lässt sich jedoch aus dessen Aufgabenbeschreibung nicht erkennen.