Prüfung von KI-Systemen

Das BDO Vorgehensmodell für Künstliche Intelligenz in der Software

1. Zunehmender Einsatz selbstlernender Softwarelösungen

Jenseits funktionsreicher, aber letztlich deterministischer Algorithmen hat die Verwendung von selbstlernenden Softwarelösungen (vereinfacht: „KI-Systeme“) in den letzten Jahren massiven Zuwachs verzeichnet.

Während anfangs eher produktionsferne Aktivitäten im Servicemanagement und der Logistik in der Industrie sowie im Back-Office-Bereich bei Kreditinstituten im Vordergrund standen, wird der Einsatz von KI-Systemen mittlerweile entlang der gesamten Wertschöpfungskette angestrebt. Motiviert wird dies regelmäßig durch eine hohe Datenverfügbarkeit und Rechenleistung sowie einer Standardisierbarkeit der jeweiligen Aktivität. Doch ergeben sich in der Praxis mehrere Herausforderungen:

  • Wann verwendet man einen Algorithmus, der „dazu lernt“ und damit zur Künstlichen Intelligenz zu rechnen ist?
  • Ist die gewählte Maßnahme für die Problemstellung geeignet und effizient?
  • Wie kann man die Entwicklung und Qualitätssicherung eines KI-Systems abbilden?
  • Wer ist für die Ergebnisse und deren Umsetzung verantwortlich?

Die Fragestellungen berühren verschiedene Themenbereiche, die von praktischen Herausforderungen der Datenverfügbarkeit bis hin zu ethischen Fragestellungen führen.

2. Der EPS 861 als neues Rahmenwerk für die prüferische Begleitung von KI-Systemen

Mit dem Entwurf eines IDW Prüfungsstandards Prüfung von KI-Systemen (IDW EPS 861) (02.2022) hat nun der Berufsstand reagiert. Mit dem Standard werden erstmals einheitliche Grundlagen für die Identifikation, Prüfung und Beurteilung von KI-Systemen festgelegt. Damit sind die Voraussetzungen geschaffen worden, innovative Lösungen in der Prüfung des gesamten Kontroll-Setups zu berücksichtigen und Prüfungssicherheit an Gesellschafter, Aufsichtsbehörden und Geschäftspartner zu kommunizieren.

Im Allgemeinen geht der Standard auf folgende Aspekte ein:

  • Die Erlernung neuer mathematisch-berechenbarer Modelle, Daten oder deren Verwendungen als entscheidender Aspekt einer künstlichen Intelligenz
  • Der Bezug der KI-Lösung zum gesamten umgebenden Kontrollsystem und deren Komponenten („KI-System“)
  • Die Festlegung von angemessene Prüfungskriterien die wesentlich für die Beurteilung eines KI-Systems sind
  • Darüber hinaus wird das etablierte Verfahren der Aufnahme, Angemessenheits- und Funktionsprüfung auf die Besonderheiten einer evolutionär vorgehenden KI-Lösung durch eine Feedbackschleife angepasst.


(Zum Vergrößern auf das Bild klicken) 

3. Unser Serviceangebot für Ihre KI-Entwicklungen

Wir haben uns maßgeblich an der Entwicklung des neuen Prüfungsstandards beteiligt. Luc Ernes als Mitglied des Arbeitskreises hat hier hohen Wert auf Praxistauglichkeit und Technologieoffenheit gelegt, um der Innovationskraft der geprüften Unternehmen Rechnung zu tragen. Der Fachbereich IT & Controls Assurance bietet Dienstleistungen hinsichtlich der Prüfung von KI-Systemen nach EPS861 an, davon ausgehend, dass dieser sich nach Ende der Kommentierungsphase als finaler PS verabschiedet und sich als anerkannter Standard etablieren wird.

Um unsere Mandanten noch intensiver bei der Entwicklung, dem Betrieb und der Verfeinerung von KI-basierten Lösungen zu unterstützen, haben wir die Anforderungen des Prüfungsstandards in ein konsistentes Vorgehensmodell einfließen lassen. Dieses berücksichtigt den gesamten Lebenszyklus eines KI-Systems und vereint die betriebswirtschaftliche, rechtliche und technische Perspektive in dessen Betrieb.


(Zum Vergrößern hier klicken)

Unser Vorgehensmodell berücksichtigt sowohl die Anforderungen des EPS 861 als auch gängige Branchenstandards wie bspw. ein modifiziertes CRISP-DM und das KI-Stufensystem des Frauenhofer Instituts. Wir begleiten Sie damit durch alle Phasen Ihres KI-Projektes:

Angebotsanfrage

  • Welche Daten habe ich und welchen Wert bieten Sie mir?
  • Welche Handlungsempfehlungen lassen sich durch die vermuteten Korrelationen generieren?
  • Welche relevanten Geschäftsfunktionen sollen unterstützt werden?
  • Welche Anforderungen und Umsetzungsschritte ergeben sich (requirements+specifications)?
  • Wo sind die Daten in der Organisation verortet und wie wird ihre Aktualisierung und Qualität sichergestellt?
  • Wie ist die Trennung zwischen Konzeption, Entwicklung und laufender Softwarepflege sichergestellt?
  • Welche Charakteristiken werden durch den Datenbestand repräsentiert?
  • Wie hoch ist die Performance von „black box“-Modellen im Vergleich zu deterministischen oder „white box“-Varianten?
  • Ist die Codebasis angemessen strukturiert und kommentiert?
  • Ist die Trennung von Trainings- und Nutzdaten gewährleistet (Vermeidung von „overfitting“) und die Trainingsfrequenz angemessen?
  • Ist die Funktionalität/ Integration mit allen beteiligten Subsystemen getestet worden?
  • Sind Anforderungen hinsichtlich Datenschutz, Sicherheit, Verfügbarkeit und anderer qualitativer Anforderungen bei den APIs erfüllt?
  • Sind die Prädiktionen des Algorithmus sachlich nachvollziehbar?
  • Sind weitere Variablen/ Daten zur Verbesserung der Aussagekraft einzubeziehen/ zu entfernen?
  • Sind die Prädikationen mit der Unternehmenspolitik/ weiteren ethischen Maßstäben in Einklang zu bringen?

Entlang der Prozessschritte begleiten Sie unsere KI-Experten aus den Bereichen IT & Controls Assurance, Performance Advisory sowie unserem Kooperationspartner BDO Legal Rechtsanwaltsgesellschaft mbH. Gemeinsam stellen wir sicher, dass Sie eine effiziente, robuste Lösung für Ihr Unternehmen entwickeln.

Kontaktieren Sie uns!