Viele Psychotherapeut*innen sind neugierig auf KI, aber auch verunsichert: Was ist aktuell der wichtigste rechtliche Rahmen, den man kennen muss, wenn man KI in der Praxis einsetzen möchte? Der Rechtsanwalt Andreas Propp beantwortet die wichtigsten Fragen.
Andreas Propp ist Rechtsanwalt und Experte für Medizinrecht und Krankenversicherungsrecht. Vor seiner aktuellen Position als Partner bei Dierks+Company war er mehr als 14 Jahre als Justiziar in der Rechtsabteilung des Gemeinsamen Bundesausschusses (G-BA) tätig.
Herr Propp, was ist aktuell der wichtigste rechtliche Rahmen, den man kennen muss, wenn man KI in der Praxis einsetzen möchte?
Andreas Propp: Wir werden hier natürlich nur über rechtliche Teilbereiche sprechen können, denn der rechtliche Rahmen ist sehr breit. Er umfasst vor allem Berufsrecht, Datenschutzrecht, Medizinprodukterecht, Haftungsrecht und erstattungsrechtliche Vorgaben. 2027 kommen noch die europarechtlichen Vorgaben der KI-Verordnung hinzu. Psychotherapeut*innen müssen nicht jede dieser Vorgaben genau kennen, sollten aber zumindest einen Überblick über die rechtlichen Implikationen der KI-Nutzung haben, um rechtliche Risiken zu reduzieren. Wichtig zum Thema Haftungsrisiken ist bei allen Arten der KI-Nutzung im Rahmen der therapeutischen Praxis: Die Maßstäbe für die Haftung gelten unverändert auch bei Einsatz von KI. Das bedeutet in erster Linie die Einhaltung des (Fach-)Psychotherapeuten- bzw. Facharztstandards, die eine leitliniengerechte, wissenschaftlich fundierte und dem aktuellen medizinischen Stand entsprechende Behandlung garantiert. Man kann sich bei Abweichungen hiervon nicht "rausreden", nur weil diese auf den Einsatz von KI zurückzuführen sind.
Wenn heute ein*e Psychotherapeut*in ein KI-Tool nutzen will: Für welche Anwendungsfälle ist das rechtlich eher unproblematisch – und wovon sollte man die Finger lassen? Sind etwa Dokumentation oder Unterstützung bei der Erstellung eines Behandlungsplans unproblematisch?
Andreas Propp: Ich würde hier grob unterteilen nach der Frage, ob der Einsatz von KI innerhalb oder außerhalb der psychotherapeutischen Behandlung im engeren Sinne erfolgt
Was umfasst die Nutzung außerhalb der Behandlung?
Andreas Propp: Diese liegt vor, wenn sich Psychotherapeut*innen bei Standardaufgaben in der Verwaltung sowie Vor- und Nachbereitung der Therapie von KI-Anwendungen unterstützen lassen. Das betrifft etwa die Terminverwaltung mithilfe von Chatbots. Auch die Rechnungsstellung, die Zusammenfassung von Arbeitsblättern oder die Erstellung von Sitzungstransskripten ist üblich und rechtlich wenig problematisch. Ebenso ist die Erstellung von Entwürfen für Anträge oder Gutachten sowie die Dokumentation in der elektronischen Patientenakte nicht Teil der eigentlichen Behandlung. Zu beachten sind hier vor allem datenschutzrechtliche Vorgaben sowie die Wahrung der Schweigepflicht. In der Nachbereitung kann KI genutzt werden, um die Behandlung zu evaluieren – konkret etwa, um Risiken für ein Rezidiv oder Krisen zu erkennen und so die Behandelnden zu unterstützen.
Ist KI-Unterstützung bei Diagnostik oder bei Therapieentscheidungen rechtlich heikel?
Andreas Propp: Sehr wichtig ist hier, dass KI-Unterstützung nur als Vorschlag, als Vorbereitung betrachtet werden darf. Bevor Psychotherapeut*innen solche Ergebnisse des KI-Einsatzes in der Behandlung nutzen, müssen sie diese rechtlich zwingend umfassend überprüfen und validieren. Der*die Psychotherapeut*in muss also nicht nur sicherstellen, dass er*sie der berufsrechtlichen Verpflichtung zur persönlichen Behandlung nachkommt, sondern die Arbeit auch den fachlichen Standards entspricht. Und wenn die KI Vorschläge für Therapieinhalte und konkrete Interventionen auf Basis der Anamnese-, Diagnose- und Befunddaten macht, muss ich als Therapeut*in sicherstellen: Patient*innen wissen, dass ihre Daten dafür von der KI-Software verarbeitet werden, und müssen dem zugestimmt haben.
Was droht Psychotherapeut*innen, die sich daran nicht halten?
Es drohen u. a. berufsrechtliche Sanktionen und Haftungsrisiken. Auch kann es Probleme bei der Erstattung durch Krankenkassen geben, da Leistungen, die nicht persönlich von Therapeut*innen erbracht wurden, streng genommen nicht abrechnungsfähig sind. Wenn Schäden durch einen nicht den genannten Standards entsprechenden Behandlungsansatz entstehen, haftet der*die Psychotherapeut*in – egal, ob KI-Unterstützung genutzt wurde oder nicht. Nutzten Behandelnde KI, muss immer bestätigt werden können, dass jede einzelne Empfehlung von ihm*ihr kontrolliert wurde, bevor sie in die Behandlung eingeflossen ist.
Von welchen KI-Anwendungen sollten Psychotherapeut*innen generell die Finger lassen?
Von KI-Tools, die eine psychotherapeutische Behandlung ohne Überwachung vorsehen, denn Therapeut*innen müssen die Möglichkeit haben, zu intervenieren. Der Einsatz sogenannter autonomer KI in der psychotherapeutischen Behandlung ist darum mit dem aktuellen Rechtsrahmen nicht vereinbar.
Psychotherapeut*innen arbeiten mit hochsensiblen Daten. Worauf müssen sie achten mit Blick auf die Datenschutzgrundverordnung (DSGVO) und die berufsrechtliche Schweigepflicht?
Andreas Propp: Aus der Tatsache, dass eine Software als KI einzuordnen ist, ergibt sich keine zusätzliche Vorgabe für Psychotherapeut*innen. Die geltenden Regeln für Softwareeinsatz und ggf. Übertragung an Drittanbietende greifen auch hier. Die Nutzung personenbezogener oder besonders geschützter Gesundheitsdaten muss entweder gesetzlich gestattet sein oder es muss eine wirksame Einwilligung der Betroffenen vorliegen. Dafür müssen die Betroffenen aufgeklärt werden, welche Daten zu welchem Zweck von wem verarbeitet werden. Besondere Vorgaben gibt es übrigens beim Einsatz von Cloud-Anbietern aus Nicht-EU-Ländern wie etwa den USA. Hier sind die Anforderungen aus dem SGB V für Leistungserbringende teilweise deutlich strenger als die der DSGVO.
Welche Folgen kann es haben, wenn ein*e Psychotherapeut*in bei der KI-Nutzung gegen die Datenschutzgrundverordnung verstößt?
Bei Verstößen gegen die DSGVO drohen zum einen empfindliche Bußgelder. Zum anderen können haftungsrechtliche Folgen eintreten, wenn eine Verletzung des Datenschutzes eine*n Patient*in geschädigt hat. Darauf zu bauen, dass das nicht „rauskommt“, ist nicht ratsam. Gerichte haben bereits mit Erfolg Chatverläufe von KI-Anbietern angefordert und verwertet.
Gibt es Versicherungen für die Berufsgruppe, die die Risiken bei Nutzung von KI-Anwendungen abdecken?
Andreas Propp: Für Psychotherapeut*innen sind mir aktuell keine Angebote bekannt, die explizit die Risiken aus dem Einsatz von KI in der Praxis abdecken. Eine Kombination aus Berufshaftlicht und spezieller Cyberversicherung kann einen grundlegenden Schutz gewähren. Gerade bei KI reicht jedoch die typische Aussage der Versicherungsbedingungen, dass Behandlungsfehler versichert sind, nicht sicher aus. Versicherer unterscheiden grundsätzlich danach, ob die KI nur ein Hilfsmittel war, ob ein zertifiziertes Medizinprodukt verwendet wurde, ob der*die Psychotherapeut*in die Entscheidung eigenverantwortlich getroffen hat und ob Datenschutz- und Berufsrecht eingehalten wurden. Zur Vermeidung einer Deckungslücke ist es daher empfehlenswert, eine Klärung mit dem Versicherer vorzunehmen mit einer konkreten schriftlichen Zusicherung, welche Risiken des Einsatzes von KI in der Behandlung unter welchen Voraussetzungen umfasst sind.
Müssen Psychotherapeut*innen Berichte kennzeichnen, die sie mit Hilfe von KI verfasst haben?
Andreas Propp: Eine Kennzeichnungspflicht für den Einsatz von KI in der psychotherapeutischen Praxis gibt es aktuell noch nicht. Artikel 50 der KI-Verordnung der EU, der ab dem 2. August 2026 gelten wird, sieht allgemeine Transparenzvorgaben nicht nur für Anbieter, sondern auch für Betreiber von KI vor. Diese Regeln betreffen insbesondere KI-Interaktion, maschinenlesbare Markierungen und bestimmte veröffentlichte Inhalte. Ein individueller psychotherapeutischer Bericht an eine*n Patient*in, eine Krankenkasse, eine*n Gutachter*in oder eine*n Mitbehandler*in unterfällt typischerweise keiner dieser Kategorien.
Ungeachtet der fehlenden Kennzeichnungspflicht eines Berichts etwa als „Erstellt mit Unterstützung von KI“ bleibt auch hier entscheidend, dass der*die Psychotherapeut*in den Inhalt persönlich kritisch prüft und eigenverantwortlich entscheidet, ob und wie sie Vorschläge übernimmt.
Was ändert sich durch die EU-KI-Verordnung konkret für den KI-Einsatz in der Psychotherapie?
Andreas Propp: Ab dem 2. August 2027 greifen neue Pflichten auch für Psychotherapeut*innen, die sogenannte Hochrisiko-KI-Systeme in ihrer Praxis betreiben wollen. Als Hochrisiko-KI-System gilt nach dem aktuellen Stand der KI-Verordnung grundsätzlich jede als Medizinprodukt zu qualifizierende Software, die mindestens der Klasse IIa zuzuordnen ist. Zu den insoweit vorgesehenen neuen Pflichten der Betreiber gehört die Etablierung eines Risikomanagementsystems, die Gewährleistung menschlicher Aufsicht und die Dokumentation des konkreten Einsatzes der KI-Software im Einzelfall. Man sollte sich schon jetzt Gedanken über die geeignete Software für die eigene Praxis machen und Anbieter befragen, ob ihre Software zukunftssicher ist und gerade bei Langzeitverpflichtungen zusichern lassen, dass diese entsprechend zertifiziert werden wird.
Gerade mit Blick auf die KI-Verordnung lohnt es sich, die weitere Entwicklung genau zu beobachten. Aktuell gibt es eine Initiative auf EU-Ebene, die Medizinprodukte noch vor dem Inkrafttreten der Verordnung aus dem Kernbereich der Vorgaben der KI-Verordnung auszunehmen.
Was empfehlen Sie Psychotherapeut*innen in der Praxis, um sich und ihre Patient*innen über die Nutzung von entsprechender Software zu informieren?
Andreas Popp: Man sollte sicher gehen, dass der Hersteller gute Unterstützung liefert. Zum Beispiel Infoblätter darüber, welche Daten in welcher Form – etwa pseudonymisiert oder anonymisiert – verarbeitet werden und ob die Voraussetzungen für den Einsatz im Rahmen der vertragsärztlichen psychotherapeutischen Versorgung in Deutschland erfüllt werden. Die notwendigen Zertifikate sollten zumindest abrufbar sein.
Wie steht es um die Wirtschaftlichkeit? Gibt es realistische Perspektiven, dass KI-gestützte Anwendungen in der Psychotherapie von der GKV übernommen werden?
Andreas Propp: Einige der sogenannten Digitalen Gesundheitsanwendungen (DiGAs) nutzen bereits KI. Die Hürden, einen patientenrelevanten Nutzen oder positive Versorgungseffekte nachzuweisen, sind jedoch generell – also unabhängig von KI-Einsatz - hoch. Viele zunächst vom BfArM gelistete Produkte werden darum nach einem Jahr wieder aus dem Verzeichnis genommen, weil der Nachweis nicht gelingt.
Sonstige Optionen der KI-Nutzung, die sich wesentlich von den Vorgehensweisen der bisherigen Behandlung unterscheiden, könnten „neue Methoden“ im Sinne des § 135 SGB V darstellen. Dafür bedürfte es einer Empfehlung des Gemeinsamen Bundesausschusses und einer Erweiterung der Psychotherapie-Richtlinie. Perspektivisch wird die psychotherapeutische Behandlung sicher um Methoden aus einem „KI-erweiterten Werkzeugkasten“ ergänzt. Hierfür gelten allerdings noch deutlich strengere Anforderungen an den Nutzennachweis als im Bereich der DiGAs.
Was soll ich als Psychotherapeut*in Patient*innen raten, die sich privat von KI-Sprachmodellen wie ChatGPT psychologisch beraten lassen?
Andreas Propp: Rein juristisch gilt: Solange Psychotherapeut*innen das nicht selbst empfehlen, kann es ihnen nicht zur Last gelegt werden. Im Sinne des Patient*innenwohls sollte man aber dringend vom Einsatz allgemeiner Large-Language-Models (LLM) abraten, weil das Risiko besteht, dass es zu Negativspiralen kommt. Eine Studie der Oxford University zu medizinischen Empfehlungen durch allgemeine LLM zeigte außerdem, dass bei Nutzung durch die Patient*innen in rund 50 Prozent der Fälle psychische Störungen durch allgemeine KI-Modelle nicht oder unzureichend erkannt wurden. Die Qualität der Kommunikation mit der KI hängt natürlich stark von der Vorbildung der Nutzenden ab. Psychotherapeut*innen können mit den richtigen Fragen bessere Ergebnisse erzielen, aber Laien stellen oft nicht die erforderlichen Informationen für eine sichere Diagnose zur Verfügung.
Was sind abschließend Ihre konkrete Handlungsempfehlungen – welche drei bis vier Maßnahmen sollten Psychotherapeut*innen ergreifen, wenn sie KI rechtssicher und sinnvoll einsetzen möchten, etwa hinsichtlich Auswahl von Tools, Einwilligungen, Dokumentation, Risikoprüfung?
Die wichtigste Handlungsempfehlung ist immer: KI darf im Rahmen der Behandlung nur unterstützend eingesetzt werden. Ein Ersatz der psychotherapeutischen Leistung ist nicht zulässig – jedes KI-Ergebnis muss immer durch Therapeut*innen kontrolliert werden. Ein weiterer Punkt: Bei der Auswahl von KI-Anwendungen für die psychotherapeutische Behandlung handelt es sich regelhaft um Medizinprodukte-Software; Nutzende müssen auf die insoweit erforderliche CE-Kennzeichnung achten. Zudem muss die Gebrauchsanweisung strikt eingehalten werden – nutzen Sie also die Software nur für den zertifizierten Zweck und in der vorgegebenen Weise! Patient*innen müssen zudem über den Einsatz aufgeklärt werden und einwilligen. Diese Aufklärung muss auch die Möglichkeit bieten, dass die Patient*innen Rückfragen an Therapeut*innen stellen können. Das reine Aushändigen von Informationsbögen reicht nicht aus. Außerdem wichtig für Psychotherapeut*innen: Wenn Sie den Einsatz von KI in der Behandlung zu Lasten der Krankenkassen abrechnen wollen, stellen Sie die Erstattungsfähigkeit der jeweiligen Anwendungen bereits vor der Investitionsentscheidung sicher.
Vielen Dank für das Gespräch!
Das Interview führte Nicole Sagener.
