Bedeutung:

Der AI Act (auch EU KI-Verordnung genannt; amtlich: Verordnung über künstliche Intelligenz) ist die weltweit erste umfassende Regulierung für Künstliche Intelligenz in der Europäischen Union. Es handelt sich um eine Verordnung der EU, was bedeutet, dass sie in allen EU-Mitgliedstaaten unmittelbar und einheitlich gilt, ohne dass nationale Umsetzungsmaßnahmen erforderlich sind. Die Verordnung trat am 1. August 2024 in Kraft. Die Regelungen sind schrittweise anwendbar und gelten vollständig ab August 2027.

Die KI-Verordnung ist produktsicherheitsrechtlich ausgerichtet (vgl. Krönke, NVwZ 2024, 529). Ziel ist es, dass KI-Systeme sicher sind und keine unannehmbaren Risiken für Gesundheit, Sicherheit oder Grundrechte darstellen, bevor sie auf den Markt gebracht werden. Für Hochrisiko-KI-Systeme ist vor dem Inverkehrbringen eine Konformitätsbewertung erforderlich. Dabei müssen alle Risiken untersucht und die Einhaltung der Anforderungen nachgewiesen werden.

Behörden kontrollieren, ob die KI-Systeme auf dem Markt die Regeln einhalten. In Deutschland soll die Bundesnetzagentur die zentrale Marktüberwachungsbehörde werden. Für bestimmte Bereiche können jedoch andere Behörden zuständig sein. Für KI-Modelle mit allgemeinem Verwendungszweck (GPAI) wie große Sprachmodelle ist das KI-Büro der Europäischen Kommission zuständig.

Rechtliche Einordnung:

Sinn und Zweck: Die KI-Verordnung verfolgt vorrangig drei Ziele: Förderung des Vertrauens in KI-Technologien, Unterstützung von Innovationen und Sicherstellung einheitlicher Regeln für KI-Produkte in der gesamten Europäischen Union. Dies schützt Unternehmen vor Wettbewerbsnachteilen und Bürger vor gefährlichen KI-Systemen.

Aufbau: Die Verordnung ist in verschiedene Kapitel gegliedert. Zunächst werden grundlegende Begriffe definiert (z. B. „KI-System“). Anschließend werden KI-Systeme nach ihrem Risiko in vier Kategorien eingeteilt.

• Unannehmbares Risiko: Diese KI-Systeme sind verboten (z. B. manipulative Systeme oder Social Scoring durch Behörden).
• Hohes Risiko: Diese Systeme dürfen verwendet werden, müssen jedoch umfangreiche Sicherheitsanforderungen erfüllen und eine CE-Kennzeichnung erhalten (z. B. KI im Gesundheitswesen, bei der Kreditvergabe oder im Personalmanagement).
• Begrenztes Risiko: Diese Systeme unterliegen Transparenzpflichten – Nutzer müssen erkennen können, dass sie mit einer KI interagieren (z. B. Chatbots oder generierte Inhalte müssen gekennzeichnet werden).
• Minimales Risiko: Für diese Systeme bestehen keine besonderen Anforderungen (z. B. Spam-Filter).

Adressaten: Die Verordnung richtet sich an alle Akteure, die KI-Systeme entwickeln oder verwenden: Unternehmen, Behörden und Organisationen. Rein private Nutzung im nicht-beruflichen Bereich ist nicht erfasst

Bedeutung:

Der Begriff „Black Box“ beschreibt das Phänomen der mangelnden Nachvollziehbarkeit bei modernen KI-Systemen, insbesondere bei tiefen neuronalen Netzen (Deep Learning).

Während die Eingabedaten (Input) und das finale Ergebnis (Output) klar ersichtlich sind, bleibt der innere Verarbeitungsprozess im Verborgenen. Selbst die Entwickler können im Nachhinein oft nicht im Detail erklären, wie und warum das Modell seine Parameter im konkreten Einzelfall exakt so gewichtet hat, um zu genau diesem spezifischen Ergebnis zu gelangen (vgl. Merkle, RDi 2024, 414).

Die KI liefert zwar ein hochpräzises Resultat, bleibt dem Anwender aber jegliche logische und kausale Begründung für ihren Lösungsweg schuldig (vgl. Dienes, MMR 2024, 456).

Rechtliche Einordnung:

Der Black-Box-Effekt kollidiert mit gesetzlichen Transparenz- und Begründungspflichten.

Datenschutzrecht: Art. 15 Abs. 1 lit. h DSGVO gewährt Betroffenen das Recht auf „aussagekräftige Informationen über die involvierte Logik“ bei automatisierten Entscheidungen. Der EuGH hat klargestellt, dass Unternehmen die konkret angewandten Verfahren und Grundsätze erläutern müssen (vgl. EuGH, Urteil vom 07.12.2023, Az.: C-634/21, SCHUFA).

KI-Verordnung (AI Act): Auch die KI-VO fordert für Hochrisiko-Systeme Transparenz und Erklärbarkeit (Art. 13 KI-VO) und gewährt Betroffenen ein Erläuterungsrecht (Art. 86 KI-VO).

Diskriminierungsschutz: Besonders brisant ist die Black Box bei Diskriminierungsklagen. Macht ein abgelehnter Bewerber Indizien für eine Benachteiligung glaubhaft, greift die Beweislastumkehr nach § 22 AGG (vgl. Holthausen, RdA 2023, 361). Bei einer intransparenten KI ist dieser Entlastungsbeweis für Unternehmen erheblich erschwert.

Bedeutung:

Ein Chatbot ist ein digitaler Assistent, der mit Nutzern über Text oder Sprache kommunizieren kann – ähnlich wie ein Gespräch per Chat oder E-Mail, aber mit automatisierten Antworten. Moderne Chatbots nutzen künstliche Intelligenz, um Fragen zu verstehen und passende Antworten zu generieren.

Sie lernen aus großen Mengen an Beispielen und können daher flexibel auf unterschiedlichste Anfragen reagieren, statt nur starre Antworten aus einem vorprogrammierten Katalog zu geben. Chatbots werden in vielen Bereichen eingesetzt: im Kundenservice zur Beantwortung von Fragen, in Arztpraxen zur Terminvereinbarung oder in Unternehmen zur internen Unterstützung.

Bekannte Beispiele sind ChatGPT, Gemini oder ähnliche Systeme, die wie ein virtueller Gesprächspartner agieren und eigene Antworten formulieren. Das Besondere daran: Der Nutzer kann den Chatbot für ganz unterschiedliche Aufgaben nutzen – etwa um Texte schreiben zu lassen, nach Informationen zu suchen oder sich beraten zu lassen.

Rechtliche Einordnung:

Die Nutzung von Chatbots unterliegt mehreren Rechtsgebieten:

Datenschutzrecht: Die Eingabe personenbezogener Daten ist eine rechtfertigungsbedürftige Verarbeitung nach Art. 5 Abs. 1 lit. a und Art. 6 Abs. 1 DSGVO (vgl. Hardan, ZD 2024, 663). Verantwortliche müssen Betroffene gemäß Art. 13 und 14 DSGVO transparent über die Datenverarbeitung informieren. Bei Chatbots, die Entscheidungen mit rechtlicher Wirkung oder erheblicher Beeinträchtigung vorbereiten, greift Art. 22 DSGVO, der Betroffenen ein Recht gegen ausschließlich automatisierte Entscheidungen einräumt (vgl. Wilmer, EuZW 2024, 868).

KI-Verordnung: Die KI-VO verpflichtet Betreiber generativer und interaktiver KI-Systeme nach Art. 50 KI-VO zur Transparenz: Nutzer müssen erkennen, dass sie mit einem KI-System interagieren.

Wettbewerbsrecht: Im Wettbewerbsrecht kann die Nichteinhaltung dieser Transparenzpflichten einen Verstoß gegen § 5a UWG darstellen, wenn die Information über den KI-Einsatz als „wesentliche Information“ für die geschäftliche Entscheidung des Verbrauchers einzustufen ist (vgl. Dornis, GRUR 2023, 1729).

Bedeutung:

Data Mining bezeichnet die automatisierte Analyse von digitalen oder digitalisierten Werken, um daraus Informationen über Muster, Trends und Korrelationen zu gewinnen (§ 44b Abs. 1 UrhG).

Im Gegensatz zum Web Scraping, das die Datenerfassung aus dem Internet beschreibt, steht beim Data Mining die analytische Auswertung der bereits gesammelten Daten im Vordergrund (vgl. Bomhard, BeckOK UrhR, § 44b Rn. 12).

Technisch werden die Daten in einem ersten Schritt aufbereitet und in ein einheitliches Format umgewandelt – daraus entsteht der sogenannte Korpus. Anschließend werden diese Daten mit speziellen Algorithmen automatisiert untersucht, um verborgene Zusammenhänge zu erkennen (vgl. Dreier/Schulze, UrhG § 44b Rn. 5).

Data Mining kommt in vielen Bereichen zum Einsatz, etwa bei der Analyse von Kundendaten, der Erkennung von Betrugsmustern oder dem Training von KI-Modellen.

Rechtliche Einordnung:

Urheberrecht: Data Mining ist als Vervielfältigungshandlung relevant, da bei der Analyse meist Kopien der Werke entstehen. Die Text-und-Data-Mining-Schranke (§ 44b UrhG) erlaubt jedoch Vervielfältigungen für das automatisierte Auswerten rechtmäßig zugänglicher Werke. Die Vervielfältigungen müssen gelöscht werden, sobald sie für die Analyse nicht mehr erforderlich sind (§ 44b Abs. 2 UrhG).

Nutzungsvorbehalte: Website-Betreiber können die Nutzung durch einen maschinenlesbaren Vorbehalt untersagen – einfache Texte reichen nicht aus, es muss eine technisch auswertbare Erklärung vorliegen (vgl. Pesch, in: Spindler/Schuster/Kaesling, UrhG § 44b Rn. 40 ff.). Ob das Training generativer KI unter diese Schranke fällt, wird in der Rechtsprechung noch diskutiert – die herrschende Meinung bejaht dies (vgl. Bomhard, BeckOK UrhR, § 44b Rn. 11a).

Datenschutzrecht: Data Mining gilt als Verarbeitung personenbezogener Daten. Als Rechtsgrundlage kommt in der Regel ein berechtigtes Interesse in Betracht, etwa bei wissenschaftlichen Forschungszwecken. Bei Daten aus öffentlich zugänglichen Quellen sind Informationspflichten zu beachten, wobei Ausnahmen bei unverhältnismäßigem Aufwand bestehen können (Art. 14 DSGVO). Zudem sind die Grundsätze der Datenminimierung und Zweckbindung zu beachten.

Bedeutung:

Die KI-Verordnung definiert Deepfake in Art. 3 Nr. 60 KI-VO wie folgt: „einen durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“.

Vereinfacht gesagt: Ein Deepfake ist ein durch KI erzeugter oder veränderter Bild-, Ton- oder Videoinhalt, der täuschend echt wirkt. Die KI kann dabei Gesichter in Videos austauschen, Stimmen nachahmen oder völlig neue Inhalte generieren, die so aussehen, als seien sie echt. Das Besondere: Der Betrachter soll den Eindruck gewinnen, dass er echte Aufnahmen sieht – obwohl die Inhalte komplett neu erstellt oder manipuliert sind.

Der Begriff setzt sich aus den englischen Wörtern „deep learning“ (eine Methode der künstlichen Intelligenz) und „fake“ (Fälschung) zusammen. Wichtig ist die Abgrenzung: Nicht jedes falsche Bild ist ein Deepfake – es muss zwingend mit KI erzeugt oder manipuliert worden sein. Einfache Bildbearbeitungen ohne KI fallen nicht darunter. Nach der Definition der KI-VO sind zudem Textinhalte vom Deepfake-Begriff ausgenommen.

Rechtliche Einordnung:

KI-Verordnung (AI Act): Die KI-VO enthält zentrale Transparenzpflichten für Deepfakes. Nach Art. 50 Abs. 2 KI-VO müssen Anbieter von KI-Systemen sicherstellen, dass synthetische Inhalte in einem maschinenlesbaren Format gekennzeichnet und als künstlich erzeugt erkennbar sind. Betreiber sind nach Art. 50 Abs. 4 KI-VO verpflichtet, Deepfakes offenzulegen (klar kenntlich zu machen). Die Kennzeichnung muss spätestens zum Zeitpunkt der ersten Interaktion in klarer und eindeutiger Weise erfolgen. Ausnahmen gelten für Strafverfolgungszwecke sowie für offensichtlich künstlerische, satirische oder fiktionale Werke.

Detaillierte Fallbeispiele zur Abgrenzung zwischen erlaubter Bildbearbeitung und kennzeichnungspflichtigen Inhalten sowie Tipps zur richtigen Platzierung der Hinweise bietet der Praxisleitfaden zur KI-Kennzeichnungspflicht für Agenturen und Marketing-Teams.

Zivilrecht: Deepfakes können das allgemeine Persönlichkeitsrecht (§ 823 Abs. 1 BGB i.V.m. Art. 1, 2 GG) verletzen, insbesondere das Recht am eigenen Bild (§§ 22, 23 KUG) und das Recht am gesprochenen Wort.

Wettbewerbsrecht: Die fehlende Kennzeichnung eines Deepfakes kann eine Irreführung durch Unterlassen (§ 5a UWG) darstellen, zumal die Transparenzpflichten der KI-VO als wesentliche Information gelten (vgl. Köhler/Feddersen, UWG § 5a Rn. 2.25h-2.25j).

Strafrecht: Deepfakes sind derzeit vor allem über § 201a StGB (Verletzung der Vertraulichkeit des Wortes), §§ 184b, 184c StGB sowie § 185 StGB (Beleidigung) erfassbar. Ein Gesetzentwurf sieht zudem die Einführung eines neuen § 201b StGB („Verletzung von Persönlichkeitsrechten durch digitale Fälschung“) vor, der Deepfakes mit Freiheitsstrafe bis zu fünf Jahren bestrafen soll (vgl. Beukelmann, NJW-Spezial 2025, 504; Pfeiffer, MMR 2025, 939).

Bedeutung:

Fine-Tuning bezeichnet das Nachtrainieren eines bereits vortrainierten KI-Modells mit spezifischen Daten, um es für bestimmte Aufgaben zu optimieren.

Im Gegensatz zu RAG oder Prompt Engineering wird beim Fine-Tuning direkt in die Modellparameter eingegriffen und die Gewichte des neuronalen Netzes dauerhaft verändert (vgl. Bunz/Horn, in: Bernzen/Heinze/Steinrötter, DSRI Herbstakademie 2025, Die Definition des Anbieters im AI Act).

Rechtliche Einordnung:

KI-Verordnung (AI Act): Nach der KI-VO kann Fine-Tuning dazu führen, dass das Unternehmen, das das Modell anpasst, als Anbieter eingestuft wird. Das bedeutet, dass es die strengeren Pflichten eines KI-Anbieters erfüllen muss, nicht mehr die geringeren Pflichten eines reinen Betreibers. Die Pflichten beziehen sich dabei vor allem auf die vorgenommenen Änderungen am Modell (vgl. Bunz/Horn, a.a.O.). Die EU-Kommission plant Richtlinien, um festzulegen, ab wann eine Anpassung so groß ist, dass man tatsächlich als Anbieter gilt (vgl. Schmetzer, in: Bernzen/Heinze/Steinrötter, DSRI Herbstakademie 2025, Modifikation von GPAI-Modellen).

Urheberrecht: Es ist wichtig, welche Daten für das Fine-Tuning verwendet werden. Die Trainingsdaten können geschützt sein – etwa als Fotos, Software oder als Datenbanksammlung. Werden geschützte Inhalte ohne Genehmigung genutzt, kann dies zu Rechtsproblemen führen. Es gibt jedoch gesetzliche Ausnahmen (z.B. § 44b UrhG), die die Nutzung für das Training unter bestimmten Bedingungen erlauben, sofern der Rechteinhaber nicht ausdrücklich widersprochen hat. Zudem müssen Anbieter von KI-Modellen gem. Art. 53 KI-VO offenlegen, mit welchen Daten sie trainiert haben.

Bedeutung:

Im Gegensatz zur klassischen, analytischen KI (die bestehende Daten lediglich sortiert, klassifiziert oder Vorhersagen trifft), ist generative KI in der Lage, neue Inhalte zu erschaffen.

Basierend auf gewaltigen Datenmengen, mit denen sie trainiert wurde (sog. Foundation Models), berechnet sie Muster und Wahrscheinlichkeiten, um auf Nutzeingaben (Prompts) hin Texte, fotorealistische Bilder, Videos, Musik oder Software-Code zu generieren.

Die KI kopiert dabei im Regelfall keine bestehenden Werke, sondern setzt die gelernten Bausteine und Vektoren mathematisch neu zusammen.

Rechtliche Einordnung:

Generative KI stellt die Unternehmenspraxis insbesondere im Urheberrecht vor fundamentale Herausforderungen:

Urheberrecht (Regelfall): Das von der KI erzeugte Ergebnis (KI-Output) ist nach herrschender Meinung in der Literatur und Rechtsprechung in der Regel mangels einer eigenen, menschlichen „persönlichen geistigen Schöpfung“ (§ 2 Abs. 2 UrhG) urheberrechtlich nicht geschützt und somit gemeinfrei (vgl. u.a. Raue in Dreier/Schulze, UrhG § 2 Rn. 21 ff.; Rauer/Bibi in BeckOK UrhR, § 2 Rn. 53; Urteil des AG München vom 13.02.2026). Dritte können diese Inhalte kopieren und nutzen, ohne rechtliche Konsequenzen fürchten zu müssen.

Urheberrecht (Ausnahme): Eine Ausnahme greift nur dann, wenn der menschliche Nutzer das finale Ergebnis durch seinen Prompt derart detailliert vorherbestimmt, dass die gestalterisch-kreative menschliche Einflussnahme die bloße technische Tätigkeit der KI überwiegt. Die KI fungiert dann rechtlich als reines Werkzeug (vgl. Urteil des AG München vom 13.02.2026). Dies dürfte in der Praxis jedoch nur in sehr begrenzten Ausnahmefällen gelingen; die weitere Entwicklung der Rechtsprechung bleibt abzuwarten.

KI-Verordnung (AI Act): Unabhängig vom Urheberrecht statuiert die KI-VO für generative KI-Systeme neue Transparenzpflichten: Anbieter von KI-Systemen müssen technisch sicherstellen, dass generierte Outputs maschinenlesbar gekennzeichnet sind (Art. 50 Abs. 2 KI-VO). Betreiber (anwendende Unternehmen) sind hingegen nur in bestimmten Fällen zu einer ausdrücklichen Offenlegung verpflichtet, etwa bei der Veröffentlichung von Deepfakes oder bei Texten zur Information der Öffentlichkeit über Angelegenheiten von öffentlichem Interesse (Art. 50 Abs. 4 KI-VO).

Bedeutung:

GPAI steht für „General Purpose AI“ – also Künstliche Intelligenz mit allgemeinem Verwendungszweck. Ein GPAI-Modell ist ein KI-Modell, das so vielseitig trainiert wurde, dass es ein breites Spektrum unterschiedlicher Aufgaben kompetent erfüllen kann, statt auf einen einzigen spezialisierten Anwendungsfall beschränkt zu sein (Art. 3 Nr. 63 KI-VO).

Diese Modelle zeichnen sich durch erhebliche allgemeine Verwendbarkeit aus und können in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden (Noller/Rappenglück, RDi 2026, 15). Typische Beispiele sind große Sprachmodelle (Large Language Models) wie GPT-5.4 oder Bildgenerierungsmodelle wie DALL-E.

Während ein spezialisiertes KI-Modell vielleicht nur Röntgenbilder analysieren kann, kann ein GPAI-Modell Texte schreiben, übersetzen, programmieren, Bilder erstellen und vieles mehr. Ein KI-System, das auf einem GPAI-Modell basiert und daher für eine Vielzahl von Zwecken verwendet werden kann, wird als „KI-System mit allgemeinem Verwendungszweck“ (GPAI-System) bezeichnet (Art. 3 Nr. 66 KI-VO).

Rechtliche Einordnung:

Die KI-VO regelt GPAI-Modelle in Kapitel V (Art. 53 ff. KI-VO) und unterscheidet zwischen zwei Kategorien:

Gewöhnliche GPAI-Modelle und systemisches Risiko: Letztere liegen vor, wenn das Modell über „Fähigkeiten mit hohem Wirkungsgrad“ verfügt – dies wird vermutet, wenn die kumulierte Rechenleistung für das Training 10²⁵ FLOPS übersteigt (Art. 51 Abs. 2 KI-VO). Darüber hinaus kann die EU-Kommission anhand weiterer Kriterien (Parameteranzahl, Datensatzgröße, Nutzerzahlen) entscheiden, dass ein Modell ein systemisches Risiko darstellt (Anhang XIII KI-VO).

Transparenzpflichten: Anbieter von GPAI-Modellen müssen Transparenzpflichten erfüllen, insbesondere eine technische Dokumentation erstellen und Zusammenfassungen der verwendeten Trainingsdaten bereitstellen (Art. 53 KI-VO).

Zusätzliche Pflichten bei systemischem Risiko: Für Modelle mit systemischem Risiko gelten zusätzliche Pflichten wie Risikobewertung, Meldung schwerer Vorfälle und Zusammenarbeit mit dem Büro für Künstliche Intelligenz (vgl. Oberlin/Hoyningen-Huene, MMR 2025, 867).

Adressaten der Regulierung: Die Vorschriften richten sich primär an die Anbieter der Modelle, nicht an Nutzer oder Betreiber, die ein GPAI-Modell in ihre Systeme integrieren (vgl. Seitz, EuZW 2024, 843).

Bedeutung:

Hochrisiko-KI sind KI-Systeme, die erhebliche Risiken für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen bergen können. Die KI-Verordnung unterwirft solchen Systemen strengen regulatorischen Anforderungen.

Ein KI-System gilt als Hochrisiko-KI nach zwei Pfaden: Entweder es ist ein Sicherheitsbauteil eines Produkts, das unter EU-Produktsicherheitsvorschriften fällt und einer Konformitätsbewertung durch Dritte bedarf (Art. 6 Abs. 1 KI-VO), oder es fällt unter einen der in Anhang III der KI-VO aufgelisteten Anwendungsbereiche (Art. 6 Abs. 2 KI-VO).

Zu den Hochrisiko-Bereichen zählen unter anderem Biometrie (z. B. Gesichtserkennung), kritische Infrastrukturen, Bildung, Beschäftigung und Arbeitskräftevermittlung, Zugang zu privaten Diensten (z. B. Kreditwürdigkeitsprüfung) sowie Strafverfolgung und Justiz. Allgemein wird davon ausgegangen, dass es sich nur bei 5 bis 10 % aller Anwendungsfälle um Hochrisiko-KI handelt (vgl. Sassenberg, RDi 2025, 346).

Rechtliche Einordnung:

Anforderungen an Hochrisiko-KI-Systeme: Die KI-VO stellt in den Artikeln 8 bis 15 umfangreiche Anforderungen an Hochrisiko-KI-Systeme. Dazu gehören ein Risikomanagementsystem (Art. 9 KI-VO), Daten-Governance mit Qualitätskriterien für Trainingsdaten (Art. 10 KI-VO), technische Dokumentation (Art. 11 KI-VO), Aufzeichnungspflichten (Art. 12 KI-VO), Transparenz und Informationsbereitstellung (Art. 13 KI-VO), menschliche Aufsicht (Art. 14 KI-VO) sowie Genauigkeit, Robustheit und Cybersicherheit (Art. 15 KI-VO).

Konformitätsbewertung und CE-Kennzeichnung: Bevor ein Hochrisiko-KI-System in Verkehr gebracht wird, muss der Anbieter eine Konformitätsbewertung durchführen (Art. 19 KI-VO). Nach erfolgreichem Abschluss wird eine Konformitätserklärung ausgestellt und das Produkt mit dem CE-Kennzeichen versehen (Art. 49 KI-VO). Das System muss zudem in einer EU-Datenbank registriert werden (Art. 51 KI-VO).

Pflichten von Betreibern: Betreiber von Hochrisiko-KI-Systemen müssen das Benutzerhandbuch beachten, die menschlichen Überwachungsmaßnahmen einhalten, die Eingabedaten auf ihre Zweckmäßigkeit prüfen, den Betrieb überwachen und potenzielle Risiken melden. Die Protokolle müssen mindestens sechs Monate aufbewahrt werden (vgl. Lühmann/Görgülü/Marciniak, BKR 2024, 175).

Sanktionen: Verstöße gegen die Vorschriften für Hochrisiko-KI-Systeme können mit Bußgeldern bis zu 15 Mio. Euro oder 3 % des weltweiten Jahresumsatzes geahndet werden (Art. 99 KI-VO).

Ausnahmen: Nach Art. 6 Abs. 3 KI-VO gelten bestimmte KI-Systeme nicht als hochriskant, wenn sie kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte darstellen – etwa Systeme, die nur eine begrenzte technische Aufgabe erfüllen oder Entscheidungsmuster erkennen. Eine Rückausnahme gilt jedoch für KI-Systeme, die ein Profiling natürlicher Personen vornehmen.

Bedeutung:

Human in the Loop (HITL) bedeutet wörtlich übersetzt „Mensch in der Schleife“. Der Begriff stammt ursprünglich aus der System- und Regelungstechnik und beschreibt einen Kontrollkreislauf (die „Schleife“), in dem der Mensch als aktiver, unverzichtbarer Bestandteil integriert bleibt.

Bei diesem Systemdesign agiert die KI nicht vollautonom, sondern bereitet Entscheidungen, Texte oder Analysen lediglich vor. Der Mensch fungiert als zwingende Kontroll- und Freigabeinstanz innerhalb des Prozesses, um Fehler, Verzerrungen (Bias) oder KI-Halluzinationen vor der tatsächlichen Ausführung abzufangen (vgl. Fleischmann, RDi 2025, 193, 193 f.; Dreisigacker/Hornung/Ritter-Döring, RDi 2021, 580, 580 f.).

Rechtliche Einordnung:

Die Einbindung eines „Human in the Loop“ ist bei Entscheidungen mit erheblicher Tragweite gesetzlich zwingend vorgeschrieben. Nach Art. 22 Abs. 1 DSGVO gilt ein grundsätzliches Verbot für Entscheidungen, die ausschließlich auf einer automatisierten Verarbeitung beruhen und rechtliche Wirkung entfalten (wie etwa vollautomatische Absagen bei Bewerbungen oder Kreditvergaben). In den Ausnahmefällen des Art. 22 Abs. 2 DSGVO (Einwilligung, Vertragserfüllung, gesetzliche Zulassung) muss der Verantwortliche zumindest angemessene Maßnahmen treffen, wozu mindestens das Recht auf Erwirkung des Eingreifens einer Person, auf Darlegung des eigenen Standpunkts und auf Anfechtung der Entscheidung gehört (Art. 22 Abs. 3 DSGVO)

Zudem statuiert die KI-Verordnung für sogenannte Hochrisiko-KI-Systeme – zu denen der Bereich Personalwesen ausdrücklich zählt (Anhang III Nr. 4 lit. a) – die zwingende Pflicht zur wirksamen menschlichen Aufsicht („Human Oversight“, Art. 14). Diese Aufsicht muss so ausgestaltet sein, dass natürliche Personen befugt sind, die Ausgabe des KI-Systems außer Kraft zu setzen oder rückgängig zu machen (Art. 14 Abs. 4 lit. d) und sich eines möglichen Automatisierungsbias bewusst bleiben (Art. 14 Abs. 4 lit. b)

Aber auch völlig unabhängig von diesen spezifischen gesetzlichen Vorgaben ist eine menschliche Kontrollinstanz dringend zu empfehlen, um eine allgemeine Haftung für fehlerhafte Ergebnisse zu vermeiden: Ein etablierter HITL-Prozess schützt das anwendende Unternehmen maßgeblich davor, für mangelhafte Arbeitsergebnisse der KI (z. B. aufgrund von Halluzinationen) in Haftung genommen zu werden – was neben Schadensersatzforderungen auch klassische Gewährleistungsansprüche oder die Verletzung vertraglicher Sorgfaltspflichten umfasst (vgl. Windorf, JuS 2024, 43, 43 f.; Daute/Sütthoff, EuZW 2023, 500, 500 f.). Die menschliche Einbindung sollte dabei nicht auf die bloße Freigabe algorithmischer Entscheidungen beschränkt bleiben, sondern einen echten Mehrwert bringen (vgl. Dreisigacker/Hornung/Ritter-Döring, RDi 2021, 580, 580 f.).

Bedeutung:

Eine KI-Halluzination bezeichnet das Phänomen, bei dem ein generatives KI-Modell faktisch falsche, erfundene oder unlogische Informationen generiert, diese aber sprachlich flüssig und extrem überzeugend als Wahrheit präsentiert.

Ursache hierfür ist, dass Sprachmodelle keine echten Fakten überprüfen oder ein inhaltliches Verständnis besitzen, sondern auf Wahrscheinlichkeiten basierende Maschinen sind, die lediglich die statistisch wahrscheinlichste Wortfolge berechnen (vgl. Riehm/Valerius, RDi 2025, 612; Baumer, RDi 2026, 8).

Halluzinationen können ungenaue oder schlicht falsche Faktendarstellungen betreffen; im Bereich von Rechtsausführungen reichen sie von pauschalen Behauptungen einer (nicht existierenden) „höchstrichterlichen Rechtsprechung“ bis hin zu völlig fiktiven angeblichen Zitaten aus Gerichtsentscheidungen (Riehm/Valerius, RDi 2025, 612). Auch beim Einsatz fortschrittlicher Verfahren bleibt die Gefahr bestehen, dass Nutzer ungenaue oder falsche Informationen erhalten (Baumer, RDi 2026, 8).

Rechtliche Einordnung:

Die unkritische Übernahme von KI-Halluzinationen bei Fachfragen führt rechtlich primär zu massiven Haftungsrisiken wegen der Verletzung vertraglicher Sorgfaltspflichten.

Vertragliche Haftung und Verschulden: Schadensersatzansprüche bei KI beruhen regelmäßig auf der Verletzung vertraglicher Pflichten, die vom Unternehmen zu vertreten sind (Wächter, in: Wächter Datenschutz, Rn. 1102). Es besteht bei Anwendungen der KI jedoch keine automatische Haftung ohne eigenes Verschulden, weshalb der Einsatz der KI allein keinen Haftungsgrund begründet.

Keine Entlastung durch KI-Verweis: Ein Unternehmen kann sich bei fehlerhaften Arbeitsergebnissen nicht dadurch von der Haftung befreien, dass es auf die Falschinformation der KI verweist. Ein bloßer Hinweis auf die Unvorhersehbarkeit selbstlernender Systeme und fehlendes technisches Verständnis reichen für eine Haftungsfreistellung kaum aus (Geißler-Kramer, in: IT-ArbR, § 2 Rn. 953).

Besondere Sorgfaltspflichten des Betreibers: Der Betreiber einer KI muss sicherstellen, dass die verwendete Software sicher ist, diese ordnungsgemäß einrichten und bedienen sowie die KI bei ihrer Nutzung überwachen. Wer diese Sorgfaltspflichten verletzt, handelt fahrlässig und kann haftbar gemacht werden (Eberstaller/Forgó, in: Ebers/Heinze/Krügel/Steinrötter, KI und Robotik, § 12 Rn. 53). Je komplexer und risikobehafteter der Einsatz der KI ist, desto höher sind die Anforderungen an die Sorgfalt (Lampe, in: Hoeren/Sieber/Holznagel MMR-HdB, Teil 29 Rn. 11).

Zwingende menschliche Kontrolle: Um Schadensersatzansprüche zu vermeiden, ist juristisch und organisatorisch das Prinzip des sogenannten „Human in the Loop“ zwingend erforderlich. Die rechtliche Verantwortung für die finale fachliche Überprüfung (Plausibilitätskontrolle) verbleibt stets bei einer menschlichen Kontrollinstanz im anwendenden Unternehmen (Dreisigacker/Hornung/Ritter-Döring, RDi 2021, 580; Fleischmann, RDi 2025, 193).

Bedeutung:

KI-Kompetenz bezeichnet die Fähigkeiten, Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen ermöglichen, KI-Systeme sachkundig einzusetzen und sich der Chancen sowie Risiken von KI bewusst zu werden (Art. 3 Nr. 56 KI-VO).

Die KI-Verordnung verpflichtet Anbieter und Betreiber von KI-Systemen dazu, Maßnahmen zu ergreifen, um sicherzustellen, dass ihr Personal und andere Personen, die mit dem Betrieb und der Nutzung befasst sind, über ausreichende KI-Kompetenz verfügen (Art. 4 KI-VO). Dabei müssen die technischen Kenntnisse, die Erfahrung, die Ausbildung und Schulung sowie der Einsatzkontext der KI-Systeme berücksichtigt werden.

Die KI-Kompetenz soll allen Beteiligten das Wissen vermitteln, das erforderlich ist, um die Regeln der Verordnung einzuhalten und durchzusetzen (Erwägungsgrund 20 KI-VO). Sie umfasst dabei nicht nur technisches Fachwissen, sondern auch das Verständnis der rechtlichen Vorgaben, ethischer Aspekte und der eigenen Rechte und Pflichten.

Rechtliche Einordnung:

Die KI-Verordnung verankert KI-Kompetenz als zentrales Element in mehreren Bereichen:

Direkte Verpflichtung: Artikel 4 KI-VO begründet eine direkte Verpflichtung für Anbieter und Betreiber, Maßnahmen zur Sicherstellung ausreichender KI-Kompetenz zu ergreifen.

Menschliche Aufsicht bei Hochrisiko-Systemen: Bei Hochrisiko-KI-Systemen wird diese Anforderung besonders wichtig. Artikel 14 Abs. 4 KI-VO verlangt, dass die Personen, die das System überwachen, die Fähigkeiten und Grenzen des Systems verstehen, sich eines möglichen Automatisierungsbias bewusst sind und die Ergebnisse richtig interpretieren können. Artikel 26 Abs. 2 KI-VO verpflichtet Betreiber, die Aufsicht nur Personen zu übertragen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen.

Verhaltenskodizes und Förderung: Die Kommission fördert die Entwicklung von Verhaltenskodizes zur Förderung der KI-Kompetenz (Art. 95 Abs. 2 lit. c KI-VO). Das KI-Gremium unterstützt die Kommission zudem bei der Aufklärung der Öffentlichkeit über KI-Systeme (Art. 66 lit. f KI-VO).

Sanktionen: Im Gegensatz zu anderen Vorschriften der KI-Verordnung sieht der Gesetzgeber für Artikel 4 KI-VO keine spezifischen Sanktionen vor. Eine Verletzung der Kompetenzanforderungen kann jedoch im Rahmen der allgemeinen Durchsetzung relevant werden, etwa wenn mangelnde Kompetenz zu Verstößen gegen andere Vorschriften führt.

Bedeutung:

Ein KI-Modell ist der eigentliche Algorithmus oder die mathematische Struktur, die einer Künstlichen Intelligenz zugrunde liegt. In der Fahrzeug-Analogie ist das KI-Modell genau der Motor – das technische Herzstück, das die eigentliche Arbeit verrichtet, also aus Eingabedaten Ergebnisse berechnet.

Technisch handelt es sich meist um ein neuronales Netzwerk, ein statistisches Modell oder einen anderen Algorithmus, der aus großen Mengen an Trainingsdaten Muster und Zusammenhänge gelernt hat.

Das KI-Modell allein ist noch kein vollständiges KI-System, sondern erst durch Hinzufügen weiterer Komponenten wie einer Benutzeroberfläche oder Schnittstellen wird daraus ein nutzbares System. KI-Modelle können für ganz unterschiedliche Aufgaben trainiert werden – von der Bilderkennung über Sprachanalyse bis hin zur Vorhersage von Verhaltensmustern. Die KI-VO definiert den Begriff „KI-Modell“ nicht legal, sondern setzt ihn nur in bestimmten Zusammenhängen vorausgesetzt

Rechtliche Einordnung:

KI-Verordnung (AI Act): Die KI-VO regelt primär KI-Systeme, nicht einzelne KI-Modelle. Nach Erwägungsgrund 97 sind KI-Modelle wesentliche Komponenten von KI-Systemen, stellen aber für sich genommen noch keine KI-Systeme dar. Die Abgrenzung ist praktisch relevant: Ein KI-Modell bezieht sich auf einen spezifischen Algorithmus zur Durchführung einer Aufgabe, während ein KI-System meist mehrere KI-Modelle und zusätzliche Komponenten umfasst.

Urheberrecht: Es ist umstritten, ob trainierte KI-Modelle komprimierte Kopien der Trainingsdaten enthalten und damit Vervielfältigungsstücke darstellen. Trainingsbilder werden nicht systematisch in die Modellparameter übertragen, können aber in Einzelfällen durch gezielte Eingabeprompts rekonstruiert werden (vgl. Pesch/Böhme, GRUR 2023, 1005).

Datenschutzrecht (DSGVO): Es stellt sich die Frage, ob KI-Modelle personenbezogene Daten „enthalten“ und damit unter die DSGVO fallen – diese Frage wird der Europäische Datenschutzausschuss noch klären (vgl. Ambrock/Schack, GRURPrax 2024, 623).

Anbieterrolle: Durch umfangreiches Fine-Tuning kann ein Unternehmen zur Anbieterrolle an einem KI-Modell werden, wenn die Modifikation bestimmte Erheblichkeitsschwellen überschreitet.

Bedeutung:

Ein KI-System ist ein computergestütztes System, das Aufgaben mit einem gewissen Maß an Eigenständigkeit erledigen kann und sich nach seiner Inbetriebnahme an neue Gegebenheiten anpassen lässt. Das Besondere ist, dass es aus Eingabedaten eigene Schlussfolgerungen zieht und daraus Ergebnisse wie Vorhersagen, Texte, Empfehlungen oder Entscheidungen generiert, die in der realen oder digitalen Welt wirken können.

Die KI-Verordnung definiert KI-Systeme sehr weit: Erfasst sind alle Systeme, die Daten verarbeiten und daraus Ergebnisse ableiten – von einfachen Algorithmen bis hin zu komplexen neuronalen Netzen.

Wichtig ist die Abgrenzung zum KI-Modell: Das KI-Modell lässt sich als der „Motor“ des Systems verstehen – es ist der Algorithmus, der die eigentliche Arbeit verrichtet und aus Eingaben Ergebnisse berechnet. Das KI-System hingegen ist das komplette Fahrzeug: Es besteht nicht nur aus dem Motor, sondern auch aus der Karosserie, dem Lenkrad (Benutzeroberfläche) und allen anderen Teilen, die zusammen das funktionierende Ganze ergeben, das der Nutzer tatsächlich anwendet.

Rechtliche Einordnung:

Die KI-Verordnung (KI-VO) regelt den Einsatz von KI-Systemen in einem risikobasierten Ansatz mit vier Risikoklassen. Zentral ist die Legaldefinition in Art. 3 Nr. 1 KI-VO, die das KI-System als maschinengestütztes System mit Autonomie, Anpassungsfähigkeit und Ableitungsfähigkeit beschreibt.

Die vier Risikoklassen: Die Verordnung unterscheidet zwischen verbotenen KI-Praktiken (Art. 5 KI-VO), Hochrisiko-KI-Systemen (Art. 6 KI-VO, Anhang III), KI-Systemen mit begrenztem Risiko und solchen mit minimalem Risiko. Verbotene KI-Praktiken (unakzeptables Risiko) dürfen nicht in Verkehr gebracht oder verwendet werden. Hochrisiko-KI-Systeme unterliegen umfangreichen Anforderungen an Risikomanagement, Datenqualität, menschliche Aufsicht und Dokumentation.

Transparenzpflichten: KI-Systeme mit begrenztem Risiko sind primär Transparenzpflichten unterworfen. Nach Art. 50 KI-VO müssen Anbieter und Betreiber generativer KI-Systeme Nutzer darüber informieren, dass sie mit einem KI-System interagieren, und KI-generierte Inhalte kennzeichnen. Die Vorschriften für generative KI-Systeme wie ChatGPT richten sich jedoch primär an deren Anbieter, nicht an Nutzer oder Betreiber (vgl. Schnabl, RDi 2025, 8).

Datenschutzrecht: Die DSGVO bleibt anwendbar, insbesondere bei der Verarbeitung personenbezogener Daten durch KI-Systeme.

Abgrenzung zu klassischer Software: Die weite Definition des KI-Systems in der KI-VO umfasst potenziell auch herkömmliche Software, weshalb im Einzelfall geprüft werden muss, ob ein System tatsächlich unter die Verordnung fällt.

Bedeutung:

Ein LLM (Large Language Model) ist ein KI-System, das auf künstlichen neuronalen Netzen basiert und mit gigantischen Textmengen trainiert wurde. Es handelt sich um ein auf der Machine-Learning-Methode des Deep Learning basierendes KI-Modell, bei dem die KI aus Trainingsdaten lernt, das Gelernte selbstständig überträgt und bei der Beantwortung von Anfragen anwendet (Reichert/Radtke/Eske, ZD 2024, 483).

Die Modelle berechnen statistische Wahrscheinlichkeiten, um das jeweils nächste Wort in einem Textabschnitt vorherzusagen. Ein Algorithmus analysiert die Wörter der Trainingsdaten, erkennt Muster in den Wort- und Buchstabenkombinationen und gewichtet sie.

Er prüft im Rahmen einer statistischen Analyse, welche Buchstaben und Wörter besonders häufig relevant und wahrscheinlich sind und welche Wörter oft aufeinanderfolgen (Reichert/Radtke/Eske, ZD 2024, 483). Dadurch kann das Modell menschliche Sprache simulieren, Texte zusammenfassen oder eigenständig neue Inhalte und Programmiercodes generieren.

Rechtliche Einordnung:

Beim unternehmerischen Einsatz solcher LLMs stehen drei rechtliche Risiken im Vordergrund.

1. Der Datenschutz: Werden personenbezogene Daten in öffentliche Sprachmodelle eingegeben, liegt oft ein Verstoß gegen die Datenschutz-Grundverordnung (DSGVO) vor. Die Modelle werden auf großen Textkorpora, die auch personenbezogene Daten enthalten, trainiert und erzeugen auch Textausgaben, die sich auf Personen beziehen lassen (Pesch/Böhme, MMR 2023, 917). Da die Anbieter diese Eingaben teilweise für weiteres Modelltraining nutzen, stellt dies eine Datenverarbeitung dar, für die eine Rechtsgrundlage erforderlich ist (Werry, MMR 2023, 913).

2. Der Geheimnisschutz: Die Eingabe von sensiblen Firmendaten wie Geschäftsgeheimnissen in öffentliche KI-Systeme kann zum rechtlichen Verlust des Schutzes nach dem Geschäftsgeheimnisgesetz (GeschGehG) führen. Es ist keineswegs ausgeschlossen, dass KI-Output, der Nutzern einer KI-Anwendung offengelegt wird, Geschäftsgeheimnisse enthält (Rützel, GRURPrax 2025, 385). Diese Gefahr besteht für jedes Geschäftsgeheimnis, das in ein KI-System eingespeist wird. Dass dies kein rein theoretisches Szenario ist, zeigt ein Sicherheitsvorfall des Unternehmens „Samsung“: Mitarbeiter des südkoreanischen Tech-Unternehmens haben mehrfach vertrauliche Informationen in ChatGPT eingegeben. Hierbei handelte es sich unter anderem um Notizen zu internen Besprechungen sowie um Daten über Produktionsanlagen (Rützel, GRURPrax 2025, 385). Das GeschGehG sieht vor, dass die Erlangung, Nutzung und Offenlegung von Geschäftsgeheimnissen grundsätzlich unzulässig ist (Deinert/Kittner, RdA 2021, 257).

3. Das Urheberrecht: Den rein von einem LLM generierten Texten fehlt in der Regel die menschliche Schöpfungshöhe, weshalb sie rechtlich ungeschützt sind und von Dritten frei kopiert werden dürfen. Eine Ausnahme greift nur dann, wenn der menschliche Nutzer das finale Ergebnis durch seinen Prompt derart detailliert vorherbestimmt, dass die gestalterisch-kreative menschliche Einflussnahme die bloße technische Tätigkeit der KI überwiegt. Die KI fungiert dann rechtlich als reines Werkzeug (vgl. hierzu das Urteil des AG München vom 13.02.2026). Dies dürfte in der Praxis jedoch nur in sehr begrenzten Ausnahmefällen gelingen. Hier bleibt die weitere Entwicklung der Rechtsprechung zwingend abzuwarten.

Bedeutung:

Overfitting (zu Deutsch: Überanpassung) beschreibt ein sehr häufiges, aber unerwünschtes Phänomen beim Training von maschinellen Lernsystemen. Es handelt sich dabei um eine grundlegende Herausforderung der Modellkalibrierung: Das KI-Modell lernt seine Trainingsdaten so stark „auswendig“, dass es zu wenig abstrahiert.

Beim Training eines solchen Modells kann es geschehen, dass es die Trainingsdaten zu genau memorisiert, einschließlich irrelevanter Details, anstatt nur die relevanten Muster zu erfassen.

Bei generativer KI – insbesondere wenn Unternehmen Modelle mit eigenen, kleineren Datensätzen nachtrainieren – führt starkes Overfitting zum sogenannten „Memorization“-Effekt: Das System generiert dann keine originellen Inhalte mehr, sondern reproduziert exakte Datenfragmente, mit denen es trainiert wurde, Wort für Wort oder Zeile für Zeile. Forschern ist es in der Vergangenheit gelungen, mehrere Seiten von Romanen wörtlich von einer KI ausgeben zu lassen (Baumann, NJW 2023, 3673).

Rechtliche Einordnung:

Das Phänomen des Overfitting birgt erhebliche rechtliche Risiken:

Urheberrecht & Unterlassung: Werden geschützte Inhalte eins zu eins als Output ausgegeben und genutzt, drohen dem Anwender unmittelbare Unterlassungsansprüche. Dieser Anspruch setzt kein Verschulden voraus – er ist verschuldensunabhängig und allein auf die Beseitigung der Störung gerichtet. Nach § 97 Abs. 1 Satz 1 UrhG kann der Verletzte bei Wiederholungsgefahr auf Unterlassung in Anspruch genommen werden.

Schadensersatz: Darüber hinaus können Schadensersatzansprüche geltend gemacht werden. Unternehmen können sich dabei nicht damit entlasten, dass die Inhalte von einer KI erstellt wurden.

Softwareentwicklung & Open-Source: Es besteht die Gefahr, gegen Open-Source-Lizenzen zu verstoßen. Da es in der Informatik für Probleme oft nur begrenzte Lösungswege gibt, ist die Chance hoch, dass eine KI Code ausgibt, der unter einer Open-Source-Lizenz steht (vgl. Endres/Mühleis, MMR 2023, 725).

Gefahr durch Copyleft-Lizenzen: Werden durch Overfitting geschützte Fragmente reproduziert, kann dies zur Verletzung von Copyleft-Lizenzen (wie der GPL) führen. Dies gefährdet im Ernstfall die gesamte Lizenzierung des eigenen Produkts, da der Copyleft-Effekt dazu führen kann, dass proprietäre Software plötzlich unter eine Open-Source-Lizenz gestellt werden muss (vgl. Taeger, NJW 2015, 3759; Endres/Mühleis, MMR 2023, 727).

Bedeutung:

Ein Prompt ist die konkrete Eingabe oder Arbeitsanweisung, die ein Nutzer an ein generatives KI-System richtet, um ein gewünschtes Ergebnis zu erzeugen. Dies können einfache Textbefehle, hochgeladene Bilder oder Dokumente sein.

Der Prompt dient als direkter Startpunkt der Mensch-Maschine-Interaktion und liefert dem KI-Modell den notwendigen Kontext für seine Antwort. Die Herausforderung bei der Nutzung liegt oft darin, präzise Anweisungen (Prompts) zu erstellen, um den gewünschten Output zu erzielen. Die systematische Optimierung dieser Befehle wird als „Prompt Engineering“ bezeichnet

Rechtliche Einordnung:

Die rechtlichen Risiken eines Prompts betreffen primär den Moment der Dateneingabe:

Datenschutz (DSGVO): Sobald ein Prompt personenbezogene Daten (z. B. Kundennamen im hochgeladenen Vertrag) enthält und in ein öffentliches KI-System eingegeben wird, stellt dies eine Datenverarbeitung dar, für die eine Rechtsgrundlage erforderlich ist (Werry, MMR 2023, 913). Die Anbieter speichern eine Vielzahl an Eingabedaten. Dabei ist zwischen eigenen Daten und Daten Dritter zu unterscheiden – Letztere werden verarbeitet, wenn Informationen wie Namen oder Wohnort einer anderen Person in das Chat-Fenster eingegeben werden. Es drohen somit Verstöße gegen die Datenschutz-Grundverordnung (DSGVO).

Geheimnisschutz: Zudem besteht das Risiko des rechtlichen Verlusts des Geheimnisschutzes. Die Eingabe von sensiblen Firmendaten in öffentliche KI-Systeme kann zum Verlust des Schutzes nach dem Geschäftsgeheimnisgesetz (GeschGehG) führen. Unternehmen sollten ihre geschäftlichen Daten daher entweder gar nicht erst in KI-Systeme externer Anbieter eingeben oder zumindest vertraglich vereinbaren, dass diese nicht für das Training weiterverwendet werden dürfen (Mattern, GRUR 2025, 1800).

Urheberrecht: Ein alltäglicher, einfacher Prompt genießt mangels Schöpfungshöhe keinen eigenen urheberrechtlichen Schutz nach § 2 UrhG. Es gehört zum typischen Anwendungsfall von KI-Systemen wie ChatGPT, dass die Schöpfungsleistung weitgehend dem Sprachmodell überlassen wird. Einfache Eingaben wie etwa eine Aufforderung zur Zusammenfassung erreichen für sich genommen keine eigene Gestaltungshöhe (Krone, RDi 2023, 117).

Bedeutung:

Prompt Engineering bezeichnet die systematische Entwicklung und Optimierung von Eingabebefehlen (Prompts) für generative KI-Modelle. Prompt Engineering befasst sich mit der systematischen Entwicklung und Optimierung dieser Prompts, um den Zugriff auf das Wissen des KI-Systems zu maximieren und die Genauigkeit sowie Qualität der Antworten zu verbessern (Leitner-Hanetseder/Frenkenberger, IRZ 2025, 73).

Ziel dieser Methode ist es, die KI durch präzise Kontextvorgaben, Rollenzuweisungen und methodische Leitplanken dazu zu bringen, verlässlichere, passgenauere und fehlerfreie Ergebnisse zu liefern, als dies mit einfachen Standardanfragen möglich wäre. Relevante Trainingsdaten und die klare Vorgabe des richtigen Kontexts sind bei der Nutzung von Sprachmodellen von zentraler Bedeutung. Mittels Wortwahl, der Verwendung des Fachjargons sowie der geeigneten Prompt-Technik lassen sich deutlich bessere Ergebnisse erzielen (Thurow, BC 2024, 414).

Rechtliche Einordnung:

Aus rechtlicher Sicht berührt komplexes Prompt Engineering primär das Urheberrecht und den Know-how-Schutz:

Urheberrecht (Schutz des Prompts): Ein methodisch tiefgreifend ausgearbeiteter Prompt kann als eigenes Sprachwerk (§ 2 Abs. 1 Nr. 1 UrhG) urheberrechtlich geschützt sein. Prompts können eine individuelle kreative Gestaltung darstellen und somit Gestaltungshöhe aufweisen (vgl. Krone, RDi 2023, 117). Dies erfordert eine gewisse Originalität und persönliche Prägung, die über das rein Alltägliche oder Banale hinausgeht (vgl. Valbuena/Rennar, MwStR 2023, 570).

Geheimnisschutz (Know-how): Zudem kann ein ausgearbeiteter Prompt ein Geschäftsgeheimnis (§ 2 Nr. 1 GeschGehG) darstellen. Unternehmen sollten ihre geschäftlichen Daten durch angemessene Vertraulichkeitsmaßnahmen schützen. Dies umfasst auch vertragliche Abreden, die technische Details und Know-how vor Dritten schützen (vgl. Mattern, GRUR 2025, 1800). Die Nutzung oder Offenlegung ohne Zustimmung des Inhabers ist unzulässig.

Urheberrecht (Schutz des KI-Outputs): Das von der KI erzeugte Ergebnis (KI-Output) ist mangels persönlicher geistiger Schöpfung (§ 2 Abs. 2 UrhG) in der Regel urheberrechtlich nicht geschützt. Eine Ausnahme greift nur, wenn der menschliche Prompt das finale Ergebnis so detailliert vorherbestimmt, dass die gestalterisch menschlich-kreative Einflussnahme die technische Tätigkeit der KI überwiegt. Da die KI das Ergebnis eigenständig erstellt, dürfte dies in der Praxis jedoch nur in sehr begrenzten Ausnahmefällen gelingen. Die weitere Entwicklung der Rechtsprechung bleibt abzuwarten.

Bedeutung:

Prompt Injection bezeichnet eine gezielte Cyberattacke auf generative KI-Systeme, bei der ein Angreifer manipulierte Befehle oder versteckte Anweisungen in die reguläre Texteingabe einschleust.

Ziel ist es, die vom Entwickler gesetzten Sicherheitsrichtlinien oder den System-Prompt zu überschreiben. Da KI-Modelle nicht immer zuverlässig zwischen legitimen Systemvorgaben und bösartiger Nutzereingabe unterscheiden können, können sie gezwungen werden, angebundene Werkzeuge und Datenbanken zu missbrauchen oder vertrauliche Daten preiszugeben.

Rechtliche Einordnung:

Strafrecht: Die Einordnung von Prompt Injection ist noch nicht abschließend geklärt. Diskutiert wird insbesondere eine Strafbarkeit wegen Ausspähens von Daten (§ 202a StGB). Die dogmatische Problematik konzentriert sich darauf, ob der System-Prompt als Zugangssicherung qualifiziert und ob manipulative Befehle deren „Überwinden“ darstellen (vgl. Ferner KIR 2025, 374, 377).

Datenschutz (DSGVO): Für das betroffene Unternehmen steht die datenschutzrechtliche Verantwortlichkeit im Fokus. Das ungewollte Ausleiten von Kundendaten stellt einen meldepflichtigen Datenschutzvorfall nach Art. 33 DSGVO dar. Bußgelder oder Schadensersatz drohen, wenn die technischen und organisatorischen Maßnahmen (Art. 32 DSGVO) gegen bekannte KI-Angriffsvektoren nicht angemessen waren.

KI-Verordnung (AI Act): Die KI-VO verpflichtet Anbieter von KI-Systemen zudem zur Umsetzung spezifischer Sicherheitsmaßnahmen gegen solche Cyberangriffe.

Bedeutung:

RAG (Retrieval-Augmented Generation) ist eine Methode, bei der ein großes Sprachmodell (LLM) mit einer zusätzlichen Informationsquelle verknüpft wird. Dies können unternehmensinterne Datenbanken, aber auch externe Quellen wie öffentliche Facharchive oder Echtzeit-Suchen im Internet sein.

Das Ziel von RAG ist es, die Antworten der KI mit verlässlichen, aktuellen Fakten zu untermauern und sogenannte KI-Halluzinationen des LLMs zu verhindern, ohne das gesamte Modell neu trainieren zu müssen.

Rechtliche Einordnung:

Datenschutz & Geheimnisschutz: Werden interne, sensible Daten an externe KI-Modelle übermittelt, greifen die Vorgaben der DSGVO und des Geschäftsgeheimnisgesetzes (GeschGehG). Bei der Verarbeitung personenbezogener Daten ist zwingend ein Auftragsverarbeitungsvertrag (Art. 28 DSGVO) erforderlich.

Urheberrecht: Es sind urheberrechtliche Aspekte zu beachten, insbesondere bei der Vervielfältigung urheberrechtlich geschützter Werke in der Datenbank (vgl. Wietzke, RDi 2024, 538).

Einschätzung der Datenschutzkonferenz (DSK): Die DSK hat hierzu eine Orientierungshilfe veröffentlicht. Ihr Fazit: RAG kann Schwächen wie Halluzinationen und unrichtige Ausgaben reduzieren. Gleichzeitig bestehen Herausforderungen insbesondere bei Transparenz, Zweckbindung und der Umsetzung von Betroffenenrechten. Je nach Gestaltung kann RAG als mitigierende Maßnahme zur Risikominderung dienen.

KI-Verordnung (AI Act): Die Einordnung hängt davon ab, ob ein neues KI-System entsteht. Im Unterschied zum Fine-Tuning (bei dem das Modell technisch verändert wird) bleibt beim RAG das zugrundeliegende Modell unverändert. Das anwendende Unternehmen wird daher in der Regel nur als Betreiber (Art. 3 Nr. 4 KI-VO) eingestuft und unterliegt den deutlich geringeren Betreiberpflichten. Eine Ausnahme gilt, wenn durch RAG ein eigenständiges KI-System mit neuer Zweckbestimmung entsteht oder unter eigenem Namen in Verkehr gebracht wird.

Bedeutung:

Schatten-KI (englisch: Shadow AI) bezeichnet den unautorisierten Einsatz von KI-Systemen durch Mitarbeiter oder Unternehmensbereiche ohne Wissen oder Genehmigung der Unternehmensleitung. Dies umfasst die Nutzung öffentlich zugänglicher KI-Tools wie ChatGPT, privater Konten oder selbst entwickelter Lösungen für dienstliche Zwecke.

Das Phänomen entsteht vor allem dann, wenn Unternehmen keine klaren KI-Richtlinien haben oder den Einsatz von KI sogar gänzlich verbieten. Statt eines strukturierten Rahmens entwickeln sich parallele KI-Nutzungen im Verborgenen, die von der Führungsebene nicht kontrolliert werden können. Allein ein Verbot reicht in der Praxis nicht aus, da Mitarbeiter die Effizienzvorteile von KI-Tools für ihre tägliche Arbeit nutzen möchten (vgl. Sassenberg, RDi 2025, 346).

Mitarbeiter nutzen KI-Tools „still und heimlich“ für zahlreiche betriebliche Aufgaben, etwa für E-Mails, Kundenbriefe, betriebliche Analysen oder Zusammenfassungen für das Management. Was auf den ersten Blick nach lobenswerter Eigeninitiative aussehen mag, ist in der Praxis hochproblematisch.

Da die KI-Systeme ohne Wissen des Unternehmens eingesetzt werden, hat die Geschäftsführung keinen Zugriff auf diese Tools. Das Unternehmen kann weder die verarbeiteten Daten einsehen noch steuern, wie die Informationen genutzt werden, und verliert damit die Kontrolle über seine eigenen Daten. Dies führt zu einem Kontrollverlust auf Geschäftsführungsebene (vgl. Hillmer, BC 2024, 251).

Rechtliche Einordnung:

Datenschutzrecht: Das Hochladen personenbezogener Daten in öffentliche KI-Systeme stellt eine Verarbeitung dar, die einer Rechtsgrundlage nach Art. 6 Abs. 1 DSGVO bedarf. Ohne gültige Einwilligung oder andere Rechtfertigung liegt ein Datenschutzverstoß vor. Zudem sind die Informationspflichten nach Art. 13 und 14 DSGVO zu beachten. Bei datenschutzrechtswidriger Nutzung drohen Bußgelder bis zu 20 Mio. Euro oder 4 % des weltweiten Jahresumsatzes.

Betriebsgeheimnisschutz: Die Eingabe interner Dokumente in KI-Systeme kann unbeabsichtigt Betriebs- und Geschäftsgeheimnisse offenbaren. Da viele KI-Systeme selbsterlernend sind und Nutzerdaten zum Training verwenden, können vertrauliche Informationen in die Modelle einfließen und später an andere Nutzer ausgegeben werden. Dies kann einen Verstoß gegen das Gesetz zum Schutz von Geschäftsgeheimnissen (GeschGehG) darstellen.

Arbeitsrecht und Compliance: Arbeitgeber haben eine Fürsorgepflicht und müssen durch geeignete Maßnahmen sicherstellen, dass Mitarbeiter ihre arbeitsvertraglichen Pflichten einhalten. Die unkontrollierte KI-Nutzung kann arbeitsrechtliche Konsequenzen bis hin zur Abmahnung oder Kündigung nach sich ziehen. Unternehmen sind verpflichtet, ein Compliance-Regelwerk zu schaffen und Mitarbeiter durch Schulungen zu sensibilisieren. Ein KI-Leitfaden, der klare Vorgaben zur Nutzung macht, ist empfehlenswert.

Gesellschaftsrecht: Die Geschäftsführung ist nach § 91 Abs. 2 AktG bzw. § 43 Abs. 1 GmbHG verpflichtet, geeignete Überwachungs- und Kontrollmaßnahmen zu ergreifen. Schatten-KI kann eine Organisationspflichtverletzung darstellen.

Bedeutung

Web Scraping bezeichnet das automatisierte Auslesen von Daten aus Webseiten durch Softwareprogramme (sogenannte Scraper oder Bots).

Im Gegensatz zum Webcrawling, das Webseiten zur Indexierung durchsucht, extrahiert Web Scraping gezielt bestimmte Inhalte wie Texte, Bilder oder Preise und speichert sie für die weitere Nutzung. Technisch greift der Scraper auf den HTML-Code der Webseite zu und analysiert diesen, um die gewünschten Daten zu extrahieren.

Web Scraping ist vom Data Mining zu unterscheiden: Während Web Scraping die Datenerfassung aus dem Internet beschreibt, bezeichnet Data Mining die analytische Auswertung dieser Daten, um Muster und Zusammenhänge zu erkennen. Web Scraping liefert also die Rohdaten, die anschließend durch Data Mining analysiert werden können.

Rechtliche Einordnung:

Urheberrecht (§ 16 UrhG): Web Scraping ist relevant, da beim Herunterladen von Daten Vervielfältigungen entstehen. Die Nutzung kann jedoch unter die Text-und-Data-Mining-Schranke (§ 44b UrhG) fallen, die das automatisierte Auswerten von Daten unter bestimmten Bedingungen erlaubt.

Maschinenlesbarer Nutzungsvorbehalt: Website-Betreiber können die Nutzung ihrer Daten durch einen maschinenlesbaren Hinweis untersagen. Einfache Texte auf der Webseite oder in AGBs reichen dafür nicht aus – es muss eine technisch auswertbare Erklärung vorliegen, etwa in einer robots.txt-Datei oder als Metadaten im HTML-Code (vgl. Pesch, in: Spindler/Schuster/Kaesling, UrhG § 44b Rn. 40 ff.). Welche Form genau erforderlich ist, ist in der Praxis noch nicht abschließend geklärt; es gibt verschiedene technische Standards, und die Gesetzgebung hat die Details weitgehend dem Markt überlassen.

Datenschutz (DSGVO): Scraping gilt als Verarbeitung personenbezogener Daten. Als Rechtsgrundlage kommt in der Regel ein berechtigtes Interesse in Betracht, etwa wenn die Daten für Forschungszwecke genutzt werden und keine Einwilligung vorliegt (vgl. Hüger, ZfDR 2024, 263). Bei Daten aus öffentlich zugänglichen Quellen müssen die betroffenen Personen informiert werden, sofern dies nicht unverhältnismäßig aufwendig ist.

Haftung & Datenbankschutz: Plattformbetreiber können zur Haftung verpflichtet sein, wenn sie ihre Daten nicht ausreichend vor Scraping schützen – etwa durch Sicherheitsmechanismen wie Captchas (vgl. LG Ravensburg, ZD 2023, 264; Art. 32 DSGVO). Zudem können Datenbanken geschützt sein – das systematische Auslesen einer Produktdatenbank wurde bereits als rechtswidrig eingestuft (vgl. OLG Köln, GRUR-RR 2021, 21).