LLMs im Unternehmen: die größten Risiken und wie Sie sie sicher lösen

Large Language Models verändern gerade die Arbeit in vielen Unternehmen. Sie schreiben Texte, fassen lange Dokumente in Sekunden zusammen, beantworten Fachfragen und formulieren Angebote vor. Der Nutzen ist real und die Verbreitung enorm: In vielen Organisationen nutzen Mitarbeiter längst KI, oft schneller, als Geschäftsführung und IT es freigeben oder auch nur bemerken.

Genau diese Leichtigkeit verdeckt jedoch vier Risiken, die im Enterprise-Umfeld schwer wiegen: Daten verlassen unkontrolliert das Haus, Antworten sind nicht verlässlich, die Abhängigkeit von einem einzelnen Anbieter wächst und die Kosten sind kaum planbar. Hinzu kommt die Regulierung durch den EU AI Act.

Dieser Artikel ordnet die zentralen Risiken sachlich ein, jeweils mit konkreten Situationen aus dem Arbeitsalltag und zeigt, wie eine kontrollierte, betriebene KI-Lösung dieselben Vorteile liefert, ohne die Kontrolle über Daten, Qualität und Kosten aufzugeben. Er ist der Ausgangspunkt unseres Themenclusters zu KI im Unternehmen und verweist an den passenden Stellen auf vertiefende Beiträge.

Warum LLMs im Enterprise ein anderes Risikoprofil haben

Im Unternehmen entscheidet nicht die Demo, sondern der Dauerbetrieb über den Wert einer Technologie.

Ein LLM, das im Test beeindruckt, verhält sich im produktiven Einsatz mit echten Kundendaten, Verträgen und Zahlen anders. Ein Privatnutzer, der sich ein Kochrezept generieren lässt, trägt kein Risiko. Ein Sachbearbeiter, der einen realen Kundenvertrag zusammenfassen lässt, arbeitet mit personenbezogenen Daten, Geschäftsgeheimnissen und Haftungsfragen. Derselbe Knopf, dasselbe Modell, ein völlig anderes Risiko.

Der Unterschied liegt in vier Dimensionen: Vertraulichkeit der Daten, Verlässlichkeit der Ergebnisse, Unabhängigkeit von Anbietern und Planbarkeit der Kosten. Wer LLMs einführt, sollte alle vier bewusst steuern, statt sie dem Zufall zu überlassen. Die folgenden Abschnitte gehen jede Dimension einzeln durch.

Die größten Risiken beim Einsatz von LLMs im Unternehmen

Sechs Risiken treten in der Praxis immer wieder auf. Die folgenden Abschnitte gehen jedes einzeln durch, mit konkreten Situationen aus dem Arbeitsalltag.

Risiko 1: Datenschutz und Datenabfluss

Das größte Risiko ist der unkontrollierte Abfluss vertraulicher Daten an einen externen Dienst.

Wenn Mitarbeiter Verträge, Angebote, Personalunterlagen oder Kundendaten in ein öffentliches Werkzeug kopieren, verlassen diese Informationen den kontrollierten Bereich des Unternehmens. Ein typisches Beispiel: Eine Assistenz lässt ein Protokoll mit Klarnamen und Gehaltsangaben zusammenfassen, ein Entwickler fügt zum Debuggen einen echten Kundendatensatz ein, ein Vertriebler lädt eine Preisliste hoch, um ein Angebot zu formulieren. In allen drei Fällen liegen die Daten anschließend bei einem Dritten.

Häufig ist dabei unklar, in welchem Land die Verarbeitung stattfindet und ob die Eingaben zur Weiterentwicklung des Modells verwendet werden. Für personenbezogene Daten verlangt die DSGVO eine geprüfte Auftragsverarbeitung und eine klare Rechtsgrundlage. Ohne diese Grundlage entsteht ein doppeltes Problem: ein rechtliches, weil ein Verstoß vorliegt und ein Vertrauensproblem gegenüber den eigenen Kunden, das sich schlecht wieder einfangen lässt.

Wie sich Datenschutz strukturell verankern lässt, zeigen wir am Beispiel von Dynamics 365 im Beitrag Security und Compliance in Dynamics 365 und speziell für den KI-Kontext in Datenschutz und LLMs.

Risiko 2: Halluzinationen und fehlende Verlässlichkeit

Ein LLM erzeugt sprachlich plausible Antworten, aber keine geprüften Fakten.

Das Modell sagt technisch das nächste wahrscheinliche Wort voraus. Es hat kein Wissen im eigentlichen Sinn, sondern ein statistisches Bild von Sprache. Fehlt eine Information oder ist sie mehrdeutig, füllt das Modell die Lücke mit einer plausibel klingenden Erfindung. Man nennt das Halluzination und das Tückische daran ist die Überzeugung, mit der falsche Aussagen formuliert werden.

In einem Marketingtext fällt das kaum ins Gewicht. In einem Angebot, einer Rechtsauskunft, einer technischen Wartungsanweisung oder einer Auswertung mit echten Zahlen kann eine erfundene Angabe teuer werden. Ein LLM, das eine Norm zitiert, die es nicht gibt, oder eine Frist nennt, die falsch ist, produziert ein Risiko, das erst auffällt, wenn der Schaden bereits entstanden ist.

Verlässlichkeit entsteht deshalb nicht durch ein besseres Modell allein, sondern durch den Rahmen darum: das Modell wird an geprüfte Datenquellen angebunden, nennt seine Quellen und durchläuft definierte Kontrollpunkte, bevor eine Antwort verbindlich wird. Wie das im Detail funktioniert, behandeln wir in Wie verlässlich sind LLM-Antworten?.

Risiko 3: Abhängigkeit von einem einzelnen Anbieter

Wer seine Prozesse fest auf ein einzelnes Modell aufbaut, macht sich von dessen Preis- und Produktpolitik abhängig.

Modelle werden abgekündigt, Preise steigen, Schnittstellen ändern sich und Funktionen wandern in höhere Tarifstufen. Ist ein Prozess einmal tief mit einem bestimmten Anbieter verwoben, etwa über spezielle Prompts, proprietäre Schnittstellen und darauf abgestimmte Abläufe, wird ein Wechsel aufwendig und teuer. Das Unternehmen sitzt dann in derselben Falle wie beim klassischen Lizenzgeschäft: Es zahlt, was verlangt wird, weil die Alternative zu schmerzhaft wäre.

Dieses Muster kennen viele bereits aus dem Umfeld großer Standardsoftware. Ein sinnvoller Gegenentwurf hält die Anbindung austauschbar und legt die Kontrolle über Modellwahl und Betrieb in die eigene Hand oder in die eines neutralen Partners. Warum das gerade bei KI leichter geht als früher und welche Rolle offene Modelle dabei spielen, vertiefen wir in Vendor Lock-in bei KI.

Risiko 4: Unkalkulierbare Kosten

Nutzungsabhängige Abrechnung macht die Kosten produktiver KI schwer planbar.

Viele KI-Dienste rechnen pro Anfrage oder pro verarbeiteter Textmenge ab, gemessen in sogenannten Tokens. Solange wenige Mitarbeiter testen, bleibt das günstig und genau deshalb wirken die ersten Rechnungen harmlos. Sobald KI aber in großen Abteilungen zum Standard wird, wächst die Rechnung mit der Nutzung, oft schneller als erwartet und schwankend von Monat zu Monat.

Für die Budgetplanung ist das ein doppeltes Problem: Die Kosten steigen ausgerechnet dann, wenn die KI erfolgreich ist und viel genutzt wird und sie lassen sich kaum vorhersagen. Eine betriebene Lösung mit fester Kostenbasis dreht diese Logik um. Wie sich der Vergleich rechnet und ab wann sich ein eigenes Modell lohnt, zeigen wir in Die versteckten Kosten von LLMs.

Risiko 5: Regulierung und der EU AI Act

Der Einsatz von KI ist zunehmend reguliert und muss nachweisbar dokumentiert sein.

Der EU AI Act ordnet Anwendungen nach Risiko ein und verlangt je nach Fall Transparenz, Dokumentation und eine Bewertung der Risiken. Unternehmen müssen einordnen können, wofür sie KI nutzen und wie das System zu seinen Ergebnissen kommt. Eine undurchsichtige Blackbox aus einem öffentlichen Dienst erschwert genau diesen Nachweis, weil weder die Datenflüsse noch das Modellverhalten vollständig bekannt sind.

Eine kontrollierte Umgebung, in der Datenflüsse und Modellverhalten dokumentiert sind, erleichtert die Einhaltung dagegen erheblich. Was der EU AI Act konkret verlangt und wie sich die Pflichten pragmatisch erfüllen lassen, behandeln wir in Was der EU AI Act für den LLM-Einsatz bedeutet.

Risiko 6: Schatten-KI durch unkontrollierte Nutzung

Das größte praktische Problem ist häufig nicht die offizielle KI-Strategie, sondern die inoffizielle Nutzung daneben.

Weil KI-Tools so leicht zugänglich sind, nutzen Mitarbeiter sie oft eigenmächtig, ohne Freigabe und ohne Kenntnis der IT. Diese Schatten-KI vereint alle vier Risiken auf einmal: Daten fließen unkontrolliert ab, niemand prüft die Ergebnisse, es gibt keinen Vertrag und keinen Überblick. Ein reines Verbot verlagert das Problem nur in den Untergrund. Wie man wirksam gegensteuert, beschreiben wir in Schatten-KI im Unternehmen.

Die kontrollierte Alternative: betriebene statt gemietete KI

Alle Risiken lassen sich entschärfen, wenn die KI nicht öffentlich gemietet, sondern kontrolliert für das Unternehmen betrieben wird.

Eine kontrollierte KI-Lösung läuft in einer definierten Umgebung in Europa, greift nur auf freigegebene Datenquellen zu und macht ihre Ergebnisse nachvollziehbar. Der Betrieb, die Sicherheit und die Weiterentwicklung liegen bei einem verantwortlichen Partner statt bei einem anonymen Dienst. Statt pro Anfrage abgerechnet zu werden, entstehen planbare Betriebskosten. Die folgende Gegenüberstellung zeigt den Unterschied.

Ein wichtiger Baustein dieser Alternative sind offene Modelle, die sich vollständig auf eigener Infrastruktur betreiben lassen. Führende Open-Weight-Modelle erreichen für viele Unternehmensaufgaben ein hohes Niveau, ohne dass Daten das Haus verlassen. Wie das konkret funktioniert, zeigen wir in KI-Modelle lokal betreiben und wie die fertige Lösung aussieht in Die bessere Lösung: kontrollierte, betriebene KI.

Wie Sie das Risiko einordnen und starten

Der richtige Schluss aus den Risiken ist nicht der Verzicht auf KI, sondern ein bewusster Rahmen.

Sinnvoll ist eine kurze Bestandsaufnahme: Wo wird heute schon KI genutzt, offiziell und inoffiziell? Welche Daten sind dabei im Spiel und welche Anwendungsfälle bringen den größten Nutzen bei überschaubarem Risiko? Auf dieser Grundlage entsteht eine klare Richtlinie, welche Tools erlaubt sind und welche Daten hinein dürfen und darauf aufbauend eine kontrollierte Umgebung für die sensiblen Fälle.

Wer KI gezielt in der Softwareentwicklung einsetzen möchte, findet den passenden Rahmen in unserer Serie zu KI in der Entwicklung sicher einsetzen. Der Grundgedanke, ein eigenes betriebenes System statt gemieteter Standardbausteine zu nutzen, gilt über KI hinaus und ist Thema unseres Beitrags zur Zukunft der Entwicklung.

Fazit: KI mit Kontrolle statt KI auf Vertrauen

Large Language Models sind ein starkes Werkzeug, aber im Enterprise-Umfeld nur so gut wie die Kontrolle über Daten, Qualität und Kosten. Die vier großen Risiken, also Datenabfluss, Halluzinationen, Abhängigkeit und unkalkulierbare Kosten, verschwinden nicht von selbst und die Regulierung durch den EU AI Act kommt hinzu.

Sie lassen sich aber gezielt steuern, wenn die KI kontrolliert betrieben und an die eigenen, geprüften Datenquellen angebunden wird. Genau das ist unser Ansatz. Wir denken über diese Risiken ernsthaft nach und bauen Lösungen, die die Vorteile von KI nutzbar machen, ohne die Kontrolle abzugeben. Sprechen Sie mit uns über Ihren geplanten KI-Einsatz.