Inhalt
Ratgeber · KI
Wie funktioniert KI? — verständlich für Nicht-Techniker
Lesezeit ca. 11 Min. · Aktualisiert Juni 2026 · von Martin Hofmann
„Wir setzen KI ein" sagt für sich genommen wenig. Wer KI sinnvoll im Unternehmen nutzen will, braucht kein Informatik-Studium — aber ein klares Bild davon, was moderne KI eigentlich tut. Dieser Leitfaden erklärt die Mechanik ohne Hype und ohne Pessimismus, mit Fokus auf das, was im Mittelstand 2026 wirklich zählt.
Kurz erklärt
Was wir mit „KI" tatsächlich meinen
Der Begriff Künstliche Intelligenz ist breit. Im Unternehmens-Kontext 2026 lohnt es sich, fünf Familien zu unterscheiden:
- Große Sprach-Modelle (LLMs): ChatGPT, Claude, Gemini, Mistral, Llama. Sie verstehen und generieren Text — zusammenfassen, übersetzen, umformulieren, E-Mails entwerfen, Fragen beantworten. Das meinen die meisten heute mit „KI".
- Bild-KI: DALL-E, Midjourney, Stable Diffusion für Bild-Generierung; OCR für Bild-zu-Text; Bild-Klassifizierung in DMS-Systemen.
- Audio- und Video-KI: Whisper für Audio-zu-Text (z. B. Meeting-Protokolle), Synthesia/HeyGen für Video, Telefon-Assistenten.
- Klassische ML: Vorhersage-Modelle, Anomalie-Erkennung, Empfehlungs-Systeme. Älter als die LLM-Welle, aber im Mittelstand weiter sehr relevant — etwa in BI-Tools oder im CRM-Lead-Scoring.
- Hybrid-Systeme: Kombinationen wie RAG (dazu unten), Agenten-Systeme (LLM plus Tool-Aufrufe) und MLOps-Pipelines.
Diese Unterscheidung hilft beim Einstieg: Nicht „setzen wir KI ein", sondern welche Familie für welchen Use Case ist die richtige Frage.
Wie Sprach-Modelle wirklich funktionieren
Wir konzentrieren uns auf LLMs, weil sie 2026 die häufigste KI-Anwendung im Mittelstand sind.
Definition
Großes Sprach-Modell (LLM)
Grundprinzip: Wahrscheinlichkeits-Berechnung
Wenn Sie ein LLM etwas fragen, passiert grob das:
- Ihre Frage wird in Tokens zerlegt (Wort-Bausteine, typisch 4–5 Zeichen).
- Das Modell berechnet für jeden möglichen nächsten Token eine Wahrscheinlichkeit.
- Es wählt einen Token aus — meist den wahrscheinlichsten, manchmal leicht randomisiert.
- Dieser Token wird zur Eingabe hinzugefügt, der nächste wird berechnet.
- Das wiederholt sich, bis die Antwort fertig ist.
Was das in der Praxis bedeutet
- KI „weiß" nicht, was sie sagt. Es gibt keine eingebaute Faktencheck-Funktion. Falsche Muster werden mit gleicher Selbstsicherheit ausgegeben wie richtige.
- KI ist nicht aktuell. Der Trainings-Datensatz endet zu einem Stichtag (Knowledge-Cutoff). Was danach passiert, weiß das Modell nicht — außer es bekommt aktuelle Daten mitgeliefert.
- KI ist nicht reproduzierbar. Dieselbe Frage liefert oft leicht unterschiedliche Antworten.
- KI „versteht" nicht menschlich. Sie erkennt Muster — bei vielen Aufgaben so gut, dass es wie Verstehen aussieht, bei untypischen Eingaben aber überraschend scheitert.
Was sind Halluzinationen
Halluzinationen sind Antworten, die plausibel klingen, aber falsch oder erfunden sind. Sie sind keine Bugs — sie sind eine direkte Folge der Wahrscheinlichkeits-Logik. Typische Muster: erfundene Studien-Quellen, erfundene Zitate, erfundene API-Funktionen, falsche Daten (Preise, Gesetzes-Inhalte) oder erfundene Gerichts-Urteile mit Aktenzeichen.
Was hilft: RAG (siehe unten), explizite Prompts („Wenn du nicht sicher bist, sag das"), Quellen-Verlangen mit manueller Verifikation, spezialisierte Modelle und menschliche Kontrolle bei kritischen Antworten. Mehr dazu im Ratgeber KI-Halluzinationen erkennen.
Was ein Prompt ist — und warum er zählt
Ein Prompt ist die Eingabe an die KI. Was Sie schreiben, bestimmt, was Sie zurückbekommen. Ein guter Prompt:
- formuliert eine klare Aufgabe statt einer vagen Bitte;
- gibt Kontext („Ich bin Steuerberater, schreibe einer Mandantin");
- gibt das Format vor („nummerierte Liste, max. 5 Punkte");
- liefert bei Bedarf ein Beispiel mit (Few-Shot);
- nennt Einschränkungen („Falls unsicher, sag das. Keine Vermutungen").
Mehr dazu unter Prompt-Engineering auf Deutsch.
Was ist RAG (Retrieval Augmented Generation)
RAG ist die Methode, mit der man die KI mit eigenen Daten verbindet, ohne sie neu zu trainieren. Statt ein eigenes Modell zu bauen (teuer, komplex), nutzt man ein bestehendes LLM und gibt ihm Zugriff auf die eigenen Dokumente:
- 1
Frage stellen
Die Nutzer-Frage geht nicht direkt ans Sprach-Modell, sondern zuerst in ein vorgelagertes System.
- 2
Relevante Dokumente suchen
Das System durchsucht Ihre eigene Wissens-Datenbank und findet die passenden Abschnitte — etwa fünf relevante Stellen aus internen Dokumenten, Verträgen oder Handbüchern.
- 3
Kontext mitliefern
Diese gefundenen Abschnitte werden zusammen mit der ursprünglichen Frage an das Sprach-Modell geschickt.
- 4
Gestützt antworten
Das Modell antwortet — gestützt auf die mitgelieferten Dokumente statt aus dem reinen statistischen Gedächtnis. Die Halluzinations-Rate sinkt drastisch.
So entstehen Wissens-Bots auf eigenen Daten (Vertrags-Bot, FAQ-Bot, Service-Bot), Telefon-Assistenten mit aktuellen Produkt-Daten und Marketing-Assistenten mit eigener Marken-Tonalität. Für rund 95 % der KMU-Use-Cases reicht RAG — es ist günstiger, flexibler und schneller umzusetzen als Fine-Tuning (das eigentliche Nachtrainieren eines Modells, das sich nur bei sehr spezifischen Profilen und vielen Trainings-Beispielen lohnt). Das ist auch die Basis von CompanyGPT und vergleichbaren Mittelstand-Lösungen.
Die Modell-Anbieter im Vergleich
Die Anbieter unterscheiden sich vor allem in Qualität, Server-Standort und Datenschutz-Position:
| Anbieter | Stärken | Datenschutz |
|---|---|---|
| OpenAI (USA) | Marktführer, sehr breit | USA-Server, DSGVO problematisch |
| Anthropic (USA) | stark bei Schreib-Aufgaben, Sicherheits-Fokus | USA-Server |
| Google (USA) | stark multimodal | USA-Server |
| Mistral AI (Frankreich) | EU-Hosting möglich | DSGVO-freundlicher |
| Meta (USA) | Llama, selbst hostbar | bei Self-Hosting: voller Daten-Schutz |
| Aleph Alpha (Deutschland) | Made in Germany, deutsche Sprache | DSGVO-stark |
Für KMU heißt das: bei sensiblen Daten Mistral, Aleph Alpha oder selbst-gehostete Llama-Modelle; für maximale Qualität bei unkritischen Aufgaben die großen US-Modelle; als DSGVO-konformer Mittelweg eine Plattform mit selbst gewähltem Backend in eigener Umgebung.
KI und der EU-AI-Act
Seit dem 02.02.2025 ist die EU-KI-Verordnung (EU AI Act) in Kraft. Die wichtigsten Pflichten:
- Schulungs-Pflicht für alle Mitarbeitenden, die KI nutzen oder mit KI-Outputs arbeiten (Art. 4);
- Risiko-Klassifizierung von KI-Systemen (verboten / hoch / begrenzt / niedrig);
- Kennzeichnungs-Pflichten bei KI-Inhalten;
- Verbots-Tatbestände für bestimmte Anwendungen (z. B. Social Scoring).
Bußgelder reichen bis 35 Mio. € oder 7 % Umsatz. Details in der EU-AI-Act-Checkliste für KMU in unserem Ratgeber-Bereich.
Was Geschäftsleitungen wissen sollten
- ~95 %
- der KMU-Use-Cases sind mit RAG lösbar — kein eigenes Modell nötig
- 4–5
- Zeichen umfasst ein Token im Schnitt
- 02.02.2025
- EU AI Act in Kraft — Schulungs-Pflicht
- bis 35 Mio. €
- Bußgeld-Rahmen bei Verstoß
Quelle: z1Digital, Stand Juni 2026
Die praktischen Mindest-Kenntnisse lassen sich auf sechs Punkte verdichten:
- KI halluziniert — Outputs kritisch prüfen, besonders bei rechtlichen, medizinischen oder finanziellen Themen.
- KI weiß nichts Aktuelles ohne Daten-Anbindung — den Knowledge-Cutoff beachten.
- KI braucht klare Anweisungen — die Prompt-Qualität bestimmt die Output-Qualität.
- Cloud-KI = Daten verlassen das Unternehmen — bei sensiblen Daten eine DSGVO-Lösung wählen.
- EU AI Act ist Pflicht — die Schulung der Mitarbeitenden ist gesetzliche Anforderung.
- KI ersetzt nicht den Fachverstand — sie ist Werkzeug, nicht Entscheider.
So gehen wir das an
z1Digital übersetzt diese Grundlagen in konkrete Anwendung: Wir klären, welche KI-Familie zu welchem Use Case passt, setzen RAG auf Ihren eigenen Daten auf und schulen Ihr Team EU-AI-Act-konform. Den technischen und rechtlichen Rahmen bündelt unser Angebot KI & CompanyGPT — eine DSGVO-konforme KI-Umgebung in eigener Hoheit.