Auf einen Blick

Inhalt des Kurses

1. Lernziel
2. Lektion 1: Was bedeutet lokale KI und warum betrifft es den Mittelstand?
3. Lektion 2: Die Modelllandschaft 2026: Welche Open-Source-Modelle taugen für den Unternehmenseinsatz?
4. Lektion 3: Hardware-Entscheidungen: Was brauchen Sie wirklich?
5. Lektion 4: Software und Tools: Ollama, LM Studio und vLLM im Vergleich
6. Lektion 5: Kosten und ROI: Die wirtschaftliche Betrachtung lokaler KI
7. Lektion 6: Erste Schritte: Ein 30-Tage-Plan für Ihren lokalen KI-Einstieg

Kursinhalt

Lokale KI im Mittelstand: Von der Evaluierung zum produktiven Einsatz

Lernziel

Nach Abschluss dieses Kurses verstehen Sie, warum lokale KI-Modelle für mittelständische Unternehmen relevant sind, wie Sie die richtige Strategie zwischen Cloud und lokalem Betrieb wählen und welche ersten Schritte Sie konkret unternehmen können. Der Kurs richtet sich an Geschäftsführer, IT-Leiter und Innovationsverantwortliche ohne tiefes technisches Vorwissen.

Lektion 1: Was bedeutet lokale KI und warum betrifft es den Mittelstand?

Lernziel: Sie verstehen den Unterschied zwischen Cloud-KI und lokaler KI und können die Relevanz für Ihr Unternehmen einschätzen.

Wenn Sie heute ChatGPT, Claude oder Gemini nutzen, senden Sie Ihre Daten an Server großer US-amerikanischer Unternehmen. Ihre Prompts, Ihre Dokumente, Ihre Geschäftsgeheimnisse verlassen Ihr Unternehmen und werden auf Infrastruktur verarbeitet, die Sie nicht kontrollieren. Für viele Anwendungsfälle ist das völlig in Ordnung: eine E-Mail umformulieren, allgemeine Recherche betreiben oder einen Social-Media-Post entwerfen. Aber was, wenn Sie Kundendaten analysieren? Wenn Sie interne Strategiepapiere zusammenfassen lassen? Wenn Sie Vertragsentwürfe prüfen?

Lokale KI bedeutet, dass ein leistungsfähiges Sprachmodell auf Hardware läuft, die Ihnen gehört oder die Sie in einem europäischen Rechenzentrum mieten. Ihre Daten bleiben in Ihrer Infrastruktur. Kein Prompt verlässt Ihr Netzwerk. Kein US-amerikanischer Anbieter hat Zugriff auf Ihre Geschäftsgeheimnisse.

Diese Unterscheidung klingt theoretisch, hat aber handfeste geschäftliche Konsequenzen. Der EU AI Act, dessen Transparenzpflichten (Artikel 50) am 2. August 2026 in Kraft treten, verlangt für bestimmte KI-Anwendungen einen Audit-Trail von sechs Monaten: Sie müssen nachweisen können, welche Daten wann verarbeitet wurden und wie das Modell zu seinen Ergebnissen kam. Mit Cloud-APIs ist das schwierig bis unmöglich. Mit einem lokalen Modell ist es eine Frage der Konfiguration.

Die gute Nachricht: Sie müssen sich nicht zwischen Cloud und lokal entscheiden. Die meisten Unternehmen fahren 2026 eine hybride Strategie. Allgemeine Aufgaben ohne sensible Daten laufen über Cloud-APIs (Claude, GPT, Gemini). Aufgaben mit Kundendaten, Finanzzahlen, Strategiepapieren oder personenbezogenen Informationen laufen lokal. Das ist kein Entweder-oder, sondern ein intelligentes Sowohl-als-auch.

Praxisbeispiel: Ein Maschinenbauunternehmen mit 200 Mitarbeitern nutzt Claude über die API für Marketing-Texte und allgemeine Recherche. Für die Analyse von Service-Berichten, die Kundennamen, Maschinennummern und Fehlerprotokolle enthalten, betreibt das Unternehmen ein lokales Llama-4-Modell auf einem eigenen Server. Die Mitarbeiter merken keinen Unterschied in der Bedienoberfläche, aber die sensiblen Daten bleiben im Haus.

Kernpunkte:

• Lokale KI bedeutet: Ihre Daten bleiben in Ihrer Infrastruktur
• Die hybride Strategie (Cloud für Allgemeines, lokal für Sensibles) ist 2026 der Standard
• Der EU AI Act macht lokale KI für bestimmte Anwendungsfälle faktisch zur Pflicht

Lektion 2: Die Modelllandschaft 2026: Welche Open-Source-Modelle taugen für den Unternehmenseinsatz?

Lernziel: Sie kennen die wichtigsten Open-Source-Modelle 2026 und können einschätzen, welches Modell für welchen Unternehmens-Anwendungsfall geeignet ist.

Noch vor zwei Jahren war die Leistungslücke zwischen proprietären Modellen (ChatGPT, Claude) und Open-Source-Modellen so groß, dass ein Unternehmenseinsatz lokaler Modelle nur für Nischen-Anwendungen sinnvoll war. Das hat sich 2026 fundamental geändert. Drei Entwicklungen haben den Markt transformiert.

Erstens: Die Mixture-of-Experts-Architektur (MoE). Ein Modell wie Llama 4 Scout hat 109 Milliarden Parameter, aktiviert aber pro Anfrage nur 17 Milliarden. Das bedeutet: Sie erhalten die Qualität eines sehr großen Modells bei den Hardwareanforderungen eines mittleren. Für den Mittelstand ist das revolutionär, weil leistungsstarke Modelle plötzlich auf bezahlbarer Hardware laufen.

Zweitens: Die Modellvielfalt. Wo es 2024 im Wesentlichen Llama und Mistral gab, stehen 2026 Dutzende ausgereifter Modelle zur Verfügung. Meta Llama 4, Google Gemma 4, Alibaba Qwen 3.5, DeepSeek V4 und Mistral bilden ein breites Ökosystem mit jeweils eigenen Stärken.

Drittens: Die Tooling-Reife. Programme wie Ollama, LM Studio und vLLM haben die Einrichtung lokaler Modelle so stark vereinfacht, dass ein IT-affiner Mitarbeiter ein Modell in unter zehn Minuten starten kann.

Für den deutschen Mittelstand sind folgende Modelle besonders relevant: Für tägliche Wissensarbeit (E-Mails, Zusammenfassungen, einfache Analysen) reichen Modelle wie Qwen 3.5 mit 9 Milliarden Parametern oder Gemma 4 E4B. Sie laufen auf jedem modernen Laptop oder Desktop-Rechner. Für anspruchsvollere Aufgaben (Vertragsanalyse, technische Dokumentation, komplexe Recherche) empfehlen sich Qwen 3.5 mit 27 Milliarden Parametern oder Llama 4 Scout. Diese benötigen einen dedizierten Rechner mit 32 bis 64 GB Arbeitsspeicher. Für Code-Generierung und technische Aufgaben ist DeepSeek R1 Distill mit 14 Milliarden Parametern eine ausgezeichnete Wahl.

Praxisbeispiel: Eine Steuerkanzlei mit 15 Mitarbeitern evaluiert lokale Modelle für die Zusammenfassung von Mandantenakten. Nach einem zweiwöchigen Test entscheidet sie sich für Qwen 3.5 27B auf einem Mac Studio mit 96 GB Unified Memory. Das Modell verarbeitet deutschsprachige Texte exzellent, versteht steuerrechtliche Fachbegriffe und kostet nach der Anschaffung der Hardware (ca. 4.500 Euro) keine laufenden Gebühren mehr. Bei einer bisherigen Cloud-KI-Nutzung von 800 Euro monatlich amortisiert sich die Investition in sechs Monaten.

Kernpunkte:

• Die Leistungslücke zwischen Cloud-Modellen und lokalen Modellen hat sich 2026 dramatisch verkleinert
• Mixture-of-Experts ermöglicht Frontier-Qualität auf Mittelstands-Hardware
• Für die meisten Unternehmensaufgaben reichen Modelle mit 9 bis 27 Milliarden Parametern

Lektion 3: Hardware-Entscheidungen: Was brauchen Sie wirklich?

Lernziel: Sie können die Hardware-Anforderungen für lokale KI realistisch einschätzen und eine fundierte Investitionsentscheidung treffen.

Die häufigste Fehleinschätzung bei lokaler KI betrifft die Hardware. Viele Entscheider denken an teure GPU-Server für 50.000 Euro aufwärts. Die Realität 2026 sieht anders aus. Für ein Team von 5 bis 10 Personen reicht in vielen Fällen ein Apple Mac Studio für unter 5.000 Euro.

Der entscheidende Faktor ist der Arbeitsspeicher, genauer gesagt: der Video-RAM (VRAM) bei GPU-basierten Systemen oder der Unified Memory bei Apple-Silicon-Rechnern. Ein Sprachmodell muss vollständig in den Speicher geladen werden, um effizient zu arbeiten. Je größer das Modell, desto mehr Speicher benötigt es.

Apple Silicon bietet hier einen einzigartigen Vorteil. CPU und GPU teilen sich denselben Arbeitsspeicher (Unified Memory Architecture). Ein Mac Studio mit 96 GB Unified Memory kann Modelle laden, die auf einer herkömmlichen Gaming-Grafikkarte mit 24 GB VRAM nicht passen würden. Für kleine und mittlere Unternehmen ist das die kosteneffizienteste Option.

Für größere Teams (20 oder mehr Nutzer) wird ein dedizierter Linux-Server mit professioneller GPU empfohlen. Die NVIDIA RTX 5090 mit 32 GB VRAM kostet ca. 2.500 Euro und reicht für Modelle bis 14 Milliarden Parameter bei mehreren gleichzeitigen Nutzern. Für größere Modelle oder höhere Nutzerzahlen ist die NVIDIA A6000 mit 48 GB VRAM die Standardwahl.

Die Stromkosten sind überschaubar. Ein Mac Studio verbraucht unter Last ca. 80 Watt, ein GPU-Server ca. 400 Watt. Auf ein Jahr hochgerechnet bedeutet das 200 bis 1.000 Euro Stromkosten, ein Bruchteil der Cloud-Kosten bei intensiver Nutzung.

Praxisbeispiel: Ein Ingenieurbüro mit 30 Mitarbeitern evaluiert drei Optionen. Option A: Ein Mac Studio mit 192 GB für 6.500 Euro, der Modelle bis 70 Milliarden Parameter laden kann und für 5 bis 8 gleichzeitige Nutzer ausreicht. Option B: Ein Linux-Server mit einer RTX 5090 für 5.000 Euro gesamt, der 14B-Modelle für bis zu 15 gleichzeitige Nutzer bedient. Option C: Ein professioneller Server mit zwei A6000-GPUs für 18.000 Euro, der 70B-Modelle für 20 oder mehr Nutzer leisten kann. Das Büro entscheidet sich für Option B als Einstieg, mit dem Plan, bei steigender Nutzung auf Option C aufzurüsten.

Praxistipp: Beginnen Sie klein und skalieren Sie bei Bedarf. Ein Mac Studio oder ein einzelner GPU-Rechner reicht für den Einstieg. Wenn die Nutzung wächst, können Sie Hardware ergänzen, ohne die bestehende zu ersetzen. Dieser inkrementelle Ansatz minimiert Ihr Investitionsrisiko.

Kernpunkte:

• Lokale KI erfordert keine Investitionen im fünfstelligen Bereich, ein Mac Studio reicht für kleine Teams
• Der Arbeitsspeicher (VRAM/Unified Memory) ist der entscheidende Faktor
• Starten Sie klein und skalieren Sie bei nachgewiesenem Bedarf

Lektion 4: Software und Tools: Ollama, LM Studio und vLLM im Vergleich

Lernziel: Sie kennen die drei wichtigsten Software-Lösungen für lokale KI und können die richtige für Ihr Szenario auswählen.

Die Hardware ist nur die halbe Miete. Ebenso wichtig ist die Software, die das Modell bereitstellt und den Zugriff für Ihr Team ermöglicht. 2026 haben sich drei Lösungen als Standard etabliert, die jeweils einen anderen Schwerpunkt setzen.

Ollama ist das Werkzeug für den schnellen Einstieg. Die Installation dauert zwei Minuten, danach genügt ein einziger Befehl ("ollama run llama4-scout"), um ein Modell zu starten. Ollama ist ideal für Entwickler, IT-Abteilungen und alle, die sich im Terminal wohlfühlen. Es bietet eine OpenAI-kompatible API, was bedeutet, dass jedes Tool, das mit ChatGPT funktioniert, auch mit Ihrem lokalen Ollama-Modell funktioniert. Die Grenze von Ollama: Bei mehr als fünf gleichzeitigen Nutzern sinkt die Antwortgeschwindigkeit spürbar.

LM Studio bietet eine grafische Oberfläche und richtet sich an Wissensarbeiter ohne technisches Hintergrundwissen. Sie laden ein Modell mit einem Klick herunter, starten es mit einem weiteren Klick und chatten direkt in der App. LM Studio eignet sich hervorragend für einzelne Nutzer oder kleine Teams, die KI am eigenen Rechner nutzen wollen, ohne eine IT-Abteilung einzubeziehen. Seit 2026 bietet LM Studio auch eine Business-Lizenz für den Unternehmenseinsatz.

vLLM ist die professionelle Lösung für den Produktivbetrieb. Es ist für Linux-Server mit GPU optimiert und liefert bei vielen gleichzeitigen Nutzern bis zu 16-mal mehr Durchsatz als Ollama. vLLM setzt technisches Know-how für die Einrichtung voraus, bietet aber Enterprise-Features wie automatische Lastverteilung, Caching und Monitoring. Für Teams ab 10 Personen ist vLLM die empfohlene Wahl.

Der typische Migrationspfad sieht so aus: Ein Mitarbeiter experimentiert zunächst allein mit LM Studio oder Ollama auf dem eigenen Rechner. Wenn der Mehrwert nachgewiesen ist, stellt die IT-Abteilung einen zentralen Server mit Ollama bereit. Wenn die Nutzung wächst und Performance-Anforderungen steigen, migriert die IT zu vLLM für den Dauerbetrieb.

Praxisbeispiel: Ein Versicherungsunternehmen durchläuft diesen Pfad in neun Monaten. Phase 1: Drei Sachbearbeiter testen LM Studio auf ihren Laptops für die Zusammenfassung von Schadensmeldungen. Phase 2: Nach positivem Feedback installiert die IT Ollama auf einem zentralen Mac Studio, zehn Mitarbeiter nutzen es über eine Weboberfläche (Open WebUI). Phase 3: Als 25 Mitarbeiter regelmäßig zugreifen, migriert die IT zu vLLM auf einem Linux-Server mit zwei GPUs. Die Antwortzeiten bleiben konstant, obwohl sich die Nutzerzahl verdreifacht hat.

Praxistipp: Beginnen Sie mit Ollama, selbst wenn Sie langfristig vLLM planen. Die OpenAI-kompatible API ist bei beiden identisch. Ihre Workflows, Integrationen und Automationen funktionieren nach der Migration ohne Anpassung weiter.

Kernpunkte:

• Ollama für schnellen Einstieg, LM Studio für Nicht-Techniker, vLLM für Produktivbetrieb
• Der Migrationspfad verläuft von Einzelnutzung über Team-Server zu Enterprise-Deployment
• Die OpenAI-kompatible API sorgt für nahtlose Migration zwischen den Tools

Lektion 5: Kosten und ROI: Die wirtschaftliche Betrachtung lokaler KI

Lernziel: Sie können eine realistische Kosten-Nutzen-Analyse für den Einsatz lokaler KI in Ihrem Unternehmen erstellen.

Die wirtschaftliche Bewertung lokaler KI erfordert einen ehrlichen Vergleich. Auf der einen Seite stehen die einmaligen Investitionskosten für Hardware und Einrichtung. Auf der anderen Seite stehen die laufenden Kosten für Cloud-APIs, die mit steigender Nutzung wachsen. Die Frage ist nicht ob, sondern wann sich lokale KI rechnet.

Für die Kalkulation betrachten wir ein konkretes Szenario: Ein Unternehmen mit 20 KI-Nutzern, die jeweils ca. 50 Anfragen pro Tag stellen, mit einer durchschnittlichen Anfragelänge von 2.000 Tokens und einer Antwortlänge von 1.000 Tokens.

Cloud-Kosten (Beispiel Claude Sonnet 4.5 via API): Bei 20 Nutzern, 50 Anfragen pro Tag und ca. 3.000 Tokens pro Anfrage-Antwort-Paar fallen ca. 3 Millionen Tokens pro Tag an. Bei Sonnet-Preisen (ca. 3 Dollar pro Million Input-Tokens, 15 Dollar pro Million Output-Tokens) ergibt sich ein Tagesaufwand von ca. 21 Dollar, also rund 450 Dollar im Monat. Bei einem teureren Modell wie Claude Opus steigen die Kosten auf 2.000 bis 4.000 Dollar monatlich.

Lokale Kosten: Ein Mac Studio mit 96 GB Unified Memory kostet einmalig ca. 4.500 Euro. Der Strom schlägt mit ca. 30 Euro monatlich zu Buche. Für die Einrichtung und Wartung kalkulieren Sie intern 2 bis 4 Stunden pro Monat. Bei internen IT-Kosten von 80 Euro pro Stunde sind das 160 bis 320 Euro monatlich für den Betrieb.

Der Break-even-Punkt liegt bei intensiver Nutzung eines mittelpreisigen Cloud-Modells bei 4 bis 8 Monaten. Bei Nutzung teurer Modelle (Opus-Klasse) kann der Break-even bereits nach 2 Monaten erreicht sein. Die Kalkulation verbessert sich weiter, wenn Sie bedenken, dass lokale Modelle keine Nutzungslimits haben: Ihre 20 Mitarbeiter können unbegrenzt Anfragen stellen, ohne dass Zusatzkosten entstehen.

Was in vielen ROI-Rechnungen fehlt: der Compliance-Wert. Ein DSGVO-Verstoß durch unkontrollierten Cloud-KI-Einsatz kann Bußgelder von bis zu 20 Millionen Euro oder 4% des Jahresumsatzes nach sich ziehen. Der EU AI Act sieht ähnlich hohe Strafen vor. Lokale KI eliminiert dieses Risiko nicht vollständig, reduziert es aber erheblich.

Praxisbeispiel: Eine Wirtschaftsprüfungsgesellschaft mit 50 Beratern gibt monatlich 3.200 Euro für Cloud-KI-APIs aus (überwiegend für Dokumentenanalyse und Zusammenfassungen). Nach einer internen Evaluierung investiert sie 18.000 Euro in einen lokalen Server mit zwei GPUs. Die monatlichen Betriebskosten (Strom, Wartung) betragen 250 Euro. Der Break-even ist nach 6 Monaten erreicht. Zusätzlich gewinnt die Gesellschaft das Argument gegenüber regulierten Mandanten: "Ihre Daten verlassen niemals unsere Infrastruktur."

Kernpunkte:

• Der Break-even für lokale KI liegt typischerweise bei 4 bis 8 Monaten bei intensiver Nutzung
• Lokale Modelle haben keine variablen Kosten, die mit steigender Nutzung wachsen
• Der Compliance-Wert (vermiedene Bußgeld-Risiken) wird in ROI-Rechnungen oft unterschätzt

Lektion 6: Erste Schritte: Ein 30-Tage-Plan für Ihren lokalen KI-Einstieg

Lernziel: Sie haben einen konkreten Fahrplan, um lokale KI in Ihrem Unternehmen zu evaluieren und erste produktive Anwendungsfälle umzusetzen.

Der häufigste Fehler bei der Einführung lokaler KI ist, zu groß zu denken und zu lange zu planen. Sie brauchen keinen dreiseitigen Business Case, keine Ausschreibung und kein halbjähriges Projekt. Sie brauchen einen Laptop, zehn Minuten und eine konkrete Aufgabe. Der folgende 30-Tage-Plan führt Sie vom ersten Experiment zum nachgewiesenen Mehrwert.

Woche 1: Experimentieren. Installieren Sie LM Studio oder Ollama auf Ihrem eigenen Rechner. Laden Sie ein kleines Modell (Qwen 3.5 9B oder Gemma 4 E4B). Testen Sie drei konkrete Aufgaben aus Ihrem Arbeitsalltag: eine E-Mail zusammenfassen, einen Bericht kürzen, eine FAQ erstellen. Vergleichen Sie die Ergebnisse mit ChatGPT oder Claude. Notieren Sie: Wo ist die Qualität gleichwertig? Wo nicht?

Woche 2: Anwendungsfälle identifizieren. Sprechen Sie mit drei Kollegen aus verschiedenen Abteilungen. Fragen Sie: "Welche wiederkehrende Textarbeit kostet dich am meisten Zeit?" Erstellen Sie eine Liste von zehn potenziellen Anwendungsfällen. Bewerten Sie jeden nach drei Kriterien: Zeitersparnis-Potenzial, Datensensibilität (muss es lokal sein?) und Häufigkeit (täglich, wöchentlich, monatlich?).

Woche 3: Pilotprojekt starten. Wählen Sie den Anwendungsfall mit dem besten Verhältnis von Aufwand zu Nutzen. Richten Sie das lokale Modell für 3 bis 5 Testnutzer ein (z.B. Ollama auf einem zentralen Rechner mit Open WebUI als Weboberfläche). Begleiten Sie die Nutzer aktiv: Erklären Sie, wie man gute Prompts formuliert. Sammeln Sie Feedback nach jeder Nutzung.

Woche 4: Auswerten und entscheiden. Messen Sie die Ergebnisse: Wie viel Zeit wurde gespart? Wie bewerten die Nutzer die Qualität (1 bis 5)? Gab es Probleme mit Geschwindigkeit oder Zuverlässigkeit? Erstellen Sie eine Einseitige Entscheidungsvorlage für Ihre Geschäftsführung: Problem, Lösung, Kosten, gemessener Nutzen, nächster Schritt.

Reflexionsfrage: Welcher wiederkehrende Arbeitsschritt in Ihrem Unternehmen enthält sensible Daten und würde von einer lokalen KI-Lösung am meisten profitieren?

Praxistipp: Wählen Sie für Ihr Pilotprojekt bewusst einen Anwendungsfall, der intern sichtbar ist. Wenn die Buchhaltung plötzlich Rechnungen doppelt so schnell prüft oder der Vertrieb Angebote in der halben Zeit erstellt, spricht sich das im Unternehmen herum. Dieser organische Nachfrageeffekt ist wertvoller als jede PowerPoint-Präsentation.

Kernpunkte:

• Beginnen Sie mit einem persönlichen Experiment, nicht mit einem Großprojekt
• Der 30-Tage-Plan führt vom Experiment über die Identifikation zum nachgewiesenen Mehrwert
• Ein sichtbarer Pilotanwendungsfall erzeugt organische Nachfrage im Unternehmen