Ein Beitrag von Mario Gersbach, Application Security Engineer bei Sidarion
Seit einigen Monaten betreiben wir einen eigenen KI-Server – eine kompakten HP Z2 Mini Workstation mit 96 GB VRAM, auf dem Open-Weight-Sprachmodelle lokal laufen. Keine Cloud, keine externen APIs, keine Daten, die das Unternehmen verlassen.
Warum? Weil unsere täglichen Aufgaben oft vertrauliche Informationen beinhalten. Und weil wir nach einem Weg gesucht haben, die Produktivitätsvorteile moderner KI zu nutzen, ohne Kompromisse beim Datenschutz einzugehen.
Hier sind drei Use Cases, die sich bei uns im Alltag bewährt haben:
🔒 Use Case 1: Datenschutzsensible Dokumentenanalyse
In unserem Arbeitsalltag analysieren wir regelmässig Dokumente, die personenbezogene Daten, vertrauliche Geschäftsinformationen oder kundenspezifische Details enthalten – von RfPs, Verträgen über Support-Tickets bis zu internen Berichten.
Mit einem lokal gehosteten LLM können wir diese Dokumente direkt auf unserem Server verarbeiten: zusammenfassen, klassifizieren, relevante Informationen extrahieren oder auf inhaltliche Konsistenz prüfen. Der entscheidende Vorteil: Kein einziges Dokument verlässt unsere Infrastruktur. Kein Drittanbieter sieht die Daten, kein Cloud-Dienst speichert Prompts oder Outputs.
Das schafft nicht nur Vertrauen bei unseren Kunden, sondern vereinfacht auch die DSGVO-Compliance erheblich – denn die Datenverarbeitung bleibt vollständig unter unserer Kontrolle.
💻 Use Case 2: Datenanalyse und Code-Generierung
Unser zweiter grosser Anwendungsfall: Die Analyse von Datenfiles und das Schreiben von Source Code. Ob CSV-Dateien mit Kundendaten, Log-Files aus Produktivsystemen oder interne Datenbankauszüge – wir können alles direkt in den lokalen KI-Assistenten laden und analysieren lassen.
Dabei hilft uns die KI bei Aufgaben wie:
- Explorative Datenanalyse und das Erkennen von Mustern
- Generierung von SQL-Queries, Python-Scripts oder PowerShell-Automationen
- Code Reviews und Refactoring-Vorschläge, wie Github Copilot
- Erstellung von Dokumentation direkt aus dem Code
Gerade bei der Code-Generierung zeigt sich der Vorteil des Self-Hostings: Wir können mit produktionsnahen Daten arbeiten, ohne sie vorher anonymisieren zu müssen. Das spart Zeit und liefert präzisere Ergebnisse.
Darüber hinaus lassen sich auch externe KI-gestützte Entwicklungstools wie Claude Code und Mistral Vibe an unsere interne KI-Infrastruktur anbinden. Damit können unsere Entwickler diese leistungsstarken Coding-Assistenten nutzen, während sämtliche Daten und Anfragen über unsere eigene Infrastruktur geroutet werden – ohne dass sensible Informationen an externe Dienste abfliessen.
Gerade bei der Code-Generierung zeigt sich der Vorteil des Self-Hostings: Wir können mit produktionsnahen Daten arbeiten, ohne sie vorher anonymisieren zu müssen. Das spart Zeit und liefert präzisere Ergebnisse.
📧 Use Case 3: E-Mail-Workflows und Automatisierung
Der dritte Bereich, den wir aktiv entwickeln, sind KI-gestützte E-Mail-Workflows. Hier geht es darum, eingehende E-Mails automatisch zu verarbeiten – sei es die Klassifikation von Support-Anfragen, das Extrahieren von Auftragsdetails oder die Generierung von Antwortvorschlägen.
E-Mails enthalten fast immer personenbezogene Daten: Namen, Adressen, Kundennummern, teilweise sensible Geschäftsinformationen. Genau deshalb ist ein lokaler KI-Server für diesen Use Case ideal. Wir entwickeln Schnittstellen, die E-Mails über unsere eigene Infrastruktur verarbeiten und die Ergebnisse direkt in unsere bestehenden Systeme einspeisen.
Das Ziel: Weniger manuelle Triage, schnellere Reaktionszeiten und gleichzeitig volle Kontrolle über die Daten – ohne dass ein externer Dienst unsere Geschäftskorrespondenz mitliest.
💡Use Case 4: Internes Wiki als intelligente Wissensdatenbank
Unser vierter Anwendungsfall zeigt, wie wir mit Retrieval-Augmented Generation (RAG) das gesammelte Wissen unseres Unternehmens zugänglich machen. Wir haben den gesamten Inhalt unseres internen Wikis an unseren KI-Chat angebunden. Mitarbeitende können nun in natürlicher Sprache Fragen stellen – so, wie sie auch einen Kollegen fragen würden – und erhalten präzise, kontextbezogene Antworten.
Der entscheidende Vorteil gegenüber der klassischen Wiki-Suche: Die KI durchsucht nicht nur einzelne Seiten nach Stichworten, sondern versteht die Frage inhaltlich und kann seitenübergreifende Antworten generieren. Informationen, die bisher über dutzende Wiki-Artikel verstreut waren, werden intelligent zusammengeführt und in einer verständlichen Antwort aufbereitet.
Das Ergebnis: Weniger Suchaufwand, schnelleres Onboarding neuer Mitarbeitender und ein deutlich effizienterer Zugang zum internen Unternehmenswissen – und das alles auf unserer eigenen Infrastruktur, ohne dass interne Dokumentation das Unternehmen verlässt.
🎯 Fazit: Self-Hosting ist kein Selbstzweck
Diese drei Use Cases zeigen: Ein lokaler KI-Server ist nicht einfach ein «Nice to have» für Technik-Enthusiasten. Es ist eine strategische Entscheidung für Unternehmen, die KI produktiv nutzen wollen, ohne ihre Datenhoheit aufzugeben.
Natürlich ist Self-Hosting kein Freifahrtschein – Lizenzfragen, Compliance und Security müssen trotzdem sauber gelöst werden. Dazu mehr in meinem nächsten Beitrag.
