OpenWebUI als selbstgehosteter ChatGPT-Killer: Die smarte UI für deine lokalen LLMs, RAG & AI-Agents | AI Engineering DACH

🚀 In dieser neuen Folge von „AI Engineering DACH“ stellen wir OpenWebUI vor – die wohl schönste und mächtigste Open-Source-Weboberfläche für selbstgehostete KI in 2026.

OpenWebUI (aktuell v0.9.2) verwandelt Ollama, lokale Modelle oder jede OpenAI-kompatible API in eine echte ChatGPT-Alternative – komplett offline, DSGVO-konform und mit voller Kontrolle. Mit RAG auf deinen eigenen Dokumenten, Voice-Chat, Tool-Calling, Multi-User-Support, Desktop-App und nahtloser Integration zu n8n, Nextcloud und deinen souveränen AI-Workflows.

Themen der Folge:

• Warum OpenWebUI die beste Oberfläche für lokale LLMs ist (besser als AnythingLLM oder LibreChat)
• RAG, Document-Chats & Web-Search direkt in der UI
• Integration mit n8n: AI-Agents und automatisierte Workflows aus dem Chat heraus steuern
• Kombi mit Nextcloud: Deine Unternehmensdaten direkt im Assistant nutzen
• Praktischer Einstieg: Docker-Setup in unter 10 Minuten + Tipps für Hetzner/IONOS
• Hybrid-Modus: Lokale Modelle + sichere Cloud-Modelle in einem Interface

Perfekt für AI-Engineers, Entwickler und Tech-Leads in Deutschland, Österreich und der Schweiz, die keine Lust mehr auf ChatGPT-Tracking haben und stattdessen eine professionelle, selbstgehostete KI-Oberfläche wollen.

📌 Folge #OpenWebUI
💬 Schreib in die Kommentare: Welches Modell läuft bei dir in OpenWebUI? Nutzt du es schon zusammen mit n8n oder Nextcloud?

Abonniere den Kanal & aktiviere die Glocke für dein tägliches 10-Minuten-Update zu KI, AI Engineering und digitaler Souveränität in der DACH-Region!

#OpenWebUI #Ollama #SelfHostedAI #LocalLLM #RAG #AIChat #AIAgents #DSGVO #Datensouveränität #Nextcloud #n8n #AIEngineering #DACH #OpenSource #OllamaUI #LocalAI #KI2026 #SelfHostedChatGPT

Transcript

SPEAKER_00 0:00

Willkommen bei Hybrid Systems.

SPEAKER_01 0:02

Dem Podcast, in dem wir KI wirklich bauen.

SPEAKER_00 0:06

Wir arbeiten mit dem Dachsystem. Denken, Anwenden, Coden und Handeln.

SPEAKER_01 0:27

Hallo liebe Zuhörer, heute wieder eine neue Folge von Hybrid Systems. In diesem Zusammenhang wieder unter dem Motto KI und Infrastruktur befassen wir uns mit Open Web UI. Hallo Tim, wie funktioniert Open Web UI und was ist es überhaupt?

SPEAKER_00 0:58

Ja, hallo Klaus. Ja, Open Web UI ist im Prinzip, wenn ich als Firma insbesondere so etwas wie ChatGPT oder Claude, Krog, wie auch immer die ganzen Sprachmodelle heißen, selber hosten möchte, möchte ich ja auch für meine Mitarbeiter eine Benutzeroberfläche haben. Das heißt, es sieht so ähnlich aus. Ich habe da mein Eingabefeld, wo ich mal einen Prompt eingeben kann, kann auch verschiedene Projekte anlegen und dann im Prinzip dort mein Sprachmodell Fragen stellen, Aufgaben geben. Ähnlich wie ganz normal bei ChatGPT im Web. Einziger Unterschied ist in dem Fall natürlich, dass ich das selber hosten kann. Das heißt, OpenWeb UI ist auch eine Open-Source-Lösung. Ich kann das selber auf meinem Server zum Beispiel installieren und dann mit meinem Sprachmodell verknüpfen und dadurch im Prinzip alles selber gehostet lassen.

SPEAKER_01 1:58

Was ist nochmal für unsere Zuschauer und Zuhörer der Vorteil von einem selbstgehosteten ChatGPT nenne ich es jetzt mal, Tim? Erklärst du es Ihnen nochmal?

SPEAKER_00 2:13

Ja, also der ganz große Vorteil ist halt natürlich einmal die Thematik, die ich sowieso im Unternehmen habe, wenn es um Datenschutz geht, DSGVO, gleichzeitig auch noch die Thematik bezüglich ISO 27.001-Zertifizierung, MIS-2-Kritis, also kritische Infrastruktur. Ich möchte ja nicht, dass irgendein Konzern aus den USA oder wo auch immer der sitzt, meine Daten hat, insbesondere meine Firmendaten. Und da kommen wir auch zum ganz großen Vorteil. Ich kann mein Sprachmodell dadurch auch anlernen. Das heißt, ich kann beispielsweise, wenn ich große Datenbanken habe, kann ich diese hinterlegen in meinem System, beziehungsweise in meinem Sprachmodell, und kann dann gezielt Fragen stellen und bekomme sofort die Antwort, ohne jetzt irgendeine Access oder Excel-Tabelle aufmachen zu müssen, um da manuell zu suchen. Und genauso kann ich natürlich mein Sprachmodell auch dann füttern. Mit beispielsweise, ich habe eine Anwaltskanzlei und will jetzt hier von den letzten 20 Jahren alle Briefe, die ein- und ausgegangen sind, hinterlegen. Das ist technisch möglich, ist relativ aufwendig teilweise. Aber wenn man das einmal gemacht hat, hat man wirklich auch ein Sprachmodell, wo gezielt für meinen Anwendungsbereich und für meine Mitarbeiter konfiguriert ist. Das heißt, ich habe nicht einen Bauchladen, wo ich alles Mögliche fragen kann, das geht natürlich auch. Aber wenn ich diese spezifischen Anfragen stelle, die mein Unternehmen betreffen, beispielsweise, ich bin ein Anwaltsteuerberater, dann kann ich ihn ganz gezielt mit gewissem Inhalt füttern. Damit kann ich dann auch den Output um einiges verbessern. Und das ist etwas, was erstens die Qualität um einiges erhöht. Ich habe die ganzen Datenschutzthemen, ich habe die ganzen Daten bei mir im Unternehmen, ich weiß, wo alles liegt, das liegt alles in Deutschland. Man kann das theoretisch auch in-house machen, das heißt, ich muss jetzt keinen Server mieten, sondern ich kann das bei mir in der Firma zum Beispiel hosten, auf einem eigenen Server oder Computer. All das funktioniert und all das bietet halt gewisse Möglichkeiten. Es gibt jetzt schon viele große Konzerne, die nichts anderes machen wie das, was ich gerade beschrieben habe. Ihr eigenes ChatGPT, Cloud, wie auch immer es am Ende genannt wird, im Hintergrund läuft eines dieser Sprachmodelle, was dann selbst gehostet ist und im Prinzip dann mit den eigenen Unternehmensdaten gefüttert wird.

SPEAKER_01 4:44

Du hast gerade erwähnt, dass es eigene Datenbankenanbindungen gibt. Gibt es auch die Möglichkeit, sage ich jetzt mal, dass man einen internen SharePoint wie OwnCloud oder sonstiges benutzt und er dann diese Daten, also die Dateien dazu durchsucht? Gibt es das auch?

SPEAKER_00 5:05

Gibt es auch, ja. Da muss man auch immer unterscheiden, ich möchte ja nicht mein Sprachmodell jetzt mit Unterlagen füttern, wie zum Beispiel Personalakten, weil dann könnte theoretisch jeder x-beliebige Mitarbeiter, der Zugriff auf dieses Sprachmodell hat, könnte dann im Prinzip Abfragen stellen, die dann in meinem Sprachmodell beantwortet werden aufgrund der Datenlage, die ich habe. Das heißt, ich muss mir trotzdem schon Gedanken machen, welche Daten möchte ich und welche Daten kann ich ihm zur Verfügung stellen. Da gibt es auch Grenzen, die wir einhalten müssen. Und natürlich auch einfach diese ganze Thematik, wie ich es gerade schon beschrieben habe, gerade Personalakten oder auch vertragliche, wichtige Daten, wo jetzt nicht jeder Mitarbeiter vielleicht einen Zugriff drauf haben sollte. Da muss ich nochmal differenzieren. Aber gerade wenn ich jetzt zum Beispiel auch ein Planungsbüro habe, wo es um Handbücher geht, wo es um Richtlinien geht, all das kann ich dort hinterlegen und kann dann dafür sorgen, dass ich das Wissensspektrum meines Sprachmodells verbessere und gezielte Aufstelle.

SPEAKER_01 6:18

Das hört sich sehr interessant an, Tim. Schauen wir nochmal ein bisschen genauer in das Thema Absicherungen, wer darf welche Daten sich angucken. Gibt es eine Möglichkeit, dass man, ich sag mal so, dass die Personalabteilung, das ist eben erwähnt, zum Beispiel auch dieses, ich nenne es das jetzt mal ChatGPT, benutzt, um speziell in Personaldaten zu suchen und jemand anders aus einer Entwicklungsabteilung oder so kommt nicht daran, kann man das aufteilen oder muss man dann verschiedene Systeme aufbauen?

SPEAKER_00 7:01

Ja, das ist eine gute Frage. Also grundsätzlich, wenn man das machen möchte, dass ich jetzt zum Beispiel Personalakten, Dateien für meine Personalabteilung zugänglich mache für das Sprachmodell, dann würde ich auf jeden Fall empfehlen, ein separates System zu nehmen. Gleichzeitig würde ich aber aktuell tatsächlich davon abraten. Also das ist nicht ganz so einfach. Ich habe immer noch die Thematik, dass ich gewisse Zugriffsrechte vergeben muss, dass ich da wirklich ganz genau darauf achten muss, wer auf was Zugriff hat, damit solche Daten nicht missbraucht werden. Also da würde ich jetzt tatsächlich persönlich noch Abstand von nehmen. Ich würde das jetzt auch keinem empfehlen, das zu machen. Und erstmal auch ist es wichtig, damit überhaupt mal zu starten, weil es ist, es ist wie mit allem, die ganzen Kinderkrankheiten sind halt einfach noch da. Und deswegen empfehle ich auch wirklich, das grundsätzlich einzurichten. Das ist auch für die Mitarbeiter enorm hilfreich. Viele Mitarbeiter wünschen sich das auch, dass sie ihre E-Mails einfach da reinlagen können, damit da nochmal nach Rechtschreibfehlern geguckt wird und so weiter. Das merken wir sehr, sehr häufig, dass die Mitarbeiter wirklich da den Wunsch äußern, dass sie das haben möchten und wirklich auch querbet von allen Altersgruppen, mit allen Firmen, wo wir zusammenarbeiten. Und deswegen empfehle ich erstmal, da nicht auf so kritische Daten zu gehen. Also ich würde, wie gesagt, da wirklich auf Richtlinien gehen, auf Planungsunterlagen gehen, alle Daten, wo ich sagen kann, okay, das ist jetzt nicht kritisch, wenn das ein Mitarbeiter von mir doch bekommen kann. Also im Sinne von Personaldaten zum Beispiel, das ist wirklich ein Thema, da gerade bei uns in Deutschland, in Europa muss man da wirklich aufpassen.

SPEAKER_01 9:01

Gucken wir nochmal genauer. Wir sind gewohnt, dass wir in ChatGPT oder anderen Grog sonstigen Chatbots, sage ich jetzt mal, auch Dateien direkt reinladen können in einen spezifischen Chat. Gibt es diese Möglichkeiten auch bei diesem System?

SPEAKER_00 9:24

Ja, absolut. Also das geht. Ich kann da wirklich, wie gesagt, wie vorhin schon gesagt, ich kann Projekte erstellen, ich kann auch ein einzelnes Gespräch zu einem Thema führen und starte dann eine neue Session, damit ich dann wieder von null im Prinzip anfange, kann dann auch wieder hinherspringen. Also das ist wirklich vom Aufbau her und von der Art und Weise her identisch wie jetzt zum Beispiel mit Chat-GPT oder anderen Sprachmodellen.

SPEAKER_01 9:50

Das heißt, der Vorteil eigentlich ist, wenn man nur eine Chat-Funktion haben will, dann würde man sich einfach mit Oyama oder mit Lama rein theoretisch ein Sprachmodell lokal hinsetzen. Hier ist der Riesenvorteil, dass man auch auf Firmendaten zugreifen kann und die durchsuchbar macht. Ist das erstmal soweit korrekt, Themen?

SPEAKER_00 10:16

Ja, also ich muss nicht Firmendaten freigeben. Das ist kein Muss. Ich kann auch einfach selbst gehostetes Modell laufen lassen, auch mit einer relativ guten Leistung, wo einfach die Mitarbeiter nutzen können. Ob ich da jetzt Firmendaten hinterlege oder nicht, das ist erstmal irrelevant. Also es geht einfach reino um das Thema, alles, was dort reinkommt, also alles, was ich an Input gebe, bleibt bei mir. Und nicht auf irgendeinem Server, wo ich keinen Zugriff drauf habe, wo ich nicht weiß, was mit den Daten passiert. Das ist auch immer so eine Sache. Wenn man diese ganzen Sprachmodelle, die es online zur Verfügung gibt, also jetzt zum Beispiel ChatGPT online in der kostenlosen Version benutzt und dort einen Vertrag hochlädt, Bilder hochlädt, egal was, dann stimmt man automatisch auch zu, dass im Prinzip OpenAI oder welche Firma auch immer dahinter steckt, diese Daten verwenden darf. Das heißt, sie können mit den Daten, die wir als kostenlose Nutzer hochladen oder in unserem Sprachmodell im Prinzip eingeben, können sie arbeiten, können diese verwerten, können damit ihr Sprachmodell anlernen. Und das ist ja das, was ich als Firma gar nicht möchte. Ich möchte nicht, dass ein von mir erstellter Plan oder technische Zeichnung oder ein Vertrag, was auch immer, von irgendeinem amerikanischen Konzern verwendet wird, um dort wirklich auch Übungen oder Verbesserungen an einem Sprachmodell vorzunehmen. Das möchte ich nicht. Und aus dem Grund haben wir auch grundsätzlich bei eigentlich allen Kunden, die das auch wollen oder das im Prinzip nicht wollen, diese ganzen Sprachmodelle, die es gibt, im Prinzip gesperrt. Das heißt, über die ganzen Firmengeräte kann man nicht auf die Seite von ChatGPT gehen, kann man nicht auf die Seite von Grog gehen. Das haben wir alles gesperrt, damit die Nutzer wirklich nur das eigene Sprachmodell benutzen, das eigene LLM, damit man da keine Probleme hat.

SPEAKER_01 12:19

Dem schauen wir noch mal ein bisschen weiter hinein. Im Moment ist die Fähigkeit begrenzt auf Chats. Es ist nicht die Möglichkeit da, ein Agent-System wie Chlorebot oder wie Hermes oder so auf diesem System aufzubauen oder es sogar zu verwinden intrinsisch in dem System. Ist das soweit korrekt?

SPEAKER_00 12:45

Also in der Variante, wie ich es jetzt erklärt habe, nein. Theoretisch wäre es aber möglich. Ich könnte das durchaus machen. Das würde ich aber auch heutzutage noch nicht empfehlen. Also sprich, dieses Zugänglichkeit von Agenten wie Klobot oder Hermes für Mitarbeiter, für mehrere Mitarbeiter, würde ich auf keinen Fall machen. Das ist zu gefährlich. Ich weiß nicht, was da passiert, was die Mitarbeiter vielleicht auch mit bösen Absichten machen können oder ungewollt machen können. Ich will das jetzt auch gar nicht bewerten, aber das würde ich nicht machen. Was man machen kann, das wäre aber dann serverseitig, dass man eine Prüfung von Daten zum Beispiel durch einen Agenten machen lässt. Das heißt, ich habe einen Agenten, der überwacht meinen SharePoint oder auch meinen Online-Cloud-Speicher und prüft im Prinzip alle Dateien, die hochgeladen werden, auf den Namen. Weil ich sage, ich möchte immer, dass jede Datei nach dem gleichen Schema beschriftet wird. Das heißt, wenn da zum Beispiel ganz am Ende immer das Datum stehen soll, dann möchte ich, dass mein Agent im Hintergrund das prüft und dann im Prinzip die Datei nochmal umbenennt, damit da alle Parameter vorhanden sind. Da sind so Kleinigkeiten, die man machen kann. Das ist dann wieder so ein relativ eingeschränkter Radius, wo sich der bewegen kann und bewegen darf. Aber direkte Kommunikation oder direkte Aufgaben von Mitarbeitern, von mehreren Mitarbeitern insbesondere, das würde ich auf keinen Fall empfehlen.

SPEAKER_01 14:25

Gucken wir nochmal auf eine andere Seite des gesamten Systems. Open Web UI ist im Endeffekt eine Art Oberfläche, die dann umsonst, also sprich Open Source Sprachmodelle lokal einfach zur Verfügung stellt. Also eine komplette Umgebung. Und wie schnell ist das System auf einem normalen Rechner, sage ich jetzt mal, den du dafür als geeigneter ansiehst?

SPEAKER_00 14:59

Ja, also da müssen wir wieder unterscheiden. Also lokal würde ich das auch nie zur Verfügung stellen. Ich würde das immer so machen, dass man im Prinzip einen Server zum Beispiel hat, Henster bietet das an, wo ich wirklich auch große Sprachmodelle drauf installieren kann. Damit im Prinzip alle Mitarbeiter, kommt natürlich immer auf die Größe darauf an, wie viele Leute müssen darauf zugreifen, aber alle Mitarbeiter greifen dann im Prinzip über meine Schnittstelle Open Web UI auf das Sprachmodell, das ich auf einem separaten Server installiert habe. Also die Variante, dass ich das, dass das geht, dass ich das im Prinzip auf den Geräten von den Mitarbeitern installiere, das würde technisch gehen, aber das wäre nicht der Ansatz. Also der Ansatz wäre tatsächlich wirklich zu sagen, okay, ich habe einen Server, wo mein Sprachmodell ist, Open Web UI als Schnittstelle und jeder, der in OpenWeb UI was eingibt, das wird auf meinem eigenen Server verarbeitet und dann wieder ausgegeben.

SPEAKER_01 15:59

Das heißt, es hört sich im Endeffekt so an, als ob auch die Performance eines Open Web UI mit einem lokalen anderen Sprachsystem, was du lokal betreibst, sprich auf einem Server betreibst oder auf einem Hosting-System betreibst, äquivalent ist. Oder hast du da, wie sehen da die Erfahrungen aus?

SPEAKER_00 16:22

Ja, genau, also das kommt natürlich darauf an, wie viel Leistung mein Server hat, wie groß die Sprachmodelle sein können, aber das ist in der Tat der Fall. Ich kann da wirklich heutzutage sowieso mittlerweile sehr große Sprachmodelle drauf installieren, die jetzt vielleicht nicht mit den Top-Modellen mithalten können, die dann auch teilweise 200, 300 Dollar pro Nutzer im Monat kosten von den großen Anbietern. Aber ich sag mal so, alle Sprachmodelle, die es vor drei, vier Monaten gab, die kann ich in einer Top-Qualität und in einer schnellen Antwortzeit darüber laufen lassen.

SPEAKER_01 17:03

Das hört sich ja schon mal sehr, sehr gut an. Tim, noch eine letzte Frage. Die Installation von Open Web UI. Wie kompliziert ist das Ganze, das zu installieren?

SPEAKER_00 17:19

Ja, das kommt immer drauf an, was ich für Anforderungen habe. Also wir machen das grundsätzlich immer so. Wir haben Open Web UI auf einem Server, wo man wirklich dann nur die Benutzeroberfläche hat und werden dann im Prinzip auf einem separaten Server, den wir nach außen komplett gesperrt haben, der lediglich über ein internes Netzwerk mit dem Open Web UI Server kommunizieren kann. Das heißt, ich habe keine Möglichkeit, von außen auf diesen Server zuzugreifen. Das Einzige, was passieren kann, ist wirklich, dass OpenWeb UI über eine interne Firewall oder interne Verknüpfung im Prinzip auf diesen zweiten Server zugreift, um dort dann den Datenaustausch stattfinden zu lassen. Da muss man auch immer schauen, wir sichern OpenWeb UI zum Beispiel auch immer mit einer VPN ab. Das heißt, nur die Geräte, die die VPN installiert haben, können auf dieses Open Web UI, auf diese Domain zugreifen.

SPEAKER_01 18:19

Vielen Dank. Ich glaube, wir haben einen guten Überblick gegeben, was OpenWeb UI leisten kann, was es für Performance-Werte hat und was die Vorteile des Systems sind. In einem weiteren Episode werden wir bald über das Thema VPN nochmal speziell sprechen. Ich danke unseren Zuhörern für das Anhören dieser Episode. Bis zum nächsten Mal.