#138 Prompt and Pray: Rasa's Neuanfang mit LLMs

Die Welt der Conversational AI hat sich mit dem Aufkommen von ChatGPT fundamental verändert. Wie reagieren etablierte Plattformen auf diese Revolution? In diesem faszinierenden Gespräch treffe ich Sebastian von Rasa, einem Pionier im Bereich der Chatbot-Entwicklung, mit dem meine eigene KI-Reise einst begann.

Nach einer Phase der Zurückhaltung gegenüber Large Language Models hat Rasa nun ein beeindruckendes Comeback hingelegt. Sebastian stellt das innovative CALM-Framework vor – Conversational AI mit Large Language Models. Dieses verbindet die strukturierte Welt der klassischen Natural Language Understanding mit der Flexibilität moderner Sprachmodelle. Das Ergebnis? Vollständige Kontrolle über die KI-Antworten ohne auf die Vorteile von LLMs verzichten zu müssen.

Besonders spannend: Die "Temperatur"-Einstellung ermöglicht eine präzise Steuerung, wie kreativ das System antworten darf – von strikt vordefinierten Antworten bis hin zu personalisierten Formulierungen, die sich an unterschiedliche Zielgruppen anpassen. Mit einer Zeitersparnis von 80% bei der Entwicklung und der Möglichkeit, jedes beliebige LLM zu nutzen, bietet Rasa eine vielversprechende Lösung für Unternehmen mit hohen Sicherheitsanforderungen, die dennoch von den Fortschritten der KI profitieren möchten.

Entdeckt mit uns, wie die Zukunft der Conversational AI aussehen könnte – eine Welt, in der wir nicht mehr "prompt and pray" praktizieren müssen, sondern echte Kontrolle über KI-gestützte Kommunikation behalten. Hört jetzt rein und schreibt uns eure Gedanken zur Verbindung von strukturierter KI und Large Language Models!

Chapters

• 0:00 Einführung und Rasas Geschichte
• 2:25 Das CALM-Framework vorgestellt
• 6:02 Entwicklung von Chatbot-Flows
• 9:12 No-Code vs. Coding bei Rasa
• 12:27 LLM-Auswahl und On-Premise-Lösung

Transcript

Speaker 1: 0:14

Herzlich willkommen zu einer neuen Podcast-Folge von Sophies Next AI Talk. Ich freue mich sehr, dass ihr alle wieder dabei seid. Ich freue mich sehr, dass ich den Sebastian mit seinem tollen lila Hintergrund bei mir habe Sebastian von Rasa. Und ich danke zu Beginn immer all meinen Partnern Das ist CreaLog, das ist VIA und das ist CMM360. Und ich muss sagen, diese Folge liegt mir fast persönlich ein bisschen am Herzen, abgesehen davon, dass mir eigentlich jede Folge auf irgendeine Art am Herzen liegt.

Speaker 1: 0:45

Rasa, für die, die es noch wissen, damit hat eigentlich mein Chatbot-Leben und somit auch meine AI-Story angefangen. Ich habe damals mit Rasa eines der ersten Chatbot-Projekte in der Schweiz durchführen können, damals bei der Helvetia, und das war, glaube ich, so eines der ersten Startprojekte oder nennen wir es mal Leuchtturmprojekte von Rasa. Ich hatte viel Freude dabei. Ich habe damals noch sehr eng mit dem Gründer zusammengearbeitet, der Alex. Die waren zu zweit so eine kleine Startup-Garage. Dann ist Rasa extrem stark gewachsen. Alex ist, glaube ich, auch eine Zeit lang nach Amerika gezogen, und ab und zu habe ich ihn noch in Berlin angetroffen. Ja, und da muss ich ehrlich sagen, gab es den Moment, wo sie mich enttäuscht haben.

Speaker 1: 1:22

Das war der Start von ChatGPT, wo Rasa gefunden hat sie brauchen keine LLMs. Also vereinfacht gesagt, und jetzt, zwei Jahre später, ist Rasa wieder aufgewacht, und ich möchte gerne wissen von Sebastian, was Rasa jetzt macht und vor allen Dingen, wie ihr jetzt doch LLMs bei euch integriert habt. Das ist so mein Ziel der heutigen Folge. Wie gesagt, ich war eigentlich immer begeistert, dann ein bisschen enttäuscht, und jetzt bin ich gespannt, was wir Neues von euch lernen können. Sebastian, herzlich willkommen und danke, dass du dir die Zeit nimmst.

Speaker 1: 1:51

Hi, hi, vielen Dank für die Einladung, und ich freue mich natürlich auf den offenen Austausch. Und schön, dass wir dich zurückgewinnen können und die Begeisterung für Rasa wieder wecken können. Ja, dann erzähl doch mal, was sich in den letzten zwei Jahren bei euch getan hat. Also du hast mir ja schon gesagt, so ganz geschlafen habt ihr nicht, und ihr habt euch dann doch mal die LLMs angeschaut. Vielleicht kannst du ganz kurz sagen, was Rasa so grundsätzlich ist für die, die es nicht mehr wissen, und dann, was jetzt bei euch das Thema AI oder auch LLMs ausmacht.

Speaker 2: 2:21

Genau, sehr gerne. Also, wie gesagt, Rasa, wir sind voll, ausnahmslos dem Conversational AI-Thema verschrieben. Das heißt, das ist alles, was wir tun, und zwar voller Fokus. Es gibt keinen Plan B 2016 gegründet, wie du gesagt hast, als Open-Source Plattform, dementsprechend da auch eine gute Weiterreiche gehabt und auch eine gute Bekanntheit geschaffen. Aber wie du sagst, dann kam der große Umbruch mit Chat-DPT, wo, glaube ich, vieler Leben verändert hat. Wir haben bis dato schon die ganze Zeit mit Plattformen gearbeitet, aber mehr im Hintergrund, um zu schauen, wie wir da die besten Lösungen bekommen, wurden dann durch JTPT unter Druck gesetzt, haben dann eine weitere Investorenrunde gefahren und haben dann im stillen Kämmerchen in Anführungszeichen überlegt was könnte wirklich den Menschen da draußen helfen, um das Thema Conversational AI einmal A zu bauen, aber B natürlich auch für die Kunden, die Customer Experience zu erholen, und haben dann unser sogenanntes CALM Framework entwickelt.

Speaker 2: 3:20

Was bedeutet Conversational AI mit Large Language Model? Der große Unterschied oder das Hauptthema am Ende des Tages? A du kannst jedes Large Language Model benutzen, das heißt, du bist nicht für Chat-DPT oder wen auch immer angewiesen, sondern auf deine jeweiligen Bedürfnisse das optimale Large Language nutzen. Und B du hast die volle Kontrolle des Large Language Models. Wir sagen dazu gerne prompt and pray, wer dafür einen Sticker braucht gerne melden, Aber wie gesagt, dass du wirklich die komplette Kontrolle des Outcomes des Large Language Models hast. Das steckt in einem Satz, erstmal hinter K.

Speaker 1: 3:59

Okay, also den Sticker hätte ich gerne mal, finde ich eine witzige Idee, würde noch auf meinen Laptop passen. Lila finde ich eh gut. Ich hoffe, der ist in euren klassischen Farben. Aber jetzt kommen wir mal einen Schritt weiter, und zwar ich höre das häufiger von Kunden, gerade wenn es in sensible Bereiche geht so nach dem Motto ja, auf die eine Art wollen wir die Vorteile von LLM Chelsea BT haben, weil die sind ja so toll und reden so schön und passend und passen sich an den Nutzer an. Und in letzter Instanz haben sie dann doch Angst um die Inhalte, dass eben Fehler passieren. Das würdet ihr jetzt lösen können. Habe ich das richtig verstanden?

Speaker 2: 4:30

Genau, genau. Also wir versuchen wirklich andere Firmen sagen auch einen Hybrid-Ansatz zu haben, aber wir verbinden wirklich die zwei besten Ansätze aus beiden Welten, das heißt einmal die klassische strukturierte NLU-Welt mit der neuen flexiblen LLM-Welt miteinander zu verbinden und dafür jeweils die Vorteile zu haben, dass du wirklich auf der einen Seite den Business-Flow hast und genau kontrollieren kannst, wie die Reise des Kunden jeweils sein soll. Aber damit der so ja so florierend und so natürliche Sprache wie möglich ist, ist dann immer das Last Language Model da, um es immer dementsprechend einzufangen. Aber die Antwort raus zum Kunden. Wir sagen dazu temperieren. Also Temperatureinstellungen kannst du grundsätzlich von 0% Large-Tangent-Model. Das ist wirklich vordefinierte von dir. Antworten sind bis zu je nach Use-Case auch Large-Tangent-Model. Du darfst ein bisschen frei wählen, was bedeutet du gibst einen Satz vor, und er sagt für einen 60-Jährigen eine andere Ansprache wie für einen 20-Jährigen, um einfach hier eine andere Customer Experience zu ermöglichen, bis hin zu natürlich zu informativen Wack-Use-Cases, wo du dann das ladstängelische Modell nicht mehr von der Leine lassen musst und auch Inhalte generieren.

Speaker 1: 5:51

Okay, spannend. Also da hast du schon eine Frage vorweg gegriffen. Das mit der Temperatur hätte ich dann nämlich angefragt. Jetzt aber die nächste Sache wie läuft das jetzt für Unternehmen ab? Weil umgekehrt wenn ich normalerweise jetzt einfach rein über ein Large Language Model ein Chatbot umsetze, dann kann ich fast sagen, ich nehme einfach meine Webseite oder meine ganzen Hilfedokumente, lade die in das Large Language Model, und dann ist der Chatbot fertig. Dokumente lad die in das Large-Language-Model, und dann ist der Chatbot fertig. Wenn ihr jetzt aber da noch die Flows habt, muss ich dann trotzdem wieder wie früher jeden Flow vorskripten und mich erst 100% in die Situation des Kunden versetzen. Welche Fragen könnte er stellen, und wie könnte ich die Flows aufbauen, oder wie funktioniert das?

Speaker 2: 6:31

Ne, auch hier. durch das Large-Language-Model haben wir die Verbesserung, eben dass wir uns jetzt nicht mehr hinsetzen müssen und an jedes Szenario, was der Kunde eventuell fragen könnte, dran denken und auch dementsprechend die Daten trainieren. Das übernimmt in Anführungszeichen alles das Large-Tangent-Model. Wir sagen dazu wir mussten nur in Anführungszeichen nur den Happy Pass bauen in unserem neuen UI, das wir dafür entwickelt haben, und alle Ausnahmen, alle Ausflüge, die der Kunde eventuell fragen könnte, übernimmt dann immer das Large-Language-Model, um den Kunden wieder dementsprechend einzufangen.

Speaker 1: 7:08

Okay, aber ich muss dennoch die ersten Sachen einmal vordefinieren und muss mir da schon als Unternehmen eine gewisse Gedanken machen.

Speaker 2: 7:16

Genau. Also, es ist nicht so. Also, wenn jetzt ein Kunde ganz klar sagt, wir brauchen eine Plug-and-Play-Lösung, wir wollen uns anknüpfen, und dann soll es losgehen, dann sind wir definitiv auch nicht die Richtigen. Unser Gründer sagt da ganz klar dazu wir sind in der Regel immer die zweite Lösung, weil viele Kunden kaufen als als erstes lösen wir die Plug Play, und dann merken sie oh, aber ich möchte doch nicht alles einfach nur dem Large-Language-Model überlassen, sondern ich habe gewisse Use Cases, wo ich die 100%ige Kontrolle haben möchte. Deswegen ja, du musst dich in Anführungszeichen bei uns hinsetzen und deine wie bei deinem Mitarbeiter Service-Kollegen, den du hast, wo du ja auch unterschiedliche Skripte oder Vorlagen hast, wie sie zu gewissen Use Cases sich verhalten sollen, diese musst du bei uns mit dem Happy Pass nachbauen. Aber wie gesagt, im Vergleich zur alten Welt also die Kunden, die da schon transversiert sind von Open Source zu der Enterprise Plattform sprechen wir von 80% Zeitersparnis ungefähr bei der Entwicklung. Also, das ist deutlich, deutlich schneller, als es früher war.

Speaker 1: 8:17

Okay, na gut, ich würde da jetzt argumentieren ich kann ja auch wieder ChatGPT nutzen, um mir diese Flows zu generieren, oder Also, ich kann mir ja auch einen tollen Prompt machen und dann ChatGPT oder sonstige LLMs nutzen und sagen, hier machen wir mal die wichtigsten 50, 100 Flows, und die kann ich dann zum Beispiel bei euch einspeisen.

Speaker 2: 8:34

Ja, genau. Also, da ist der Kreativität oder der Technologie natürlich keine Grenzen gesetzt, je nachdem, wie du das machen möchtest, und dementsprechend dann bei uns umsetzen.

Speaker 1: 8:47

Wäre das auch möglich, wenn ich einen bestehenden ich nenne es mal alten Chatbot habe, die Flows einfach bei euch zu überführen, Weil dann habe ich mir ja schon mal Gedanken um Flows gemacht und könnte die bei euch einsetzen.

Speaker 2: 8:57

Jetzt als Vertriebner natürlich immer gefährliches Halbwissen. Es ist möglich, aber da muss auch viel zusammenpassen, weil wir gehen ja dann auch immer. Ich meine, am Ende des Tages soll es ja nicht nur ein Chatbot sein, sondern es soll auch ein richtiger Agent sein, der am Ende des Tages Automatisierung umsetzt, das heißt die Connections zu den unterschiedlichen Systemen, sodass wir wirklich im Optimalfall eine gute Kundenzufriedenheit haben. Mit einer hohen Automatisierungsrate will ich einfach die Erwartungshaltung nicht zu hoch setzen, dass, wie gesagt, es alles Magie ist, und man muss nichts mehr tun. Leider in Anführungszeichen muss der Mensch da doch noch was ansetzen, damit es am Ende des Tages ein sehr guter Chatbot ist. Oder eben Voice, das nicht zu vergessen. Beide Themen, um einen guten Chatbot zu haben, mit einer entsprechenden Automatisierung.

Speaker 1: 9:51

Gut. Aber das finde ich doch sehr ehrlich, denn das ist häufig das Problem, was ich bei den anderen erlebe Ja ja, wir können alles, und dann naja gut. Also bei euch braucht es noch ein bisschen. Mensch Ist ja ganz gut, wir werden noch gebraucht dürfen. Noch mitdenken Finde ich gut. Ersten Rasa-Lösungen, da musste ich wahnsinnig viel selber entwickeln können. Wenn ich keinen Code verstanden habe und ZGBT damals noch gar keinen Code konnte und noch gar nicht verfügbar war, dann war ich eigentlich verloren. Wie ist das aktuell? Kann ich mir das als reine SaaS-Lösung vorstellen, wo ich ein Interface habe und als Nicht-Codierer-Experte was machen kann? oder muss ich weiterhin irgendwelche Codes verstehen und schreiben?

Speaker 2: 10:34

Also das Gute, wie gesagt, dass wir jetzt eine Kauf-Enterprise-Variante geworden sind, dass natürlich wir wissen, damit man wirklich erfolgreich am Markt sein kann, braucht man eine entsprechende UI, dementsprechend, dass der Nicht-Coder so wie ich auch mit unserer Plattform arbeiten kann, und deswegen haben wir jetzt quasi zwei Komponenten unserer Plattform. Wir haben weiterhin die Pro-Komponente, das heißt Code-First, aber die mir auch benötigt wird, um die Connections, die APs zu den unterschiedlichen Schnittstellen. Aber der reine Bot-Bauen, das Ganze drumherum, quasi um die Konversation. Das findet jetzt alles in der UI statt, wo eine Low-Code, no-code Plattform quasi ist, die stetig weiterentwickelt wird. Da sind wir vielleicht auch noch nicht auch hier wieder Ehrlichkeit noch nicht best of breed wie manch andere am Markt.

Speaker 2: 11:22

Aber wie gesagt, wir entwickeln jetzt erst seit 1,5, 2 Jahren. Aber das ist unser größter Fokus, weil das Ziel ist es jetzt schon. Wir sind da wirklich schon sehr, sehr weit gekommen, dass es ganz klar so sein soll. Es gibt ein zentrales Experten-Team, so Best Practices als Empfehlung, ein kleines Experten-Team mit einem Coder, aber auch einem Designer und alles andere kann man dann peu à peu ins Business übergeben, wo das Use Case Know-How vorhanden ist, und dementsprechend können die Kollegen dann selbstständig ihre Flows bauen und dann in Anführungszeichen nur noch sagen okay, jetzt die API an die unterschiedlichen Systeme, wo dann das Experten-Team baut, mit der Expertise über richtigen Flow bauen, richtige Conversation bauen, sodass da immer Unterstützung im zentralen Team ist.

Speaker 1: 12:08

Okay, jetzt hast du schon APIs angesprochen. Davor möchte ich gerne noch kurz fragen was nutzt ihr für ein Large Language Model?

Speaker 2: 12:16

Wir haben kein Vordefiniertes. Also das ist immer. Also auch hier noch eine erste, auch nochmal ganz wichtig zu sagen wir sind keine SaaS-Solution, wir sind weiter On-Premise, was bedeutet, der Kunde ist für das Hosting verantwortlich, wo auch immer in seiner Private Cloud oder in seinem Keller. Und auch vom Large Language Model haben wir keine Vorgaben. Der Kunde kann jedes Large Language Model nehmen, das passend für den Use Case ist, und das ist ja auch wirklich total divers. Wenn wir jetzt an informative Use Cases denken, empfiehlt sich in der Regel das sind unsere Erfahrungen, die wir selbst gemacht haben ist Chat-DBT von der Qualität her klar der Beste. Aber habe ich einen kleinen, kleinen schmalen Use Case. Oder gerade wenn wir dann noch mit Voice sprechen, wo dann das Thema Latency, also Dauer, bis der Bot antwortet, eine wichtige Rolle spielt, ist Chat-DPT, wenn man ehrlich ist, einmal A zu langsam und in der Regel auch deutlich zu teuer. Und da empfiehlt sich dann zum Beispiel, was wir jetzt mit anderen Kunden machen, gerade bei Voice ein kleines Feintune-Lama-Modell, das kleinste, wirklich feingetunt, optimiert auf die Voice-Anforderungen, so dass wir hier wirklich eine Latency unter zwei Sekunden zum Beispiel haben, kosten von unter sechs, sieben Cent pro Konversation, was da dann einfach wichtige Kriterien sind, und so kann man das quasi individuell wählen.

Speaker 2: 13:40

Aber wie vorhin wieder, es ist nichts out of the box da, du musst was tun. So verhält sich unsere Anführungszeichen, ganze Plattform, aber auch, um es abzuschließen, der große Vorteil am Ende es gibt halt auch keine Limitierungen bezüglich irgendwelchen Channels. Ich kann nur über WhatsApp, aber dafür kann ich Teams nicht, oder was auch immer. Du kannst jeden Channel machen. Stand jetzt müssen wir diese, aber muss noch selbst die Schnittstelle dafür gebaut werden. Aber auch hier sind wir dran, peu à peu mehr Konnektoren zur Verfügung zu stellen.

Speaker 1: 14:15

Also ich sage es gleich als WhatsApp-Fan ich weiß jetzt nicht so heilig Datenschutz, ich hätte ja gerne die WhatsApp-Anbindung, Die gibt es auch.

Speaker 2: 14:23

Die gibt es logisch, aber es gibt auch unsere Community wurde die schon gebaut, aber es ist noch kein Konnektor von uns, der von uns maintained wird, sage ich mal so, zur Verfügung. Aber wie gesagt, du kannst jeden Channel anbinden, aber in Anführungszeichen musst du es erstmal selbst tun. Aber wir haben natürlich eine Prio-Liste, wie wir jetzt, weil wir wissen auch hier wieder das Gleiche wie die GUI, wie die UI benötigt wird, um richtig für die Unternehmen es einfach machen, zu skalieren, für die unterschiedlichen Use Cases.

Speaker 1: 14:56

Wäre es natürlich toll, einen schönen Konnektorenkatalog zu haben. Daran arbeiten wir. Okay, bin ich gespannt. Kannst gerne WhatsApp nach oben setzen? Jetzt hast du noch schon das Thema On-Premise angesprochen. Da würde ich nochmal ganz kurz wiederholen Das heißt, wenn ich jetzt irgendeine datenschutzsichere Lösung suche, also so à la Bankversicherung, die ja häufig auch bedacht sind, dass wirklich korrekte Antworten ausgespielt werden, kann, ich, la Bankversicherung, die ja häufig auch bedacht sind, dass wirklich korrekte Antworten ausgespielt werden, kann ich dann euch wählen und ohne Bedenken, oder muss ich Angst vor meinen Kundendaten haben?

Speaker 2: 15:21

Genau am Ende des Tages entscheidet der Kunde auch hier wieder komplett, wie die Infrastruktur sein soll. Aber wenn man jetzt ganz High-Security-Standards nehmen möchte, muss keine Daten irgendwie was verlassen, sondern Rasa läuft On-Premise im Kunden Laufwerk sozusagen, und das Large Language Model lädt man sich auch noch runter. Dadurch verlässt quasi keinerlei Daten irgendwas, das es zu 100% gewährleistet.

Speaker 1: 15:49

Okay, spannend. Ja, sebastian, dann bin ich gespannt, wie sich Rasa weiterentwickelt, wann der WhatsApp-Connector da ist und wann wir mal wieder das nächste Projekt zusammen haben. Ich danke dir für deine Zeit. Ich danke dir, dass Rasa aufgewacht ist, finde ich. Ich möchte aber zuvor noch meinen Partnern danken. Das ist CMM360, das ist CreaLog und das ist FIA. Und ja, insofern würde ich dir gern das letzte Wort geben und allen Zuhörern einen ganz tollen Tag wünschen.

Speaker 2: 16:24

Dem kann ich mich nur anschließen. Und vergiss nicht don't prompt and pray.

Speaker 1: 16:29

Ah, ich kriege noch den Aufkleber.

Speaker 2: 16:30

Den kriegst du noch.