Was ist ein LLM?

Ein LLM arbeitet, indem es die wahrscheinlichste Fortsetzung eines Textes auf Basis des übergebenen Kontexts vorhersagt. Dadurch kann ein einziges Modell viele Aufgaben lösen, ohne für jede separat programmiert zu werden: Es genügt, eine Anweisung (Prompt) zu formulieren und bei Bedarf Beispiele oder zusätzlichen Kontext mitzugeben. Verschiedene Modelle unterscheiden sich in Qualität, Geschwindigkeit, Kosten und Kontextlänge.

In der Gesprächsanalyse übernimmt das LLM den „verstehenden“ Teil der Arbeit: Es fasst einen Anruf zusammen, bestimmt Themen und Absichten, extrahiert strukturierte Felder aus Freitext, klassifiziert und markiert Aufnahmen inhaltlich und beantwortet Fragen zum Archiv. Wo früher starre Regeln nötig waren, kommt das LLM mit lebendiger, unstrukturierter Sprache zurecht.

In Sprachagenten ist das LLM das „Gehirn“ des Dialogs: Es versteht die Äußerung des Anrufers, gleicht sie mit Szenario und Regeln ab und formuliert eine Antwort, die anschließend von der Sprachsynthese ausgesprochen wird. Von der Modellwahl hängt ab, wie natürlich und präzise der Agent das Gespräch führt, deshalb werden je nach Aufgabe und Budget unterschiedliche Modelle gewählt.

Wichtig sind die Grenzen: Ein LLM kann Fehler machen und Fakten „erfinden“, wenn ihm kein verlässlicher Kontext gegeben wird. Deshalb wird es in ernsthaften Szenarien an eine Wissensdatenbank und reale Daten gebunden, und deterministische Berechnungen werden nach Möglichkeit in Code ausgelagert — dem Modell bleibt so das reine Sprachverständnis.