GenAI trifft Unternehmenswissen: Retrieval Augmented Generation für korrekte Antworten

In der Welt der generativen KI markiert RAG den nächsten Evolutionsschritt. Textgeneratoren werden dabei um den Zugriff auf externe Informationsquellen angereichert.

ChatGPT, Bard und Co. fällt zwar zu nahezu jeder Frage etwas ein, aber ob die Antworten immer korrekt sind, dessen kann man sich nicht sicher sein. Nicht ohne Grund kam schnell das Schlagwort vom „Bullshit-Generator“ auf. Zumindest zum jetzigen Status ist außerdem keine vollständige Aktualität gegeben (ChatGPT reicht nicht weiter als bis 2021). Dennoch ist die neue Technologie natürlich beeindruckend. Und sie gewinnt noch an Reiz, wenn sie mit firmeneigenem Wissen verknüpft wird. Hierbei spricht man von Retrieval Augmented Generation (RAG) – eine KI, die Informationen aus externen Wissensquellen abruft und dadurch die Qualität ihre eigenen Antworten schlagartig verbessert.

In diesem Beitrag gebe ich Ihnen einen Überblick über die Möglichkeiten mit sowie Funktionsweise von RAG und Einblicke in Projektbeispiele.

Retrieval Augmented Generation: Verknüpfung von KI mit firmeneigenem Wissen

Große Sprachmodelle (Large Language Models = LLM) wie ChatGPT und Bard verfügen nicht über eigenes Wissen, sondern sind stark darin, aus sehr großen Mengen an Input zielgerichteten Output zu generieren (siehe dazu auch hier). Das Wissen, das ein LLM aus seinen Trainingsdaten gelernt hat, wird als parametrisches Gedächtnis bezeichnet und in seinen neuronalen Gewichten gespeichert. LLMs verwenden dieses parametrische Gedächtnis, um auf Anfragen zu antworten. In den meisten Fällen ist jedoch die genaue Informationsquelle nicht bekannt. Deshalb können LLM auch keine wörtlichen Zitate liefern.

Sprachmodelle sind daher gut darin, allgemeine Texte auf Grundlage ihres Trainingsdatenkorpus zu generieren. In der unternehmerischen Praxis kommt es allerdings darauf an, Texte aus eigenen Wissensdatenbanken zu erstellen, wie sie im Intranet, auf Sharepoint- und Confluence-Seiten, wenn PDFs, Office-Dokumenten usw. vorliegen. Auf Grundlage dieser Informationen kann der KI-Assistent dann genaue und relevante Antworten liefern. Das derzeit größte Problem generativer Chatbots, ihre Tendenz zu Halluzinationen, lässt sich damit umgehen. In der genAI-Sprache bedeutet „Prompten“ die Eingabeaufforderung, die an das LLM gesendet wird. Sie wird beim RAG-Verfahren mit relevanten Informationen aus externen Wissensdatenbanken ergänzt, die über einen Information-Retrieval-Mechanismus abgerufen werden. Diese Informationen dienen als Kontext und werden gemeinsam mit der Anfrage verwendet, wodurch das parametrische Gedächtnis umgangen wird.

Vektorbasierte Datenbanken: So funktioniert RAG

Der Prompt wird in numerische Werte umgewandelt, was die Verwendung eines Embedding-Modells erfordert. Die numerischen Werte werden an eine Vektor- oder Graphdatenbank geleitet, in der das gesamte Wissen des Unternehmens gespeichert ist. Anhand der Werte werden die entsprechenden Einträge in der Datenbank gefunden, in Text rückverwandelt und dem LLM übergeben, zusammen mit Metadaten wie dem Speicherort und dem Ersteller eines PDFs. Dadurch bekommt man mit der Antwort zusätzlich die Quellenangabe geliefert.

Das beschriebene Vorgehen gilt als derzeit beste Methode zur Suche nach Inhalten. LLMs müssen hier in der Regel nicht weiter feingetunt oder trainiert werden (obwohl es in einigen Fällen sinnvoll sein kann). Voraussetzung dafür ist, dass das gesamte Unternehmenswissen dauerhaft vektorisiert wird. Dafür müssen bestehende Datensilos im Unternehmen aufgebrochen und zusammengeführt werden. Bisher arbeitet die klassische Unternehmenssuche hauptsächlich mit Indexdatenbanken, die nicht immer die gewünschte Antwortqualität liefern.

Die Zukunft der Unternehmenssuche: RAG in der Praxis

Retrieval Augmented Generation wird in allen Bereichen benötigt, in denen es auf aktuelle und genaue Informationen ankommt. Weil es aktuelle und kontextspezifische Daten verwendet, holt RAG generative KI-Systeme sozusagen in die Gegenwart. Bei  aller Art von Anfragen liefert die Technik sichtlich bessere Ergebnisse als ein großes generatives Sprachmodell allein.

RAG in der Versicherungsbranche

RAG ist deshalb die Zukunft der Unternehmenssuche. Dies ist keine Utopie, sondern funktioniert bereits heute, wie X-INTEGRATE in einer Reihe von Projekten im Finanzdienstleistungssektor erfolgreich erprobt hat. Zum Beispiel hat eine Versicherung mithilfe von RAG einen Bot entwickelt, der automatisiert und individuell auf Sachstandsanfragen aus E-Mails oder Call-Center-Ereignissen antwortet, und zwar im spezifischen Kommunikationsstil der Versicherung.

RAG im Bankensektor

Weiteres Beispiel ist eine Bank, die Finanzprodukte auf ihr Risiko hin bewerten muss. Der Risiko-Score basiert auf regulatorischen Anforderungen, internen Verfahrensanweisungen und Compliance-Richtlinien, die in Tausenden von Dokumenten enthalten sind. Kein Controller kann all diese Informationen überblicken. Die Bank hat sie vollständig vektorisiert und verwendet RAG, um Fragen zur Risikoeinschätzung an die Vektordatenbank zu stellen. Die Ergebnisse waren äußerst beeindruckend. Sie lüften einen Blick darauf, welches enorme Potenzial Retrieval Augmented Generation in der nahen Zukunft haben wird.

Interesse geweckt? X-INTEGRATE berät technologieneutral und führt bei Kunden ein individuelles „Unternehmens-GPT“ ein. Weitere Informationen dazu gibt es in unserem Workshop.

Über den Autor: Matthias Bauer

Matthias Bauer ist seit 2020 als Teamlead Data Science und seit 2023 als CTO bei der X-INTEGRATE (Teil der TIMETOACT GROUP) und bringt mehr als 15 Jahre Expertise als Solution Architect mit. Daten dafür nutzen, Großes zu schaffen und Mehrwerte zu erzielen – in seinen Worten: Data Thinking – ist seine Leidenschaft. Matthias ist erfahren in Artificial Intelligence, Data Science und Data Management; dabei bedient er von Data Warehousing bis hin zu Data Virtualization ein breites Spektrum an datenbezogenen Fragestellungen.  

Matthias Bauer
CTO & Teamlead Data ScienceX-INTEGRATE Software & Consulting GmbHKontakt

Sprechen Sie uns gerne an!

* Pflichtfelder

Wir verwenden die von Ihnen an uns gesendeten Angaben nur, um auf Ihren Wunsch hin mit Ihnen Kontakt im Zusammenhang mit Ihrer Anfrage aufzunehmen. Alle weiteren Informationen können Sie unseren Datenschutzhinweisen entnehmen.

Blog
Blog

In 8 Schritten zu AI-Innovationen im Unternehmen

Künstliche Intelligenz hat sich von einem bloßen Schlagwort zu einem entscheidenden Werkzeug entwickelt, Business Value in Unternehmen zu generieren. Wir verfolgen einen achtstufigen Ansatz, um Unternehmen den Weg zur effektiven Nutzung von AI zu ermöglichen.

Matthias BauerMatthias BauerBlog
Blog

Deep Learning: Ein Beispiel aus dem öffentlichen Dienst

Automatische Bilderkennung hat das Potenzial, Wasserwirtschaftsverbände spürbar zu entlasten – und so beim Hochwasserschutz zu unterstützen. Ein Fallbeispiel.

Martin WarnungMartin WarnungBlog
Blog

Fehler in der Entwicklung von AI-Assistenten

Wie gut, dass es Fehler gibt: Denn aus ihnen können wir lernen und besser werden. Wir haben genau hingesehen, wie Unternehmen in den letzten Monaten weltweit AI-Assistenten implementiert haben, und haben sie, leider, vielfach beim Scheitern beobachtet. Wie es zum Scheitern kam und was man daraus für künftige Projekte lernen kann, das möchten wir mit Ihnen teilen: Damit AI-Assistenten in Zukunft erfolgreicher umgesetzt werden können!

Jörg EgretzbergerJörg EgretzbergerBlog
Blog

8 Tipps zur Entwicklung von AI-Assistenten

AI-Assistenten für Unternehmen sind ein Hype, und viele Teams arbeiteten bereits eifrig und voller Tatendrang an ihrer Implementierung. Leider konnten wir allerdings sehen, dass viele Teams, welche wir in Europa und den USA beobachten konnten, an der Aufgabe gescheitert sind. Wir bieten Ihnen 8 Tipps, damit Ihnen nicht dasselbe passiert.

Event
Event

AI & Graph Networking 2024

Treffen Sie am 21. November unsere Expert:innen in Köln beim AI & Graph Networking und erfahren Sie, wie Sie Ihre Geschäftsprozesse mit modernen Technologien optimieren.

Blog
Blog

KI - Was Deutschland tun muss, um den Tech-Turbo zu zünden

Mit Philipp Klöckner haben wir uns auf der BE.INSIDE über die Zukunft von AI und deren Rolle in Europa unterhalten. Eine zentrale Erkenntnis: Microsoft verbraucht allein so viel Strom verbraucht wie drei abgeschaltete deutsche Kernkraftwerke!

TIMETOACT GROUP
Matthias BauerMatthias BauerBlog
Blog

Artificial Intelligence – No more experiments?!

Artificial Intelligence (AI) ist in aller Munde. Nach unserer Einschätzung – und damit deckungsgleich mit Prognosen von TechTarget, IDG und anderen Analysten – wird sich das auch im Jahr 2024 nicht ändern.

TIMETOACT GROUP
Jan HachenbergerJan HachenbergerBlog
Blog

Business Innovation und Digitale Transformation mit AI

Die Implementierung von AI bietet enormes Potenzial für Unternehmen – von Effizienzsteigerungen bis hin zu völlig neuen Geschäftsmodellen. Doch wie jede technologische Revolution birgt sie auch Risiken und Fallstricke. In diesem Blogbeitrag werfen wir einen Blick auf die Potenziale von AI für Unternehmen und auf die häufigsten Fehler, die Sie bei der Einführung vermeiden sollten.

novaCapta
Event
Business people analysing a financial report together. Two business people discussing in an office
Event

Microsoft Panel: Mit M365 durch das Content-Chaos

Im Microsoft Panel am 3. Dezember erfahren Sie, wie Sie das Potenzial Ihrer Dateien & Daten steigern und die Basis für den Einsatz von KI legen. Jetzt kostenlos zum Online-Event anmelden.

Kompetenz
Headerbild für Edge Computing
Kompetenz

Edge Computing

Mit Edge Computing können Sie Daten dezentral, direkt am Ort ihrer Entstehung, analysieren und auswerten – und zwar nahezu in Echtzeit.

novaCapta
Blog
Frau arbeitet remote mit Smartphone und Laptop
Blog

Was Sie von Copilot erwarten können – und was nicht

Der Hype um Copilot for Microsoft 365 ist groß. Wie so oft in solchen Fällen, folgt bei vielen Usern schnell Ernüchterung. Daher ist ein realistisches Erwartungsmanagement wichtig. Wir zeigen Ihnen anhand von vier Mythen, was Copilot kann – und was nicht.

novaCapta
Blog
Smile, work and a businessman with a laptop for an email, communication or online coding. Happy, programming and a male programmer typing on a computer for web or software development in an office
Blog

Mit Microsoft Copilot in die Zukunft des Arbeitens

Microsoft Copilot in aller Munde. Auch wir werden in letzter Zeit häufig nach Copilot und Künstlicher Intelligenz im Allgemeinen gefragt. Deshalb beantworten wir in diesem Blogbeitrag die häufigsten Fragen und Bedenken kompakt und einfach!

TIMETOACT GROUP
Service
Navigationsbild zu Data Science
Service

AI & Data Science

Die Datenmenge, die Unternehmen täglich produzieren und verarbeiten, wächst stetig an. Diese Daten enthalten wertvolle Informationen über Kunden, Märkte, Geschäftsprozesse und vieles mehr. Doch wie können Unternehmen diese Daten effektiv nutzen, um bessere Entscheidungen zu treffen, ihre Produkte und Dienstleistungen zu verbessern und neue Geschäftsmöglichkeiten zu erschließen?

novaCapta
Blog
African American Business woman hard working, debtor, deferred debt, Times Interest Earned, Subsidiary Ledger, Special Journal, Shareholders Equity, Scrap value, Price Index, Profitability Ratios
Blog

Dokumentenmanagement mit GPT optimieren

KI und GPT sind in aller Munde. Doch welche konkreten Use Cases sind möglich? Wie sieht die Einführung aus? Wir zeigen Ihnen, wie einer unserer Kunden Dokumentenmanagement durch den Einsatz von GPT revolutioniert hat.

TIMETOACT
Dominic LehrDominic LehrBlog
Blog

Microsoft Azure-Ressourcen automatisch skalieren

Im Blog stellen wir Ihnen Autoscale in Azure vor und zeigen, warum es sich lohnt, diese mit der automatischen Skalierung mit IBM Turbonomics zu kombinieren.

Blog
Blog

Google Threat Intelligence

Bedrohungsinformationen in höchster Google-Qualität für Dich und Dein Unternehmen!

Blog
Blog

Responsible AI: Ein Leitfaden für ethische KI-Entwicklung

Responsible AI ist ein entscheidendes Gebot bei der Entwicklung und dem Einsatz von KI-Technologien. Alles, was du dazu wissen musst, findest du hier!

Blog
Blog

ChatGPT & Co: September-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks vom September 2024. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

Kompetenz
Headerbild GenAI Consulting
Kompetenz

GenAI Consulting

Spätestens ChatGPT, Bard & Co. haben gezeigt: Generative AI hat das Potenzial, die Arbeitswelt zu revolutionieren. Mit GenAI Consulting unterstützen wir Sie dabei, dieses Potenzial für Ihr Unternehmen auszuschöpfen.

TIMETOACT
Technologie
Headerbild zu Cloud Pak for Data – Test-Drive
Technologie

IBM Cloud Pak for Data – Test-Drive

Wir wollen durch die Bereitstellung unserer umfassenden Demo- und Kundendatenplattform diesen Kunden eine Möglichkeit bieten, sehr schnell und pragmatisch einen Eindruck der Technologie mit ihren Daten zu bekommen.

TIMETOACT
Technologie
Headerbild zu IBM Cloud Pak for Data Accelerator
Technologie

IBM Cloud Pak for Data Accelerator

Zum schnellen Einstieg in bestimmte Use Cases, konkret für bestimmte Geschäftsbereiche oder Branchen, bietet IBM auf Basis der Lösung „Cloud Pak for Data“ sogenannte Akzeleratoren, die als Vorlage für die Projektentwicklung dienen, und dadurch die Umsetzung dieser Use Cases deutlich beschleunigen können. Die Plattform selbst bringt alle notwendigen Funktionen für alle Arten von Analyticsprojekten mit, die Akzeleratoren den entsprechenden Inhalt.

Blog
Blog

ChatGPT & Co: Oktober-Benchmarks für Sprachmodelle

Entdecken Sie die neuesten Erkenntnisse aus unseren unabhängigen LLM Benchmarks für Oktober 2024. Erfahren Sie, welche großen Sprachmodelle am besten abgeschnitten haben.

TIMETOACT GROUP
Branche
Headerbild für lokale Entwicklerressourcen in Deutschland
Branche

Digitalisierungspartner vor Ort für Versicherungen

Als TIMETOACT GROUP gehören wir zu den führenden Digitalisierungspartnern für IT-Lösungen in Deutschland, Österreich und Schweiz. Als Ihr Partner sind wir an 17 Standorten für Sie da und finden die passende Lösung auf dem Weg der Digitalisierung – gerne gemeinsam im persönlichen Austausch vor Ort.

Kompetenz
Kompetenz

Graphentechnologie

Wir helfen Ihnen, das volle Potential der Graphen zu nutzen, um Ihr Unternehmen zu transformieren. Unser Fachwissen reicht von der Modellierung von Graphdatenbanken und Graph Data Science bis hin zu generativer KI.

TIMETOACT GROUP
Event
Event

AI Meetup 2024

Führende AI-Experten der TIMETOACT GROUP und aus unserem Partnernetzwerk laden Sie zu einem spannenden Abend im schönen Hauptquartier des AI Village ein, an dem wir das Thema Künstliche Intelligenz (AI) aus pragmatischer Sicht auf den Prüfstand stellen und konkrete Anwendungsbereiche aus der Praxis näher beleuchten.

TIMETOACT GROUP
Branche
Headerbild zur Logistik- und Transportbranche
Branche

KI & Digitalisierung für die Transport- und Logistikbranche

Digitalisierung und Transparenz der Prozesse sowie automatisierte Unterstützung bei der Optimierung können Logistikunternehmen helfen, den Spagat zwischen Kosten und Leistung besser zu bewältigen, um langfristig als wertvoller Partner der Wirtschaft zu agieren.

TIMETOACT GROUP
Branche
Branche

Digitaler Wandel in der Öffentliche Verwaltung

Die digitale Transformation wird die Arbeitswelt gerade in der öffentlichen Verwaltung massiv verändern. Wir unterstützen die Behörden von Bund, Ländern und Kommunen bei der strategischen und technischen Umsetzung ihrer Projekte in der Verwaltungsmodernisierung.

Blog
Blog

8 Tipps für ein erfolgreiches Automatisierungsprojekt

Was sind die Regeln, die man bei der Planung und Umsetzung eines Automatisierungsprojektes in Betracht ziehen soll? Und woran scheitert es?

TIMETOACT GROUP
Event
Event

Data Fabric: Basis für Analytics und KI der nächsten Stufe

Im Webinar erfahren Sie, warum das Thema Data Fabric für Versicherer so wichtig ist. Wir erklären Ihnen, was die Data Fabric genau ist und welche Funktionalität sie für Data Science sowie den IT-Betrieb aufweist. In einer praktischen Demo zeigen wir Ihnen konkret Anwendungsfälle aus der Versicherungsbranche. Darüber hinaus erfahren Sie, in welchen Schritten Sie Ihre eigene Data Fabric einführen können.

Johannes BrühlJohannes BrühlBlog
Blog

Effiziente DevOps-Teams: Teamschnitte und Kommunikation

Erfahre, wie durch gezielte Teamschnitte und optimale Kommunikationsmodi die kognitive Last in DevOps-Teams reduziert wird. So erreichst du effizientere Zusammenarbeit und kontinuierlichen Fortschritt.

TIMETOACT GROUP
Event
Event

KI basierte Kundenbetreuung für Versicherer

Im Webinar erfahren Sie, wie moderne Kundenbetreuung in der digitalisierten Welt aussieht. Watson Assistent hilft bei der Optimierung bestehender Lösungen. Dieser virtuelle KI-Assistent liefert Kunden schnelle, konsistente und akkurate Antworten über alle Kommunikations-Kanäle, -Plattformen, -Applikationen und Geräte hinweg.

Referenz
Referenz

Galuba & Tofote: KI-basierte Marktanalyse-Lösung swarmsoft

Ein ARS Team aus den Bereichen Softwareentwicklung und Künstliche Intelligenz unterstützte die Galuba & Tofote Consulting PartG bei der Entwicklung der KI-basierten Marktanalyselösung swarmsoft®

Referenz
Referenz

Miyu – die zentrale Sprachintelligenz

Unterstützung des Customer Service-Centers durch KI-gestützte Automatisierungsprozesse.

TIMETOACT
Dominic LehrDominic LehrBlog
Mit Turbonomic IT-Kosten sparen
Blog

So einfach sparen Sie mit IBM Turbonomic IT-Kosten!

Freuen Sie sich mit uns auf eine sechsteilige Blogserie zum Thema Infrastruktur-Optimierung mit IBM Turbonomic. Im ersten Teil klären wir Fragen und Mehrwert von Turbonomic.

Johannes BrühlJohannes BrühlBlog
Blog

DevOps? Warum APIOps der nächste logische Schritt ist

APIOps erweitert DevOps-Praktiken auf APIs, um deren Entwicklung zu automatisieren und zu optimieren. Dieser Ansatz verbessert Qualität, Sicherheit und Geschwindigkeit im API-Management.

Johannes BrühlJohannes BrühlBlog
Blog

DevOps und APIOps in der Praxis: Best Practices

Wie lassen sich DevOps und APIOps erfolgreich kombinieren? In diesem Artikel erfahren Sie, welche Best Practices und Erfolgsfaktoren moderne Softwareentwicklung schneller und skalierbarer machen.

Johannes BrühlJohannes BrühlBlog
Blog

"DevOps, quo vadis?" – Team Topologien

Erfahren Sie, wie Team-Topologien in DevOps Silos aufbrechen und erfolgreiche Zusammenarbeit fördern. Entdecken Sie die vier fundamentalen Teamarten.

TIMETOACT
Service
Service

Eventreihe: KI Governance

Die EU hat sich auf schärfere Regeln zur Nutzung von Künstlicher Intelligenz geeinigt. Ihre Auswirkungen und weitere wichtige Aspekte von "KI Governance" beleuchten wir in unserer Eventserie.

Sebastian VonhoffNews
News

Talend Open Studio Retirement

Nach der Ankündigung der Einstellung von Talend Open Studio, leiten wir Sie durch Ihre Migrationsmöglichkeiten. Erfahren Sie, wie Sie mit der kommerziellen Version von Talend oder anderen Plattformen wie IBM und Google erweiterte Datenintegrations- und Managementfunktionen nutzen können.

News
News

X-INTEGRATE wird Mitglied im KI-Bundesverband

TIMETOACT GROUP-Tochtergesellschaft bereichert das Ökosystem für Künstliche Intelligenz KI mit Use Cases und Know-how zu Geschäftsprozessmanagement.

TIMETOACT
Referenz
Referenz

Standardisiertes Datenmanagement schafft Basis für Reporting

TIMETOACT implementiert für TRUMPF Photonic Components ein übergeordnetes Datenmodell in einem Data Warehouse und sorgt mit Talend für die notwendige Datenintegrationsanbindung. Mit diesem standardisierten Datenmanagement erhält TRUMPF künftig Reportings auf Basis verlässlicher Daten und kann das Modell auch auf andere Fachabteilungen übertragen.