Bei RAG oder Fine-Tuning geht es darum, was Ihr Assistent leisten muss. RAG, kurz für Retrieval-Augmented Generation, stellt beim Antworten relevantes Quellmaterial bereit; Fine-Tuning bedeutet, ein Modell anhand von Beispielen weiter zu trainieren. Testen Sie zunächst eine klare Aufgabenanweisung, also einen Prompt. Nutzen Sie dann das Ergebnis, um zu entscheiden, ob Sie fehlendes Quellmaterial, uneinheitliche Ausgaben oder beides untersuchen, bevor Sie zusätzliche Arbeiten beauftragen.
Ein Anbieter schlägt vor, ein KI-System für Ihr Unternehmen zu trainieren, ein anderer eine durchsuchbare Wissensdatenbank. Diese Beschreibungen legen weder die Aufgabe des fertigen Systems fest noch, was als fehlgeschlagenes Ergebnis gilt. Wir beginnen mit dieser schriftlich festgehaltenen Aufgabe. So haben Sie etwas Konkretes, anhand dessen Sie die Angebote vergleichen können.
Was ändert sich durch RAG oder Fine-Tuning?
RAG verändert das für eine Antwort bereitgestellte Material; Fine-Tuning verändert das Modell durch Training. Der Leitfaden von OpenAI zur Genauigkeit unterscheidet zwischen fehlendem Kontext und uneinheitlichem Verhalten. Für Käufer ist das eine hilfreiche erste Unterscheidung, solange Raum für sich überschneidende Anforderungen bleibt. Ein dokumentenbasierter Assistent kann zusätzlich eine einheitliche Form für seine Antworten benötigen.
Nach der Erklärung von Amazon Bedrock zu Wissensdatenbanken wählt die Suche relevantes Material aus und nimmt es in die Eingabe für die Generierung auf. Lassen Sie sich bei einem vorgeschlagenen Assistenten für Fragen zu Rückgabebedingungen zeigen, welche freigegebene Passage die Antwort stützt. Eine Quellenangabe muss weiterhin mit dem Inhalt der Antwort abgeglichen werden.
Beim Fine-Tuning wird ein Modell anhand von Beispielen weiter darauf trainiert, wie es antwortet. Der Leitfaden von OpenAI beschreibt dies als Möglichkeit, das Verhalten bei einer Aufgabe zu verbessern. Denken Sie an eine gewünschte Übergabenotiz mit vereinbarter Struktur: Der Anbieter benötigt Beispiele akzeptabler Notizen und die Eingaben, mit denen sie erstellt wurden. Das ist eine andere Leistung als ein Ordner mit Richtliniendokumenten.
Keine der beiden Bezeichnungen sagt Ihnen, ob die Vorführung Ihre Anforderungen erfüllt. Bitten Sie den Anbieter, zu benennen, was die vorgeschlagene Komponente verändert, das verwendete Material zu zeigen und zu erklären, wie Sie das Ergebnis prüfen werden. Richten Sie das Gespräch weiterhin auf die tatsächlich gekaufte Leistung aus.
Beginnen Sie mit einer Aufgabe und einer einfachen Vorführung
Beschreiben Sie Eingabe und akzeptable Ausgabe, bevor Sie einen Ansatz wählen. Der Prompting-Leitfaden von Anthropic beginnt mit klaren Erfolgskriterien, einem Test anhand von Beispielen und einem Prompt-Entwurf. Wir nutzen diese Reihenfolge zur Vorbereitung eines Beschaffungsbriefings: Schreiben Sie die Anweisung, stellen Sie freigegebenes Material bereit und prüfen Sie, was die einfachste vorgeschlagene Konfiguration leisten kann. Das ist unsere vorgeschlagene Bewertungsmethode und kein tatsächlich durchgeführter Benchmark.
Bei einem beispielhaften Rückgabeassistenten könnten die Eingabe aus der Frage eines Kunden und den geltenden Bedingungen bestehen. Ein akzeptabler Entwurf beantwortet nur, was diese Bedingungen stützen, und übergibt Ausnahmefälle an eine Person. Bei einer beispielhaften Vertriebsübergabe könnten eine Anfrage und ein freigegebenes Notizformat die Eingabe bilden. Die Ausgabe sollte den Sinn der Anfrage bewahren und fehlende Angaben nicht ergänzen.
Lassen Sie die für den Prozess verantwortliche Person festlegen, was jede Ausgabe akzeptabel macht. Nehmen Sie eine Anfrage auf, die der Assistent ablehnen oder weitergeben sollte. Verwenden Sie Material, das Sie weitergeben dürfen, und entfernen Sie unnötige personenbezogene Angaben. Eine Vorführung, die von Informationen abhängt, die Sie nicht bereitstellen können, ist noch kein umsetzbarer Vorschlag.
Wenn Sie bereits einen Assistenten mit unzuverlässigen Antworten einsetzen, nutzen Sie vor Ihrer Beauftragungsentscheidung den separaten Leitfaden zur Prüfung, warum KI falsche Antworten gibt.
Wählen Sie den nächsten Test anhand der verbleibenden Lücke
Wählen Sie anhand des beobachteten Fehlers, was als Nächstes getestet wird. AWS empfiehlt, bei Fragen zu eigenen Dokumenten mit der Suche zu beginnen, und weist darauf hin, wie schwierig es ist, das Training an häufig verändertes Material anzugleichen. AWS lässt auch die gemeinsame Nutzung von Suche und Fine-Tuning zu. Die folgende Tabelle schlägt für die in Ihrer Vorführung gefundene Lücke einen nächsten Test vor.
| Was der Vorführung noch fehlt | Was als Nächstes zu testen ist |
|---|---|
| Informationen aus freigegebenen, veränderlichen Dokumenten | Eine Suche, die das relevante aktuelle Material bereitstellt |
| Eine wiederholbare Ausgabe, die trotz klarerer Anweisungen und Beispiele uneinheitlich bleibt | Training anhand akzeptierter Beispiele, sofern das gewählte Modell dies unterstützt |
| Quellmaterial und eine einheitlichere Antwort | Eine kombinierte Konfiguration mit einer Prüfung für jede Anforderung |
Wenn die einfachere Vorführung die Anforderungen bereits erfüllt, behalten Sie diese Option im Vergleich. Fragen Sie, welches zusätzliche Problem ein vorgeschlagenes Training oder Suchsystem lösen würde. Die Entscheidung kann auch offenbleiben, während Sie die fehlenden Eingaben vorbereiten.
AWS weist darauf hin, dass Fine-Tuning nicht für jedes Modell verfügbar ist. Bitten Sie den Anbieter, Anbieter und Modell zu nennen, zu erklären, wo und wie das System betrieben wird, und die aktuelle Unterstützung für das vorgeschlagene Training und die Bereitstellung zu bestätigen.
Wer wartet das System nach dem Start?
Vergleichen Sie, welche Zuständigkeiten jeder Vorschlag Ihrem Team überlässt. Benennen Sie für die Suche die Person, die Quelldokumente freigibt und prüft, ob Aktualisierungen den Assistenten erreichen. Benennen Sie für das Training, wer akzeptierte Beispiele vorbereitet und spätere Änderungen prüft. Halten Sie fest, wer Zugriff gewährt, wer Störungen bearbeitet und wie Mitarbeitende die Aufgabe wieder manuell erledigen, wenn das System ungeeignet ist.
Wir nehmen diese Fragen vor der Auswahl von Komponenten in die Planung der KI-Einführung auf. Ein hilfreiches Briefing hält Folgendes fest:
- Die Aufgabe, zulässige Eingaben und die erwartete Ausgabe.
- Die maßgeblichen Quellen, deren verantwortliche Person und das Aktualisierungsverfahren.
- Beispiele akzeptabler Arbeit und inakzeptabler Auslassungen oder Ergänzungen.
- Die Bedingungen für die Ablehnung oder Übergabe einer Anfrage an eine Person.
- Die Abnahmeprüfungen, die prüfende Person und das zu übergebende Material.
Fragen Sie bei Arbeiten mit einer aktuellen Bestellung oder einem Kontaktdatensatz, wie das vorgeschlagene System den zulässigen aktuellen Datensatz erhält. Nehmen Sie diese Anforderung in den Teil des Briefings zur CRM-Integration auf. Ein Vorschlag, mit exportierten Datensätzen zu trainieren, muss weiterhin erklären, wie spätere Änderungen berücksichtigt werden.
Fragen Sie, wo Dokumente, durchsuchbare Kopien, Beispiele und Ausgaben gespeichert werden, wer darauf zugreifen kann und wie die Löschung gehandhabt wird. Halten Sie die Antworten für die tatsächliche Bereitstellung fest. Betrachten Sie keine der Architekturbezeichnungen als Entscheidung über Hosting oder Berechtigungen.
Prüfen Sie den Vorschlag mit unbekannten Anfragen
Halten Sie Testanfragen aus dem Material heraus, mit dem das vorgeschlagene System konfiguriert oder trainiert wird. Bitten Sie jeden Anbieter, diese Anfragen anhand derselben Abnahmekriterien auszuführen. Lassen Sie die für den Prozess verantwortliche Person die Ausgaben, die dafür verwendeten Eingaben und die nötigen Korrekturen prüfen. So prüfen Sie den Vorschlag für Ihre Aufgabe; die Leistung bei jeder künftigen Anfrage ist damit nicht belegt.
- Bewahren Sie einen Ausgangswert auf. Speichern Sie neben den Eingaben und Prüfnotizen, was der manuelle Prozess und der einfachere Prompt erzeugen.
- Prüfen Sie eine Quellenaktualisierung. Ändern Sie ein freigegebenes Testdokument und wiederholen Sie die betroffene Frage. Lassen Sie den Anbieter zeigen, welche Version verwendet wurde und wie die Aktualisierung dorthin gelangte.
- Prüfen Sie die Ausgaberegeln. Formulieren Sie eine Anfrage um und lassen Sie Informationen fehlen. Prüfen Sie, ob die Notiz die erforderliche Struktur beibehält, ohne Angaben zu erfinden.
- Testen Sie Zugriff und Umfang. Probieren Sie eine Anfrage außerhalb des vereinbarten Umfangs und einen Benutzer aus, der ein eingeschränktes Dokument nicht erhalten darf. Prüfen Sie die tatsächliche Ablehnung oder Übergabe.
- Halten Sie die verbleibende Arbeit Ihres Teams fest. Notieren Sie Korrekturen, Prüfzeit und die für die Materialpflege verantwortliche Person. Vergleichen Sie dies mit dem Ausgangswert, bevor Sie die Arbeit ausweiten.
Wenn eine Prüfung fehlschlägt, halten Sie die nicht erfüllte Anforderung fest und verlangen Sie eine überarbeitete Vorführung. Bezahlen Sie nicht allein deshalb für einen aufwendigeren Ansatz, weil seine Bezeichnung leistungsfähiger klingt. Akzeptieren Sie den nachprüfbaren Umfang oder belassen Sie die Aufgabe bei Menschen, bis die fehlenden Bedingungen erfüllt sind.
Wobei wir Sie unterstützen
Wir beginnen damit, gemeinsam die Aufgabe, die zulässigen Daten und die Abnahmeprüfungen festzuhalten. Danach vergleichen wir vorgeschlagene Ansätze mit diesem Briefing und dokumentieren, wer Quellen, Beispiele und Bewertung pflegt. Ein hilfreicher erster Schritt besteht darin, eine echte Anfrage aufzuschreiben und ein Beispiel des benötigten Ergebnisses freizugeben.
