RAG of fine tuning is een keuze die draait om wat uw assistent moet doen. RAG, een afkorting van retrieval-augmented generation, levert relevant bronmateriaal wanneer het model antwoordt; fine tuning betekent dat een model verder wordt getraind met voorbeelden. Begin met het testen van een duidelijke taakinstructie, oftewel prompt. Gebruik daarna het resultaat om te bepalen of u ontbrekend bronmateriaal, inconsistente output of beide moet onderzoeken voordat u extra werk laat uitvoeren.
De ene leverancier stelt voor een AI-systeem voor uw bedrijf te trainen, terwijl een andere een doorzoekbare kennisbank voorstelt. Die omschrijvingen bepalen niet welke taak het voltooide systeem moet uitvoeren of wanneer een resultaat als mislukt geldt. Wij beginnen met die taak op schrift. Zo heeft u iets concreets om te vergelijken wanneer de voorstellen binnenkomen.
Wat verandert er door RAG of fine tuning?
RAG verandert het materiaal dat voor een antwoord wordt aangeleverd; fine tuning verandert het model door training. De nauwkeurigheidsgids van OpenAI maakt onderscheid tussen een gebrek aan context en inconsistent gedrag. Dit is een nuttig uitgangspunt voor een inkoper, zolang u ruimte laat voor overlappende behoeften. Een assistent die met documenten werkt, kan ook een consistente manier nodig hebben om het antwoord te formuleren.
Volgens de uitleg van Amazon Bedrock over kennisbanken selecteert retrieval relevant materiaal en neemt het dat op in de input voor de generatie. Vraag bij een voorgestelde assistent die vragen over een retourbeleid beantwoordt om te zien welke goedgekeurde passage het antwoord ondersteunt. Een bronverwijzing moet nog steeds worden gecontroleerd aan de hand van wat er in het antwoord staat.
Bij fine tuning worden voorbeelden gebruikt om een model verder te trainen in hoe het antwoordt. De gids van OpenAI beschrijft dit als een mogelijkheid om het gedrag bij een taak te verbeteren. Denk aan een gewenste overdrachtsnotitie met een afgesproken structuur: de leverancier heeft voorbeelden van aanvaardbare notities nodig, plus de input waarop ze zijn gebaseerd. Dat is iets anders dan een map met beleidsdocumenten.
Geen van beide labels vertelt u of de demonstratie aan uw vereisten voldoet. Vraag de leverancier om aan te geven wat de voorgestelde component verandert, het gebruikte materiaal te tonen en uit te leggen hoe u het resultaat controleert. Houd het gesprek gekoppeld aan het daadwerkelijke werk dat u inkoopt.
Begin met een taak en een eenvoudige demonstratie
Beschrijf de input en de aanvaardbare output voordat u een benadering kiest. De promptgids van Anthropic begint met duidelijke succescriteria, een test met voorbeelden en een conceptprompt. Wij gebruiken die volgorde om een inkoopbrief op te stellen: schrijf de instructie, lever goedgekeurd materiaal aan en bekijk wat de eenvoudigste voorgestelde opzet kan doen. Dit is onze voorgestelde evaluatiemethode, geen gerapporteerde benchmark.
Voor een illustratieve retourassistent kan de input bestaan uit de vraag van een klant en het toepasselijke beleid. Een aanvaardbaar concept beantwoordt alleen wat dat beleid ondersteunt en draagt uitzonderingen over aan een persoon. Voor een illustratieve verkoopoverdracht kan de input bestaan uit een aanvraag en een goedgekeurd formaat voor notities. De output moet de betekenis van de aanvraag behouden en ontbrekende gegevens niet invullen.
Laat de proceseigenaar opschrijven wat elke output aanvaardbaar maakt. Neem een verzoek op dat de assistent moet afwijzen of overdragen. Gebruik materiaal dat u mag delen en verwijder onnodige persoonsgegevens. Een demonstratie die afhankelijk is van informatie die u niet kunt verstrekken, is nog geen werkbaar voorstel.
Als u al een assistent heeft die onbetrouwbare antwoorden geeft, gebruik dan de afzonderlijke gids over controleren waarom AI verkeerde antwoorden geeft voordat u beslist welke opdracht u verleent.
Kies de volgende test op basis van wat nog ontbreekt
Gebruik de waargenomen tekortkoming om te kiezen wat u vervolgens test. AWS raadt aan om bij vragen die naar aangepaste documenten verwijzen met retrieval te beginnen en wijst erop dat het moeilijk is om training in overeenstemming te houden met materiaal dat vaak verandert. AWS staat ook toe dat retrieval en fine tuning samen worden gebruikt. De onderstaande tabel stelt een volgende test voor voor het tekort dat u in uw demonstratie heeft gevonden.
| Wat de demonstratie nog nodig heeft | Wat u vervolgens test |
|---|---|
| Informatie uit goedgekeurde, veranderende documenten | Retrieval die het relevante actuele materiaal aanlevert |
| Een herhaalbare output die inconsistent blijft na duidelijkere instructies en voorbeelden | Training met aanvaarde voorbeelden, als het gekozen model dit ondersteunt |
| Bronmateriaal en een consistenter antwoord | Een gecombineerde opzet, met een controle voor elke vereiste |
Wanneer de eenvoudigere demonstratie al aan de vereisten voldoet, houdt u die optie in de vergelijking. Vraag welk aanvullend probleem een voorgestelde training of een retrievalsysteem zou oplossen. De keuze kan ook openblijven terwijl u de ontbrekende input voorbereidt.
AWS merkt op dat fine tuning niet voor elk model beschikbaar is. Vraag de leverancier om de aanbieder en het model te noemen, uit te leggen waar en hoe het systeem zal draaien en de actuele ondersteuning voor de voorgestelde training en implementatie te bevestigen.
Wie onderhoudt het systeem na de lancering?
Vergelijk welke verantwoordelijkheden elk voorstel bij uw team neerlegt. Wijs voor retrieval de persoon aan die brondocumenten goedkeurt en controleert of updates de assistent bereiken. Wijs voor training aan wie aanvaarde voorbeelden voorbereidt en latere wijzigingen beoordeelt. Leg vast wie toegang verleent, wie storingen afhandelt en hoe medewerkers de taak terugbrengen naar het handmatige proces wanneer het systeem ongeschikt is.
Wij nemen die vragen op in de planning van AI-implementatie voordat we componenten kiezen. Een bruikbare brief legt het volgende vast:
- De taak, toegestane input en verwachte output.
- De gezaghebbende bronnen, hun eigenaar en hun updateproces.
- Voorbeelden van aanvaardbaar werk en onaanvaardbare weglatingen of toevoegingen.
- De voorwaarden voor het afwijzen of aan een persoon overdragen van een verzoek.
- De acceptatiecontroles, de beoordelaar en het materiaal dat moet worden overgedragen.
Vraag bij werk met een actieve bestelling of contactrecord hoe het voorgestelde systeem het toegestane actuele record verkrijgt. Neem die vereiste op in het deel over CRM-integratie van de brief. Een voorstel om met geëxporteerde records te trainen, moet nog steeds uitleggen hoe latere wijzigingen worden verwerkt.
Vraag waar documenten, doorzoekbare kopieën, voorbeelden en output worden opgeslagen, wie er toegang toe heeft en hoe verwijdering wordt afgehandeld. Leg de antwoorden voor de daadwerkelijke implementatie vast. Beschouw de naam van geen van beide architecturen als een besluit over hosting of toegangsrechten.
Controleer het voorstel met niet eerder geziene verzoeken
Houd testverzoeken buiten het materiaal dat wordt gebruikt om het voorgestelde systeem te configureren of te trainen. Vraag elke leverancier om die verzoeken aan dezelfde acceptatiecriteria te toetsen. Laat de proceseigenaar de output, de gebruikte input en de benodigde correcties beoordelen. Hiermee controleert u het voorstel voor uw taak; het bewijst geen prestaties bij elk toekomstig verzoek.
- Bewaar een referentiepunt. Bewaar wat het handmatige proces en de eenvoudigere prompt opleveren, samen met hun input en beoordelingsnotities.
- Controleer een bronupdate. Wijzig een goedgekeurd testdocument en herhaal de betreffende vraag. Vraag de leverancier om te tonen welke versie is gebruikt en hoe de update die versie heeft bereikt.
- Controleer de outputregels. Formuleer een verzoek anders en laat informatie ontbreken. Controleer of de notitie de vereiste structuur behoudt zonder een detail te verzinnen.
- Test toegang en bereik. Probeer een verzoek buiten het afgesproken bereik en een gebruiker die geen beperkt document mag ontvangen. Controleer de daadwerkelijke weigering of overdracht.
- Leg vast welk werk uw team moet blijven doen. Noteer correcties, beoordelingstijd en wie het materiaal moet onderhouden. Vergelijk dit met het referentiepunt voordat u het werk uitbreidt.
Wanneer een controle mislukt, legt u de niet-gehaalde vereiste vast en vraagt u om een herziene demonstratie. Betaal niet voor een uitgebreidere benadering uitsluitend omdat de naam ervan krachtiger klinkt. Aanvaard het bereik dat u kunt controleren, of laat de taak bij mensen terwijl de ontbrekende voorwaarden worden opgelost.
Waar wij in beeld komen
We beginnen door samen de taak, de toegestane gegevens en de acceptatiecontroles op te schrijven. Daarna vergelijken we de voorgestelde benaderingen met die brief en leggen we vast wie de bronnen, voorbeelden en evaluatie onderhoudt. Een nuttige eerste stap is een echt verzoek op te schrijven en een voorbeeld van het benodigde resultaat goed te keuren.
