A RAG vagy finomhangolás közötti választás arról szól, hogy mit kell tennie az asszisztensének. A RAG, vagyis a visszakereséssel kiegészített generálás releváns forrásanyagot biztosít, amikor a modell válaszol; a finomhangolás pedig a modell példákkal történő további tanítását jelenti. Kezdje egy világos feladatutasítás, vagyis prompt tesztelésével. Ezután az eredmény alapján döntse el, hogy a hiányzó forrásanyagot, a következetlen kimenetet vagy mindkettőt vizsgálja-e meg, mielőtt további munkát rendelne meg.
Az egyik szállító AI-rendszer betanítását javasolja a cégének, egy másik pedig kereshető tudásbázist ajánl. Ezek a leírások nem határozzák meg, milyen feladatot kell a kész rendszernek elvégeznie, sem azt, hogy mi számítana sikertelen eredménynek. Mi ezzel az írásban rögzített feladattal kezdünk. Ez konkrét összehasonlítási alapot ad, amikor beérkeznek az ajánlatok.
Mit változtat a RAG vagy a finomhangolás?
A RAG a válaszhoz biztosított anyagot változtatja meg; a finomhangolás tanítással módosítja a modellt. Az OpenAI pontossági útmutatója elkülöníti a kontextus hiányát a következetlen viselkedéstől. Ez hasznos kiinduló megkülönböztetés a vevő számára, feltéve, hogy teret hagy az átfedő igényeknek. Egy dokumentumalapú asszisztensnek arra is szüksége lehet, hogy következetes módon fogalmazza meg a válaszát.
Az Amazon Bedrock tudásbázisokról szóló magyarázata szerint a visszakeresés kiválasztja a releváns anyagot, és beilleszti azt a generálás bemenetébe. Ha a javasolt asszisztens a visszaküldési szabályzatról válaszol kérdésekre, kérje annak bemutatását, hogy melyik jóváhagyott szövegrész támasztja alá a választ. A forráshivatkozást továbbra is össze kell vetni a válasz állításaival.
A finomhangolás példákat használ arra, hogy tovább tanítsa a modellt, hogyan válaszoljon. Az OpenAI útmutatója ezt egy adott feladatban mutatott viselkedés javításának egyik lehetőségeként írja le. Gondoljon egy kívánt, egyeztetett felépítésű átadási jegyzetre: a szállítónak elfogadható jegyzetpéldákra és az ezek alapjául szolgáló bemenetekre van szüksége. Ez más teljesítendő elem, mint egy szabályzatokat tartalmazó mappa.
Egyik elnevezés sem árulja el, hogy a bemutató megfelel-e a követelményeinek. Kérje meg a szállítót, hogy nevezze meg, mit változtat a javasolt összetevő, mutassa be a felhasznált anyagot, és magyarázza el, hogyan ellenőrizheti az eredményt. A megbeszélés maradjon a ténylegesen megvásárolt munkához kötve.
Kezdjen egy feladattal és egy egyszerűbb bemutatóval
A megközelítés kiválasztása előtt írja le a bemenetet és az elfogadható kimenetet. Az Anthropic promptokról szóló útmutatója egyértelmű sikerkritériumokkal, példákat használó teszttel és egy kezdeti prompttal indít. Mi ebben a sorrendben készítjük el a beszerzési összefoglalót: írja le az utasítást, biztosítsa a jóváhagyott anyagot, és vizsgálja meg, mire képes a javasolt legegyszerűbb megoldás. Ez az általunk javasolt értékelési módszer, nem pedig beszámolóban közölt benchmark.
Egy szemléltető visszaküldési asszisztensnél a bemenet lehet az ügyfél kérdése és a vonatkozó szabályzat. Az elfogadható választervezet csak arra válaszol, amit a szabályzat alátámaszt, a kivételeket pedig emberhez továbbítja. Egy szemléltető értékesítési átadásnál a bemenet lehet egy érdeklődés és egy jóváhagyott jegyzetformátum. A kimenetnek meg kell őriznie az érdeklődés jelentését, a hiányzó adatokat pedig kitöltetlenül kell hagynia.
A folyamat felelőse írja le, mitől elfogadható az egyes kimenet. Legyen köztük olyan kérés is, amelyet az asszisztensnek el kell utasítania vagy át kell adnia. Olyan anyagot használjon, amelyet jogosult megosztani, és távolítsa el a szükségtelen személyes adatokat. Az olyan bemutató, amely az Ön által nem biztosítható információktól függ, még nem megvalósítható ajánlat.
Ha már van olyan asszisztense, amely megbízhatatlan válaszokat ad, a megrendelés eldöntése előtt használja a külön útmutatót annak ellenőrzéséhez, hogy az AI miért ad téves válaszokat.
A fennmaradó hiányosság alapján válassza ki a következő tesztet
A megfigyelt hibából induljon ki annak kiválasztásakor, mit teszteljen legközelebb. Az AWS egyedi dokumentumokra hivatkozó kérdéseknél a visszakereséssel való kezdést ajánlja, és megjegyzi, hogy nehéz a tanítást összhangban tartani a gyakran változó anyagokkal. A visszakeresés és a finomhangolás együttes használatát is lehetővé teszi. Az alábbi táblázat következő tesztet javasol a bemutatóban feltárt hiányossághoz.
| Amire a bemutatónak még szüksége van | Amit ezután teszteljen |
|---|---|
| Jóváhagyott, változó dokumentumokból származó információ | Visszakeresés, amely biztosítja a releváns, aktuális anyagot |
| Megismételhető kimenet, amely világosabb utasítások és példák után is következetlen marad | Tanítás elfogadott példákon, ha a választott modell támogatja |
| Forrásanyag és következetesebb válasz | Kombinált megoldás, minden követelmény külön ellenőrzésével |
Ha az egyszerűbb bemutató már megfelel a követelményeknek, tartsa meg ezt a lehetőséget az összehasonlításban. Kérdezze meg, milyen további problémát oldana meg a javasolt tanítási munka vagy visszakereső rendszer. A választás addig is nyitva maradhat, amíg előkészíti a hiányzó bemeneteket.
Az AWS megjegyzi, hogy nem minden modellhez érhető el finomhangolás. Kérje meg a szállítót, hogy nevezze meg a szolgáltatót és a modellt, magyarázza el, hol és hogyan fog futni a rendszer, valamint erősítse meg a javasolt tanítás és üzembe helyezés aktuális támogatását.
Ki tartja karban a rendszert az indulás után?
Hasonlítsa össze, hogy az egyes ajánlatok milyen feladatokat hagynak az Ön csapatára. A visszakeresésnél nevezze meg azt, aki jóváhagyja a forrásdokumentumokat, és ellenőrzi, hogy a frissítések eljutnak-e az asszisztenshez. A tanításnál nevezze meg, ki készíti elő az elfogadott példákat, és ki vizsgálja felül a későbbi változtatásokat. Rögzítse, ki ad hozzáférést, ki kezeli a hibákat, és hogyan tér vissza a személyzet a kézi folyamathoz, ha a rendszer nem megfelelő.
Ezeket a kérdéseket az összetevők kiválasztása előtt beépítjük az AI bevezetésének tervezésébe. Egy hasznos összefoglaló rögzíti:
- A feladatot, az engedélyezett bemeneteket és a várt kimenetet.
- A mérvadó forrásokat, a felelősüket és a frissítési folyamatukat.
- Az elfogadható munka, valamint az elfogadhatatlan kihagyások és hozzáadások példáit.
- A kérés elutasításának vagy emberhez továbbításának feltételeit.
- Az átvételi ellenőrzéseket, az ellenőrzést végző személyt és az átadandó anyagot.
Élő rendelést vagy kapcsolattartói rekordot érintő munkánál kérdezze meg, hogyan szerzi majd meg a javasolt rendszer az engedélyezett, aktuális rekordot. Ezt a követelményt foglalja bele az összefoglaló CRM-integrációról szóló részébe. Az exportált rekordokon végzett tanítási ajánlatnál továbbra is magyarázat szükséges arra, hogyan kezelik a későbbi változásokat.
Kérdezze meg, hol tárolják majd a dokumentumokat, a kereshető másolatokat, a példákat és a kimeneteket, ki férhet hozzájuk, és hogyan történik az eltávolítás. Rögzítse a válaszokat a tényleges üzembe helyezéshez. Egyik architektúra nevét se kezelje a tárhelyről vagy a jogosultságokról szóló döntésként.
Ellenőrizze az ajánlatot korábban nem látott kéréseken
A tesztkéréseket tartsa távol a javasolt rendszer konfigurálásához vagy tanításához használt anyagtól. Kérje meg az egyes szállítókat, hogy ugyanazon átvételi feltételek szerint futtassák ezeket a kéréseket. A folyamat felelőse vizsgálja meg a kimeneteket, az előállításukhoz használt bemeneteket és a szükséges javításokat. Ez az Ön feladatán ellenőrzi az ajánlatot; nem bizonyítja a teljesítményt minden jövőbeli kérésnél.
- Tartson meg egy viszonyítási alapot. Mentse el a kézi folyamat és az egyszerűbb prompt kimenetét a bemenetekkel és az ellenőrzési jegyzetekkel együtt.
- Ellenőrizze egy forrás frissítését. Módosítson egy jóváhagyott tesztdokumentumot, majd ismételje meg az érintett kérdést. Kérje meg a szállítót, hogy mutassa meg, melyik verziót használták, és hogyan jutott el hozzá a frissítés.
- Ellenőrizze a kimeneti szabályokat. Fogalmazzon át egy kérést, és hagyjon ki néhány információt. Vizsgálja meg, hogy a jegyzet megtartja-e az előírt szerkezetet anélkül, hogy részletet találna ki.
- Tesztelje a hozzáférést és a hatókört. Próbáljon ki egy, az egyeztetett hatókörön kívüli kérést és egy olyan felhasználót, aki nem kaphat meg egy korlátozott dokumentumot. Vizsgálja meg a tényleges elutasítást vagy átadást.
- Rögzítse a csapatára továbbra is háruló munkát. Jegyezze fel a javításokat, az ellenőrzési időt és azt, hogy kinek kell karbantartania az anyagokat. A munka bővítése előtt hasonlítsa ezeket a viszonyítási alaphoz.
Ha egy ellenőrzés sikertelen, rögzítse a nem teljesített követelményt, és kérjen átdolgozott bemutatót. Ne fizessen összetettebb megközelítésért pusztán azért, mert a neve nagyobb képességeket sugall. Azt a hatókört fogadja el, amelyet ellenőrizni tud, vagy hagyja a feladatot embereknél, amíg a hiányzó feltételeket nem rendezik.
A mi szerepünk
A feladat, az engedélyezett adatok és az átvételi ellenőrzések közös rögzítésével kezdünk. Ezután a javasolt megközelítéseket ehhez az összefoglalóhoz hasonlítjuk, és dokumentáljuk, ki tartja majd karban a forrásokat, a példákat és az értékelést. Hasznos első lépés egy valós kérés leírása és a szükséges eredmény egy példájának jóváhagyása.
