RAG vai hienosäätö on valinta, joka perustuu siihen, mitä avustajan pitää tehdä. RAG, eli retrieval-augmented generation, tuo vastauksen yhteyteen olennaista lähdeaineistoa. Hienosäätö tarkoittaa mallin lisäkoulutusta esimerkeillä. Aloita testaamalla selkeää tehtäväohjetta eli kehotetta. Päätä sitten tuloksen perusteella, tutkitko puuttuvaa lähdeaineistoa, epäjohdonmukaista tuotosta vai molempia ennen lisätyön tilaamista.
Yksi toimittaja ehdottaa tekoälyjärjestelmän kouluttamista yrityksellesi, kun taas toinen ehdottaa haettavaa tietopohjaa. Nämä kuvaukset eivät määritä tehtävää, joka valmiin järjestelmän pitää suorittaa, eivätkä sitä, mikä lasketaan epäonnistuneeksi tulokseksi. Me aloitamme kirjallisesta tehtävästä. Se antaa konkreettisen vertailukohdan tarjousten saapuessa.
Mitä RAG tai hienosäätö muuttaa?
RAG muuttaa vastaukseen annettavaa aineistoa. Hienosäätö muuttaa mallia koulutuksen avulla. OpenAI:n tarkkuusopas erottaa kontekstin puutteen epäjohdonmukaisesta toiminnasta. Tämä on ostajalle hyödyllinen lähtökohta, kunhan päällekkäisille tarpeille jää tilaa. Asiakirjoihin perustuva avustaja saattaa tarvita myös johdonmukaisen tavan kirjoittaa vastauksensa.
Amazon Bedrockin tietopohjia koskevan selityksen mukaan haku valitsee olennaisen aineiston ja sisällyttää sen generoinnin syötteeseen. Jos ehdotettu avustaja vastaa palautusehtoja koskeviin kysymyksiin, pyydä nähtäväksi, mikä hyväksytty kohta tukee vastausta. Lähdeviite on silti tarkistettava suhteessa vastauksen sisältöön.
Hienosäädössä mallia koulutetaan lisää esimerkeillä vastaamaan halutulla tavalla. OpenAI:n opas kuvaa sitä vaihtoehdoksi, jolla toimintaa tietyssä tehtävässä voidaan parantaa. Ajattele sovitun rakenteen mukaista luovutusmuistiinpanoa: toimittaja tarvitsee esimerkkejä hyväksyttävistä muistiinpanoista ja niiden taustalla olevat syötteet. Tämä on eri toimitus kuin kansio, joka sisältää toimintaperiaatteita kuvaavia asiakirjoja.
Kumpikaan nimike ei kerro, täyttääkö esittely vaatimuksenne. Pyydä toimittajaa yksilöimään, mitä ehdotettu osa muuttaa, näyttämään sen käyttämä aineisto ja selittämään, miten tulos tarkistetaan. Pidä keskustelu sidoksissa työhön, jota olette ostamassa.
Aloita tehtävästä ja yksinkertaisesta esittelystä
Kuvaa syöte ja hyväksyttävä tuotos ennen lähestymistavan valintaa. Anthropicin kehoteopas aloittaa selkeistä onnistumiskriteereistä, esimerkkejä käyttävästä testistä ja kehoteluonnoksesta. Käytämme tätä järjestystä hankintaohjeen valmistelussa: kirjoita ohje, toimita hyväksytty aineisto ja tarkasta, mihin yksinkertaisin ehdotettu ratkaisu pystyy. Tämä on ehdottamamme arviointimenetelmä, ei raportoitu vertailukoe.
Esimerkinomaisessa palautusavustajassa syöte voisi olla asiakkaan kysymys ja siihen sovellettavat ehdot. Hyväksyttävä luonnos vastaa vain ehtojen tukemiin asioihin ja siirtää poikkeukset ihmiselle. Esimerkinomaisessa myynnin luovutuksessa syöte voisi olla tiedustelu ja hyväksytty muistiinpanomuoto. Tuotoksen pitäisi säilyttää tiedustelun merkitys ja jättää puuttuvat tiedot täyttämättä.
Pyydä prosessin omistajaa kirjoittamaan, mikä tekee kustakin tuotoksesta hyväksyttävän. Sisällytä pyyntö, josta avustajan pitäisi kieltäytyä tai jonka se pitäisi siirtää ihmiselle. Käytä aineistoa, jonka saatte jakaa, ja poista tarpeettomat henkilötiedot. Esittely, joka riippuu tiedoista, joita ette voi toimittaa, ei vielä ole toteuttamiskelpoinen ehdotus.
Jos käytössänne on jo epäluotettavia vastauksia antava avustaja, tutustukaa erilliseen oppaaseen tekoälyn väärien vastausten syiden tarkistamisesta ennen tilattavasta työstä päättämistä.
Valitse seuraava testi jäljellä olevan puutteen mukaan
Valitse seuraava testi havaitun virheen perusteella. AWS suosittelee aloittamaan hausta, kun kysymykset viittaavat omiin asiakirjoihin, ja huomauttaa, että koulutusta on vaikea pitää usein muuttuvan aineiston tasalla. Se sallii myös haun ja hienosäädön yhdistämisen. Seuraava taulukko ehdottaa jatkotestiä esittelyssä havaitulle puutteelle.
| Mitä esittelystä vielä puuttuu | Mitä testataan seuraavaksi |
|---|---|
| Tietoa hyväksytyistä, muuttuvista asiakirjoista | Haku, joka tuo olennaisen ajantasaisen aineiston |
| Toistettava tuotos, joka pysyy epäjohdonmukaisena selkeämpien ohjeiden ja esimerkkien jälkeen | Koulutus hyväksytyillä esimerkeillä, jos valittu malli tukee sitä |
| Lähdeaineisto ja johdonmukaisempi vastaus | Yhdistetty ratkaisu, jossa jokainen vaatimus tarkistetaan |
Kun yksinkertaisempi esittely jo täyttää vaatimukset, pidä tämä vaihtoehto mukana vertailussa. Kysy, minkä lisäongelman ehdotettu koulutus tai hakujärjestelmä ratkaisisi. Valinnan voi myös jättää avoimeksi puuttuvien syötteiden valmistelun ajaksi.
AWS huomauttaa, ettei hienosäätö ole käytettävissä kaikissa malleissa. Pyydä toimittajaa nimeämään palveluntarjoaja ja malli, selittämään, missä ja miten järjestelmää käytetään, sekä vahvistamaan ehdotetun koulutuksen ja käyttöönoton nykyinen tuki.
Kuka ylläpitää järjestelmää julkaisun jälkeen?
Vertaa vastuita, jotka kukin ehdotus jättää tiimillenne. Nimeä hakua varten henkilö, joka hyväksyy lähdeasiakirjat ja tarkistaa, että päivitykset päätyvät avustajalle. Nimeä koulutusta varten henkilö, joka valmistelee hyväksytyt esimerkit ja arvioi myöhemmät muutokset. Kirjaa, kuka myöntää käyttöoikeudet, kuka käsittelee virheet ja miten henkilöstö palauttaa tehtävän manuaaliseen prosessiin järjestelmän ollessa sopimaton.
Sisällytämme nämä kysymykset tekoälyn käyttöönoton suunnitteluun ennen osien valintaa. Hyödylliseen hankintaohjeeseen kirjataan:
- Tehtävä, sallitut syötteet ja odotettu tuotos.
- Määräävät lähteet, niiden omistaja ja päivitysprosessi.
- Esimerkit hyväksyttävästä työstä sekä kelpaamattomista puutteista tai lisäyksistä.
- Ehdot pyynnöstä kieltäytymiselle tai sen siirtämiselle ihmiselle.
- Hyväksymistarkistukset, arvioija ja luovutettava aineisto.
Kun työ koskee aktiivista tilausta tai yhteystietuetta, kysy, miten ehdotettu järjestelmä saa käyttöönsä sallitun ajantasaisen tietueen. Sisällytä vaatimus hankintaohjeen CRM-integraatiota käsittelevään osaan. Ehdotus viedyillä tietueilla kouluttamisesta tarvitsee edelleen selityksen myöhempien muutosten käsittelystä.
Kysy, missä asiakirjat, haettavat kopiot, esimerkit ja tuotokset säilytetään, kenellä on niihin pääsy ja miten poistaminen hoidetaan. Kirjaa vastaukset varsinaista käyttöönottoa varten. Älä pidä kummankaan arkkitehtuurin nimeä päätöksenä palvelinympäristöstä tai käyttöoikeuksista.
Tarkista ehdotus aiemmin näkemättömillä pyynnöillä
Pidä testipyynnöt erillään aineistosta, jolla ehdotettu järjestelmä määritetään tai koulutetaan. Pyydä jokaista toimittajaa suorittamaan pyynnöt samoilla hyväksymiskriteereillä. Anna prosessin omistajan tarkastaa tuotokset, niiden tuottamiseen käytetyt syötteet ja tarvittavat korjaukset. Tämä tarkistaa ehdotuksen omassa tehtävässänne. Se ei todista suorituskykyä kaikissa tulevissa pyynnöissä.
- Säilytä vertailutaso. Tallenna manuaalisen prosessin ja yksinkertaisemman kehotteen tuotokset sekä niiden syötteet ja arviointimuistiinpanot.
- Tarkista lähteen päivitys. Muuta hyväksyttyä testiasiakirjaa ja toista siihen liittyvä kysymys. Pyydä toimittajaa näyttämään käytetty versio ja se, miten päivitys päätyi järjestelmään.
- Tarkista tuotossäännöt. Muotoile pyyntö uudelleen ja jätä joitakin tietoja pois. Tarkasta, säilyttääkö muistiinpano vaaditun rakenteen keksimättä yksityiskohtia.
- Testaa käyttöoikeudet ja rajaus. Kokeile sovitun rajauksen ulkopuolista pyyntöä sekä käyttäjää, jonka ei pitäisi saada rajoitettua asiakirjaa. Tarkasta varsinainen kieltäytyminen tai siirto.
- Kirjaa tiimille jäävä työ. Merkitse korjaukset, arviointiin käytetty aika ja aineistojen ylläpitäjä. Vertaa näitä vertailutasoon ennen työn laajentamista.
Kun tarkistus epäonnistuu, kirjaa täyttymättä jäänyt vaatimus ja pyydä uusi esittely. Älä maksa monimutkaisemmasta lähestymistavasta vain siksi, että sen nimi kuulostaa kyvykkäämmältä. Hyväksy laajuus, jonka voitte tarkistaa, tai jätä tehtävä ihmisille, kunnes puuttuvat ehdot on ratkaistu.
Näin autamme
Aloitamme kirjoittamalla yhdessä tehtävän, sallitut tiedot ja hyväksymistarkistukset. Sen jälkeen vertaamme ehdotettuja lähestymistapoja tähän hankintaohjeeseen ja dokumentoimme, kuka ylläpitää lähteitä, esimerkkejä ja arviointia. Hyödyllinen ensimmäinen askel on kirjoittaa todellinen pyyntö ja hyväksyä esimerkki tarvitsemastanne tuloksesta.
