RAG sau fine tuning este o alegere legată de ceea ce trebuie să facă asistentul dumneavoastră. RAG, prescurtare de la generare augmentată prin regăsire, furnizează material-sursă relevant când modelul răspunde; fine tuning înseamnă instruirea suplimentară a unui model pe exemple. Începeți prin a testa o instrucțiune clară pentru sarcină, adică un prompt. Apoi folosiți rezultatul pentru a decide dacă să investigați lipsa materialului-sursă, rezultatele neuniforme sau ambele înainte de a comanda lucrări suplimentare.
Un furnizor propune instruirea unui sistem AI pentru afacerea dumneavoastră, iar altul propune o bază de cunoștințe în care se poate căuta. Aceste descrieri nu definesc sarcina pe care trebuie să o îndeplinească sistemul final și nici ce ar constitui un rezultat nereușit. Noi începem cu această sarcină formulată în scris. Ea vă oferă ceva concret de comparat atunci când sosesc propunerile.
Ce schimbă RAG sau fine tuning?
RAG schimbă materialul furnizat pentru un răspuns; fine tuning schimbă modelul prin instruire. Ghidul OpenAI privind acuratețea separă lipsa contextului de comportamentul neuniform. Aceasta este o distincție inițială utilă pentru un cumpărător, cu condiția să lăsați loc nevoilor care se suprapun. Un asistent bazat pe documente poate avea nevoie și de un mod consecvent de a-și redacta răspunsul.
Conform explicației Amazon Bedrock despre bazele de cunoștințe, regăsirea selectează materialul relevant și îl include în datele de intrare pentru generare. Pentru un asistent propus care răspunde la întrebări despre politica de returnare, cereți să vedeți ce pasaj aprobat susține răspunsul. O referință la sursă trebuie totuși verificată în raport cu ceea ce spune răspunsul.
Fine tuning folosește exemple pentru a instrui suplimentar un model să răspundă. Ghidul OpenAI îl descrie drept o opțiune pentru îmbunătățirea comportamentului într-o sarcină. Gândiți-vă la o notă de predare dorită, cu o structură convenită: furnizorul are nevoie de exemple de note acceptabile și de datele de intrare care au stat la baza lor. Acesta este un livrabil diferit de un dosar cu documente de politici.
Niciuna dintre etichete nu vă spune dacă demonstrația îndeplinește cerințele. Cereți furnizorului să identifice ce schimbă componenta propusă, să arate materialul pe care îl folosește și să explice cum veți verifica rezultatul. Păstrați discuția legată de activitatea reală pe care o cumpărați.
Începeți cu o sarcină și o demonstrație mai simplă
Descrieți datele de intrare și rezultatul acceptabil înainte de a alege o abordare. Ghidul Anthropic despre prompturi începe cu criterii clare de succes, un test care folosește exemple și un prompt preliminar. Noi folosim această ordine pentru a pregăti un caiet de achiziție: scrieți instrucțiunea, furnizați materialul aprobat și analizați ce poate face cea mai simplă configurație propusă. Aceasta este metoda de evaluare sugerată de noi, nu un benchmark raportat.
Pentru un exemplu de asistent pentru returnări, datele de intrare ar putea fi întrebarea unui client și politica aplicabilă. O versiune preliminară acceptabilă răspunde numai cu ceea ce susține acea politică și transmite excepțiile unei persoane. Pentru un exemplu de predare către vânzări, datele de intrare ar putea fi o solicitare și un format aprobat al notei. Rezultatul ar trebui să păstreze sensul solicitării și să lase necompletate detaliile care lipsesc.
Rugați responsabilul procesului să scrie ce face acceptabil fiecare rezultat. Includeți o solicitare pe care asistentul ar trebui să o refuze sau să o transmită mai departe. Folosiți materiale pe care aveți permisiunea să le distribuiți, eliminând detaliile personale inutile. O demonstrație care depinde de informații pe care nu le puteți furniza nu este încă o propunere viabilă.
Dacă aveți deja un asistent care oferă răspunsuri nesigure, folosiți ghidul separat despre verificarea motivelor pentru care AI oferă răspunsuri greșite înainte de a decide ce să comandați.
Alegeți următorul test pe baza lacunei rămase
Folosiți deficiența observată pentru a alege ce să testați în continuare. AWS recomandă să începeți cu regăsirea pentru întrebări care fac referire la documente personalizate și menționează dificultatea de a menține instruirea aliniată cu materiale care se schimbă frecvent. Permite și folosirea împreună a regăsirii și a fine tuning. Tabelul de mai jos sugerează un test următor pentru lacuna găsită în demonstrație.
| De ce mai are nevoie demonstrația | Ce să testați în continuare |
|---|---|
| Informații din documente aprobate, care se schimbă | Regăsirea care furnizează materialul curent relevant |
| Un rezultat repetabil care rămâne neuniform după instrucțiuni și exemple mai clare | Instruirea pe exemple acceptate, dacă modelul ales o permite |
| Material-sursă și un răspuns mai consecvent | O configurație combinată, cu o verificare pentru fiecare cerință |
Când demonstrația mai simplă îndeplinește deja cerințele, păstrați acea opțiune în comparație. Întrebați ce problemă suplimentară ar rezolva o instruire sau un sistem de regăsire propus. Alegerea poate rămâne deschisă și în timp ce pregătiți datele de intrare care lipsesc.
AWS menționează că fine tuning nu este disponibil pentru fiecare model. Cereți furnizorului să numească providerul și modelul, să explice unde și cum va rula sistemul și să confirme suportul actual pentru instruirea și implementarea propuse.
Cine întreține sistemul după lansare?
Comparați responsabilitățile pe care fiecare propunere le lasă echipei dumneavoastră. Pentru regăsire, numiți persoana care aprobă documentele-sursă și verifică dacă actualizările ajung la asistent. Pentru instruire, numiți persoana care pregătește exemplele acceptate și examinează modificările ulterioare. Consemnați cine acordă accesul, cine gestionează defecțiunile și cum readuce personalul sarcina la procesul manual atunci când sistemul nu este potrivit.
Noi includem aceste întrebări în planificarea implementării AI înainte de a alege componentele. Un caiet util consemnează:
- Sarcina, datele de intrare permise și rezultatul așteptat.
- Sursele de referință, responsabilul lor și procesul de actualizare.
- Exemple de activitate acceptabilă și omisiuni sau adăugiri inacceptabile.
- Condițiile pentru refuzarea unei solicitări sau transmiterea ei unei persoane.
- Verificările de acceptare, evaluatorul și materialul care trebuie predat.
Pentru activități care implică o comandă activă sau o înregistrare de contact, întrebați cum va obține sistemul propus înregistrarea curentă permisă. Includeți această cerință în secțiunea despre integrarea CRM a caietului. O propunere de instruire pe înregistrări exportate necesită în continuare o explicație privind gestionarea modificărilor ulterioare.
Întrebați unde vor fi stocate documentele, copiile indexate pentru căutare, exemplele și rezultatele, cine le poate accesa și cum este gestionată eliminarea. Consemnați răspunsurile pentru implementarea efectivă. Nu tratați numele vreuneia dintre arhitecturi ca pe o decizie privind găzduirea sau permisiunile.
Verificați propunerea pe solicitări nevăzute
Păstrați solicitările de test în afara materialului folosit pentru configurarea sau instruirea sistemului propus. Cereți fiecărui furnizor să ruleze acele solicitări în raport cu aceleași criterii de acceptare. Rugați responsabilul procesului să examineze rezultatele, datele de intrare folosite pentru a le produce și corecțiile necesare. Aceasta verifică propunerea pe sarcina dumneavoastră; nu dovedește performanța pentru fiecare solicitare viitoare.
- Păstrați un reper. Salvați ceea ce produc procesul manual și promptul mai simplu, împreună cu datele lor de intrare și notele de evaluare.
- Verificați o actualizare a sursei. Modificați un document de test aprobat și repetați întrebarea afectată. Cereți furnizorului să arate ce versiune a fost folosită și cum a ajuns actualizarea la sistem.
- Verificați regulile rezultatului. Reformulați o solicitare și omiteți unele informații. Analizați dacă nota păstrează structura necesară fără să inventeze un detaliu.
- Testați accesul și domeniul de aplicare. Încercați o solicitare din afara domeniului convenit și un utilizator care nu ar trebui să primească un document restricționat. Analizați refuzul sau predarea efectivă.
- Consemnați activitatea pe care echipa trebuie să o desfășoare în continuare. Notați corecțiile, timpul de evaluare și cine trebuie să întrețină materialele. Comparați-le cu reperul înainte de a extinde activitatea.
Când o verificare eșuează, consemnați cerința neîndeplinită și cereți o demonstrație revizuită. Nu plătiți pentru o abordare mai elaborată doar pentru că numele ei pare mai performant. Acceptați domeniul pe care îl puteți verifica sau lăsați sarcina în seama oamenilor până când sunt rezolvate condițiile lipsă.
Cum vă putem ajuta
Începem prin a formula împreună sarcina, datele permise și verificările de acceptare. Apoi comparăm abordările propuse cu acel caiet și documentăm cine va întreține sursele, exemplele și evaluarea. Un prim pas util este să scrieți o solicitare reală și să aprobați un exemplu al rezultatului de care aveți nevoie.
