Η επιλογή RAG ή fine tuning αφορά το τι πρέπει να κάνει ο βοηθός σας. Το RAG, συντομογραφία της παραγωγής με επαυξημένη ανάκτηση, παρέχει σχετικό υλικό πηγής όταν απαντά το μοντέλο, ενώ το fine tuning σημαίνει περαιτέρω εκπαίδευση ενός μοντέλου με παραδείγματα. Ξεκινήστε δοκιμάζοντας μια σαφή οδηγία εργασίας, δηλαδή ένα prompt. Έπειτα χρησιμοποιήστε το αποτέλεσμα για να αποφασίσετε αν θα διερευνήσετε το υλικό πηγής που λείπει, τα ασυνεπή αποτελέσματα ή και τα δύο, πριν αναθέσετε πρόσθετες εργασίες.
Ένας προμηθευτής προτείνει να εκπαιδεύσει ένα σύστημα AI για την επιχείρησή σας, ενώ άλλος προτείνει μια γνωσιακή βάση με δυνατότητα αναζήτησης. Αυτές οι περιγραφές δεν ορίζουν την εργασία που πρέπει να εκτελεί το ολοκληρωμένο σύστημα ούτε τι θα θεωρούνταν αποτυχημένο αποτέλεσμα. Εμείς ξεκινάμε με αυτή την εργασία γραπτώς. Έτσι έχετε κάτι συγκεκριμένο να συγκρίνετε όταν φτάσουν οι προτάσεις.
Τι αλλάζει το RAG ή το fine tuning;
Το RAG αλλάζει το υλικό που παρέχεται για μια απάντηση, ενώ το fine tuning αλλάζει το μοντέλο μέσω εκπαίδευσης. Ο οδηγός ακρίβειας της OpenAI διαχωρίζει την έλλειψη πλαισίου από την ασυνεπή συμπεριφορά. Είναι μια χρήσιμη αρχική διάκριση για τον αγοραστή, εφόσον αφήνετε περιθώριο για αλληλεπικαλυπτόμενες ανάγκες. Ένας βοηθός που βασίζεται σε έγγραφα μπορεί επίσης να χρειάζεται έναν συνεπή τρόπο σύνταξης της απάντησής του.
Σύμφωνα με την εξήγηση του Amazon Bedrock για τις γνωσιακές βάσεις, η ανάκτηση επιλέγει σχετικό υλικό και το περιλαμβάνει στα δεδομένα εισόδου για την παραγωγή. Για έναν προτεινόμενο βοηθό που απαντά σε ερωτήσεις σχετικά με πολιτική επιστροφών, ζητήστε να δείτε ποιο εγκεκριμένο απόσπασμα στηρίζει την απάντηση. Μια παραπομπή στην πηγή χρειάζεται και πάλι έλεγχο σε σχέση με όσα λέει η απάντηση.
Το fine tuning χρησιμοποιεί παραδείγματα για την περαιτέρω εκπαίδευση ενός μοντέλου στον τρόπο απόκρισης. Ο οδηγός της OpenAI το περιγράφει ως επιλογή για τη βελτίωση της συμπεριφοράς σε μια εργασία. Σκεφτείτε ένα επιθυμητό σημείωμα παράδοσης με συμφωνημένη δομή: ο προμηθευτής χρειάζεται παραδείγματα αποδεκτών σημειωμάτων και τα δεδομένα εισόδου στα οποία βασίστηκαν. Αυτό είναι διαφορετικό παραδοτέο από έναν φάκελο εγγράφων πολιτικής.
Καμία ονομασία δεν σας λέει αν η επίδειξη ανταποκρίνεται στις απαιτήσεις σας. Ζητήστε από τον προμηθευτή να προσδιορίσει τι αλλάζει το προτεινόμενο στοιχείο, να δείξει το υλικό που χρησιμοποιεί και να εξηγήσει πώς θα ελέγχετε το αποτέλεσμα. Κρατήστε τη συζήτηση συνδεδεμένη με την πραγματική εργασία που αγοράζετε.
Ξεκινήστε με μια εργασία και απλούστερη επίδειξη
Περιγράψτε τα δεδομένα εισόδου και το αποδεκτό αποτέλεσμα πριν επιλέξετε προσέγγιση. Ο οδηγός της Anthropic για τα prompt ξεκινά με σαφή κριτήρια επιτυχίας, μια δοκιμή με παραδείγματα και ένα προσχέδιο prompt. Χρησιμοποιούμε αυτή τη σειρά για να ετοιμάσουμε μια σύνοψη προμήθειας: γράψτε την οδηγία, παρέχετε εγκεκριμένο υλικό και εξετάστε τι μπορεί να κάνει η απλούστερη προτεινόμενη διαμόρφωση. Αυτή είναι η μέθοδος αξιολόγησης που προτείνουμε και όχι αναφερόμενο benchmark.
Για έναν ενδεικτικό βοηθό επιστροφών, τα δεδομένα εισόδου θα μπορούσαν να είναι η ερώτηση ενός πελάτη και η εφαρμοστέα πολιτική. Ένα αποδεκτό προσχέδιο απαντά μόνο με όσα υποστηρίζει αυτή η πολιτική και παραπέμπει τις εξαιρέσεις σε άνθρωπο. Για μια ενδεικτική παράδοση προς τις πωλήσεις, τα δεδομένα εισόδου θα μπορούσαν να είναι ένα ερώτημα και μια εγκεκριμένη μορφή σημειώματος. Το αποτέλεσμα πρέπει να διατηρεί το νόημα του ερωτήματος και να αφήνει κενές τις πληροφορίες που λείπουν.
Ζητήστε από τον υπεύθυνο της διαδικασίας να καταγράψει τι καθιστά αποδεκτό κάθε αποτέλεσμα. Συμπεριλάβετε ένα αίτημα που ο βοηθός πρέπει να αρνηθεί ή να παραπέμψει. Χρησιμοποιήστε υλικό που επιτρέπεται να κοινοποιήσετε, αφαιρώντας περιττά προσωπικά στοιχεία. Μια επίδειξη που εξαρτάται από πληροφορίες τις οποίες δεν μπορείτε να παρέχετε δεν αποτελεί ακόμη εφαρμόσιμη πρόταση.
Αν έχετε ήδη έναν βοηθό που δίνει αναξιόπιστες απαντήσεις, χρησιμοποιήστε τον ξεχωριστό οδηγό για τον έλεγχο των λόγων για τους οποίους το AI δίνει λανθασμένες απαντήσεις πριν αποφασίσετε τι θα αναθέσετε.
Επιλέξτε την επόμενη δοκιμή από το κενό που απομένει
Χρησιμοποιήστε την αστοχία που παρατηρήθηκε για να επιλέξετε τι θα δοκιμάσετε στη συνέχεια. Η AWS συνιστά να ξεκινάτε με ανάκτηση για ερωτήσεις που παραπέμπουν σε προσαρμοσμένα έγγραφα και επισημαίνει τη δυσκολία διατήρησης της ευθυγράμμισης της εκπαίδευσης με υλικό που αλλάζει συχνά. Επιτρέπει επίσης τον συνδυασμό ανάκτησης και fine tuning. Ο παρακάτω πίνακας προτείνει μια επόμενη δοκιμή για το κενό που εντοπίσατε στην επίδειξη.
| Τι εξακολουθεί να χρειάζεται η επίδειξη | Τι να δοκιμάσετε στη συνέχεια |
|---|---|
| Πληροφορίες από εγκεκριμένα έγγραφα που αλλάζουν | Ανάκτηση που παρέχει το σχετικό τρέχον υλικό |
| Επαναλήψιμο αποτέλεσμα που παραμένει ασυνεπές μετά από σαφέστερες οδηγίες και παραδείγματα | Εκπαίδευση με αποδεκτά παραδείγματα, αν το επιλεγμένο μοντέλο την υποστηρίζει |
| Υλικό πηγής και πιο συνεπής απάντηση | Συνδυασμένη διαμόρφωση, με έλεγχο για κάθε απαίτηση |
Όταν η απλούστερη επίδειξη καλύπτει ήδη τις απαιτήσεις, διατηρήστε αυτή την επιλογή στη σύγκριση. Ρωτήστε ποιο πρόσθετο πρόβλημα θα έλυνε μια προτεινόμενη εργασία εκπαίδευσης ή ένα σύστημα ανάκτησης. Η επιλογή μπορεί επίσης να παραμείνει ανοιχτή όσο προετοιμάζετε τα δεδομένα εισόδου που λείπουν.
Η AWS επισημαίνει ότι το fine tuning δεν είναι διαθέσιμο για κάθε μοντέλο. Ζητήστε από τον προμηθευτή να κατονομάσει τον πάροχο και το μοντέλο, να εξηγήσει πού και πώς θα λειτουργεί το σύστημα και να επιβεβαιώσει την τρέχουσα υποστήριξη για την προτεινόμενη εκπαίδευση και υλοποίηση.
Ποιος συντηρεί το σύστημα μετά την έναρξη;
Συγκρίνετε τις ευθύνες που αφήνει κάθε πρόταση στην ομάδα σας. Για την ανάκτηση, ορίστε το άτομο που εγκρίνει τα έγγραφα πηγής και ελέγχει ότι οι ενημερώσεις φτάνουν στον βοηθό. Για την εκπαίδευση, ορίστε ποιος προετοιμάζει τα αποδεκτά παραδείγματα και ελέγχει μεταγενέστερες αλλαγές. Καταγράψτε ποιος παραχωρεί πρόσβαση, ποιος χειρίζεται τις αστοχίες και πώς το προσωπικό επαναφέρει την εργασία στη χειροκίνητη διαδικασία όταν το σύστημα είναι ακατάλληλο.
Εντάσσουμε αυτές τις ερωτήσεις στον σχεδιασμό υλοποίησης AI πριν επιλέξουμε στοιχεία. Μια χρήσιμη σύνοψη καταγράφει:
- Την εργασία, τα επιτρεπόμενα δεδομένα εισόδου και το αναμενόμενο αποτέλεσμα.
- Τις έγκυρες πηγές, τον υπεύθυνό τους και τη διαδικασία ενημέρωσής τους.
- Παραδείγματα αποδεκτής εργασίας και μη αποδεκτών παραλείψεων ή προσθηκών.
- Τις προϋποθέσεις άρνησης ενός αιτήματος ή παραπομπής του σε άνθρωπο.
- Τους ελέγχους αποδοχής, τον αξιολογητή και το υλικό που πρέπει να παραδοθεί.
Για εργασία που αφορά ενεργή παραγγελία ή εγγραφή επικοινωνίας, ρωτήστε πώς το προτεινόμενο σύστημα θα αποκτά την επιτρεπόμενη τρέχουσα εγγραφή. Συμπεριλάβετε αυτή την απαίτηση στο μέρος της σύνοψης για την ενσωμάτωση CRM. Μια πρόταση εκπαίδευσης με εξαγόμενες εγγραφές εξακολουθεί να χρειάζεται εξήγηση για τον χειρισμό μεταγενέστερων αλλαγών.
Ρωτήστε πού θα αποθηκεύονται τα έγγραφα, τα αντίγραφα με δυνατότητα αναζήτησης, τα παραδείγματα και τα αποτελέσματα, ποιος μπορεί να έχει πρόσβαση σε αυτά και πώς γίνεται η αφαίρεση. Καταγράψτε τις απαντήσεις για την πραγματική υλοποίηση. Μην αντιμετωπίζετε την ονομασία καμίας αρχιτεκτονικής ως απόφαση σχετικά με τη φιλοξενία ή τα δικαιώματα.
Ελέγξτε την πρόταση σε αιτήματα που δεν έχει ξαναδεί
Κρατήστε τα αιτήματα δοκιμής έξω από το υλικό που χρησιμοποιείται για τη διαμόρφωση ή την εκπαίδευση του προτεινόμενου συστήματος. Ζητήστε από κάθε προμηθευτή να εκτελέσει αυτά τα αιτήματα με τα ίδια κριτήρια αποδοχής. Ζητήστε από τον υπεύθυνο της διαδικασίας να εξετάσει τα αποτελέσματα, τα δεδομένα εισόδου που χρησιμοποιήθηκαν για την παραγωγή τους και τις διορθώσεις που απαιτούνται. Αυτό ελέγχει την πρόταση στη δική σας εργασία, αλλά δεν αποδεικνύει την απόδοση σε κάθε μελλοντικό αίτημα.
- Διατηρήστε μια βάση σύγκρισης. Αποθηκεύστε όσα παράγουν η χειροκίνητη διαδικασία και το απλούστερο prompt, μαζί με τα δεδομένα εισόδου και τις σημειώσεις ελέγχου τους.
- Ελέγξτε μια ενημέρωση πηγής. Αλλάξτε ένα εγκεκριμένο έγγραφο δοκιμής και επαναλάβετε την επηρεαζόμενη ερώτηση. Ζητήστε από τον προμηθευτή να δείξει ποια έκδοση χρησιμοποιήθηκε και πώς έφτασε η ενημέρωση στο σύστημα.
- Ελέγξτε τους κανόνες αποτελέσματος. Αναδιατυπώστε ένα αίτημα και παραλείψτε ορισμένες πληροφορίες. Εξετάστε αν το σημείωμα διατηρεί την απαιτούμενη δομή χωρίς να επινοεί κάποια λεπτομέρεια.
- Δοκιμάστε την πρόσβαση και το πεδίο εφαρμογής. Δοκιμάστε ένα αίτημα εκτός του συμφωνημένου πεδίου και έναν χρήστη που δεν πρέπει να λάβει περιορισμένο έγγραφο. Εξετάστε την πραγματική άρνηση ή παραπομπή.
- Καταγράψτε την εργασία που πρέπει να συνεχίσει να κάνει η ομάδα σας. Σημειώστε διορθώσεις, χρόνο ελέγχου και ποιος πρέπει να συντηρεί το υλικό. Συγκρίνετέ τα με τη βάση πριν επεκτείνετε την εργασία.
Όταν ένας έλεγχος αποτυγχάνει, καταγράψτε την απαίτηση που δεν ικανοποιήθηκε και ζητήστε αναθεωρημένη επίδειξη. Μην πληρώσετε για μια πιο σύνθετη προσέγγιση μόνο επειδή η ονομασία της ακούγεται πιο ικανή. Αποδεχτείτε το πεδίο που μπορείτε να επαληθεύσετε ή αφήστε την εργασία στους ανθρώπους μέχρι να επιλυθούν οι προϋποθέσεις που λείπουν.
Πώς συμβάλλουμε εμείς
Ξεκινάμε καταγράφοντας μαζί την εργασία, τα επιτρεπόμενα δεδομένα και τους ελέγχους αποδοχής. Έπειτα συγκρίνουμε τις προτεινόμενες προσεγγίσεις με αυτή τη σύνοψη και τεκμηριώνουμε ποιος θα συντηρεί τις πηγές, τα παραδείγματα και την αξιολόγηση. Ένα χρήσιμο πρώτο βήμα είναι να γράψετε ένα πραγματικό αίτημα και να εγκρίνετε ένα παράδειγμα του αποτελέσματος που χρειάζεστε.
