RAG mi fine tuning mi sorusu, asistanınızın ne yapması gerektiğine dair bir seçimdir. Erişim destekli üretimin kısaltması olan RAG, model yanıt verirken ilgili kaynak malzemeyi sağlar; fine-tuning ise bir modelin örneklerle ek olarak eğitilmesi anlamına gelir. Net bir görev talimatını, yani prompt’u, test ederek başlayın. Ardından sonucu, ek çalışma sipariş etmeden önce eksik kaynak malzemeyi, tutarsız çıktıyı veya her ikisini araştırıp araştırmayacağınıza karar vermek için kullanın.
Bir tedarikçi işletmeniz için bir yapay zeka sistemi eğitmeyi, diğeri ise aranabilir bir bilgi tabanı sunmayı öneriyor. Bu açıklamalar, bitmiş sistemin yerine getirmesi gereken görevi veya neyin başarısız sonuç sayılacağını tanımlamaz. Biz işe bu görevi yazmakla başlıyoruz. Bu metin, teklifler geldiğinde karşılaştırabileceğiniz somut bir dayanak sağlar.
Fine tuning ile RAG neyi değiştirir?
RAG yanıt için sağlanan malzemeyi, fine-tuning ise eğitim yoluyla modeli değiştirir. OpenAI’ın doğruluk kılavuzu, bağlam eksikliği ile tutarsız davranışı birbirinden ayırır. Birbiriyle örtüşen ihtiyaçlara yer bıraktığınız sürece bu, alıcı için faydalı bir başlangıç ayrımıdır. Belgelere dayalı bir asistanın yanıtlarını tutarlı biçimde yazması da gerekebilir.
Amazon Bedrock’un bilgi tabanları açıklamasına göre erişim, ilgili malzemeyi seçer ve üretim girdisine dahil eder. İade politikasıyla ilgili soruları yanıtlayacak bir asistan teklif ediliyorsa yanıtı hangi onaylı bölümün desteklediğini görmeyi isteyin. Kaynak referansının yine de yanıtın söyledikleriyle karşılaştırılması gerekir.
Fine-tuning, bir modelin nasıl yanıt vereceğini eğitmek için örneklerden yararlanır. OpenAI’ın kılavuzu bunu, bir görevdeki davranışı iyileştirme seçeneklerinden biri olarak tanımlar. Üzerinde anlaşılmış bir yapıya sahip, istenen bir devir notunu düşünün: tedarikçinin kabul edilebilir not örneklerine ve bunların dayandığı girdilere ihtiyacı vardır. Bu, politika belgeleriyle dolu bir klasörden farklı bir teslimattır.
İki ad da gösterimin gereksinimlerinizi karşılayıp karşılamadığını söylemez. Tedarikçiden önerilen bileşenin neyi değiştirdiğini belirtmesini, kullandığı malzemeyi göstermesini ve sonucu nasıl kontrol edeceğinizi açıklamasını isteyin. Görüşmeyi satın aldığınız gerçek işe bağlı tutun.
Bir görev ve daha basit bir gösterimle başlayın
Bir yaklaşım seçmeden önce girdiyi ve kabul edilebilir çıktıyı tanımlayın. Anthropic’in prompt kılavuzu net başarı ölçütleri, örneklerin kullanıldığı bir test ve taslak prompt ile başlar. Satın alma şartnamesi hazırlarken bu sırayı kullanıyoruz: talimatı yazın, onaylı malzemeyi sağlayın ve önerilen en basit kurulumun neler yapabildiğini inceleyin. Bu, bizim önerdiğimiz değerlendirme yöntemidir; yayımlanmış bir kıyaslama testi değildir.
Örnek bir iade asistanında girdi, müşterinin sorusu ve geçerli politika olabilir. Kabul edilebilir bir taslak yalnızca bu politikanın desteklediği bilgileri yanıtlar ve istisnaları bir kişiye devreder. Örnek bir satış devrinde girdi, bir talep ve onaylı not biçimi olabilir. Çıktı, talebin anlamını korumalı ve eksik ayrıntıları doldurmamalıdır.
Süreç sahibinden her çıktıyı kabul edilebilir kılan unsurları yazmasını isteyin. Asistanın reddetmesi veya bir kişiye devretmesi gereken bir talep ekleyin. Paylaşma izniniz olan malzemeleri kullanın ve gereksiz kişisel bilgileri çıkarın. Sağlayamayacağınız bilgilere bağlı bir gösterim henüz uygulanabilir bir teklif değildir.
Halihazırda güvenilmez yanıtlar veren bir asistanınız varsa ne sipariş edeceğinize karar vermeden önce yapay zekanın neden yanlış yanıt verdiğini kontrol etme konusundaki ayrı kılavuzu kullanın.
Sonraki testi kalan boşluğa göre seçin
Sonraki testinizi gözlemlenen hataya göre seçin. AWS, özel belgelere atıfta bulunan sorularda erişimle başlamayı önerir ve eğitimi sık değişen malzemeyle uyumlu tutmanın zorluğuna dikkat çeker. Erişim ile fine-tuning’in birlikte kullanılmasına da yer verir. Aşağıdaki tablo, gösteriminizde bulduğunuz boşluk için bir sonraki testi önerir.
| Gösterimin hala ihtiyaç duyduğu unsur | Sonraki test |
|---|---|
| Onaylı ve değişen belgelerdeki bilgiler | İlgili güncel malzemeyi sağlayan erişim |
| Daha net talimatlar ve örneklerden sonra da tutarsız kalan tekrarlanabilir çıktı | Seçilen model destekliyorsa kabul edilmiş örneklerle eğitim |
| Kaynak malzeme ve daha tutarlı bir yanıt | Her gereksinimin kontrol edildiği birleşik kurulum |
Daha basit gösterim gereksinimleri zaten karşılıyorsa bu seçeneği karşılaştırmada tutun. Önerilen eğitim çalışmasının veya erişim sisteminin hangi ek sorunu çözeceğini sorun. Eksik girdileri hazırlarken seçimi açık da bırakabilirsiniz.
AWS, fine-tuning’in her model için kullanılamadığını belirtiyor. Tedarikçiden sağlayıcıyı ve modeli adlandırmasını, sistemin nerede ve nasıl çalışacağını açıklamasını ve önerilen eğitim ile dağıtım için mevcut desteği doğrulamasını isteyin.
Sistem kullanıma alındıktan sonra bakımını kim yapacak?
Her teklifin ekibinize bıraktığı sorumlulukları karşılaştırın. Erişim için kaynak belgeleri onaylayacak ve güncellemelerin asistana ulaştığını kontrol edecek kişiyi belirleyin. Eğitim için kabul edilmiş örnekleri hazırlayacak ve sonraki değişiklikleri inceleyecek kişiyi belirleyin. Erişimi kimin verdiğini, hatalarla kimin ilgilendiğini ve sistem uygun olmadığında personelin görevi manuel sürece nasıl döndüreceğini kaydedin.
Bileşenleri seçmeden önce bu soruları yapay zeka uygulama planlamasına dahil ediyoruz. Yararlı bir şartname şunları kaydeder:
- Görev, izin verilen girdiler ve beklenen çıktı.
- Yetkili kaynaklar, bunların sahibi ve güncelleme süreci.
- Kabul edilebilir iş ile kabul edilemez eksiklik veya ekleme örnekleri.
- Bir talebi reddetme veya bir kişiye devretme koşulları.
- Kabul kontrolleri, incelemeyi yapacak kişi ve devredilecek malzeme.
Canlı bir sipariş veya kişi kaydı içeren işlerde önerilen sistemin izin verilen güncel kaydı nasıl alacağını sorun. Bu gereksinimi şartnamenin CRM entegrasyonu bölümüne ekleyin. Dışa aktarılmış kayıtlarla eğitim önerisi de sonraki değişikliklerin nasıl ele alınacağını açıklamalıdır.
Belgelerin, aranabilir kopyaların, örneklerin ve çıktıların nerede saklanacağını, bunlara kimlerin erişebileceğini ve silme işleminin nasıl yapılacağını sorun. Yanıtları gerçek dağıtım için kaydedin. İki mimari adından birini barındırma veya izin kararı olarak görmeyin.
Teklifi daha önce görmediği taleplerle kontrol edin
Test taleplerini, önerilen sistemi yapılandırmak veya eğitmek için kullanılan malzemenin dışında tutun. Her tedarikçiden bu talepleri aynı kabul ölçütleriyle çalıştırmasını isteyin. Süreç sahibinin çıktıları, bunları üretmek için kullanılan girdileri ve gereken düzeltmeleri incelemesini sağlayın. Bu işlem teklifi sizin görevinizde kontrol eder; gelecekteki her talepteki performansını kanıtlamaz.
- Bir başlangıç noktası tutun. Manuel sürecin ve daha basit prompt’un ürettiği çıktıları, girdileri ve inceleme notlarıyla birlikte kaydedin.
- Kaynak güncellemesini kontrol edin. Onaylı bir test belgesini değiştirin ve etkilenen soruyu tekrarlayın. Tedarikçiden hangi sürümün kullanıldığını ve güncellemenin sisteme nasıl ulaştığını göstermesini isteyin.
- Çıktı kurallarını kontrol edin. Bir talebi farklı ifadelerle yazın ve bazı bilgileri dışarıda bırakın. Notun bir ayrıntı uydurmadan gerekli yapıyı koruyup korumadığını inceleyin.
- Erişimi ve kapsamı test edin. Üzerinde anlaşılmış kapsamın dışındaki bir talebi ve kısıtlı bir belgeyi almaması gereken bir kullanıcıyı deneyin. Gerçekte nasıl reddedildiğini veya bir kişiye devredildiğini inceleyin.
- Ekibinizin sürdürmesi gereken işi kaydedin. Düzeltmeleri, inceleme süresini ve malzemelerin bakımını kimin yapması gerektiğini not edin. Çalışmayı genişletmeden önce bunları başlangıç noktasıyla karşılaştırın.
Bir kontrol başarısız olduğunda karşılanmayan gereksinimi kaydedin ve yeniden düzenlenmiş bir gösterim isteyin. Yalnızca adı daha yetenekliymiş gibi geldiği için daha ayrıntılı bir yaklaşıma ödeme yapmayın. Doğrulayabildiğiniz kapsamı kabul edin veya eksik koşullar çözülene kadar görevi insanlara bırakın.
Biz nerede devreye giriyoruz?
Görevi, izin verilen verileri ve kabul kontrollerini birlikte yazarak başlıyoruz. Ardından önerilen yaklaşımları bu şartnameyle karşılaştırıyor; kaynakların, örneklerin ve değerlendirmenin bakımını kimin yapacağını belgeliyoruz. Yararlı bir ilk adım, gerçek bir talep yazmak ve ihtiyacınız olan sonucun bir örneğini onaylamaktır.
