Выбор между RAG и дообучением зависит от того, что должен делать ваш ассистент. RAG, то есть генерация с дополненным поиском, предоставляет релевантный исходный материал, когда модель отвечает; fine-tuning означает дополнительное обучение модели на примерах. Начните с проверки четкой инструкции к задаче, или промпта. Затем используйте результат, чтобы решить, следует ли до заказа дополнительных работ изучить нехватку исходного материала, непоследовательность результатов или и то и другое.
Один поставщик предлагает обучить ИИ-систему для вашего бизнеса, другой предлагает базу знаний с возможностью поиска. Эти описания не определяют ни задачу, которую должна выполнять готовая система, ни то, какой результат следует считать неудачным. Мы начинаем с письменного описания этой задачи. Оно дает конкретную основу для сравнения поступивших предложений.
Что меняет выбор между fine tuning и RAG?
RAG меняет материал, предоставляемый для ответа; fine-tuning меняет модель посредством обучения. Руководство OpenAI по точности разделяет нехватку контекста и непоследовательное поведение. Для покупателя это полезное исходное различие при условии, что вы учитываете возможное сочетание потребностей. Ассистенту, работающему с документами, также может требоваться единообразный способ составления ответа.
Согласно объяснению баз знаний Amazon Bedrock, поиск выбирает релевантный материал и включает его во входные данные для генерации. Если предлагаемый ассистент должен отвечать на вопросы о правилах возврата, попросите показать, какой утвержденный фрагмент подтверждает ответ. Ссылку на источник все равно нужно сверить с содержанием ответа.
При fine-tuning примеры используются для обучения модели тому, как отвечать. Руководство OpenAI описывает этот подход как один из вариантов улучшения поведения при выполнении задачи. Представьте желаемую запись для передачи обращения с согласованной структурой: поставщику нужны примеры приемлемых записей и исходные данные для них. Это другой результат работ, нежели папка с нормативными документами.
Ни одно из названий не говорит о том, соответствует ли демонстрация вашим требованиям. Попросите поставщика указать, что меняет предлагаемый компонент, показать используемые материалы и объяснить, как вы будете проверять результат. Связывайте обсуждение с фактической работой, которую покупаете.
Начните с задачи и простой демонстрации
Опишите входные данные и приемлемый результат до выбора подхода. Руководство Anthropic по промптам начинается с четких критериев успеха, проверки на примерах и чернового промпта. Мы используем этот порядок при подготовке задания для закупки: записываем инструкцию, предоставляем утвержденный материал и проверяем возможности простейшей предлагаемой конфигурации. Это предлагаемый нами метод оценки, а не опубликованный сравнительный тест.
В иллюстративном примере с ассистентом по возвратам входными данными могут быть вопрос клиента и применимые правила. Приемлемый черновой ответ сообщает только то, что подтверждено правилами, а исключения передает человеку. В иллюстративном примере передачи обращения в отдел продаж входными данными могут быть запрос и утвержденный формат записи. Результат должен сохранять смысл запроса и оставлять отсутствующие сведения незаполненными.
Попросите владельца процесса описать, что делает каждый результат приемлемым. Добавьте запрос, который ассистент должен отклонить или передать человеку. Используйте материалы, которыми вам разрешено делиться, удалив ненужные персональные сведения. Демонстрация, зависящая от информации, которую вы не можете предоставить, пока не является работоспособным предложением.
Если у вас уже есть ассистент, который дает ненадежные ответы, прежде чем решать, что заказывать, воспользуйтесь отдельным руководством по проверке причин неверных ответов ИИ.
Выберите следующую проверку по оставшемуся пробелу
Выбирайте следующую проверку исходя из наблюдаемой ошибки. AWS рекомендует начинать с поиска для вопросов, которые ссылаются на специальные документы, и отмечает сложность поддержания соответствия обучения часто меняющимся материалам. Компания также допускает совместное использование поиска и fine-tuning. В таблице ниже предложена следующая проверка для пробела, обнаруженного при демонстрации.
| Чего еще не хватает демонстрации | Что проверить дальше |
|---|---|
| Информация из утвержденных, меняющихся документов | Поиск, предоставляющий релевантный актуальный материал |
| Повторяемый результат остается непоследовательным после более четких инструкций и примеров | Обучение на принятых примерах, если выбранная модель его поддерживает |
| Исходный материал и более последовательный ответ | Комбинированная конфигурация с проверкой каждого требования |
Если более простая демонстрация уже соответствует требованиям, оставьте этот вариант для сравнения. Спросите, какую дополнительную проблему решит предлагаемое обучение или поисковая система. Выбор также можно оставить открытым, пока вы готовите недостающие материалы.
AWS отмечает, что fine-tuning доступен не для каждой модели. Попросите поставщика назвать провайдера и модель, объяснить, где и как будет работать система, и подтвердить текущую поддержку предлагаемого обучения и развертывания.
Кто обслуживает систему после запуска?
Сравните обязанности, которые каждое предложение оставляет вашей команде. Для поиска назначьте человека, утверждающего исходные документы и проверяющего, что обновления доходят до ассистента. Для обучения назначьте того, кто готовит принятые примеры и проверяет последующие изменения. Зафиксируйте, кто предоставляет доступ, кто устраняет сбои и как сотрудники возвращают задачу в ручной процесс, когда система непригодна.
Мы включаем эти вопросы в планирование внедрения ИИ до выбора компонентов. Полезное задание фиксирует:
- Задачу, разрешенные входные данные и ожидаемый результат.
- Авторитетные источники, их владельца и процесс обновления.
- Примеры приемлемой работы и недопустимых пропусков или дополнений.
- Условия отклонения запроса или его передачи человеку.
- Приемочные проверки, проверяющего и материалы, которые необходимо передать.
Для работы с действующим заказом или карточкой контакта спросите, как предлагаемая система получит разрешенную актуальную запись. Включите это требование в раздел задания об интеграции CRM. Предложение обучить систему на экспортированных записях все равно должно объяснять, как будут обрабатываться последующие изменения.
Спросите, где будут храниться документы, доступные для поиска копии, примеры и результаты, кто сможет получать к ним доступ и как выполняется удаление. Зафиксируйте ответы для фактического развертывания. Не считайте название любой из архитектур решением о хостинге или разрешениях.
Проверьте предложение на незнакомых ему запросах
Не включайте проверочные запросы в материалы, использованные для настройки или обучения предлагаемой системы. Попросите каждого поставщика выполнить эти запросы по одинаковым приемочным критериям. Пусть владелец процесса проверит результаты, использованные для их получения входные данные и необходимые исправления. Это проверяет предложение на вашей задаче, но не доказывает эффективность для каждого будущего запроса.
- Сохраните исходный уровень. Сохраните результаты ручного процесса и более простого промпта вместе с их входными данными и замечаниями проверки.
- Проверьте обновление источника. Измените утвержденный тестовый документ и повторите затронутый вопрос. Попросите поставщика показать, какая версия использовалась и как обновление дошло до системы.
- Проверьте правила результата. Переформулируйте запрос и опустите часть информации. Проверьте, сохраняет ли запись требуемую структуру, не выдумывая сведения.
- Проверьте доступ и границы. Попробуйте запрос вне согласованных границ и пользователя, который не должен получить закрытый документ. Проверьте фактический отказ или передачу человеку.
- Зафиксируйте работу, которую продолжит выполнять ваша команда. Отметьте исправления, время проверки и ответственных за обслуживание материалов. Сравните это с исходным уровнем до расширения работ.
Если проверка не пройдена, зафиксируйте невыполненное требование и запросите пересмотренную демонстрацию. Не платите за более сложный подход лишь потому, что его название звучит более убедительно. Примите объем работ, который можете проверить, либо оставьте задачу людям до устранения недостающих условий.
Чем мы можем помочь
Мы начинаем с совместного описания задачи, разрешенных данных и приемочных проверок. Затем сравниваем предлагаемые подходы с этим заданием и документируем, кто будет обслуживать источники, примеры и оценивание. Полезный первый шаг: записать реальный запрос и утвердить пример нужного вам результата.
