إنشاء تقييم رجعي للوكيل من محادثات ومسارات أدوات مسجلة

الهدف

حوّل سلوك الوكيل إلى فحوص جودة قابلة للتكرار تغطي الإجابات واختيار الأدوات.

الخطوات

1. اختر حالات للطلبات الشائعة والحدية والاستعادة واحذف الحقول الخاصة. [eval]
2. احفظ المحادثات المنقحة كـ *.test.json EvalSet مع أدوار المستخدم والإجابات ومسارات الأدوات المتوقعة. [eval]
3. شغّل AgentEvaluator.evaluate(agent_module="my_agents.agent", eval_dataset_file_path_or_dir="tests/eval/") من pytest. [eval]
4. راجع اختلافات المسار للحالات الفاشلة وميّز تغير الصياغة عن الأدوات الخاطئة أو التراجع الحقيقي. [eval]

طريقة التحقق

يعرض تقرير CI درجات الإجابة والأداة لكل حالة ويحدد المحادثة والانحراف عند الفشل.

معالجة الأعطال

إذا تذبذبت الدرجات، فثبّت الحالات وإعداد المقيم؛ ولا تخفف العتبات لإخفاء أخطاء مسار الأدوات.