قارن تصميمات الأدوات على مجموعة مهام

الهدف

الهدف: شغّل استدعاءات الأدوات على مجموعة مهام ثابتة وقس النجاح والمدة وملاحظات النموذج.

الخطوات

1. جهّز مهاماً قابلة للتحقق ومخططات أدوات مرشحة؛ وثبّت النموذج والتعليمات وحدود التشغيل. [tool-eval]
2. شغّل كل مهمة عبر agent_loop(prompt, tools=...) وسجل تسلسل الأدوات والمدخلات والمدة والإجابة. [tool-eval]
3. قارن الإجابات بالمتوقع واجمع تحسينات أسماء الأدوات ومعاملاتها ووصفها؛ وكرر الحالات لتقدير التباين. [tool-eval]

طريقة التحقق

يعرض التقرير النجاح والفشل واستخدام الأدوات والمدة لكل حالة؛ وقارن تعديلات المخطط على الخط الأساس نفسه.

معالجة الأعطال

اعتبر الناتج غير القابل للتحليل فشلاً وحسّن العقد؛ ولا تحكم على جودة الأدوات من تقييم النموذج لنفسه فقط.