أعد إنتاج معيار وكيل بحث واحسب الدقة

الهدف

الهدف: شغّل وكيل بحث على أسئلة ثابتة وقس النتائج بإجابات مرجعية ومقيّم محدد.

الخطوات

1. ثبّت الأسئلة والنموذج والأدوات وeffort وميزانية الرموز؛ وسجل كل إعداد. [search-eval]
2. أنشئ الإجابات عبر sample(question, max_turns=100) واحفظ مسارات البحث والحالة والنص الأصلي. [search-eval]
3. استخدم grade_response لحساب precision/recall/F1؛ ولأسئلة BrowseComp استخدم مقيّم A/B/C وأبلغ الامتناع منفصلاً. [search-eval]

طريقة التحقق

يمكن إعادة التشغيل بالإعداد المثبت؛ وأبلغ عدد العينات وF1/الدقة والامتناع والميزانية والمدة.

معالجة الأعطال

إذا تفاوتت الدرجات فتحقق من التطبيع وتوزيع الصعوبة؛ ووسم النتائج الصغيرة ولا تقارن نماذج بإعدادات effort مختلفة.