按该标签聚合的大模型资讯列表（自动分类与标签提取）。共 4 篇文章。
本文介绍了 Strands Evals 中的 ActorSimulator，如何通过 LLM 自动生成连贯、目标导向的用户档案，实现多轮对话的真实用户模拟评估。提供了工作原理、快速代码示例、与 OpenTelemetry 的集成以及自定义角色的最佳实践，帮助开发者在规模化测试中捕捉代理的动态交互表现。
Amazon Bedrock AgentCore是全托管的AI代理评估服务，通过系统化方法覆盖开发至生产全周期。其核心功能包括多场景评估方法、自定义逻辑支持及实时监控能力，帮助团队实现代理性能的可量化管理，解决LLM非确定性带来的测试挑战。
AsgardBench是基于AI2-THOR的开源基准测试工具，用于评估AI代理在视觉交互规划任务中的表现。通过模拟真实场景，测试AI系统如何利用视觉信息动态调整计划，揭示视觉感知对规划成功率的关键作用及现有模型在复杂环境中的局限性，为提升AI视觉交互能力提供研究方向。
本文系统解析深度代理评估体系构建方法，涵盖数据采集、指标分类（正确性/效率/延迟）及技术实现（Pytest/GitHub Actions/LangSmith）。通过内部测试、外部基准和自定义测试相结合，确保评估体系能精准反映实际场景需求，为模型优化提供可靠依据，助力提升代理性能与用户体验。