文档索引
获取完整文档索引： https://docs.crewai.com.cn/llms.txt
在深入了解之前，请使用此文件来浏览所有可用页面。
CrewAI 的可观测性
可观测性对于了解 CrewAI 智能体的运行情况、识别瓶颈以及确保其在生产环境中的可靠运行至关重要。本节涵盖了各种为您的智能体工作流提供监控、评估和优化功能的工具与平台。为什么可观测性很重要
- 性能监控：追踪智能体执行时间、Token 使用量和资源消耗
- 质量保证：评估不同场景下输出的质量和一致性
- 调试：识别并解决智能体行为和任务执行中的问题
- 成本管理：监控大模型 (LLM) API 使用情况及相关成本
- 持续改进：收集洞察信息，以随着时间的推移优化智能体性能
可用的可观测性工具
监控与追踪平台
LangDB
为 CrewAI 工作流提供端到端追踪，并自动捕获智能体交互。
OpenLIT
原生支持 OpenTelemetry 的监控，包含成本追踪和性能分析。
MLflow
机器学习生命周期管理，具备追踪和评估功能。
Langfuse
LLM 工程平台，提供详细的追踪和分析功能。
Langtrace
用于 LLM 和智能体框架的开源可观测性工具。
Arize Phoenix
用于监控和故障排查的 AI 可观测性平台。
Portkey
集成了全面监控和可靠性功能的 AI 网关。
Opik
通过全面的追踪功能来调试、评估和监控 LLM 应用。
Weave
用于追踪和评估 AI 应用的 Weights & Biases 平台。
评估与质量保证
Patronus AI
针对 LLM 输出和智能体行为的综合评估平台。
关键可观测性指标
性能指标
- 执行时间：智能体完成任务所需的时间
- Token 使用量：LLM 调用消耗的输入/输出 Token 数
- API 延迟：外部服务的响应时间
- 成功率：成功完成任务的百分比
质量指标
- 输出准确性：智能体响应的正确程度
- 一致性：在相似输入下的表现可靠性
- 相关性：输出与预期结果的匹配程度
- 安全性：是否符合内容政策和指南
成本指标
- API 成本：使用 LLM 提供商产生的费用
- 资源利用率：计算资源和内存消耗
- 单任务成本：智能体运营的经济效率
- 预算追踪：针对支出限额进行监控
开始入门
- 选择您的工具：选择符合您需求的可观测性平台
- 代码插桩：为您的 CrewAI 应用添加监控功能
- 设置仪表盘：配置关键指标的可视化显示
- 定义警报：为重要事件创建通知
- 建立基准：测量初始性能以便进行对比
- 迭代与改进：利用洞察结果优化您的智能体
最佳实践
开发阶段
- 使用详细的追踪来理解智能体行为
- 在开发初期就实施评估指标
- 在测试期间监控资源使用情况
- 设置自动质量检查
生产阶段
- 实施全面的监控和警报系统
- 追踪性能随时间的趋势变化
- 监控异常情况和性能退化
- 保持成本可见性与控制
持续改进
- 定期的性能审查和优化
- 对不同智能体配置进行 A/B 测试
- 质量改进的反馈回路
- 经验教训的文档记录