跳转到主要内容

文档索引

获取完整文档索引： https://docs.crewai.com.cn/llms.txt

在深入了解之前，请使用此文件来浏览所有可用页面。

​
Langtrace 概述

Langtrace 是一个开源的外部工具，旨在帮助您为大语言模型 (LLM)、LLM 框架和向量数据库设置可观测性和评估方案。虽然它并非直接内置于 CrewAI 中，但您可以将 Langtrace 与 CrewAI 配合使用，从而深入了解 CrewAI Agent 的成本、延迟和性能。通过这种集成，您可以记录超参数、监控性能回归，并建立 Agent 持续改进的流程。 精选 Agent 会话运行概览 Agent 追踪概览 LLM 追踪详情概览

​
设置说明

1

注册 Langtrace

访问 https://langtrace.ai/signup 进行注册。
2

创建项目

将项目类型设置为 CrewAI 并生成 API 密钥。
3

在您的 CrewAI 项目中安装 Langtrace

使用以下命令
pip install langtrace-python-sdk
4

导入 Langtrace

在脚本的最开头、在任何 CrewAI 导入之前导入并初始化 Langtrace。
from langtrace_python_sdk import langtrace
langtrace.init(api_key='<LANGTRACE_API_KEY>')

# Now import CrewAI modules
from crewai import Agent, Task, Crew

​
功能及其在 CrewAI 中的应用

  1. LLM Token 和成本跟踪
    • 监控每次 CrewAI Agent 交互的 Token 使用量及相关成本。
  2. 执行步骤的追踪图
    • 可视化您的 CrewAI 任务执行流程，包括延迟和日志。
    • 有助于识别 Agent 工作流程中的性能瓶颈。
  3. 带手动标注的数据集策划
    • 从您的 CrewAI 任务输出中创建数据集，以便将来进行训练或评估。
  4. 提示词版本控制与管理
    • 跟踪 CrewAI Agent 中使用的不同版本的提示词。
    • 有助于 A/B 测试和优化 Agent 性能。
  5. 带有模型对比的提示词调试区
    • 在部署之前，为您的 CrewAI Agent 测试并对比不同的提示词和模型。
  6. 测试与评估
    • 为您的 CrewAI Agent 和任务设置自动化测试。