文档索引
获取完整文档索引: https://docs.crewai.com.cn/llms.txt
在深入了解之前,请使用此文件来浏览所有可用页面。
将 Datadog 集成到 CrewAI
本指南将演示如何使用 Datadog 自动插桩 (auto-instrumentation) 将 Datadog LLM 可观测性 集成到 CrewAI 中。通过本指南,您将能够提交 LLM 可观测性追踪数据到 Datadog,并在 Datadog LLM 可观测性的 智能体执行视图 (Agentic Execution View) 中查看您的 CrewAI 智能体运行情况。
什么是 Datadog LLM 可观测性?
Datadog LLM 可观测性 旨在帮助 AI 工程师、数据科学家和应用程序开发人员快速开发、评估和监控 LLM 应用程序。通过结构化的实验、跨 AI 智能体的端到端追踪以及评估功能,您可以自信地提升输出质量、性能、成本效益并降低整体风险。
开始入门
安装依赖项
pip install ddtrace crewai crewai-tools
设置环境变量
如果您还没有 Datadog API 密钥,可以创建账户并获取您的 API 密钥。 您还需要在以下环境变量中指定一个 ML 应用程序名称。ML 应用程序是一组关联到特定基于 LLM 的应用程序的 LLM 可观测性追踪数据的集合。有关 ML 应用程序名称限制的更多信息,请参见ML 应用程序命名指南。export DD_API_KEY=<YOUR_DD_API_KEY>
export DD_SITE=<YOUR_DD_SITE>
export DD_LLMOBS_ENABLED=true
export DD_LLMOBS_ML_APP=<YOUR_ML_APP_NAME>
export DD_LLMOBS_AGENTLESS_ENABLED=true
export DD_APM_TRACING_ENABLED=false
此外,请配置任何所需的 LLM 提供商 API 密钥
export OPENAI_API_KEY=<YOUR_OPENAI_API_KEY>
export ANTHROPIC_API_KEY=<YOUR_ANTHROPIC_API_KEY>
export GEMINI_API_KEY=<YOUR_GEMINI_API_KEY>
...
创建 CrewAI 智能体应用程序
# crewai_agent.py
from crewai import Agent, Task, Crew
from crewai_tools import (
WebsiteSearchTool
)
web_rag_tool = WebsiteSearchTool()
writer = Agent(
role="Writer",
goal="You make math engaging and understandable for young children through poetry",
backstory="You're an expert in writing haikus but you know nothing of math.",
tools=[web_rag_tool],
)
task = Task(
description=("What is {multiplication}?"),
expected_output=("Compose a haiku that includes the answer."),
agent=writer
)
crew = Crew(
agents=[writer],
tasks=[task],
share_crew=False
)
output = crew.kickoff(dict(multiplication="2 * 2"))
使用 Datadog 自动插桩运行应用程序
设置好环境变量后,您现在可以使用 Datadog 自动插桩来运行应用程序。
ddtrace-run python crewai_agent.py
在 Datadog 中查看追踪数据
应用程序运行后,您可以在 Datadog LLM 可观测性追踪视图中查看追踪数据,从左上角的下拉菜单中选择您设置的 ML 应用程序名称。 点击某个追踪即可查看其详细信息,包括总 Token 使用量、LLM 调用次数、所用模型以及预估成本。点击特定的 Span 可以进一步细化这些细节,并查看相关的输入、输出和元数据。
此外,您还可以查看追踪的执行图视图,它展示了追踪的控制流和数据流。随着智能体规模的扩大,该视图将展示 LLM 调用、工具调用和智能体交互之间的移交关系和关联。
参考资料