文档索引
获取完整文档索引： https://docs.crewai.com.cn/llms.txt
在深入了解之前，请使用此文件来浏览所有可用页面。
TrueFoundry 提供了一个企业级的 AI 网关，它可以与 CrewAI 等代理框架集成，并为您的 AI 应用提供治理和可观测性。TrueFoundry AI 网关可作为 LLM 访问的统一接口，提供：
- 统一 API 访问：通过一个 API 连接 250 多个 LLM（如 OpenAI、Claude、Gemini、Groq、Mistral）
- 低延迟：通过智能路由和负载均衡，实现低于 3 毫秒的内部延迟
- 企业级安全：符合 SOC 2、HIPAA 和 GDPR 标准，具备 RBAC（基于角色的访问控制）和审计日志功能
- 配额与成本管理：基于 Token 的配额、速率限制和全面的使用情况跟踪
- 可观测性：完整的请求/响应日志记录、指标和追踪，并支持可自定义的数据保留策略
TrueFoundry 如何与 CrewAI 集成
安装与设置
配置 CrewAI 与 TrueFoundry 集成
from crewai import LLM
# Create an LLM instance with TrueFoundry AI Gateway
truefoundry_llm = LLM(
model="openai-main/gpt-4o", # Similarly, you can call any model from any provider
base_url="your_truefoundry_gateway_base_url",
api_key="your_truefoundry_api_key"
)
# Use in your CrewAI agents
from crewai import Agent
@agent
def researcher(self) -> Agent:
return Agent(
config=self.agents_config['researcher'],
llm=truefoundry_llm,
verbose=True
)
完成 CrewAI 示例
from crewai import Agent, Task, Crew, LLM
# Configure LLM with TrueFoundry
llm = LLM(
model="openai-main/gpt-4o",
base_url="your_truefoundry_gateway_base_url",
api_key="your_truefoundry_api_key"
)
# Create agents
researcher = Agent(
role='Research Analyst',
goal='Conduct detailed market research',
backstory='Expert market analyst with attention to detail',
llm=llm,
verbose=True
)
writer = Agent(
role='Content Writer',
goal='Create comprehensive reports',
backstory='Experienced technical writer',
llm=llm,
verbose=True
)
# Create tasks
research_task = Task(
description='Research AI market trends for 2024',
agent=researcher,
expected_output='Comprehensive research summary'
)
writing_task = Task(
description='Create a market research report',
agent=writer,
expected_output='Well-structured report with insights',
context=[research_task]
)
# Create and execute crew
crew = Crew(
agents=[researcher, writer],
tasks=[research_task, writing_task],
verbose=True
)
result = crew.kickoff()
可观测性与治理
通过 TrueFoundry 的指标选项卡监控您的 CrewAI 代理： 
利用 TrueFoundry 的 AI 网关，您可以监控和分析：
- 性能指标：跟踪关键延迟指标，如请求延迟、首字响应时间 (TTFS) 和字间延迟 (ITL)，并支持 P99、P90 和 P50 百分位分析
- 成本与 Token 使用量：通过输入/输出 Token 的详细明细以及每个模型的相关费用，深入了解应用的运营成本
- 使用模式：通过关于用户活动、模型分布和团队使用情况的详细分析，了解您的应用是如何被使用的
- 速率限制与负载均衡：您可以为模型设置速率限制、负载均衡和故障转移机制
追踪 (Tracing)
欲了解更多关于追踪的信息，请参阅 追踪入门。如需进行追踪，您可以添加 Traceloop SDK。
pip install traceloop-sdk
from traceloop.sdk import Traceloop
# Initialize enhanced tracing
Traceloop.init(
api_endpoint="https://your-truefoundry-endpoint/api/tracing",
headers={
"Authorization": f"Bearer {your_truefoundry_pat_token}",
"TFY-Tracing-Project": "your_project_name",
},
)
