一、网站简介
LiteLLM 是一个开源的 AI 网关（AI Gateway），为开发者提供统一的 OpenAI 格式接口来调用 100+ LLM 供应商的模型——包括 OpenAI、Anthropic、Gemini、Bedrock、Azure、Vertex AI、HuggingFace、vLLM、NVIDIA NIM 等。它解决了多模型接入中“代码碎片化”和“供应商锁定”两大核心痛点，让开发者只需维护一套 API 调用逻辑即可路由到任意模型，同时获得负载均衡、故障转移、成本追踪和速率限制等生产级能力。
二、公司背景
LiteLLM 由开源社区驱动，在 GitHub 上获得超过 40,400 颗星标，是开源生态中 LLM 网关的事实标准。项目被 Stripe、Netflix、Google ADK、OpenAI Agents SDK 等知名企业采用，P95 延迟仅 8ms（1k RPS 压测下），性能和稳定性经受了大规模生产环境的考验。提供社区版（MIT 协议）和企业版两种授权方式，满足不同规模团队的需求。
三、核心功能
- 100+ 供应商统一调用：通过 OpenAI 兼容格式统一接入 100+ LLM 供应商，包括商业 API（OpenAI、Anthropic、Google）、云平台（Bedrock、Azure、Vertex AI）和本地部署（vLLM、Ollama）。
- 智能路由与故障转移：内置 Router 支持重试、Fallback 和加权负载均衡，当主模型不可用时自动切换到备用模型，保障服务连续性。
- 细粒度成本追踪：支持按项目、用户、团队等维度追踪 Token 消耗，结合虚拟 Key 和预算限额实现精细化的成本管控。
- 多租户与权限管理：通过虚拟 Key 为不同团队分配独立的模型访问权限和预算上限，适合企业内部多团队共用一个网关的场景。
- MCP 与 Agent 集成：支持 Model Context Protocol 工具接入和 A2A Agent 调用，兼容 LangGraph、Vertex AI 等 Agent 框架。
四、网站特点
- 开源生态事实标准：GitHub 40,400+ 星标，被 Netflix、Stripe 等顶级企业采用，社区活跃，文档完善。
- 极低延迟：P95 延迟仅 8ms，在生产级 RPS 下性能稳定，不会成为系统的性能瓶颈。
- 自托管数据主权：支持 Docker Compose 一键部署，所有数据留在自有基础设施中，适合对数据合规有严格要求的企业。
五、适用人群
- 后端与DevOps工程师：需要构建统一 LLM 接入层的技术团队，LiteLLM 提供了最灵活的网关方案。
- AI 平台团队：企业内部为多个业务团队提供 AI 能力的平台团队，多租户和预算管理功能是刚需。
- 开源项目维护者：需要免费、可控的 LLM 网关方案来支撑开源 AI 应用的模型调用需求。
六、应用场景
- 企业内部 AI 中台：企业部署 LiteLLM 作为统一的 AI 网关，为不同业务部门分配虚拟 Key 和预算，实现模型资源的统一管理和成本归因。
- 多模型 A/B 测试：利用 LiteLLM 的负载均衡功能，将流量按比例分配给 GPT-4、Claude 和 DeepSeek，通过成本追踪模块对比各模型的效果与性价比。
- 高可用 AI 服务：配置主模型为 GPT-4，备模型为 Claude，当 OpenAI 服务异常时自动切换，确保用户请求零中断。
七、常见问题（FAQ）
Q：国内能否直接访问和使用 LiteLLM？
A：LiteLLM 本身是开源软件，可通过 GitHub 下载和 Docker 部署，国内网络环境下可以正常获取代码和部署。但调用海外模型 API（如 OpenAI、Anthropic）时，由于服务器位于海外，国内网络环境下可能无法直接连接，需在特定网络环境下使用。国内模型（如通义千问、DeepSeek 等）的调用则无网络障碍。
Q：LiteLLM 是免费的吗？
A：社区版基于 MIT 协议完全免费开源，包含核心网关功能。企业版提供 JWT 认证、SSO、审计日志等高级功能，需付费获取。
Q：LiteLLM 的部署复杂度如何？
A：支持 Docker Compose 一键启动，部署门槛较低。但生产级部署需要一定的 DevOps 能力，包括数据库配置（支持 MySQL/PostgreSQL）、负载均衡和高可用设置。
Q：LiteLLM 支持哪些模型供应商？
A：支持 100+ 供应商，包括 OpenAI、Anthropic、Google Gemini、AWS Bedrock、Azure OpenAI、Vertex AI、HuggingFace、vLLM、Ollama、NVIDIA NIM、Cohere 等。
八、类似网站
- One API（开源）：OpenAI 标准格式统一接入，支持国内外全系模型，适合自建分发系统，GitHub 31,000+ 星标。
- Portkey：企业级生产 AI 网关，月处理超 100 亿次请求，99.9999% 可用性，提供 PII 数据脱敏等安全功能。
- OpenRouter：全球最大商业 LLM API 聚合平台，400+ 模型、按量付费、零月费，适合不想自建网关的个人开发者。
