什么是 Requesty LLM Gateway?
Requesty 是一个 LLM(大型语言模型)网关,它作为您所有 LLM 需求的智能中间件发挥作用。只需更改一个值——您的基础 URL,即可与 200 多家 LLM 提供商实现集成。使用单一 API 密钥访问所有提供商,并从此告别充值和速率限制。一旦切换基础 URL,您将获得以下功能: - **追踪**:无需更改代码,即可查看所有 LLM 推断调用 - **遥测**:无需更改代码,即可查看延迟、请求计数、缓存率等信息 - **计费**:精确了解您在每个提供商及每个使用场景下的花费 - **数据安全**:在数据触及 LLM 提供商前对您的个人身份信息(PII)和公司机密进行遮蔽,以保障信息安全 - **隐私保护**:限制仅使用特定地区内的提供商 - **智能路由**:基于 Requesty 的智能路由分类模型路由请求,节省成本并提升性能 赶快成为首批分享体验、为社区贡献力量的用户吧!现在就来点评!
主要功能
- 使用单一 API 密钥访问 200 多个模型,且没有任何速率限制
付费策略
在提供商成本基础上增加5%