openai load balancer:open ai api 负载均衡-人生就是博尊龙凯时

它是一个python库,用于在多个端点之间分配api请求(支持openai和azure)。它实现了轮询平衡机制,并包括每个api调用的指数。

它支持openai的chatcompletion、embedding和completion功能。特点包括:轮询负载平衡、指数回退重试、故障检测、灵活的配置、易于集成、回退支持。

它很简单就可以集成到使用openai api的项目中。通过配置端点、失败阈值、冷却期间和更多设置进行自定义。它还提供了openai模型到azure引擎的映射,以在openai和azure之间切换。
7gy0u6x6.webp

原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/yun268060.html

(0)
打赏 微信扫一扫不于多少! 微信扫一扫不于多少! 支付宝扫一扫礼轻情意重 支付宝扫一扫礼轻情意重
上一篇 2023年11月27日 下午9:00
下一篇 2023年11月27日 下午9:03

相关推荐

网站地图