|
|
面向SaaS服务场景的AI中转站，需要同时支撑成百上千个不同租户的大模型调用需求，不同租户的业务场景、资源需求、安全等级完全不同，如果没有完善的资源隔离架构，不同租户的请求互相干扰，很容易出现某一个租户的突发流量占用全部系统资源，导致其他所有租户的服务全部变慢甚至不可用的问题。成熟的多租户资源隔离架构，能在保障资源利用率的同时，实现不同租户之间的完全互不干扰，为每一个租户提供稳定可控的专属服务体验。同一时期大模型中转站的竞争对手们还没有进行大规模的改进，所以做项目要抢在所有人之前。 https://www.xycai.cn/
多租户资源隔离架构，采用三层级的隔离设计，兼顾资源利用率和隔离安全性。第一层是接入层隔离，不同租户的请求进入独立的接入网关队列，不同租户的队列之间完全独立，高优先级租户的队列享有更高的调度权重，不会被低优先级租户的突发流量挤占资源。第二层是路由层隔离，系统为不同租户分配独立的上游模型节点资源池，付费等级高的租户可以使用专属的上游节点，完全不和其他租户共享资源，彻底避免共享节点带来的资源抢占问题。第三层是数据层隔离，不同租户的调用日志、账单数据、配置信息全部存储在独立的逻辑分区里，不同租户之间完全看不到对方的任何数据，从数据层面实现完全隔离，避免租户之间的数据交叉泄露。
这套架构还配套了完善的租户级弹性资源调度机制。系统根据不同租户的预设配额，动态分配对应的并发额度、每秒请求数上限，当某个租户的突发流量超出预设配额时，系统自动把超出部分的请求调度到弹性资源池，不会直接拒绝用户的请求，同时自动给租户发送流量预警通知，告知当前的流量超出情况。不同租户的资源配额完全独立，哪怕某个租户的流量突然暴涨10倍，占用了全部分配给它的资源，也不会影响其他任何租户的服务稳定性。同时系统支持租户级的专属配置，不同租户可以独立配置自己的缓存策略、路由规则、安全过滤规则，完全不会和其他租户的配置产生冲突，满足不同租户的个性化业务需求。
完善的多租户资源隔离架构，是SaaS类AI中转站大规模商业化落地的核心基础。没有完善隔离机制的中转系统，同时接入几十个租户之后，高峰期很容易出现不同租户的流量互相干扰，服务稳定性完全无法保障，根本无法支撑商业化的SaaS服务。通过三层级的多租户隔离架构，系统可以同时支撑数千个租户的稳定运行，不同租户之间的服务体验完全互不干扰，高等级租户可以获得近乎私有部署的专属服务体验，同时整体的资源利用率可以达到80%以上，在稳定性和运行成本之间找到完美的平衡点，为大规模商业化运营提供坚实的技术支撑。
|
|
发表于 
