近日开云kaiyun，由Linux基金会、云原生存较基金会（CNCF）主持的云原生顶级嘉会KubeCon+CloudNativeCon+Open Source Summit+China AI_dev 2024告成举办，海潮云海高档软件工程师王成龙受邀出席会议，发表《通过功能化转换和RDMA加速无做事器AI大模子推理》主题演讲，以下为议题重点实录。
1 绪论：本年是Kubernetes发展的十周年，在这十年里Kubernetes依然成为云原生的事实圭臬，字据云原生存较基金会（CNCF）窥伺敷陈，在2023年公共84%用户在出产中使用或策画使用Kubernetes，这愈加牢固了其在云原生的技能地位。
与此同期，以ChatGPT为代表的AIGC技能也在迅猛地发展，将东说念主们对AI期待推向一个新的岑岭。从CNCF发布的云原生AI白皮书中咱们看到，东说念主工智能依然造成上云趋势，越来越多的AI应用正在借助Kubernetes深广的容器编排技艺来提高开采和部署恶果，容器和 Serverless 技能将成为往常 AI 应用开采的主要平台。
2 KServe：简化模子接续，激动云原生AI应用落地
2.1 KServe架构贯通
KServe当作Kubernetes上的模子推理平台，成为简化和加速机器学习模子部署、接续的进攻器用。KServe领先是从 Kubeflow 表情中的 KFServing 演变而来的，从架构图中轻率看出，它的底层是基于Kubernetes，对加速推理的建设进行统一接续；中间是Serverless层，依托于 Knative，救助 GPU 自动缩放、按需扩缩至零等功能；表层是救助的主流的机器学习框架、像PyTorch、Tensorflow。
总之KServe处理的即是把磨练后的模子怎么快速上线提供做事的问题，简化AI模子的部署。
2.2 KServe——Serverless层
KServe 的 Serverless 层通过做事详细、树立接续和流量路由竣事了无做事器的 AI 模子推理。
Knative主要分为两部分：
1. 上半部分通过CRD自界说资源Configuration来接续Deployment的生命周期，每次修改Configuration王人会生成一个Revision，Revision纪录并对应着Deployment的一个版块，是以Knative基于这种机制来竣事灰度发布的功能；
2. 下半部分通过CRD Route来界说流量的路由轨则，将麇集申请路由到特定的 Revision，从而竣事流量切分功能。这使得不同版块的模子不错同期处理申请，进行平滑过渡和流量限定。
2.3 KServe——基于GPU的弹性伸缩
如何通过申请数来竣事推理做事的冷启动和GPU自曲折性伸缩？
Knative提供两种造访模式：代理模式和直连模式。AI容器缩容到0后，当有推理申请时，这个时候为代理模式，申请先被送到Activator组件进行缓存，同期触发autoscaler进行快速扩容。扩容完成后，缓存的申请会被再行转发，并切换为直连模式，随后的流量就会径直申请到对应的Pod。这种动态切换模式联想，既能在莫得申请时省俭资源，又能在有申请时快速反馈。
2.4 KServe——限定面
不错通过一个直不雅的例子来了解如何使用KServe快速部署AI推理做事：
第一步：创建InferenceService CR 资源，指定模子起初时和checkpoint存储旅途
第二步：征服网关地址
第三步：进行推理申请
从架构图和示例中轻率看出，KServe在Knative的基础上又进一步的详细和封装，通过使用InferenceService这个CRD，KServe竣事了对AI做事总共生命周期的接续。
2.5 KServe——数据面
每个 InferenceService 由多个组件构成：“瞻望器”、“阐扬器”和“出动器”：
瞻望器：系统的中枢组件，认真本体的模子推雄厚释器：提供模子阐扬功能，有助于调试和考据模子的行径，突出是在高风险或需要高透明度的应用场景中出动器：用于对输入数据进行预处理，或对输出数据进行后处理。不错践诺数据清洗、特征索求、步地出动等操作，以确保输入数据恰当模子条件，或将输出收场出动为用户盼望的步地
这些组件协同责任，确保数据平面轻率高效、准确地践诺推理任务。KServe另一个大的优点即是模子做事的调用条约愈加圭臬化和统一化，使得跨系统的集成愈加便捷，从而擢升了模子推理的兼容性和天真性
2.6 KServe——高档特质
KServe蓝本的InferenceService是一个模子一个做事的模式，在部署大王人模子的情况下，会靠近计较资源收场（每个 Pod 中注入了 Sidecar，每个 InferenceService 荒谬加多 0.5核 CPU 和 0.5G 内存支出）、最大 Pod 收场（Kubernetes建议每个节点最多 110 个 Pod，假定每个 InferenceService 平均有 4 个 Pod，50 节点集群最多不错起初 1000 个模子）、最大IP地址收场（4096 个 IP 地址的集群最多不错部署 1024 个模子）
因此KServe开采了ModelMesh技能，一个Pod不错加载多个模子，这些模子不错分享GPU，由Mesh层来转换转发推理申请，Puller认真模子拉取，提高资源应用率。
ML 推理系统越来越大、越来越复杂，它们经常由好多模子构成，才能作念出单一瞻望。举例，东说念主脸识别需要先在图像中定位东说念主脸区域，然后计较东说念主脸的特征以匹配数据库中的纪录。是以KServe推理图允许用户将多个机器学习模子和处理才略流通在沿途，造成一个图形化的推理责任流。这种纪律使得用户轻率在单一的推理申请中组合多个模子的输出和处理逻辑，简化了复杂机器学习应用的部署和接续。
3 海潮云海基于 KServe 的本质决策：冲破性能瓶颈，竣事大范畴推理高效起初
3.1 海潮云海家具简介
海潮云海云操作系统 InCloud OS 是海潮面向独有云领域，以可采纳、可演进为理念自研的一套通达、雄厚、高效、安全的云平台软件，提供云主机、容器、数据库、中间件、云安全等做事和智能运维、天真运营等技艺，助力政企数字化转型。
举座架构袭取可采纳、可演进的理念，横进取各组件天真选配，不彊绑定；纵进取各档次间分层解耦，通达交融。
3.2 AI 模子推理历程
AI 做事的出产历程涵盖了从数据准备、模子磨练与微调，到模子推理做事上线的全周期接续，造成一个自我增强的闭环。在推理阶段生成的收场以及使用过程中网罗的新数据，会回流至数据处理要津，抓续激动模子的优化与迭代
3.3 海潮云海AI模子推理做事上云
海潮云海推理模子的上云过程有如下才略, 为了将导出的推理数据，也即是checkpoint存储到海潮的散布式文献系统里, 以PVC的体式进行统一数据接续：
① 创建抓久卷声明 (PVC)
② 创建一个 Pod 来造访 PVC
③ 将模子存储在抓久卷上
④ 自界提及初时：基于KServe API 竣事自界说 REST ServingRuntime 模子
⑤ 部署新的推理做事
⑥ 践诺推理申请
通过一系列才略确保了模子不错到手地在云霄环境中起初，恬逸本体业务需求。
3.4 靠近的挑战
在模子推理做事上云和使用的过程中，海潮云海团队遭逢了多个技能挑战。
挑战一：模子镜像大，拉取时刻长，影响AI推理模子启动速率
海潮云海的处理决策：
引入 Fluid（开源的Kubernetes原生的散布式数据集编排和加速引擎）， 与 KServe 相集结，通过数据预热到散布式缓存加速模子加载历程，擢升冷启动速率
通过数据复用，多个任务轻率分享数据缓存，幸免重叠拉取合并份数据，减少麇集耗尽
挑战二：高并发场景下，推理存在蔓延，影响做事的反馈时刻
海潮云海的处理决策：
自稳当批处理：将多个推理申请组合成单个批处理，从而优化婉曲量和蔓延自稳当弹性伸缩：模子推理做事Serverless部署，基于申请数快速弹性伸缩，加速处理速率
挑战三：模子推理过程中传输的KV 缓存数据高达 GB 级别，通讯支出高
海潮云海的处理决策：
基于 SR-IOV 和容器多网卡技能，为容器提供 RDMA 和圭臬Kubernetes麇集的双重技艺通过 RDMA 高性能通讯技能，加速模子推理中的高速 KV 缓存移动，幸免传统麇集条约栈的高支出
挑战四：现存Kubernetes的迫临式限定平面无法实时搪塞大范畴的突发申请
为了处理上述问题，海潮云海提倡了函数化的限定平面联想。通过将限定平面解耦成可拓展的限定函数，字据申请负载动态地休养每个限定函数的实例数目，搪塞扩容申请的高并发和寥落性特征。弹性Serverless限定平面的联想如图所示，海潮云海联想了一个顶层限定平面用于协统一接续函数化限定平面，它会字据申请负载动态地区休养每个限定模块的实例数目，而函数化限定平面使用解耦出的各个限定函数去接续数据平面的各个函数实例。为了竣事快速转换，海潮云海进行了动态分区和探伤两大联想。为了幸免转换冲突，将节点拆分为多个分区，每个分区由单独的限定函数进行接续和转换，竣事关于转换质料和转换速率的量度。在分区资源不实时，限定函数会探伤其他分区的可用资源并进行任务移动，限定函数级的探伤比拟迫临架构和节点级的探伤支出权臣缩小，而且荒谬联想了探伤缓存进行分区的事前过滤，不错进一步缩小探伤支出。归来：海潮云海团队积极参与CNCF等开源社区行为，并抓续为社区作念出孝敬。往常，海潮云海将抓续潜入参与社区，聚焦资源转换、云原生AI、Serverless等标的，助力构建更为通达、智能的云原生基础设施，激动公共开源技能的落地与立异。
注：转载自海潮云海开云kaiyun