在DeepSeek为期五天的“开源周”中,其承接开源的五大中枢技艺(FlashMLA、DeepEP、DeepGEMM、DualPipe & EPLB、3FS文献系统),惊艳群众。
京东云发轫晓谕完成对这五项技艺的全栈适配,在模子推理后果、算力资源应用率及数据防守等限制完了冲破性优化,轮廓Flash MLA、DeepEP、FP8 GEMM、DualPipe四方面的调优,在DeepSeek推理场景下性能擢升50%。
全面适配五大技艺,DeepSeek推理场景性能擢升50%
算作DeepSeek开源首日的重磅技艺,Flash MLA通过动态袭击GPU的显存与算力资源,惩办了传统步调处理变长序列时的资源奢华问题。
京东vGPU AI算力平台通过复旧Flash MLA的FP8体式来擢升推感性能,使单Token的 KV Cache显存占用比拟Multi-head Attention裁减57倍,合作最新的投契推理技艺,以极低的显存需求,在高并发苦求场景下保证了推理的微辞量和蔓延进展。
此外,针对用于DeepSeek开源的通讯库DeepEP,京东云vGPU AI算力平台已全面复旧EP方法下的散播式推理,显贵提高推理微辞。通过整合DeepEP算作通讯后端,针对机内通讯使用NVLink传输数据,机间通讯使用NVSHMEM接口走RDMA收集,同期通过纯确切GPU SM数目应用闭幕,增大GPU算力资源应用率以及减少对算缱绻子的性能串。
更低资本更高后果,让大模子的确用起来
针对客户大模子的使用需求,京东云vGPU AI算力平台,为用户提供更高推感性能、更多国产芯片适配、更多高数据安全的大模子做事,让大模子的确用起来。
在推感性能方面,针对DeepSeek大模子技艺特质,京东云通过推理加快与内核启动级优化,擢升单台做事器推感性能50%。
在国产芯片适配方面,京东云已完成从底层算力到大模子和业务应用的全面国产化适配,包括十余家国产化AI算力,确保自主可控。
在数据安全方面,通过机要容器AI全场景密态揣度和先进的容器侵略技艺,确保模子数据的机要性与竣工性,为用户提供金融级安全驻防。
当今,在河南鹤壁、江苏宿迁、山东滨州、广西北海、山西大同,京东云照旧助力多地政府基于现存基础体式腹地化部署DeepSeek,既知足腹地政务业务,又让当地企业无须插足资源,即可通过政务云调用DeepSeek。