一、漏洞詳情
vLLM是一個(gè)快速且易于使用的LLM推理和服務(wù)庫(kù)，Mooncake是開源的大模型推理架構(gòu)，采用以KVCache為中心的分布式架構(gòu)，通過(guò)分離預(yù)填充和解碼集群，充分利用GPU集群中未充分利用的CPU、DRAM和SSD資源，實(shí)現(xiàn)高效的KVCache緩存。
當(dāng)vLLM配置為使用Mooncake時(shí)，其使用基于pickle的序列化，并通過(guò)不安全的ZeroMQ套接字進(jìn)行傳輸，受影響的套接字被設(shè)置為監(jiān)聽所有網(wǎng)絡(luò)接口，攻擊者可能利用該漏洞訪問(wèn)ZeroMQ套接字并實(shí)施攻擊。
建議受影響用戶做好資產(chǎn)自查以及預(yù)防工作，以免遭受黑客攻擊。
二、影響范圍
0.6.5 <= vLLM < 0.8.5
三、修復(fù)建議
官方已發(fā)布修復(fù)方案，受影響的用戶建議及時(shí)更新至安全版本0.8.5。