以云計(jì)算為核心技術(shù)的云數(shù)據(jù)中心正成為一種具備高技術(shù)、高算力、高能效、高安全等特征的新型數(shù)據(jù)中心，可為用戶提供全方位、多元化、便捷的軟硬件服務(wù)。隨著AI、5G和物聯(lián)網(wǎng)等新興技術(shù)的興起，云數(shù)據(jù)中心業(yè)務(wù)逐漸多樣化，其基礎(chǔ)設(shè)施建設(shè)由以算力為中心向以數(shù)據(jù)為中心轉(zhuǎn)變，同時(shí)對(duì)數(shù)據(jù)存儲(chǔ)提出了更高要求。分布式存儲(chǔ)作為云數(shù)據(jù)中心的應(yīng)用虛擬化技術(shù)，可提供塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)等服務(wù)，但由于其系統(tǒng)在內(nèi)部軟件處理、網(wǎng)絡(luò)傳輸?shù)确矫嬉自斐尚阅艿念~外耗費(fèi)，在IO訪問(wèn)時(shí)延上無(wú)法達(dá)到本地盤效果，用戶使用體驗(yàn)較差，故在AI分析、大規(guī)模分布式數(shù)據(jù)庫(kù)、高性能應(yīng)用cache等場(chǎng)景下，本地盤仍然是存儲(chǔ)主力。然而，本地盤仍存在如靈活度低、利用率不高等問(wèn)題，為填補(bǔ)此部分空白，提出了“SR-IOV+SSD”的方案。
作為虛擬化直通技術(shù)的SR-IOV早已在網(wǎng)絡(luò)、GPU異構(gòu)算力等場(chǎng)景得到廣泛采用，隨著SSD容量、盤片性能呈指數(shù)級(jí)提升，使得SR-IOV在SSD的應(yīng)用也成為可能。通過(guò)SR-IOV虛擬化技術(shù)，可將單個(gè)SSD虛擬化成多個(gè)SSD硬盤，并直通到虛擬機(jī)內(nèi)部使用，通過(guò)搭配高精度的QoS能力，虛擬機(jī)可以獲得近似本地SSD硬盤性能，節(jié)約了Hypervisor虛擬化層對(duì)存儲(chǔ)設(shè)備虛擬計(jì)算所帶來(lái)的算力損耗。結(jié)合云平臺(tái)，SR-IOV方案可實(shí)現(xiàn)高性能存儲(chǔ)資源的動(dòng)態(tài)調(diào)配等，極大滿足云化環(huán)境下AI、分布式數(shù)據(jù)庫(kù)、高性能企業(yè)應(yīng)用等場(chǎng)景對(duì)存儲(chǔ)靈活性的訴求。
SR-IOV是由國(guó)際組織PCI-SIG組織定義的PCIe規(guī)范的擴(kuò)展規(guī)范，旨在消除VMM對(duì)虛擬化I/O操作的干預(yù)，提高數(shù)據(jù)傳輸性能，為VM（虛擬機(jī)）提供獨(dú)立的內(nèi)存空間、終端、DMA數(shù)據(jù)流，具備SR-IOV功能的I/O設(shè)備基于PCIe規(guī)范，可管理、創(chuàng)建多個(gè)VF（virtual function）。PCIe PF（physical function）是PCIe總線上的主要實(shí)體，一個(gè)PCIe設(shè)備具有一個(gè)或多個(gè)PF，PF設(shè)置VF數(shù)量，全局啟動(dòng)或停止VF，VF可以不通過(guò)VMM的干預(yù)完成數(shù)據(jù)的訪問(wèn)和轉(zhuǎn)移。
SR-IOV功能下，原本是VMM承擔(dān)的中斷交由虛擬機(jī)直接處理，提升了設(shè)備I/O性能，同時(shí)虛擬機(jī)可以直接與PCIe設(shè)備進(jìn)行交互，大大減輕了物理主機(jī)CPU的負(fù)擔(dān)，使其可承擔(dān)更多的虛擬機(jī)設(shè)備。另外，通過(guò)SR-IOV功能，可以減少PCIe設(shè)備的需求量，節(jié)省PCIe插槽，使得硬件資源可以更加充分使用。
基于以上優(yōu)勢(shì)，多家SSD廠商開(kāi)始布局SR-IOV，目前憶聯(lián)已領(lǐng)先在UH8系及UH7系產(chǎn)品上成功實(shí)現(xiàn)SR-IOV功能應(yīng)用。
? 服務(wù)器：自研服務(wù)器TP6520
? CPU：2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads
? 內(nèi)存：16*32GB 3200MT/S DDR4
? 系統(tǒng)盤：1*960G 12Gbps
? SSD：1*UH8系 3.84T
? HBA卡：1*MegaRAID 9440-8i
? NIC：2* SC332
? 操作系統(tǒng)：CentOS Linux release 8.3.2011
? 內(nèi)核：Linux 4.18.0-240.el8.x86_64
? 測(cè)試工具：2.6及以上版本
? QEMU-KVM：2.12
? NVMe開(kāi)源驅(qū)動(dòng)：1.11.1
? umtool工具：1.0.1.5
本次驗(yàn)證，在虛擬化分區(qū)方式的場(chǎng)景下，通過(guò)SR-IOV技術(shù)將一片PCIe 4.0 3.84TB SSD(綁定16個(gè)CPU核)配置為2個(gè)容量為1.92TB VF(綁定8個(gè)CPU)，4個(gè)960G VF（綁定4個(gè)核），8個(gè)480G VF（綁定2個(gè)核），如下示意圖。
測(cè)試IO基本模型如下：
? 讀寫帶寬（bs=128k,job=1,iodepth=128,read/write）
? 讀IOPS（bs=4k,job=16,iodepth=128,randread）
? 寫IOPS（bs=4k,job=8,iodepth=64,randwrite）
通過(guò)對(duì)盤進(jìn)行劃分為2/4/8個(gè)VF的場(chǎng)景下，在常規(guī)IO測(cè)試模型下進(jìn)行SR-IOV方案驗(yàn)證。
本次在SR-IOV功能下的不同VF場(chǎng)景下總性能與整盤的性能對(duì)比圖如下（以下數(shù)據(jù)為此次驗(yàn)證數(shù)據(jù)，僅供參考）。
注：總帶寬/總IOPS=平均性能×VF數(shù)量
圖1：使用SR-IOV前后盤片性能對(duì)比圖
從圖1可以看到，在此次SR-IOV方案驗(yàn)證下，PF性能、VF性能總和與原盤的性能相比波動(dòng)較低，基本在5%以內(nèi)，實(shí)現(xiàn)了對(duì)憶聯(lián)UH系列SSD性能充分使用，有效提高了SSD利用率。
為驗(yàn)證VF性能穩(wěn)定，在劃分2/4/8個(gè)VF的場(chǎng)景下，分別進(jìn)行了測(cè)試，結(jié)果如下圖。
注：偏差值=（VF均值-VF性能）/VF均值*100%
圖2：SR-IOV功能下各VF與均值偏差圖
數(shù)據(jù)顯示，各VF測(cè)試值與VF均值基本偏差小于1%，VF間性能分配較為穩(wěn)定，擴(kuò)展性較高，可靈活根據(jù)用戶需求進(jìn)行VF數(shù)量設(shè)置及管理。
當(dāng)將SSD拆分成多個(gè)虛擬盤后，為了避免出現(xiàn)在使用SR-IOV進(jìn)行虛擬化時(shí)出現(xiàn)多個(gè)虛擬機(jī)同時(shí)運(yùn)行，同時(shí)對(duì)盤上下業(yè)務(wù)，出現(xiàn)性能上相互干擾，憶聯(lián)特針對(duì)SR-IOV特性做了針對(duì)性能隔離的設(shè)計(jì)——SR-IOV with QoS，可通過(guò)SSD芯片對(duì)各VF進(jìn)行流控，做到性能均衡。
圖3：具體業(yè)務(wù)場(chǎng)景下VF的性能表現(xiàn)
為驗(yàn)證QoS功能，設(shè)置bs=128,qd=128,Thread=8,Read%=70%場(chǎng)景，對(duì)VF的IOPS、帶寬和時(shí)延進(jìn)行了對(duì)比。通過(guò)圖2可以看到，各VF在IOPS和帶寬上性能相近，時(shí)延較低，基本可以做到在日常業(yè)務(wù)使用場(chǎng)景下相互之間無(wú)影響，確保使用SR-IOV以后，也依然可以保障虛擬SSD盤的高性能、低時(shí)延，滿足高效存儲(chǔ)數(shù)據(jù)的需求。
當(dāng)前憶聯(lián)SR-IOV使用NS對(duì)VF進(jìn)行邏輯上的數(shù)據(jù)隔離，但因?yàn)樗蠽F都使用公共的Nand flash空間，各VF間不可避免會(huì)存在性能影響，雖然在QoS功能的調(diào)度下控制到了一定范圍內(nèi)，但在部分更為復(fù)雜業(yè)務(wù)場(chǎng)景下仍不可避免。為解決這個(gè)問(wèn)題，憶聯(lián)將繼續(xù)深耕SR-IOV在SSD上的應(yīng)用，進(jìn)一步優(yōu)化性能隔離算法，實(shí)現(xiàn)更好的隔離效果。
虛擬機(jī)數(shù)據(jù)安全至關(guān)重要，當(dāng)前代次虛擬機(jī)數(shù)據(jù)可以通過(guò)trim的方式進(jìn)行清除，但對(duì)于金融、政府等對(duì)數(shù)據(jù)安全要求高的客戶仍存在不足，如當(dāng)SSD離開(kāi)數(shù)據(jù)中心機(jī)柜便存在數(shù)據(jù)被盜取的可能。憶聯(lián)針對(duì)虛擬機(jī)數(shù)據(jù)安全的研究方向已初具成果，后續(xù)可以做到在虛擬機(jī)釋放時(shí)，對(duì)應(yīng)到SSD上的物理數(shù)據(jù)同時(shí)徹底銷毀，為維護(hù)數(shù)據(jù)安全提供保障。
憶聯(lián)當(dāng)前代次的SR-IOV具備各VF性能統(tǒng)計(jì)能力，新一代SSD中支持虛擬機(jī)性能智能分析，根據(jù)性能狀態(tài)進(jìn)行性能配置反饋，支持對(duì)虛擬機(jī)狀態(tài)進(jìn)行智能診斷并遠(yuǎn)程修復(fù)等功能。
本次驗(yàn)證清晰顯示了憶聯(lián)UH8系及UH7系SSD 的SR-IOV方案可有效提高盤片利用率，減少存儲(chǔ)空間的浪費(fèi)，實(shí)現(xiàn)節(jié)能減排、環(huán)境友好，助力綠色數(shù)據(jù)中心的發(fā)展。同時(shí)，憶聯(lián)SR-IOV方案中PF、各VF間性能穩(wěn)定、隔離效果顯著，可隨著場(chǎng)景變化進(jìn)行VF策略制定，應(yīng)用靈活，滿足用戶在云化環(huán)境下AI、分布式數(shù)據(jù)庫(kù)、高性能企業(yè)應(yīng)用等，提高資源利用率，降低TCO。對(duì)于建設(shè)綠色云數(shù)據(jù)中心，憶聯(lián)SR-IOV方案是一個(gè)可真正做到降本增效、綠色低碳可持續(xù)的存儲(chǔ)方案。
地址：深圳市南山區(qū)記憶科技后海中心B座19樓
電話：0755-2681 3300
郵箱：support@unionmem.com
