在數學領域，特征值與特征向量是十分重要的兩個概念，且在高校課本上都表明這兩個詞在工程技術方面有著廣泛應用。但還不止于此，在蓬勃發展的數字化智能時代，特征值和特征向量對于AI算法的開發以及AI訓練與應用有著重要價值，可以說是人工智能（AI）的基石。

當前，隨著5G、物聯網、云計算等技術的普及，AI開發與應用規模也在不斷擴大，企業除了要面對數據爆發挑戰，還需要對海量的特征向量進行存儲和計算，這進一步加大了基礎設施的性能壓力。

為了給AI領域的向量檢索提供基礎系統支撐與保障，京東與英特爾合作，在基于英特爾?至強?可擴展處理器的服務器上對分布式特征向量檢索系統Vearch 進行優化，借助英特爾軟硬結合優勢，幫助企業改進重復圖片去重、相似性商品圖片搜索、人臉識別等 AI 應用的響應速度，并大幅降低特征向量檢索系統總體擁有成本（TCO）。

AI特征向量檢索新困境

從數字化發展趨勢來看，智能技術對行業的升級與變革已成必然，以AI技術為核心，越來越多智能應用在各行各業落地。對于企業來說，AI技術帶來了更豐富的業務場景，也讓本身的商業模式變得多元化。

今年是AI與行業融合最為關鍵的一年，隨著企業對AI技術的深入了解與應用，一些新的難題也逐漸顯現出來，成為制約AI場景應用的新壁壘。

在數學學科中，特征向量是線性變換中的一個專業名詞，它是一個非退化向量，其方向在變換下保持不變，而該向量在此變換下縮放的比例就是特征值。而在人工智能領域，特征向量代表的是一組屬性的集合，主要用來描述特定目標的不同特征屬性，也是AI應用的重要基礎性數據。

隨著算法能力的不斷提升，越來越多的數據文本，如圖像、音視頻等，都可以通過機器學習算法抽取大量特征應用于業務場景，形成我們常用的一些AI應用，如圖片檢測、聽音識曲、人臉識別等。

當前，AI技術的應用范圍持續增長，企業業務場景日趨復雜，海量特征向量的存儲與處理需求也在不斷擴大。然而，目前行業內并沒有一套完整的系統解決方案來滿足高維特征向量的存儲與計算，一些開源機器學習算法基礎庫能夠支持各種向量檢索模型，但卻不能支持分布式、實時索引和檢索等相對復雜的功能。

以零售產業的AI應用場景為例，常見的特征向量包括用于描述用戶的向量和用于描述商品的向量，而當下深度學習等AI應用在企業內部的規模越來越大，這就使得特征向量的規模常常會達到 10/100 億，甚至千億量級，對內存和磁盤資源有著巨大的需求。

此外，在向量檢索中，企業往往會在AI訓練之后將用戶向量和商品向量存儲到基礎向量檢索系統中，并通過用戶ID等方式定位到特定的特征向量，使用該特征向量在向量集中進行檢索，可以召回TopN個結果。而為了滿足特征向量存儲及向量檢索對內存和磁盤資源的需求，業界通常會采用部署大量容器的方式。且為了最大化利用資源，企業會將單個容器的資源控制在較小范圍內，這同樣對系統整體的性能產生了挑戰。

為了應對海量高緯特征的存儲及特征向量檢索兩個問題，京東零售技術與數據中心基礎架構團隊基于現有部分業務及應用場景，抽象提煉出一個服務于AI時代的基礎向量檢索系統——Vearch，并與英特爾合作，借助英特爾軟硬結合優勢，打造了一個功能強大、靈活易用的特征向量檢索方案，再通過優化解決內存和存儲資源占用過多問題，以此幫助工程師更加專注于算法創新本身。

Vearch帶來向量檢索新方式

Vearch是一個分布式向量搜索系統，主要針對大規模深度學習向量進行高性能相似搜索，解決億級及數億級向量的存儲和計算問題。

Vearch整體架構有三部分組成：Master，Router 和 Partition Server（PS）。其中Master負責對整個Vearch集群的資源進行調度和管理；Router負責對用戶所有的請求進行解析路由 和轉發；Partition Server（PS）則是存儲及重要的計算節點，可以提供存儲、檢索文檔、向量、標量的能力。

為了進一步提升Vearch系統在性能和資源利用方面的能力，京東與英特合作，在基于英特爾?至強?可擴展處理器的服務器上，通過原始向量壓縮、string字段壓縮、內存整理、圖+量化組合索引等方式對系統進行優化。

比如在軟件方面，京東在某些向量召回場景使用“圖+量化”的組合索引方式，它可以召回有序結果，避免了二次排序時需要存儲原始向量的做法。數據表明，使用“圖+量化”的組合索引方式后，在保證Top1較高召回率的情況下，存儲資源的使用量只有原來的1/4或更少。

除了軟件層面的優化，英特爾的硬件優勢是特征向量索引性能提升的關鍵因素。京東采用的是英特爾?至強?可擴展處理器，不僅擁有強大的通用計算能力，其上還集成了增強單指令多數據流（Single Instruction Multiple Data，SIMD）的英特爾?AVX-512指令集等創新技術，可以為單條指令提供雙倍數量的操作數，從而大大提升指令的吞吐能力。

也是基于此，英特爾?至強?可擴展處理器不僅實現了對通用計算和并行計算能力的兼顧，還存儲與計算密集型應用提供了卓越的性能基礎。

得益于英特爾軟硬實力的加持，Vearch向量檢索系統在多個應用場景中都有著十分突出的表現。在IVFPQ測試中，通過Vearch優化版IVFPQ與Faiss原生版IVFPQ進行性能對比測試發現，相比于后者，Vearch優化版不僅針對IVFPQ算法的數據訪問特點重構了數據的內存布局，還極大提升了L1 Cache的命中率。不僅如此，利用英特爾AVX-512指令集，IVFPQ在線數據訪問的并行度也得到大幅提升。

實際應用中，Vearch向量檢索系統能夠在多個場景中為企業和用戶帶來更切實的體會。比如在人臉識別應用中，該方案可以幫助企業相關業務系統在不對基礎設施進行大幅投資的前提下，提升特征向量檢索的速度，降低存儲資源消耗，節約總體擁有成本（TCO），從而助力構建更加敏捷高效的AI應用。而在用戶體驗上，通過基于Vearch的實時在線相似性圖片搜索服務，電商平臺能夠為用戶提供同款商品的搜索服務，讓用戶體驗更加便捷、直觀的購物方式。

強強聯合共同推動AI平臺優化

一直以來，英特爾都希望通過連接、存儲與計算的全方位能力來凝聚整個行業生態的力量，充分發揮自身軟硬結合優勢，幫助企業在智能化轉型中不斷提升。

京東與英特爾聯合持續優化Vearch系統在行業場景中的應用。據了解，Vearch自去年9月份開源以來，華為、科大訊飛、愛奇藝、趣頭條、OPPO、汽車之家和網易嚴選等數十家知名公司的團隊或個人，已經在一些業務場景中嘗試或使用。

目前，Vearch最新3.2.0版已經支持實時IVFPQ、實時HNSW、IVFFLAT、BINARY和FLAT（暴力搜索）等多種ANN檢索模型，而更多的檢索模型也在集成中，如IMI、OPQ、SSG 等，以覆蓋更豐富多元的業務使用場景。

不僅如此，京東也將在Vearch中提供更豐富的算法插件，包括文本語義embedding算法插件，音頻embedding算法插件等。而依托在技術和產品方面的深厚積累，英特爾將幫助京東等合作伙伴對廣泛的應用系統進行 優化，促進軟硬件協同調優與驗證，進一步發揮英特爾架構在性能、擴展性、穩定性、可用性等領域的優勢。

雙方強強聯合，共同推動Vearch系統在AI領域的應用，為互聯網、零售和金融等行業的AI技術應用提供強大助力，同時也將智能時代數據帶來的價值最大化釋放，加速各行業向數字化邁進的步伐。