自ChatGPT爆火，國內頭部平臺型公司一擁而上，先后發布AGI或垂類LLM，但鮮有大模型基礎設施，比如向量數據庫。?

(資料圖)

7月4日，騰訊云彌補了這一不足，推出能被廣泛應用于大模型訓練、推理和知識庫補充等場景的騰訊云向量數據庫Tencent Cloud VectorDB，這是國內首個從接入層、計算層、到存儲層提供全生命周期AI化的向量數據庫。?

什么是向量數據庫？騰訊的目的是什么？對B端應用方，這有什么好處？?

國內首個全生命周期VectorDB?

ChatGPT讓LLM成為AI賽道焦點，向量數據庫也由此成為熱門話題。向量數據庫就可為LLM插上一個廉價但有效的“外接大腦”。?

這話怎么說？?

首先，向量通常用于在多維空間中表示數據值/點的位置、特征或屬性；而向量數據是一種數學表達，即用一組有序的數值（通常是浮點數），表達一個對象或數據值/點。?

舉個例子，在計算機視覺中，可以通過數值（即像素值）表達圖像，這組數值構成一個向量。每個數值對應圖像某個像素的顏色強度。比如，一幅8x8的灰度圖像，即一個包含了64個數值的向量。?

其次，向量并非專用于AGI，一開始被用于推薦類AI。由于向量能被用于在多維空間中的數據點的特性，因此被用于推薦類AI的個性化推薦。在推薦系統中，無論是用戶，還是物品，都能用向量表示。?

比如，某個用戶對服飾顏色、款式、材質、用途等有個性化偏好，這些偏好可用數值向量概括。通過計算用戶向量與物品向量之間的相似度，實現個性化推薦。?

在AI世界中，向量被用于表達物理世界的萬物，而LLM的興起，對向量數據的存儲和計算需求，得以大規模釋放。?

在2022年12月前，向量在各種AI推薦系統中已經得到深度應用。正因為如此，向量數據才會散落在數量龐大的推薦系統文件中，沒有形成專門的向量數據庫。?

向量數據結構雖然較為簡單，但因為應用場景極多，比如機器視覺、文本和圖像處理、神經網絡、自然語言處理等多模型AGI領域，故算法也相應種類繁多。?

在多系統中調取/檢索向量數據，耗費的GPU和CPU資源量級極為龐大，因而成本高而效率低下。騰訊云數據庫副總經理羅云說，“當我們使用向量數據庫Workload（工作量）越來越大，插件式數據庫就會面臨挑戰?！?

從2019年開始，有些通用/插件數據庫，就開始增加對向量數據庫的支持，比如ElasticSearch、Redis和PostgreSQL。?

騰訊云此次發布的向量數據庫，最早也是始于2019年。那會兒騰訊云推出一個叫做“OLAMA”的分布式向量數據庫存儲技術引擎，成為騰訊云向量數據庫底座之一。OLAMA目前可支持十億級別的單行向量數據索引、查詢 QPS達到百萬、響應延遲為20毫秒。?

從2019年開始，騰訊云持續地豐富OLAMA引擎的AI能力，比如添加了好幾種向量索引算法，像Embedding算法和Segment算法，還包括NLP（自然語言）檢索能力等等。?

向量數據算法的作用是什么？?

簡單地說，怎么能更快速、更準確、更低成本和更低時延找到向量，以及如此找到那些更相似的向量，這是向量數據算法的目的，也是此次騰訊推出的向量數據庫改進算法能力的體現。?

騰訊PCG大數據平臺部搜索推薦Senior Tech Lead鄭偉說，“除了快速高效低時延，騰訊云向量數據庫另外一項大的改進，就是在做到低成本的同時，OLAMA引擎的穩定性還得到了大幅提升?！?

第三，在應用性方面，騰訊云向量數據庫做了大量改進，“怎樣能更自動化、更智能地對外提供服務?！编崅フf，“在大模型出來后，怎么樣能更好地貼合大模型做更多擴展，比如用戶只要敲敲鍵盤，就能通過用我們的向量數據庫，得到各種賬單、各種數據和各種報表等?！?

降本增效，提供記憶能力?

騰訊云推出專業向量數據庫，源自需求端的強力推動。?

據羅云透露，“基本上每天不止1-2客戶前來咨詢向量數據庫什么時候能給他們使用?！?

向量數據庫有三個階段需求：第一個階段，類型必須是向量數據庫。羅云說，由于騰訊云從2019年就開始持續迭代向量數據庫存檢引擎，到現在，這步已直接跨越；第二個階段，要解決成本問題。比如單QPS（每秒查詢推理響應速度：Query Per Second）成本，需求方一次查詢需要花多少錢。?

第三個階段，就是B端用向量數據庫的易用性，這需要騰訊云具有豐富的行業的AI應用經驗。向量數據庫，用于向量提供存儲和檢索，需求方要把非結構化數據（如一段文本變成向量），要把文本分段，分段之后要找到合理模型做Embedding（向量）。?

在ML（機器學習）和NLP中，Embedding是一個N維的實值向量，幾乎可用于表達/描述任何形式，如文本、聲音或視頻等。實值的Embedding能描述單詞語義，主要是因為Embedding向量能根據單詞在語言上下文（Context）中出現的形式達成學習。?

騰訊云向量數據庫已在QQ瀏覽器、騰訊視頻、騰訊游戲、QQ音樂、搜狗輸入法等30+業務場景中得到應用。當前，騰訊云團隊還處于滿足需求的第三個階段，重點是“圍繞AI化提升產品整體的應用性”，羅云說。?

為什么LLM要用到向量搜索技術？?

如果給定一個對象，在一個集合中找到與之最相似的對象的過程，就是向量搜索。文本或圖片等內容，都能通過將其轉換為向量的表示方式，進而將文本或圖片的相似度問題轉換為向量的相似度問題。?

這里有個問題，就是LLM場景模型的上下文有個長度限制。比如，ChatGPT 3.5上下文長度限制是4k tokens。超出Context長度，ChatGPT就會“失憶”，影響交互結果（或稱Context Learning）的準確性。?

但是，向量搜索擁有的能力之一，就是將超出上下文長度限制的文本劃分成較短的組（Chunks），再將不同的組轉換為Embedding。這就相當于向量搜索擁有記憶能力。LLM用向量數據庫，就類似于有了一個外部大腦。通過Embedding，能找到與提示（Prompt）最相關的信息。?

從這個角度上說，向量數據庫承擔了LLM的Context Learning的記憶任務，從而提高了GPT的交互準確性。?

此外，由于基于以Transform架構為基礎的LLM的AI訓練耗時長，成本高，因此就很難將最新的素材（數據）加入LLM，這被稱為LLM的時效限制。若終端用戶又急需LLM數據做即時更新，這時向量數據庫的作用就很顯著。?

LLM的空間限制也很明顯，比如B端用戶的私域數據，不方便提供給LLM訓練平臺做高頻集訓。這時，B端用戶就能將私域數據放在向量數據庫中，需要推理時，就臨時取調給LLM。這樣做的好處是數據安全，而且訓練效率高、成本低。?

為什么能實現這一點？?

因為向量數據庫專門用于存儲和查詢向量數據，業界稱之為大模型的“海馬體”。?

騰訊云向量數據庫最高支持10億級向量檢索規模，延遲控制在毫秒級，相比傳統單機插件式數據庫檢索規模提升10倍，同時具備百萬級每秒查詢（QPS）的峰值能力。?

將騰訊云向量數據庫用于大模型預訓練數據的分類、去重和清洗相比傳統方式，能提升10倍效率。如將向量數據庫作為外部知識庫用于模型推理，則可降低2-4個數量級的成本。

風險提示及免責條款 市場有風險，投資需謹慎。本文不構成個人投資建議，也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資，責任自負。

關鍵詞：