構建具有商業(yè)價值的生成式AI應用，并將它作為全新生產力，這是越來越多企業(yè)的通用選擇。不過，用來鍛造生成式AI應用的大模型是通用的，而生成式AI應用需要適合自身業(yè)務甚至是契合自身特點，簡單說，就是要“專門”和“專屬”。從“通用”到“專屬”的跨越，目前的最優(yōu)解，仍在于利用好企業(yè)自身更具個性化的數(shù)據(jù)。就此，想要將生成式AI能力提供給每個人的亞馬遜云科技，除了提供豐富的模型能力之外，也提出“無數(shù)據(jù)，不模型”，意在助力更多企業(yè)構建全面的數(shù)據(jù)基座，通過充分發(fā)揮數(shù)據(jù)潛力，加速生成式AI技術落地，并更好地適應企業(yè)自身發(fā)展需要。前不久以“生成式AI時代的數(shù)據(jù)基座”為主題的溝通會上，亞馬遜云科技方面公開了相關領域的全新進展。

通過數(shù)據(jù)“定制”基礎模型

亞馬遜云科技大中華區(qū)產品部總經(jīng)理陳曉建表示：“每個公司都能訪問相同的基礎模型，但那些能夠利用自己的數(shù)據(jù)構建具有真正商業(yè)價值的生成式人工智能應用的公司，將會是成功的公司?！?/p>

企業(yè)自身的個性化數(shù)據(jù)能夠差異化生成式AI應用，亞馬遜云科技依托Amazon Bedrock提供通過數(shù)據(jù)定制基礎模型的服務，支持三類模型定制方式：

一是檢索增強生成。企業(yè)可將自身的知識庫、數(shù)據(jù)庫等與生成式AI模型結合，在過程中實時檢索和利用企業(yè)內部相關數(shù)據(jù)，提高生成結果的準確性、一致性和信息量。該方式適合控制幻覺、用戶隱私數(shù)據(jù)保護、企業(yè)私域知識等應用場景。

二是微調。使用與目標任務相關的數(shù)據(jù)對模型進行進一步訓練，以提高其在特定任務上的性能。該方式適合角色理解、輸入理解、輸出格式控制等應用場景。

三是持續(xù)預訓練。企業(yè)利用內部文檔、客戶記錄等自身專有數(shù)據(jù)對模型進行持續(xù)預訓練。該方式門檻相對較高，成本較大，但可以得到一個企業(yè)自身定制的行業(yè)大模型，適合理解行業(yè)領域知識/術語、嚴控數(shù)據(jù)合規(guī)等應用場景。

持續(xù)引領三大必備核心能力

亞馬遜云科技認為企業(yè)構建生成式AI應用需要具備三項強大的數(shù)據(jù)能力，包括模型微調和預訓練所需的數(shù)據(jù)處理能力、利用專有數(shù)據(jù)與模型快速結合以產生獨特價值的能力，以及有效處理新數(shù)據(jù)以助推生成式AI應用持續(xù)快速發(fā)展的能力。三大能力涵蓋了從基礎模型訓練到生成式 AI 應用構建的重要場景，有助于企業(yè)輕松應對海量多模態(tài)數(shù)據(jù)，提升基礎模型能力。通過持續(xù)引領上述三大核心能力，亞馬遜云科技助力企業(yè)構建數(shù)據(jù)基座，從而在在生成式AI時代取得成功。

先看利用現(xiàn)有數(shù)據(jù)支持微調或預訓練模型的能力。

利用現(xiàn)有數(shù)據(jù)支持微調或預訓練模型，從原始數(shù)據(jù)集到訓練出基礎模型需要解決三個主要問題：找到合適的存儲來承載海量數(shù)據(jù)、清洗加工原始數(shù)據(jù)為高質量數(shù)據(jù)集、對整個組織內數(shù)據(jù)的發(fā)現(xiàn)編目治理。

數(shù)據(jù)存儲方面，Amazon S3 擁有超過 200 萬億個對象，平均每秒超過 1 億個請求，在容量、安全和功能上都能滿足微調和預訓練基礎模型對數(shù)據(jù)存儲的要求；專門構建的文件存儲服務 Amazon FSx for Lustre可以提供亞毫秒延遲和數(shù)百萬 IOPS 的吞吐性能，進一步加快模型優(yōu)化的速度和降低成本。

數(shù)據(jù)清洗方面，Amazon EMR Serverless 和 Amazon Glue 無服務器數(shù)據(jù)集成服務，可以幫助企業(yè)輕松完成數(shù)據(jù)清洗、去重、分詞等操作，專注于生成式 AI 業(yè)務創(chuàng)新。

數(shù)據(jù)治理方面，Amazon DataZone可以讓企業(yè)跨組織邊界大規(guī)模地發(fā)現(xiàn)、共享和管理數(shù)據(jù)，并且提供簡單易用的統(tǒng)一數(shù)據(jù)管理平臺和工具，來解鎖所有數(shù)據(jù)的潛能。

再看將現(xiàn)有數(shù)據(jù)快速結合模型產生獨特價值的能力。

將現(xiàn)有數(shù)據(jù)快速結合模型產生獨特價值，意在突破基礎模型缺乏垂直行業(yè)專業(yè)知識、缺乏時效性、生成錯誤信息等局限性，給出高質量答案。

亞馬遜云科技通過檢索增強生成（RAG）技術來解決上述問題，該技術也、被業(yè)界普遍認為是實現(xiàn)數(shù)據(jù)與模型結合的主要途徑之一。該技術通過將數(shù)據(jù)轉換為向量并存儲到向量數(shù)據(jù)庫中，從而將語義的關聯(lián)性轉化為向量間的數(shù)學距離問題，以實現(xiàn)內容的關聯(lián)性計算。

向量存儲的理想情況是將向量搜索和數(shù)據(jù)存儲結合在一起，亞馬遜云科技已經(jīng)在八種數(shù)據(jù)存儲中添加了向量搜索功能，在提升數(shù)據(jù)查詢性能的同時，也讓客戶在構建生成式 AI 應用程序時擁有了更大的靈活性，從而釋放更多的價值。特別是，亞馬遜云科技還專門構建了圖數(shù)據(jù)庫Amazon Neptune、推出了分析數(shù)據(jù)庫引擎，能將圖數(shù)據(jù)分析速度提升 80倍，從而從圖形數(shù)據(jù)中快速獲取洞察，實現(xiàn)更快的向量搜索。

最后看有效處理新數(shù)據(jù)，助力生成式AI應用飛速發(fā)展的能力。

對生成式AI應用程序而言，基礎模型頻繁調用將會導致成本的增加和響應的延遲，這就讓通過新數(shù)據(jù)的更優(yōu)處理來降本增效的需求更突出。

Amazon Memory DB內存數(shù)據(jù)庫，可以通過緩存之前問答生成的新數(shù)據(jù)，實現(xiàn)對類似問題的快速響應和準確回答，同時有效降低基礎模型的調用頻率。該數(shù)據(jù)庫能存儲數(shù)百萬個向量，響應時間只需幾毫秒，并能以99%的召回率實現(xiàn)每秒百萬次的查詢性能。

亞馬遜云科技可提供無服務器數(shù)據(jù)庫服務和 Amazon OpenSearch Serverless 用于向量搜索，幫助生成式AI應用快速占領市場。無服務器的速度加上生成式 AI 的力量，能夠讓用戶最大限度減少運維負擔和成本，消除性能瓶頸，從而更好地專注于生成式 AI 業(yè)務創(chuàng)新。在這個過程中亞馬遜云科技負責無服務器背后的安全隔離、故障處理、負載均衡、自動擴展、利用率監(jiān)控等復雜工作，讓用戶徹底消除后顧之憂。

在具體的應用領域，比如音樂領域，Amazon Music分析用戶和歌曲的特征，并將它們轉換成向量以提高推薦精準度。Amazon Music已通過Amazon OpenSearch將1億首歌曲編碼成向量并進行索引，為全球用戶提供實時音樂推薦。Amazon Music目前在 Amazon OpenSearch中管理著10.5億個向量，并能夠處理每秒高達7100次的查詢峰值，有效支撐其推薦系統(tǒng)。

亞馬遜云科技方面表示，希望每一個企業(yè)在生成式AI時代借助其服務打造堅實的數(shù)據(jù)基礎，從而高效安全地將海量的多模態(tài)數(shù)據(jù)和各種基礎模型結合在一起，創(chuàng)建出一系列具有獨特的價值的生成式AI應用程序并收到終端用戶的歡迎，進而產生更多的數(shù)據(jù)。而新數(shù)據(jù)又會繼續(xù)提升模型的準確度，創(chuàng)造更好的用戶體驗。這樣的模式就會產生生生不息的正向生成式AI數(shù)據(jù)飛輪，帶動企業(yè)業(yè)務走向成功。