加速大模型應(yīng)用落地最后一公里，AI基礎(chǔ)設(shè)施如何再升級(jí)？
AI 大模型熱潮來襲，當(dāng)下，越來越多的大模型在千行百業(yè)中落地應(yīng)用。作為 AI 大模型的“底座”，AI 基礎(chǔ)設(shè)施承載著頂層大模型的建設(shè)，也是大模型應(yīng)用落地的關(guān)鍵。在算力、數(shù)據(jù)和基礎(chǔ)軟件三大 AI 基礎(chǔ)設(shè)施中，算力是驅(qū)動(dòng)大模型發(fā)展的底層動(dòng)力，數(shù)據(jù)是訓(xùn)練大模型的信息基礎(chǔ)，基礎(chǔ)軟件則是大模型應(yīng)用落地的主要效率支撐。
6 月 30 日，九章云極DataCanvas 舉辦“New AI · New Data · New Software”主題發(fā)布會(huì)，發(fā)布了“AIFS（AI Foundation Software）”、“DataPilot”兩款新系列產(chǎn)品。
在發(fā)布會(huì)上，九章云極DataCanvas 董事長(zhǎng)方磊提到，“大模型時(shí)代需要完整基礎(chǔ)設(shè)施升級(jí)，而不是依靠單個(gè)大模型解決所有的問題；大模型的落地將解決更困難的問題，引起更深遠(yuǎn)的影響，而它并不比小模型更容易。”
大模型時(shí)代的 AI 技術(shù)依然需要“最后一公里”的結(jié)合。方磊指出，軟件、模型和硬件的統(tǒng)一優(yōu)化空間巨大，是創(chuàng)新最活躍的地方。強(qiáng)大靈活的基礎(chǔ)軟件，開放彈性的白盒模型，精通業(yè)務(wù)的專業(yè)人才，將加速實(shí)現(xiàn)最后一公里的跨越。
大模型時(shí)代，AI 基礎(chǔ)軟件扮演什么角色？
ChatGPT 的爆火加速 AI 大模型應(yīng)用落地。今年以來，越來越多的企業(yè)涌入 AI 大模型賽道，行業(yè)進(jìn)入“白熱化”競(jìng)爭(zhēng)狀態(tài)。有不少專家表示，大模型背后的技術(shù)理念早已存在多年，因此 AI 大模型并不存在技術(shù)壁壘。
“現(xiàn)在訓(xùn)練 AI 大模型最大的挑戰(zhàn)主要集中在算力和數(shù)據(jù)層面”，九章云極DataCanvas 副總裁于建崗在接受 InfoQ 采訪時(shí)表示，大模型的構(gòu)建本身并沒有不可逾越的基礎(chǔ)鴻溝，主要是基于 Transformer 進(jìn)行構(gòu)建，對(duì)企業(yè)而言，如何更好且更有效率地運(yùn)用算力和數(shù)據(jù)才是核心痛點(diǎn)。“大模型對(duì)算力的需求巨大，對(duì)于中小企業(yè)而言，本身沒有足夠的 GPU 支撐其去搭建大模型。此外，大模型對(duì)數(shù)據(jù)的需求量也有一定的要求，中小企業(yè)很難獲得足夠的數(shù)據(jù)訓(xùn)練大模型。”
在這一背景下，AI 基礎(chǔ)軟件的重要性凸顯。未來隨著算力性能逐漸同質(zhì)化和標(biāo)準(zhǔn)化，數(shù)據(jù)的差異性和企業(yè)需求的個(gè)性化逐漸加大，“AI 基礎(chǔ)軟件”將成為模型訓(xùn)練效率和算力使用效率的決定性因素。作為模型生態(tài)系統(tǒng)的中堅(jiān)力量，AI 基礎(chǔ)軟件將會(huì)成為大模型應(yīng)用落地的最主要的效率支撐，并通過大模型+小模型的方式，形成模型訓(xùn)練新范式。
與構(gòu)建傳統(tǒng)應(yīng)用相比，構(gòu)建大模型應(yīng)用的基礎(chǔ)軟件主要解決系統(tǒng)和架構(gòu)層優(yōu)化，通過一系列工具和服務(wù)，幫助企業(yè)快速、高效構(gòu)建上層 AI 應(yīng)用。于建崗表示，“訓(xùn)練大模型需要龐大的計(jì)算集群，如何更好的處理集群之間的通信？如何更好的進(jìn)行模型切分？如何更好的利用內(nèi)存和顯存？這些都需要 AI 基礎(chǔ)軟件來解決。AI 大模型時(shí)代對(duì)基礎(chǔ)軟件最大的訴求就是如何實(shí)現(xiàn)模型訓(xùn)練優(yōu)化，包括運(yùn)行時(shí)推理效率的優(yōu)化等等。”
模型訓(xùn)練新范式：大模型+小模型
AI 基礎(chǔ)軟件使得 AI 技術(shù)的應(yīng)用更加廣泛和高效，并為各個(gè)行業(yè)和領(lǐng)域的發(fā)展提供了強(qiáng)有力的支持。當(dāng)前，企業(yè)對(duì) AI 技術(shù)的關(guān)注度高漲，也為 AI 基礎(chǔ)軟件市場(chǎng)帶來新的增長(zhǎng)機(jī)遇。Gartner 預(yù)測(cè)，中國的 AI 軟件市場(chǎng)將保持快速增長(zhǎng)。預(yù)計(jì)未來五年，該市場(chǎng)的營(yíng)收將從 47.67 億美元增長(zhǎng)至 138.58 億美元，年復(fù)合增長(zhǎng)率(CAGR)達(dá)到 28%。
“現(xiàn)在，越來越多的企業(yè)意識(shí)到 AI 基礎(chǔ)軟件的重要性。九章云極DataCanvas在基礎(chǔ)軟件領(lǐng)域耕耘多年，我們認(rèn)為只要針對(duì)企業(yè)在訓(xùn)練和應(yīng)用大模型的過程中的痛點(diǎn)提供切實(shí)有效的解決方案，企業(yè)完全可以做出自己的 AI 大模型并且落地本企業(yè)的應(yīng)用。”于建崗說道。
基于這種認(rèn)知，九章云極DataCanvas 正式發(fā)布了人工智能應(yīng)用構(gòu)建基礎(chǔ)設(shè)施平臺(tái) AIFS（AI Foundation Software），其覆蓋了大模型的訓(xùn)練、精調(diào)、壓縮、部署、推理和監(jiān)控以及小模型的全生命周期過程，為數(shù)據(jù)科學(xué)家、應(yīng)用程序開發(fā)人員和業(yè)務(wù)專家提供了一套工具，使不同角色的人員可以相互協(xié)作，輕松地處理數(shù)據(jù)并使用這些數(shù)據(jù)來開發(fā)、訓(xùn)練和部署任何規(guī)模的模型。
作為人工智能基礎(chǔ)軟件體系，AIFS 主要包括 DataCanvas Alaya 九章元識(shí)大模型、DataCanvas APS 機(jī)器學(xué)習(xí)平臺(tái)、DataCanvas BAP 面向業(yè)務(wù)自動(dòng)建模平臺(tái)、開源 DAT 自動(dòng)機(jī)器學(xué)習(xí)軟件、開源 YLearn 因果學(xué)習(xí)軟件等一系列全開放、高自動(dòng)、高協(xié)同的軟件工具，為用戶自主構(gòu)建全生命周期的“大+小”模型提供一站式支持。
“我們認(rèn)為一個(gè)足夠智能的、能夠覆蓋所有小模型的大模型時(shí)代還沒有到來，比如在精準(zhǔn)科學(xué)計(jì)算和符號(hào)推理方面大模型并不比小模型可靠，所以當(dāng)前還是大小模型并存的時(shí)代。”在于建崗看來，大模型可以基于對(duì)通用知識(shí)的理解變得更廣泛，也可以通過壓縮或者知識(shí)蒸餾，部署到小模型環(huán)境中去替代一部分能力。但整體而言大小模型并存的時(shí)代還會(huì)延續(xù)一段時(shí)間。
九章云極 DataCanvas 董事長(zhǎng)方磊也曾在一場(chǎng)演講中表示，盡管大模型當(dāng)前表現(xiàn)優(yōu)異，但對(duì)于各行業(yè)使用者來說，實(shí)際應(yīng)用于業(yè)務(wù)場(chǎng)景仍然存在較高的技術(shù)和成本門檻。方磊指出，當(dāng)前迎來“大+小”的新紀(jì)元，不僅僅是大模型和小模型的融合使用，大模型的小型化，或者說以大模型為底座的小型化微調(diào)，也是一種趨勢(shì)，這種方式能夠以低廉的成本解決大量的問題。
“大和小是一個(gè)相對(duì)的變化。”當(dāng)前大模型的參數(shù)標(biāo)準(zhǔn)并不統(tǒng)一，相對(duì)于參數(shù)級(jí)，模型的效果且是否能夠支持快速迭代對(duì)于用戶實(shí)際應(yīng)用來說更為重要。用戶能夠在一個(gè)白盒大模型基礎(chǔ)上快速地、低成本地微調(diào)和迭代出客制化的小模型，才能高效地實(shí)現(xiàn)豐富場(chǎng)景的大模型應(yīng)用。這就再次點(diǎn)明了 AI 基礎(chǔ)軟件工具鏈的重要性。
值得一提的是，本次發(fā)布的 DataCanvas Alaya九章元識(shí)大模型，具有“通識(shí)+產(chǎn)業(yè)”系列模型矩陣、多模態(tài)大模型、優(yōu)化的訓(xùn)練機(jī)制和友好的開源協(xié)議管理等特點(diǎn)。在開源支持方面，九章元識(shí)不僅支持 Apache2.0 協(xié)議，還為用戶提供白盒模型。于建崗強(qiáng)調(diào)，這是公司對(duì)產(chǎn)品“開放性”的堅(jiān)守，旨在為用戶賦予更大自由度的 AI 創(chuàng)新能力，以求加速實(shí)現(xiàn)大模型在多元業(yè)務(wù)場(chǎng)景中的應(yīng)用。
數(shù)據(jù)處理新范式：DataPilot
在過去的十幾年，數(shù)據(jù)通常被認(rèn)為是 AI 的原料、基礎(chǔ)要素。而大模型的出現(xiàn)，讓數(shù)據(jù)得到了AI的反向賦能。
利用 DataCanvas Alaya 九章元識(shí)大模型的通用文本的理解和生成能力以及在數(shù)據(jù)領(lǐng)域的微調(diào)優(yōu)化，九章云極DataCanvas 發(fā)布了數(shù)據(jù)處理新范式——DataPilot 數(shù)據(jù)領(lǐng)航員，可以幫助用戶實(shí)現(xiàn)數(shù)據(jù)在建模全生命周期的智能化與自動(dòng)化。
九章云極 DataCanvas 公司副總裁周曉凌介紹，DataPilot 的特性包括多模“向量海”數(shù)據(jù)架構(gòu)，按需自動(dòng)化數(shù)據(jù)集成、代碼生成、流程編排和分析計(jì)算，以及基于自然語言的數(shù)據(jù)獲取、分析和機(jī)器學(xué)習(xí)建模能力。DataPilot 能夠大幅降低數(shù)據(jù)集成、治理、建模、計(jì)算、查詢、分析、機(jī)器學(xué)習(xí)建模全鏈路的技術(shù)門檻，降低數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的成本，加快數(shù)字化創(chuàng)新的進(jìn)程。
基于“向量海”理念，DataPilot 所包含的 DataCanvas RT 實(shí)時(shí)決策中心平臺(tái)、開源 DingoDB 多模向量數(shù)據(jù)庫等各類數(shù)據(jù)軟件，讓用戶具備 AI 技術(shù)突破情況下亟需的實(shí)時(shí)、多模態(tài)的數(shù)據(jù)能力。
其中，DingoDB 作為一款開源的多模態(tài)向量數(shù)據(jù)庫，將是向量海時(shí)代的強(qiáng)大引擎。它結(jié)合了數(shù)據(jù)湖和向量數(shù)據(jù)庫的特性，支持存儲(chǔ)任何類型（鍵值、PDF、音頻、視頻等）和任何大小的數(shù)據(jù)。通過 DingoDB，用戶可以構(gòu)建專屬的數(shù)據(jù)“向量海”，不論是結(jié)構(gòu)化還是非結(jié)構(gòu)化數(shù)據(jù)，僅通過 1 套 SQL 即可完成多模態(tài)數(shù)據(jù)的分析與科學(xué)計(jì)算。
“未來，AI 基礎(chǔ)軟件的發(fā)展會(huì)更加多樣化，模型之間的數(shù)據(jù)交換也會(huì)更加頻繁，也許會(huì)產(chǎn)生新的連接方式與生態(tài)。此外，在國家戰(zhàn)略與政策推動(dòng)下，未來可能會(huì)出現(xiàn)一些相對(duì)統(tǒng)一化的模型，這些都會(huì)驅(qū)動(dòng) AI 基礎(chǔ)設(shè)施進(jìn)一步升級(jí)。”周曉凌說道。
