雲+AI治標不治本,產業需要“一雲多芯”的AI原生雲

2024-04-18 18:40:09    編輯: robot
導讀 過去一年的雲計算市場,冷熱交織。價格战、“下雲潮”,以及越來越單向度的內卷等因素下,雲計算遭遇全球IT疲軟,而AIGC領域卻是另一番景象。 規模化的雲廠商均將AI作爲拉動業務的馬車,只是諸多嘗試還停...

過去一年的雲計算市場,冷熱交織。價格战、“下雲潮”,以及越來越單向度的內卷等因素下,雲計算遭遇全球IT疲軟,而AIGC領域卻是另一番景象。

規模化的雲廠商均將AI作爲拉動業務的馬車,只是諸多嘗試還停步在布局AI基礎設施與雲產品的智能化之上。這種路徑盡管對自身業務流程的幫助不小,但在向外輸出方面卻非常匱乏,這客觀造成了產業智能化進程局限於點與线,無法推進到面。此外,大模型的出現將人類知識壓縮,雲上开發的管理對象也悄然生變。

AI時代用雲與雲上AI开發需要一個嶄新的動能,好比正在逐步替代傳統內燃機列車的高鐵一般,雖當下的鐵路網絡中仍有不少普快徐徐慢行,但它們已不再是人們便捷出行的首選。

雲+AI是跑在舊鐵軌的綠皮車,而AI雲則是一條全新的高鐵线路。

要AI雲,而非雲+AI

“傳統的雲計算系統依然重要,但不再是主角,我們需要一個全新的操作系統,對新的計算平台,也就是智能計算做好抽象和封裝,重新定義人機交互,爲开發者提供更簡單、更流暢的开發體驗。”百度集團執行副總裁、百度智能雲事業群總裁沈抖近期表示。

過去一年,大模型不斷演進,已开始深度重構人機交互。例如,隨着NLP的成熟,通過自然語言處理編程不再是無法落地的事情。事實上,由於應用場景、技術發展、語言競爭等因素,編程早已陷入“巴別塔魔咒”之中,單常見的計算機編程語言便有C語言、C++、Java、Python、Go等等。這導致編程不得不面向過程與對象,而無法正視需求。

當編程過程變爲开發者表達愿望的過程時,整個操作系統的迭代便是題中之義。例如底層硬件,過去以CPU的算力爲主,主要依賴低延遲、高復雜性運算,應用於算數與邏輯運算。而誕生於圖形渲染的GPU則依賴於高吞吐量、低復雜性運算,長於處理大規模數據集。

此外,大模型的出現將人類知識壓縮,操作系統管理的對象也悄然發生了改變。

AI大模型從最初的框架構建,逐步走到落地階段。然而,隨着AI大模型深入到千行百業中,市場开始意識到通用大模型雖然功能強大,但卻難以滿足個性化需求,導致服務商成爲“高科技施工隊”,而用戶遇到問題處於兩眼一抹黑的極端情況。

“上雲容易下雲難”,過去幾年,部分行業在上雲與下雲之間反復橫跳。

南方某醫療機構技術中心負責人此前提到,因爲一把手都意識到上雲是一種趨勢,在一次會後,便拍上雲。他們先在業務量不大的分院將影像歸檔和通信系統上雲,等到成本、應用、維護等一系列驗證有效後再復刻到總部。然而,當時的雲上系統多次出現變慢,也曾受宕機拖累。

“我們排查不出問題,找雲服務廠商、影像歸檔和通信系統廠商、檢查本地系統,而且還要在院裏協調各部門,簡直自找麻煩。”最終,這家醫療機構決定下雲,花錢將數據遷移回來,回到此前“膈應”的老系統。

各行各業面臨的共性問題,如今似乎看到了答案。

4月16日,Create2024百度AI开發者大會期間,百度集團執行副總裁、百度智能雲事業群總裁沈抖正式發布了新一代智能計算操作系統——萬源。

萬源主要由Kernel(內核)、Shell(外殼)、Toolkit(工具)三層構成。並且第一次增加了硬件和軟件以外的資源,也就是被大模型壓縮的世界知識。通過對AI原生時代的智能計算平台進行抽象與封裝設計,爲用戶屏蔽掉雲原生系統與異構算力的復雜性,提升AI原生應用开發效率與體驗。

這意味着,模型與AI原生开發的操作、算力、語言等門檻的進一步下放。更關鍵的是,百度憑此“橋接”不同开發深度的生態以及其中的不同角色,一個需求驅動的動態耦合的大系統就此形成。

“一雲多芯”發起算力革命

每個時代都有其對應的底層載體作支撐,工業革命的蒸汽機、發動機或是信息時代的CPU均是如此。因循此邏輯,AIGC开啓的全面智能化同樣需要必須一個核心載體作爲支撐,這便是上文提到的智能計算系統。

值得注意的是,智能計算並非既往計算技術的替代或是簡單整合。相反,它是一種計算形式,根據任務要求系統地、全面地優化現有的計算方法和資源來解決實際問題。

要知道,算力早在在過去一年多內便被公認爲是制約AIGC商業化與進一步發展的卡點,即使中國算力總規模位居全球第二,算力規模近5年更是年均增速近30%,算力卡脖子的焦慮依舊蔓延於行業上空——英偉達GPU一“芯”難求,而向开發者提供GPU托管服務的“算力黃牛”CoreWeave卻在短短四年內估值增長至560億元。

爲了彌合算力供需之間的溝壑,也讓算力更好用,萬源爲智能計算打出的“銀彈”是百舸·AI異構計算平台。

在萬源的內核層,在算力資源管理方面,百度百舸·AI異構計算平台針對大模型訓練、推理等任務,對智算集群的設計、調度、容錯等環節進行了專項優化。目前,百舸能夠實現萬卡集群上的模型有效訓練時長佔比超過98.8%,线性加速比、帶寬有效性分別高達95%,算力效能業界領先。

要知道,即使是在國內頂尖的大模型廠商的視域內,模型有效訓練時長佔比達到90%的智算集群,大多都還局限於千卡集群。此外,百舸更關鍵的突破在於“一雲多芯”在模型訓練場景中的優異表現,稱得上是從根本上緩解算力焦慮。

目前,百舸能夠兼容昆侖芯、昇騰、海光DCU、英偉達、英特爾等國內外主流AI芯片,支持用戶以最小代價完成算力適配。

過去,智算集群中的多個模型訓練任務往往是單一廠商芯片服務於單一任務,不論是不同廠商芯片算力切分、芯片間通信效率或是根本的模型訓練效率問題,都使得算力焦慮在在硬件差異之下被無限放大。

不過,在百舸的智能調度下,不同廠商芯片在單一任務混合訓練已經成爲現實,且百卡規模性能損失不超過3%,千卡規模性能損失不超過5%。百度方面表示,百舸平台的應用能最大程度上屏蔽硬件之間差異,幫助用戶擺脫單一芯片的依賴,實現更優成本,打造更具彈性的供應鏈體系。

面對業內領先的重大突破,百度內部狂喜的同時也有些無奈。“以這么小的性能損耗完成混合多種芯片的單任務訓練,業界基本沒有廠商能做到,甚至我們的一些用戶都不敢相信這是真的”。

當硬件差異在計算調度層面被盡可能抹平後,模型訓練的成本與使用門檻也將隨之降低,甚至直擊算力需求與供給的錯配也未嘗不可。在硬件設施未有根本性變化的情況下,百度的底層技術打響了智能算力革命的發令槍。

授人以漁,重塑开發生態

借由對智能的管理能力,萬源得以成爲百度“橋接”算力效能與應用創新的橋梁,Kernel(內核)、Shell(外殼)、ToolKit(工具)三層高效互聯起來,並形成了端到端的效能優化閉環。

內核層除了百舸·AI異構計算平台之外,還包含不同規格文心模型和第三方模型,外殼層是解決模型的管理、調度與二次开發ModelBuilder,而工具層則是具體應用的开發平台即AgentBuilder、AppBuilder。

行業視域下,大多模型服務商均在2024年前後推出了觸達C端的开發工具,面向C端用戶的封裝應用、面向开發者的AI原生开發工具以及企業側的精細定制化MaaS不一而足。百度根據基礎設施、模型和AI原生應用構建三種不同开發深度而設計的分層於業內並非鮮見。

但難能可貴的是,百度通過萬源,更進一步地將相互隔離的小體系整合成爲一個大的體系。閉環之內,用戶、开發者與企業側三種角色都能共享生態內的計算資源與模型能力來進行高效开發。

用戶或开發者可以通過自然語言的形式,以極少的計算資源進行有針對性的智能體等AI原生應用开發。例如,百度CEO李彥宏在大會上演示的“新加坡旅遊局”智能體,只需在直接生成的基礎智能體之上添加知識庫內容,即可在數分鐘內打造一個經驗豐富的專屬“背包客”。

正如沈抖所言,“隨着大模型技術的不斷演進,通過自然語言進行編程正在成爲現實。編程將不再面向過程或者面向對象,而是面向需求”。百度以萬源爲基底,向業界提供了一個達到“編輯器”級別的开發工具與分發平台,帶動AI原生應用進入下一階段。

端雲協同的飛輪

一個开發生態的初步完善僅是开啓下一個想象空間的第一步,我們需要尋找的還有展現开發價值的載體。

對於开啓智能手機時代的“iPhone時刻”而言,第一個展現巨大價值的載體是以《憤怒的小鳥》爲代表的移動遊戲;於AIGC而言,AI原生开發側的價值落地在於端側與端雲協同。

僅需粗略掃視而今的手機行業,足見智能手機+AI已然成爲各大手機廠商的核心战略。IDC預計2024年全球新一代 AI 手機的出貨量將超過1.7億部,約佔智能手機整體出貨量的15%,Counterpoint預計2027年出貨量達到5.22億部,滲透率達到40%。

另一方面,AI的能力觸達同樣需要一個距離用戶最近的載體,無論是個人數據的安全讀取還是進一步對人類行爲、指令等進行分析、梳理,手機都無疑是當下的絕佳選擇。

事實上,百度早在本次大會前便錨定了萬源系統的價值實現標的。2024年1月10日,在榮耀MagicOS 8.0發布會及开發者大會上,榮耀終端有限公司CEO趙明宣布了“百模生態計劃”,並與百度集團執行副總裁、百度智能雲事業群總裁沈抖共同宣布,百度智能雲成爲榮耀大模型生態战略合作夥伴。

早在2017年11月,榮耀便發布了搭載AI應用與麒麟970處理器的榮耀view10,在彼時尚未成型的AI手機賽道初露崢嶸,近期更是掏出100億真金白銀與2000余項相關專利,宣告其發力端側AI的堅定決心。更重要的是,榮耀還是智能手機賽道的頭部玩家,據IDC數據,去年第四季度榮耀以16.8%份額佔比,排名安卓陣營第一。

以此前披露的合作細節來看,有別於行業普遍的拍照、實時通話翻譯、智能搜索等簡單升級,兩者是通過MagicOS來展开端雲協同的範式創新——由端側的榮耀魔法大模型負責理解用戶意圖,在後台將用戶的簡單提示轉化爲更專業的提示,再由雲上的文心大模型提供知識問答、生活建議等專業服務。

例如日常助理需求中的“幫我安排日程表”或“幫我設定運動規劃”,魔法大模型會分析用戶的出行、健康等使用數據,生成初步提示詞,以此調度文心大模型來生成足夠全面的規劃。在此過程中,魔法大模型將通過端側防護網,濾掉敏感信息並確保個人隱私不上雲,來解決用戶對個人數據的隱憂。

然而這僅是AI在這個端雲協同範式下的初步應用,更進一步的是依據用戶自行上傳的端側數據而形成的個人知識庫,以極短的鏈路提高勞動生產率並延伸腦力的可觸達空間。

在安全性、可解釋性、易用性等綜合指標早已成爲AI軍備競賽關鍵的當下,打开大模型的黑箱從而觸達公衆認知,無疑是大模型進入“創新擴散”下一周期的勝負手。开發者視角下的黑箱在於算法和訓練過程,對於用戶而言,不可見的黑箱則是模型能力的易用性與普適性。

面對不同角色的“开箱”需求,客制化產品不斷湧現。然而唯有百度率先向底層進軍,通過智能計算能力大幅降低开發門檻,將相對隔離的不同开發與反饋體系融爲一體。體系的率先建立往往意味着商業壁壘,尤其是對於to B賽道而言。

AI與雲的深度融合,端雲協同的深度耦合下,我們亦看到了李彥宏在內部講話中堅持閉源路线的底氣所在。“搶灘”智能計算的百度再次在AI軍備競賽中保持了身位的領先。

       原文標題 : 雲+AI治標不治本,產業需要“一雲多芯”的AI原生雲



標題:雲+AI治標不治本,產業需要“一雲多芯”的AI原生雲

地址:https://www.utechfun.com/post/359805.html

鄭重聲明:本文版權歸原作者所有,轉載文章僅爲傳播更多信息之目的,如作者信息標記有誤,請第一時間聯系我們修改或刪除,多謝。

猜你喜歡