全球播報:“反復橫跳”馬斯克也要做大模型了?
前腳剛剛呼吁暫停AI開發至少6個月,后腳馬上“暗中”購買上萬個GPU推進AIGC項目,“整活王”馬斯克又搞事情了。
據Business Insider當地時間4月11日報道,兩位知情人士透露,盡管馬斯克此前剛剛簽署公開信。但事實上,他卻在“暗中”推進新的生成式人工智能(AIGC)項目,并為此購買了上萬個GPU(圖形處理器)。
(資料圖片僅供參考)
據Business Insider消息,這1萬顯卡是買給推特的,推特版GPT已在準備中,而且推特本身就擁有海量數據,存在一定優勢,該項目涉及創建一個生成式人工智能,推特將根據自己的海量數據進行訓練。
至于推特GPT究竟作用在何處,市場人士有兩種猜測:
其一,改進搜索。
因為馬斯克曾抱怨過這一功能,甚至還聘請過著名iPhone黑客George Hotz進行為期三個月的修復。不過似乎他和馬斯克的“氣場不和”,不僅曾經拒絕了特斯拉的offer邀請,在推特本來說好的三個月,也只呆了一個月就走了。
其二,可能是廣告營銷。
廣告是社交媒體的支柱,馬斯克在收購推特之后搞了很多新政策,不少廣告商直接削減支出或干脆不合作了,導致光是推特去年12月的收入就比同期下降了約40%。
而如果有了大模型來做生成式AI創作,無論是設計素材還是提供idea,都可能會提高推特在廣告營銷方面的效率和收益。
馬斯克與OpenAI的愛恨情仇
今年3月,在GPT-3.5迭代到GPT-4,兩個月就獲得1億活躍用戶后,馬斯克等科技圈大佬帶頭潑下冷水,他們發布了一封聯名公開信,呼吁所有AI實驗室立即暫停訓練比GPT-4更強大的AI系統至少6個月。
而一眾大佬的叫停理由是:“希望暫停研發比GPT-4更強大的AI至少6個月,AI可能對社會和人類構成潛在風險;近期各人工智能實驗室陷入了失控的研發競爭,如果不能立即暫停,呼吁政府可以介入。
現在問題就來了,前腳剛剛呼吁暫停研發,后腳自己馬上就動手搞了,為什么馬斯克態度如此反復?
據媒體報道,實際上,馬斯克反對的可能不是AI,而是OpenAI和GPT。
據新興媒體Semafor透露,馬斯克與OpenAI的不和更多是出于個人原因。2018年,馬斯克告訴OpenAI的聯合創始人山姆·奧特曼,該實驗室落后于谷歌太多。馬斯克建議自己應該是經營公司的人,奧特曼和OpenAI的其他創始人拒絕了這一提議,權力斗爭導致馬斯克離開OpenAI。
不過美國《財富》雜志當時報道稱,離開的原因是因為馬斯克雖然支持人工智能,但特斯拉智能駕駛技術與OpenAI之間有“潛在利益沖突”。
在公司創立之初,馬斯克承諾向OpenA提供大約10億美元,而據Semafor的報道,該資助在他離開后就停止了。
此外,自ChatGPT誕生以來,馬斯克也沒少"針對"OpenAI。
例如其在推特上曾表示,“我捐1億美金成立的非營利組織怎么就變成一個300億市值的營利性公司了呢?如果這是合法的,為什么其他人不這樣做?”
此外,在過去OpenAI是可以使用推特數據進行AI訓練的,但ChatGPT發布的第5天,馬斯克就下令暫停了這個權限。
算力需求將持續爆發
吃瓜歸吃瓜,最后我們重點再來聊一下算力的問題。
此次馬斯克購買的1萬張GPU大概是個什么概念?事實上,特斯拉最強超算Dojo也沒有這么多,Dojo在2022年升級后公布的數據是7360塊A100,雖然這次買的什么型號還不清楚,但光從數量來說也著實不少。
另外,據ARKInvest預測,ChatGPT-4參數量最高達15000億個,由于參數量與算力需求間存在正比關系,所以可推算GPT-4算力需求最高達到31271?PFlop/s-day。
浙商證券表示,與此同時,國內外廠商加速布局大模型,其參數量均達到千億級別,同步帶動算力需求爆發式增長。
華安證券還提到,類chatGPT大模型帶來的算力增長,毋庸置疑,但算力的需求,不止局限于模型的投資初期,隨著GPTAPI的開放、下游應用多模態的成熟,對于的大模型的推理算力需求進一步提升。即在模型不斷更迭訓練中,算力需求提升;在模型應用推理中,算力需求進一步提升。由此,整個算力需求一如互聯網時期的流量需求,持續爆發。
其表示,整個大模型的算力需求包括訓練端與推理端。具體來看:首先是訓練端:算力需求,與模型參數、訓練數據集規模正相關。
其表示,未來的訓練端算力需求將是下述三大因素的乘積。
1)參數規模。也即隨著GPT 3向更多參數的GPT4、5等發展。
2)訓練集規模。
3)投入大模型的企業增長。國內包括華為、百度、阿里巴巴、騰訊、字節等互聯網巨頭以及更多加入大模型研發的企業。
而在推理端:算力需求與模型參數數量、平均序列長度、并發需求量正相關。其表示,多模態之下,圖片、視頻生成需求的提升,在公式中將會增加平均序列長度,同時隨著并發需求的增長,整個推理算力需求大幅提升。同時chatgpt應用進一步豐富,在推理端的算力需求持續提升,或將遠遠超過訓練階段的算力需求。
風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。關鍵詞: