華為云CTO張宇昕:大模型時代需要全新的網(wǎng)絡(luò)互聯(lián)技術(shù)
分類: 最新資訊
日志詞典
編輯 : 日志大全
發(fā)布 : 02-26
閱讀 :211
《科創(chuàng)板日報》26日訊,華為云CTO張宇昕在巴塞羅那華為云峰會表示,大模型時代對算力有著全新的要求:1、聯(lián)算比。未來需要全新的網(wǎng)絡(luò)互聯(lián)技術(shù)來解決運算量和GPU算力之間的巨大差距。2、容算比。當前在模型訓(xùn)練過程中為獲取足夠顯存容量,存在不必要的GPU算力閑置。3、存算比。當前在模型訓(xùn)練過程中,大量的時間消耗在GPU數(shù)據(jù)加載,造成算力的進一步浪費。基于此,云的系統(tǒng)架構(gòu)將從“以CPU為中心的主從架構(gòu)”向“多元算力對等架構(gòu)” 躍遷,突破算力、存儲和網(wǎng)絡(luò)的邊界,實現(xiàn)多元算力的對等全互聯(lián)。(記者 黃心怡)