“預訓練”是AI大模型學習中的一種方法,指的是通過海量的數據,訓練一個大模型。訓練時需要大量的數據和算力支持,每次迭代可能耗資數百萬至數億美元。
官方技術論文披露,DeepSeek-V3在預訓練階段僅使用2048塊GPU訓練了2個月,且只花費557.6萬美元。這個費用是什么概念?
據報道,GPT-4o的模型訓練成本約為1億美元。簡單粗暴地說,這相當于DeepSeek-V3比同等性能的AI大模型,降了十幾倍的成本。
早在2024年5月,深度求索發布DeepSeek-V2時,就曾因給模型的定價太過于便宜,開啟了中國大模型的價格戰,被稱之為“AI界的拼多多”。
“相比于說它是‘拼多多’,它更像小米,貼近成本定價,并且自產自銷。”馬千里認為,訓練成本比較低的原因,離不開深度求索團隊自研的架構和算力,他們自身的算力儲備可以與大廠比肩,并且更注重底層的模型。
“ChatGPT走的是大參數、大算力、大投入的路子,DeepSeek-V3的路徑用了更多的巧思,依托數據與算法層面的優化創新,從而高效利用算力,實現較好的模型效果。”馬千里說道。
24直播網提供籃球nba、足球英超等比賽直播服務,24直播網可以提供nba直播免費觀看在線直播高清回放,24直播網在線觀看高清直播無插件jrs,24直播網軟件免費高清在線觀看等綜合服務,24直播網一個觀察精彩比賽的網站,收藏我們。
Copyright ? 2021-2024 24直播網. All Rights Reserved. 蘇ICP備2021003046號-2