熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
這就是為什麼我們需要開放的本地 AI 基準測試。
否則它會變成部落主義和互相指責。
我們將發布最大的開放基準測試數據庫,這些基準測試在 1,000 多個真實硬體設置上進行測試。每個設備、每個互連、不同的模型/量化。
我們的辦公室裡有滿滿的硬體:每一款 M-chip 的 Mac、每一部 iPhone、每一個 RTX、DGX Spark、Strix Halo、Pi,……
一般來說,蘋果的矽晶片在記憶體單位經濟學上優於其他,而 GPU 在計算單位經濟學上優於其他。哪一種最好取決於工作負載和併發性。
事實(這在開放基準測試中將會顯而易見)是,最好的方案是兩者的某種組合——將你記憶體需求高的記憶體綁定工作放在 Mac 上,將計算綁定的工作放在 GPU 上。
熱門
排行
收藏
