與工程學(xué)】【數(shù)據(jù)中心】第三十九篇 智算中心Scale系統(tǒng)中的算法體系01)
1. Scale Out（水平擴(kuò)展）核心問題：增加節(jié)點(diǎn)數(shù)N如何影響吞吐量、延遲、效率？方程式列表方程名稱數(shù)學(xué)表達(dá)式參數(shù)說明數(shù)值示例Amdahl定律（固定問題規(guī)模）S(N)=(1?p)+Np?1?p: 可并行化比例; N: 處理器數(shù)p=0.95, N=128 → S≈20.3Gustafson定律（縮放問題規(guī)模）S(N)=N?p(N?1)p: 串行比例p=0.05, N=128 → S≈121.6并行效率E(N)=NS(N)?理想為1，實(shí)際受通信開銷影響上例E=20.3/128≈0.159通信開銷模型（AllReduce） 【信息科學(xué)與工程學(xué)】【數(shù)據(jù)中心】第三十九篇 智算中心Scale系統(tǒng)中的算法體系01
1. Scale Out（水平擴(kuò)展）核心問題：增加節(jié)點(diǎn)數(shù)N如何影響吞吐量、延遲、效率？方程式列表方程名稱數(shù)學(xué)表達(dá)式參數(shù)說明數(shù)值示例Amdahl定律（固定問題規(guī)模）S(N)=(1?p)+Np?1?p: 可并行化比例; N: 處理器數(shù)p=0.95, N=128 → S≈20.3Gustafson定律（縮放問題規(guī)模）S(N)=N?p(N?1)p: 串行比例p=0.05, N=128 → S≈121.6并行效率E(N)=NS(N)?理想為1，實(shí)際受通信開銷影響上例E=20.3/128≈0.159通信開銷模型（AllReduce）