軟體算力tflops

A. 1萬個A100的算力是多少

NVIDIA A100是一種高性能計算加速器，它的算力可以通過浮點運算每秒測量來衡量。具體而言，A100在FP32精度下的猜螞算力為19.5 TFLOPS（萬億次浮點運算每秒），在FP64精度下的算力為9.7 TFLOPS。
因此，1萬個A100的穗孫埋算力在FP32精度下為：
19.5 TFLOPS × 10,000 = 195 PFLOPS（千萬億次浮點運算每秒）
在FP64精度下的算力為：
9.7 TFLOPS × 10,000 = 97 PFLOPS（千萬億次浮點運算每秒）
需要注意凱搭的是，這只是理論上的峰值算力，實際應用中的性能可能會受到多種因素的影響，例如演算法的復雜度、數據傳輸瓶頸等。

B. TFlops/s 是什麼計數單位啊

所謂petaflop，是衡量計算機性能的一個重要單位，1petaflop等於每秒鍾進行1千萬億次的數學運算。

當今最快的並行計算操作可以達到teraflop量級的速度。美國的國家科學基金會，連同NASA和DARPA一起，已經為構想一個petaflop計算機贊助八個研究計劃。一個petaflop計算機會實際上需要一個在相同的問題方面的平行工作的龐大數量的計算機。

所謂petaflop，其應用可能包括外科手術中的實時核磁共振成像，以計算器為基礎的麻醉葯設計、天體物理學的模擬、環境污染的模型建立和研究長期氣候。

(2)軟體算力tflops擴展閱讀

我國製造的天河二號超級電腦於近日問鼎了世界超級電腦500強。據悉這台電腦問世的時間比原定計劃早了不少，它採用了32,000 顆Xeon 處理器，同時還配有48,000 顆 Xeon Phi 加速處理器。其運算速度達到了33.85 Petaflop，差不多是上一個冠軍 Titan 的兩倍。

全系統包含6144個通用處理器（CPU）和5120個加速處理器（GPU），僅系統級軟體就有20多萬行代碼。按照每人每個小時寫20行代碼的速度，需要寫1萬小時。互聯通信網路的單根線傳輸速率為10Gbps，這是目前國際上最快的速率，相當於在「天河一號」計算機內部修了一條信息高速公路。

C. 用於深度學習的邊緣計算設備,計算能力單位是看FLOPS還是TOPS

看TFLOPS。

可以這么說，在需要進行浮點運算時，同量級的1TFLOPS處理速度是比1TOPS快的。大約可以認為1TOPS<1TFLOPS<2TOPS，具體的量化對比兩個單位。

TFLOPS定義是「每秒所執行的浮點運算次數」（floating-point operations per second）的縮寫。OPS與FLOPS類似，只不過OPS是操作次數，FLOPS是浮點操作次數。帶F的是可以直接進行浮點運算的，不帶F的是不能直接進行浮點運算，需要進行轉換。

深度學習(DL, Deep Learning)是機器學習(ML, Machine Learning)領域中一個新的研究方向，它被引入機器學習使其更接近於最初的目標——人工智慧(AI, Artificial Intelligence)。

深度學習的概念：

深度學習是學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息對諸如文字，圖像和聲音等數據的解釋有很大的幫助。

它的最終目標是讓機器能夠像人一樣具有分析學習能力，能夠識別文字、圖像和聲音等數據。 深度學習是一個復雜的機器學習演算法，在語音和圖像識別方面取得的效果，遠遠超過先前相關技術。

D. CPU TFLOPS 計算

@(System)

深度學習等計算密集型任務很關注設備的峰值算力，落實到具體指標，就是大家都很關心T(FL)OPS (Tera (FLoat) OPerations per Second)。這里，operations具體指的就是乘加操作。該指標在GPU上是明確標示供查的，但CPU目前並不會在spec中暴露TOPS指標。
一種方法可以通過跑BLAS的benchmark來測量的，這種方法有兩個問題：一是需要一定的操作成本，二是受軟體優化的影響（所以，如果出了問題就容易不知道這是硬體能力不行還是軟體優化沒到位）。因此，需要一個對硬體能力的直接估計。
這里提供一個計算CPU峰值算力的公式來解決這個問題。

CPU使用SIMD協處理器(co-processor) 來加速FP32乘加運算，如SSE、AVX2、AVX-512。更具體地，是由協處理器的FMA(Fused Multiply-Add)單元完成的。所以CPU的T(FL)OPS主要取決於FMA的計算能力。

FP64 FMA乘加指令 vfmadd132pd 執行以下操作：

這里，向量的長度由AVX寄存器長度決定。
如: 一個AVX-512寄存器可以存放8個FP64 ( ), 那麼 ， ， 和 的長度就均為8，一個AVX-512 FMA每個clock cycle可以做8個乘加操作，如下：

因此，FP64的 可以計算如下：

這里，乘法和加法各算一個操作，所以8需要乘2。

Xeon SkyLake 8180，一個socket有28個core，每個core有一個AVX-512協處理器，每個AVX-512協處理器配有2個FMA。因此：

frequency可以通過查spec得到，這里需要取AVX-512 max all core Turbo frequency，即2.3 GHz。

所以，一個雙路(al-socket) SkyLake 8180系統的FP64峰值TFLOPS (Tera FLoat OPerations per Second)為：

FP32 FMA乘加指令 vfmadd132ps 執行以下操作：

一個AVX-512寄存器可以存放16個FP32 ( ), 因此 ， ， 和 的長度均為16，一個AVX-512 FMA每個clock cycle可以做16個乘加操作，如下：

因此，FP32的 可以計算如下：

Xeon SkyLake 8180，一個socket有28個core，每個core有一個AVX-512協處理器，每個AVX-512協處理器配有2個FMA。因此：

又因為8180 AVX-512 max all core Turbo frequency = 2.3GHz，則一個雙路SkyLake 8180系統的FP32峰值TFLOPS為：

Xeon CPU在SapphirRapids(SPR)之前不支持FP16的原生FMA運算，需要先通過 vcvtph2ps 指令將FP16轉換成FP32，再通過FP32的FMA運算來完成。此時，FP16的峰值TFLOPS與FP32的峰值TFLOPS是相等的。

從SPR開始，AVX512引入了 vfmadd132ph 指令用於FP16的FMA運算。凡是CPU Flag中有AVX512_FP16的CPU均支持原生FP16乘加。一個AVX-512寄存器可以存放32個FP16 ( )，一個AVX-512 FMA每個clock cycle可以做32個乘加操作，如下：

此時，FP16的 可以計算如下：

Xeon CPU從CooperLake(CPX)開始支持BF16的乘加運算，凡是CPU Flag中有AVX512_BF16的CPU均支持原生BF16乘加。但因為其復用了FP32的FMA，所以暴露出來的BF16指令並不是標準的FMA，而是DP(Dot Proct)。

BF16 DP指令 vdpbf16ps 操作如下：

一個AVX-512寄存器可以存放32個BF16 ( )。因此，一個AVX-512 BF16 DP每個clock cycle可以做32個乘加操作。
因此， 可以計算如下：

CPU通過兩條指令 vpmuldq + vpaddq 完成INT32的乘加操作，如下：

一個AVX-512寄存器可以存放16個INT32 ( )。因此，一個AVX-512 FMA每2個clock cycle可以做16個INT32乘加操作，即平均每個clock cycle可以做8個INT32乘加操作。
因此， 可以計算如下：

在支持VNNI(Vector Neural Network Instructions)指令前，CPU通過兩條指令 vpmaddwd + vpaddd 完成INT16的DP操作(原因也是為了復用INT32的FMA，所以選擇不支持INT16的FMA，而只支持Multiply Add), 如下：

在支持VNNI指令後，CPU通過一條指令 vpdpwssd 完成INT16的乘加操作, 如下：

在支持VNNI指令前，CPU通過三條指令 vpmadbsw + vpmaddwd + vpaddd 完成INT8的DP操作, 如下：

一個AVX-512寄存器可以存放64個INT8 ( )。因此，每3個clock可以做64個INT8乘加操作，即平均每個clock做 個INT8乘加操作。
因此， 可以計算如下：

在支持VNNI指令後，CPU通過一條指令 vpdpbusd 完成INT8的DP操作, 如下：

一個AVX-512寄存器可以存放64個INT8 ( )。因此，一個AVX-512 FMA每個clock cycle可以做64個INT8乘加操作。
因此， 可以計算如下：