一、概況
助力 AI 訓(xùn)練和推理橫向擴(kuò)展
利用全球性能超強(qiáng)勁的擴(kuò)展加速器 NVIDIA? T4 GPU 打造動(dòng)力澎湃的服務(wù)器。它的 70 瓦半高設(shè)計(jì)由 NVIDIA Turing? Tensor核心提供動(dòng)力支持，具有革命性的多精度推理性能，可加速各種當(dāng)今熱門的應(yīng)用程序。這款先進(jìn)的 GPU 封裝在外形小巧的 70 瓦低能耗 PCIe 中，且針對(duì)服務(wù)器橫向擴(kuò)展進(jìn)行了優(yōu)化，專為提供杰出的 AI 性能而打造。
二、特性
性能橫向擴(kuò)展推動(dòng)數(shù)據(jù)中心加速
小巧的 70 瓦外形設(shè)計(jì)讓 T4 針對(duì) 可擴(kuò)展服務(wù)器進(jìn)行了優(yōu)化，能效相比 CPU 提高了 50 倍之多，大大降低了 運(yùn)營成本。過去兩年，NVIDIA 推理 平臺(tái)的性能提高了 10 多倍，仍然是 極具能效的分布式 AI 訓(xùn)練和推理 解決方案。
NVIDIA T4 數(shù)據(jù)中心 GPU 是完美 適用于分布式計(jì)算環(huán)境的通用加速器。 革命性的多精度性能可加速深度學(xué)習(xí) 以及機(jī)器學(xué)習(xí)訓(xùn)練和推理、視頻轉(zhuǎn)碼 和虛擬桌面。T4 支持所有 AI 框架和 網(wǎng)絡(luò)類型，性能強(qiáng)勁，效率卓越， 可最大限度提高大規(guī)模部署的效用。
Turing Tensor 核心技術(shù) 具有多精度 計(jì)算特性，實(shí)現(xiàn)了從 FP32、FP16 到 INT8 以及 INT4 精度的突破性 AI 性能。 與 CPU 相比，它的訓(xùn)練性能高達(dá) 9.3 倍，推理性能高達(dá) 36 倍。
三、規(guī)格
二、特性
性能橫向擴(kuò)展推動(dòng)數(shù)據(jù)中心加速
小巧的 70 瓦外形設(shè)計(jì)讓 T4 針對(duì) 可擴(kuò)展服務(wù)器進(jìn)行了優(yōu)化，能效相比 CPU 提高了 50 倍之多，大大降低了 運(yùn)營成本。過去兩年，NVIDIA 推理 平臺(tái)的性能提高了 10 多倍，仍然是 極具能效的分布式 AI 訓(xùn)練和推理 解決方案。
NVIDIA T4 數(shù)據(jù)中心 GPU 是完美 適用于分布式計(jì)算環(huán)境的通用加速器。 革命性的多精度性能可加速深度學(xué)習(xí) 以及機(jī)器學(xué)習(xí)訓(xùn)練和推理、視頻轉(zhuǎn)碼 和虛擬桌面。T4 支持所有 AI 框架和 網(wǎng)絡(luò)類型，性能強(qiáng)勁，效率卓越， 可最大限度提高大規(guī)模部署的效用。
Turing Tensor 核心技術(shù) 具有多精度 計(jì)算特性，實(shí)現(xiàn)了從 FP32、FP16 到 INT8 以及 INT4 精度的突破性 AI 性能。 與 CPU 相比，它的訓(xùn)練性能高達(dá) 9.3 倍，推理性能高達(dá) 36 倍。
三、規(guī)格
GPU 架構(gòu)
NVIDIA Turing
NVIDIA Turing
NVIDIA Turing Tensor 核心數(shù)量
320
320
NVIDIA CUDA 核心數(shù)量
2560
2560
單精度
8.1 TFLOPS
8.1 TFLOPS
混合精度(FP16/FP32)
65 TFLOPS
65 TFLOPS
INT8
130 TOPS
130 TOPS
INT4
260 TOPS
260 TOPS
GPU 顯存
16 GB GDDR6 300 GB/s
16 GB GDDR6 300 GB/s
ECC
支持
支持
互聯(lián)帶寬
32 GB / 秒
32 GB / 秒
系統(tǒng)接口
x16 PCIe Gen3
x16 PCIe Gen3
外形尺寸
PCIe 半高卡
PCIe 半高卡
散熱解決方案
被動(dòng)式
被動(dòng)式
計(jì)算 API
CUDA NVIDIA TensorRT ONNX
CUDA NVIDIA TensorRT ONNX
