部署参数配置
模型参数与量化
模型规模
量化类型
运行参数
GPU 显存分布
GPU 0
GPU 1
GPU 2
GPU 3
GPU 4
GPU 5
GPU 6
GPU 7
0.0GB6.9GB13.8GB20.7GB27.6GB34.5GB
框架开销 (1.00 GB) 模型参数 (8.75 GB) 激活值 (2.19 GB) 输出张量 (15.66 GB)
Model Details
Hidden Size10240
Layers80
Attention Heads96
KV Heads20
Max Position Embeddings32768
Vocabulary Size128,000
Parameters Per Layer0.88 B
Total Parameters70.00 B
Attention Dimension160
FFN Expansion Ratio3.5x
GQA Ratio4:1
Hardware Configuration
Select Available GPU
已选 GPU
当前量化精度： FP8未选择 GPU，将按当前类别下的所有受支持 GPU 进行评估。
CPU-
Memory-
Network-
Storage-
Optimization Plan-
GPU 兼容性检查当前选择的 GPU 未发现不兼容问题。