『問題解決型』ハードウェアメーカー
ファナティック

産業用ボックスPCでのRTX 4000 SFF Adaベンチマーク

2023.08.04　ベンチマークレポート

産業用ボックスPCでのRTX 4000 SFF Adaベンチマーク

今回は、RTX 4000 SFF Adaの各種ベンチマークを実施しました。
RTX 4000 SFF Adaは最新のNVIDIA Ada Lovelace アーキテクチャであり、48基の第3世代RTコア、192基の第4世代Tensorコア、および6144基のCUDAコアを20GBの大容量メモリで統合し、さらに、コンパクトかつ消費電力70Wという高いワットパフォーマンスを持ちます。

RTX 4000 SFF Adaは学習用途のみならず、小型のボックスPCやラックマウントに搭載し、機械学習等の推論用途でも、大きなアドバンテージが出せると期待しています。

今回は、推論用途に最適な産業用ボックスPCとして提案しているFAS-10100に搭載し評価を行いました。また、同コンピュータに対応しているRTX A2000(12GB)を比較対象としました。

FAS-10100【CCC対応・エッジAIボックスPC】

目次

1．GPUの主な仕様

2．学習

3．推論

4．消費電力

5．最後に

1．GPUの主な仕様

2．学習

[環境]
・OS：Ubuntu 20.04.2
・GeForce Driver：530.30.02
・Docker：23.03.tf1.py3、23.03.tf2.py3
・CUDA：12.1
※画像をクリックすると拡大します。

Tensorflow v1およびv2の両環境において、約1.3倍の性能向上が見られます。
学習向けの強力なGPUではありませんが、一定の性能は発揮できているのではないかと考えられます。

また、バッチサイズについては、FP16において、RTX A2000が256で実行不可となるのに対し、RTX 4000 SFF Adaは、384まで実行できることを確認しています。

GPUに搭載されているメモリ容量が増えたことにより、RTX A2000と比較してより大きなバッチサイズでも実行可能となっております。
※参考記事：RTX A6000 Adaベンチマーク

3．推論

[環境]
・OS：Ubuntu 20.04.2
・GeForce Driver：530.30.02
・Docker：11.8.0-cudnn8-devel-ubuntu22.04
・CUDA：11.8
・MLPerf：Inference 2.1

MLPerfについては、チューニングを行わず、同条件での結果をもって比較しております。そのため、以下のオプションでベンチマークを実施いたしました。

・Flamework：Tensorflow
・Dataset：Imagenet
・Model：ResNet50
・Count：1000
・QPS：1(指定なし)
※画像をクリックすると拡大します。




Offlineでの1秒当たりのサンプル処理数(sample/s)では、約1.5倍となり、1秒当たりの処理速度が向上していることを確認できました。

また、StreamでのLatency(ms)では、Single：0.57倍、Multi：0.63倍となり、処理の遅延時間も大きく減少しております。

4．消費電力

両GPUの消費電力はPCIeスロットからの給電のみで、70Wと非常に低消費電力となっています。1Wあたりの学習ベンチマークにて、比較をしてみました。

RTX 6000 Ada(消費電力:300W)とRTX 4090(消費電力:450W)を加え、学習結果をおさらいしてみます。
※画像をクリックすると拡大します。


※画像をクリックすると拡大します。


1Wあたりの性能は、RTX 4000 SFF Adaが非常に優秀で、RTX 4090と比較すると約2倍の結果となっています。消費電力を抑えつつ、ある程度性能も確保したいというニーズにお応えできるGPUとなっております。

5．最後に

取り付け環境に制約があるなかで、補助電源が不要な小型タイプのGPUの選択肢として、新たにRTX 4000 SFF Adaが加わりました。順当に性能向上しておりますので、ぜひお問い合わせ下さい。

関連製品

FAS-10100【CCC対応・エッジAIボックスPC】

FAM-8120-G 【GPU搭載対応 産業用PC】

産業用AI PC 【Deep Flex（ディープ・フレックス®）-FAI2U】