第3世代 AMD EPYC 7763 64-Core Processor 128Threads 128GB TITAN RTX TS240GSSD220S 256GBで構成された AlmaLinux release 9.4 へ CUDA-toolkit 12.6.2をInstall してcat /etc/redhat-release nvidia-smi nvcc -V sensors hddtemp lsmem lscpuを設定してみた


desktop

cat /etc/redhat-release nvidia-smi nvcc -V hddtemp

sensors lsmem lscpu AMD EPYC 7763 64-Core Processor 128Threads

カテゴリー: alma8, nvidia | コメントする

■PyTorch → ONNX → TensorRT 手順書

雪の白川郷

① 必要なもの(最初に全部)
CUDA 12.1 の場合
pip install torch torchvision torchaudio –index-url https://download.pytorch.org/whl/cu121
torch
onnx
onnxscript
TensorRT(trtexec)
Docker(NVIDIA GPU 対応)

② PyTorch → ONNX(5 行)
import torch
import torch.nn as nn
model = nn.Linear(4, 2)
dummy = torch.randn(1, 4)
torch.onnx.export(model, dummy, “model.onnx”)

● 保存場所
Python を起動した場所(例:/home/chibi)

● 出力
model.onnx
model.onnx.data

③ Docker に入る(RHEL10 / Ubuntu 共通)
sudo docker run –rm –gpus all -it \
-v $HOME:/workspace \
nvcr.io/nvidia/tensorrt:24.02-py3

④ ONNX → TensorRT(1 行)
trtexec –onnx=/workspace/model.onnx –saveEngine=/workspace/model.plan
ls -al /workspace

● 出力
model.plan

⑤ 推論(必要なら)
trtexec –loadEngine=/workspace/model.plan –shapes=input:1×4

データをコピペで使う場合はこちらでお願いします。
データに使うコピペ版

カテゴリー: Linux, nvidia | コメントする

■ONNX モデルを TensorRT でエンジン化する手順

忍野八海

## 目的
ONNX モデル(model.onnx)を TensorRT でエンジン(model.plan)に変換する。

## 講師
Windows AI

## 環境
– RHEL10
– TensorRT コンテナ
– ホストとコンテナを以下で接続:
-v /home/chibi/models:/workspace

## docker 起動方法
sudo docker login nvcr.io -u ‘$oauthtoken’ -p nvapi- <あなたのNGC API Key> でlogin を済ませる。
 次に dockerにはいる。
 sudo docker run –rm –gpus all -it \
-v /home/chibi/models:/workspace \
nvcr.io/nvidia/tensorrt:24.02-py3

## ONNX ファイルの場所
ホスト:/home/chibi/models/model.onnx
コンテナ:/workspace/model.onnx
(同じファイル)

## エンジン生成
trtexec –onnx=/workspace/model.onnx –saveEngine=model.plan

## 成功確認
ls -al /workspace
例:
-rw-r–r– 1 root root 297236 model.plan
model.plan が生成されていれば成功。

## まとめ
• ONNX は “中間形式”
• PyTorch や TensorFlow のモデルを TensorRT が読める形にするための橋渡し
• 最終的に TensorRT が使うのは model.plan

データをコピペで使う場合はこちらを使ってください
コピペで使用時のデータ版

カテゴリー: nvidia, rhel10 | コメントする

梅が咲きました

梅が咲きました

カテゴリー: | 1件のコメント

第3世代 AMD EPYC 7763 64-Core Processor 128Threads 128GB TITAN RTX ADATA SX8200PNP 256GB で構成された Red Hat Enterprise Linux release 9.5 へ CUDA.12.9.0 をInstall して nvidia-smi nvcc -V cat /etc/redhat-release sensors nvme list nvme smart-log /dev/nvme0n1 lsmem lscpuを設定した


desktop Red Hat Enterprise Linux release 9.5

nvidia-smi nvcc -V cat /etc/redhat-release sensors

nvme list nvme smart-log /dev/nvme0n1 lsmem

lscpu AMD EPYC 7763 64-Core Processor 128Threads

カテゴリー: nvidia, rhel9 | コメントする