自然言語処理モデル用ワークステーション | 研究開発者向け情報発信メディア TEGAKARI

手持ちのGPU x2台 (RTX A6000 2台またはA100 2台)を使用するためのマシンを購入したい。
希望する条件は以下の通り。

・100Vの電源環境で動作する構成を希望
・消費電力はできるだけ小さくしたい
・居室で使用するため、GPU使用時以外は静音が望ましいが、GPU使用時の稼働音は許容する
・用途はBERTのFine-tuningおよびNVIDIA Clara Parabricks
・予算は150万円

予算は年度を超えても大丈夫だが、できるだけ早く入手できると嬉しい。

CPU	AMD Ryzen ThreadripperPRO 5975WX (3.60GHz 32コア)
メモリ	256GB REG ECC
ストレージ	1TB SSD M.2
ビデオ	on board (VGAx1)
ネットワーク	on board (1GbE x1 10GBase-T x1)
筐体+電源	タワー型筐体 + 1600W
OS	Ubuntu 20.04

ご要望に合わせて構成を検討しました。
消費電力を意識して、Ryzen Threadripper構成としています。

搭載するGPUはRTX A6000を想定しています。
A100はGPU本体に冷却FANがないため、GPU冷却機構を持つGPGPUサーバー用の筐体が必須となり、ご予算内での実現は難しいとお考えください。

電源ユニットは1600W対応品としていますが、100V環境での利用では1300W程度までが利用可能です。入力が最大100V/15Aの交流に対して直流への変換時にロスがあり、80+の最大変換効率であるTITANIUMであっても、100%動作時の変換効率は90%です。100V/15A時は1500W x0.9として1350Wが理論上の上限となります。

上記を前提に、CPU側は極力消費電力が少ないことが望ましいと考えられるため、1CPU構成のThreadripper構成をご提案しました。また、本構成は1CPU構成のため物理的に筐体内部スペースの余裕がありますので、200V環境で利用する場合にはRTX A6000を合計3台利用することができます。

本事例の構成は、お客様から頂戴した条件を元に検討した内容です。
掲載内容とは異なる条件でご検討の場合でも、お気軽にご相談ください。

稼働音対策をご希望のお客様には、エスアイ社製の静音ラックと合わせたご提案も承っております。
静音性を重視したマシン導入をお考えの際には、気兼ねなくご相談ください。

エスアイ社製静音ラックの特長
[1]ユーザーの環境とマシンに合わせた専用設計のラックを提供
[2]静音性と安全放熱を高い次元で両立
[3]音響の専門技術を軸としたメーカーなので、静音性の技術力が高い
[4]マシン適合の技術サービスが付帯し、安全運用を約束

■FAQ

・BERTとは
BERT (Bidirectional Encoder Representations from Transformers) は、Googleが開発した自然言語処理 (NLP) モデル。与えられた文脈に基づいて単語を理解することができ、言語処理における幅広いタスクに適用される。
また、BERTは事前学習とファインチューニングの2つのフェーズで構成されている。事前学習では、大規模なコーパスから学習された汎用的な言語モデルが作成される。ファインチューニングでは、特定のタスクに適用するために、小規模なデータセットから学習されたモデルが調整される。
従来のNLPモデルに比べて高い精度を示し、複雑なタスクにも対応できることが特徴で、テキスト生成、質問応答、文書分類、言語翻訳などに応用されており、NLPの分野で最も有名なモデルの1つとして広く使われている。

・Fine-tuningとは
Fine-tuningとは、事前学習済みの機械学習モデルを特定のタスクに適用するために、タスクに関連するデータセットを用いてモデルを微調整すること。例えば、自然言語処理の場合、大規模なコーパスから学習した汎用的な言語モデルを、特定のテキスト分類タスク (感情分析、スパム検出、トピック分類など) に適用することができる。この場合、モデルは特定の分類タスクに関連する少量のデータセットから学習され、最終的には特定のタスクに最適化される。
Fine-tuningによって、大量のデータを必要とせずに、既存の汎用的なモデルを特定のタスクに適用することができる。

・NVIDIA Clara Parabricksとは
NVIDIA Clara Parabricksは、GPUベースの高速なゲノム解析ソフトウェア。ゲノム解析のタスクを大幅に高速化するために、GPUアクセラレーションを利用している。
配列アラインメント、バリアントコール、ゲノムアセンブリなどのタスクに使用されるソフトで、高速な処理速度と高い精度を実現し、短い時間で大量のデータを処理することができる。
また、ハードウェアに依存しないアルゴリズムを採用しているため、様々なGPUプラットフォーム上で動作する。