FrontPage

PCクラスタTCについて

image001.jpg


概要

  • 管理ノード1ノード,計算ノード12ノードです
  • 管理ノードにデータ用ディスク(6TB, RAID5)が接続されています.NFSで共有され,/homeにマウントされています
  • 管理ノードのみ外部に接続されています.計算ノードからは直接外部には接続できません
  • 内部ネットワークは,管理・NFS用のGigabit Ethernet,MPI用のInfiniband DDRの二重構造です

管理ノード

CPUXeon W3520
Memory6GB2GB*3 DDR3-1333
HDD320GB+6TBSystem: 320GB*2 RAID1 = 320GB Data: 2TB*4 RAID5 = 6TB
NetworkDual Gigabit
IP Addresstcgw.race.u-tokyo.ac.jpexternal
192.168.5.1internal

計算ノード

CPUXeon X5550*2NUMA,4cores/CPU,8M Cache(L3),2.66 GHz,6.40 GT/s,HyperThreading disabled
Memory48GB4GB*12 DDR3-1333
HDD320GB
Nodes12
NetworkGigabit+Infiniband DDR 4x
Power Source1400W / 4Nodes
IP Address192.168.5.x
  • 1ノードあたり,4コアCPUが2つのっています

ネットワーク

  • SSH, NFS: Gigabit Ethernet
  • MPI: DDR 4x Infiniband (16Gbit/sec)

Software

OSCentOS 5.3
Kernel2.6.18-128.4.1.v.el5
Compilergcc 4.1.2
Intel Compiler Suite 11.1
MPIMPICH 1.2.7p1
MPICH2 1.0.8 / 1.1.1p1 / 1.2.1
OpenMPI 1.2.9 / 1.3.3 / 1.4.1
MVAPICH2 1.2p1 / 1.4

使用方法

アカウント作成,ログイン

ユーザ名と公開鍵のペアを,TAまで送ってください.

アカウントができたら,SSHクライアントで

tcgw.race.u-tokyo.ac.jp

にログインしてください

詳しくはSSHを参照

ファイル転送

WinSCPで

tcgw.race.u-tokyo.ac.jp

に接続してください.

詳しくはSSHを参照

Passwordless-SSH

MPIを使用するために必要なので,最初に必ず行ってください

鍵作成

ssh-keygen -t rsa -b 2048
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 .ssh/authorized_keys

パスフレーズ無しの公開鍵認証です

生MPI

普通のMPIの使い方.

  • 計算ノードに入る
    ssh tc01
  • mpirun
    mpirun -np 2 -machinefile machinefile ./a.out

詳しくはHPC/MPI入門

ジョブ投入

ジョブスケジューラを利用してジョブを投入できます

以下のようなファイルを用意します

#!/bin/bash
#PBS -N test
#PBS -j oe
#PBS -l nodes=12:ppn=2
cd /home/guests/70838
mpirun -np 24 ./a.out

test.shとして保存して,

qsub test.sh

しばらくすると,カレントディレクトリに test.o**というファイルができます

詳しくはTORQUE

ローカルストレージ

/work がローカル一時ディレクトリとして使えます.ノードあたり177GBです.使いすぎないように,また,使ったらすぐホームディレクトリに移すなどしてください. あまり使いすぎている場合は強制的に移動します

misc

ログイン失敗しすぎると...

ログインに失敗したり,rootでログインしようとすると,それ以降その場所からの接続を拒否します. もし拒否されてしまったようなら,TAまでご連絡を

ログアウトしてもジョブを実行

at, nohup, screenなどの方法が使えます.screenが一番オススメです. 使い方は man screen や,Manage of Screen


添付ファイル: fileimage001.jpg 760件 [詳細] filetc.jpg 485件 [詳細]

トップ   編集 凍結 差分 バックアップ 添付 複製 名前変更 リロード   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS
Last-modified: 2011-02-24 (木) 15:48:38 (3331d)