Message Passing Interface (MPI) 統合スレat TECH
Message Passing Interface (MPI) 統合スレ - 暇つぶし2ch116:114
06/03/03 17:57:11
>>115
ありがとう!
やってみるね!


117:デフォルトの名無しさん
06/03/07 16:00:54
独学でisend bcastなどの基本的な関数は一通り使い方がわかったのですが、
なんか練習問題みたいなのはないですか?

そんな大規模演算をする機会もないし、
練習用に何かお勧めなものはありますか?

118:デフォルトの名無しさん
06/03/07 17:20:48
sendとrecvだけでbcast,scatter,gather,allgatherと同じ機能を作る
ヤコビ法の並列化
LU分解の並列化
2次元FFTの並列化

119:デフォルトの名無しさん
06/03/07 17:27:38
π計算の並列化
e計算の並列化

120:デフォルトの名無しさん
06/03/07 19:24:56
実用的なのは、

コマンド1
コマンド2
.
.
.
コマンドN
という独立したジョブが書いてあるテキストファイルを読み込んで、
P個のプロセッサで実行させるプログラム。
コマンドに依存関係つけるとなおよし。


121:デフォルトの名無しさん
06/03/12 16:05:09
MPI_Sendで送る際、相手が受け取るまでプログラムの実行を停止するにはどうしたらよいのでしょうか?

122:デフォルトの名無しさん
06/03/12 16:09:32
synchronous sendにすりゃいいのと違う?

123:デフォルトの名無しさん
06/03/12 21:03:03
MPI_Sendだと送信バッファにコピーした状態で戻る実装が多いっぽいね。
↓にモードの説明が。
URLリンク(www.mpi-forum.org)

MPI_Ssendがない実装もあるようだし、返答をMPI_RecvかMPI_Barrierするのが確実じゃない?
バンド幅を測るとかの場合、受信が完全に終了したのを確認するにはこれしか方法がなさげ。


124:http://www.vector.co.jp/soft/win95/util/se072729.html
06/03/18 21:10:21
TextSS のWindowsXP(Professional)64bit化おながいします

もしくは64bitにネイティブ対応したテキスト置換ソフトありますか?

そういや64bitにネイティブ対応している2chブラウザてありましたっけ?





125:デフォルトの名無しさん
06/03/19 11:52:28
C++BuilderでMPIを使うにはどうしたらよいのでしょうか?

126:デフォルトの名無しさん
06/03/24 20:00:53
MPICH2のWindows版を使っているのですが、
以下のようなプログラムでも時間が3秒かかります。(VC++、IntelC++とも)
MPI_Finalizeの終了処理に時間がかかっているようですけど
対策をご存知の方いっらいしゃますすか。

#include "mpi.h"
int main(int argc, char **argv) {
MPI_Init(&argc, &argv);
MPI_Finalize();
return 0;
}

127:デフォルトの名無しさん
06/04/13 06:48:21
ノンブロッキング通信というのは、簡単に言うとどういうものなのでしょうか?

128:デフォルトの名無しさん
06/04/13 08:13:11
バックグラウンドで通信処理をさせることで
一度に複数の相手と通信したり、
通信中に別の計算させたりするもの


129:デフォルトの名無しさん
06/05/08 21:15:20
ほしゅしゅ

130:デフォルトの名無しさん
06/05/11 15:37:35
hoshu

131:デフォルトの名無しさん
06/06/02 08:31:40
あまり大きなサイズで一度に通信しようとすると、デッドロックするのは仕様ですか?

132:デフォルトの名無しさん
06/06/03 01:56:38
実装によるだろ
そんな仕様はない

133:デフォルトの名無しさん
06/07/30 21:08:39
ちょ・・・こんな有益なスレがあったなんて。。
明日からmpi使うらしいんで勉強してきます

134:・∀・)っ-○◎● ◆R.I.S.K.0.
06/07/30 22:45:31
John the RipperのMPI対応版出たけど
アレって単にプロセス間通信やるだけよね?

プロセスレベルマルチタスクであってスレッドレベルマルチタスクじゃないよね?


135:デフォルトの名無しさん
06/09/05 22:49:52
Linuxにmpich-1.2.3を突っ込んで
int main(int argc, char **argv){
int procs, id;
MPI_Init(&argc, &argv);
MPI_Comm_rank(MPI_COMM_WORLD, &id);
MPI_Comm_size(MPI_COMM_WORLD, &procs);
printf("#### %d, %d ####\n", id, procs);
MPI_Finalize();
return 0;
}
なmain.cソースファイルを生成し,
mpicc main.c
mpirun -np 1 a.out
したところ
0 - <NO ERROR MESSAGE> : Could not convert index 1140850688 into a pointer
The index may be an incorrect argument.
Possible sources of this problem are a missing "include 'mpif.h'",
a misspelled MPI object (e.g., MPI_COM_WORLD instead of MPI_COMM_WORLD)
or a misspelled user variable for an MPI object (e.g.,
com instead of comm).
[0] Aborting program !
[0] Aborting program!
p0_11706: p4_error: : 9039
と言われてしまいました.
fortranプログラムでもないし,COMMをCOMと打ち間違えてもいないし……というわけで,原因・解決方法をご存知の方おりましたらご教授くださいませ.

136:135
06/09/05 23:46:15
mpich-1.2.7拾ってきてぶっこんだら動きました.
吊ってきます.

137:デフォルトの名無しさん
06/10/25 11:29:00
保守党

138:デフォルトの名無しさん
06/11/16 01:19:10
MPICH2をFedora Core3にて実行しようとしています。
mpdはローカルであれば、正常に起動してicpiなどきちんつ動いているのですが、
ネットワーク越しのリモートで分散させようとすると(mpdboot, rshに書き換え済み)
動作しません。

failed to ping mpd ...といったエラーがでます。

ちなみにrshは単体ではパスワードなしで動作しています。

Fedoreの設定はファイヤーウォールはインストールしていますが、
「ファイヤーウォールは無効」でやっています。

むしろmpdというよりもFedoraの設定のような気がしますが、同様な症状を
経験された方はおられますでしょうか?

139:デフォルトの名無しさん
06/11/28 16:48:25
WindowsXPのVC環境で、3次元空間内におけるある種のシミュレーションプログラムを作って、
それをLinux fedora3のgccとMPI環境で並列化しました。
いまのところWin1CPU版とFedoraMPI版は同じ結果を出してくれるので、いいのですが、
ソースをメンテナンスするときに、まず1CPU版で試して、それをMPI版に移植する作業
が結構わずらわしいので困っています。
MPI版はシミュレーション空間をn分割(n≧2)する仕様になっているので、n=1として
Windows上で動かすことはできません。
そこで思ったのですが、DUAL COREのWindowsマシンならば、そこにMPICH2をインストールして、
n=2で動かせば、CPUも2個使えるし、今後、MPI版のみメンテナンスすれば、fedoraでも
Windowsでもソースを共通化できるので、楽になると思ったのですが、この作戦、
どうでしょうか?何か注意すべき点などありましたら、アドバイス御願いします。


140:デフォルトの名無しさん
06/11/29 18:55:13
>>139
mpi詳しくないけど
CPU二個とnode二個はぜんぜん違うからできないんじゃないの?

141:デフォルトの名無しさん
06/11/29 20:04:15
例え、1CPUでもたいがいのMPI実装は2プロセスで並列実行できる

142:デフォルトの名無しさん
06/11/30 10:50:29
>141
ありがとございます。やってみます。

ところで、MPIプログラムのデバッグって、皆さんどういうふうにやっていますか?
私にはとても難しいです。というのは、エラー発生しても、どこかのnodeでエラーが
起こった程度のことしかわからないので、怪しげなところにprintfを沢山いれて探し
出すという泥臭い方法でやっています。
一方WindowsのVCの環境だとDebuggerでSTEPで一行ずつ実行できるので、便利なのですが、
MPIプログラム開発でも、でも何かそういう統合的な開発環境や高性能なDebuggerって
あるのでしょうか?

143:デフォルトの名無しさん
06/12/01 00:13:29
VCってMPIサポートしてたよね?確か

144:デフォルトの名無しさん
06/12/02 21:56:05
>143
ほんまかいな?

145:・∀・)っ-○◎● ◆DanGorION6
06/12/02 22:26:17
MPICH2のWin32バイナリってVC++で使えるんじゃなかったっけ

146:デフォルトの名無しさん
06/12/03 19:00:27
Windows Compute Cluster Server 2003
MS MPI
あたりでぐぐりぇ


147:・∀・)っ-○◎● ◆R.I.S.K.0.
06/12/03 19:07:05
38度の熱が出てるのに俺元気だよなwwww

148:・∀・)っ-○◎● ◆R.I.S.K.0.
06/12/03 19:07:20
誤爆しますた><

149:デフォルトの名無しさん
06/12/04 11:56:46
>146
>Windows Compute Cluster Server 2003
これを買わないとWindowsXPでMPIはできないの?

150:デフォルトの名無しさん
06/12/04 15:24:37
mpiCCでHUGE_VALがあると、

huge-test.cpp(11): warning #1188: floating-point value cannot be represented exactly
double a=HUGE_VAL;

とワーニングが出るんだけど、どうしたらいいかな??

151:デフォルトの名無しさん
06/12/24 01:09:15
関数の引数として自分のタスクIDを渡して、その関数の中で受け取ったIDによって
判別して処理を書き換えるという方法に問題はあるでしょうか?
また一般的ですか?
それとも処理ごとに書き換えた関数を用意して、
呼び出す側でIDによって呼び出す関数を変えた方が良いのでしょうか?

ご回答よろしくお願いします。

152:デフォルトの名無しさん
06/12/24 14:18:16
>>151
スレタイ嫁


153:デフォルトの名無しさん
07/01/03 16:11:55
Mac OS X LAM-MPIの詳しい解説サイトない?

154:デフォルトの名無しさん
07/01/14 01:14:46
MPICH 1.2.5 でWindowsマシン2台でプログラムを動かそうとしたのですが、
以下のようなエラーを吐いてしまいました。
どなたか原因がわかる方いませんでしょうか。
pingでお互いのホストは認識されています。

>ERROR: The root process on "hostname" has unexpectedly exited. Exit code = -1073741515

155:デフォルトの名無しさん
07/01/14 13:35:32
>>154
[hostname]ユーザーが登録されてるクラスタのプロセスがおかしいって言ってるね
もうちょっと構成とか詳しく

156:デフォルトの名無しさん
07/01/14 16:33:20
>>155
レスありがとうございます。
大学の研究室のマシン(XP)で、お互い同じワークグループに入っているようです。
構成についてもっと詳しく書きたいのですが、
どのように調べてどういった情報を書けばいいのか教えていただけますか?
よろしくお願いします。

157:154
07/01/15 19:54:35
154です。
調べたのですがやはりよくわかりません。
>>156で同じワークグループだと書きましたが、それは関係ないみたいですね。
研究室のマシンがどのようにつながっているのか良くわからないのですが、
共有フォルダで互いのファイルを参照できたり同じワークグループに入って
いたりしたので、MPICHも問題なく動くものだと勘違いしていました。
WindowsでMPIを使う場合の構成の仕方が載ってるサイトの情報でも
とてもありがたいので、どなたかご教示願いいたします。

158:155
07/01/15 22:07:54
>>157
URLリンク(www.google.co.jp)
googleでpdf検索すればどう設定すればいいか結構でてくるよ
あとMPIプログラミングやるなら虎の巻は読んどいた方がいいね、まあ健闘を祈る!
ところでCPUは何使ってる?

159:154
07/01/16 00:20:12
>>155
レスありがとうございます。
リンクのトップに出てくるサイトで設定をしていてできなかったのです。
で、いじくってて気づいたのですが、ユーザーズガイドのシステム要件を見たら、
WindowsのHOME EDITIONは使えないのですね・・・
これはMPICH2を使えばいいのでしょうか。
MPICH2のほうのユーザーズガイドみたら特にPROに限るような記述はなかったので
HOMEでもいけるのですかね?

あと、CPUですがPentium4を使っています。

160:デフォルトの名無しさん
07/01/16 02:37:19
>>159
Homeか・・・そりゃ無理だ
デュアルブートでLinux入れる気無い?何に使うかわからんがWindows環境を捨てるのも
一つの手だよ、ただMPIを動かしたいんならKnoppix MPIとか使うと簡単に起動できる
URLリンク(kagakububuturi.hp.infoseek.co.jp)
・・・つーかこれ高校生が作ったにしちゃあよくできてるよな
後Knoppix-MPIで使ってるMPIはLAM-MPIのほうだからMPICH使いたいならあわないかも
URLリンク(www20.atwiki.jp)
適当ですまん (;´Д`)/

161:154
07/01/23 03:52:37
>>160
レス遅れてごめんなさい。
実はあれからMPICH2でやってみたところ、WindowsHomeでも動かすことができました!
たくさん相談にのっていただきありがとうございました。
ただ、今回4台で並列化行う予定なんですけど、
1台だけうまくいかないマシンがあってまた困っています。
他のマシンで2台でやってみると正常に実行できるのに、そのマシンを入れて行うと
"abort: Unable to connect to <hostname>"と出てしまいます。
設定は他のマシンと同じようにしてるつもりなのですが。
ようやくできるようになったと思ったのに、色々問題出てきますね・・・

162:デフォルトの名無しさん
07/01/23 15:13:21
>>161
WinのMPICH2は使った事無いが<hostname>って言うノードが登録されてないんじゃないか?
URLリンク(www.imslab.co.jp)
上のページの一番下が原因かも
あとMPI組んだならHPL(Linpack)ベンチマーク走らせて結果うp!

163:154
07/01/24 02:08:24
>>162
レスありがとうございます!
ご指摘のとおり、アカウント名が原因でした。
あとベンチマークですが、、、余裕があったらやってみます、スミマセン^^;

164:デフォルトの名無しさん
07/01/30 17:50:05
あるプロセッサが持っている行列内の1列をまとめて別のプロセッサに送りたいんですが
どのような関数を使えばいいでしょうか?

165:デフォルトの名無しさん
07/01/30 22:47:50
Parallel Virtual Machine (PVM) 統合スレ
スレリンク(tech板)


166:デフォルトの名無しさん
07/01/31 15:24:23
共有変数を用意したいのですがどうすればいいですか?

167:デフォルトの名無しさん
07/02/02 19:26:04
>>166
つ ny

168:デフォルトの名無しさん
07/02/05 09:33:01
MPICH2でwindowsを2台動かそうとしているんですが、
wmpiconfig.exeでapplyボタンを押しても

<ホスト名>
Credentials for <アカウント名> rejected connecting to <ホスト名>
Aborting: Unable to connect to <ホスト名>

と表示されて設定できません。
アカウント名とパスワードは2台とも同じものを設定していて、
ファイアーウォールも切っています。
pingでもお互いを認識しています。
どなたか原因分かる方よろしくおねがいしますm(_ _ )m

マシン構成は
winXP HOME PEN4 1.6GHz
winXP PRO PENIII 800MHz
です

169:デフォルトの名無しさん
07/02/26 22:15:01
MPI_Finalizeを呼んだら制御が返ってこなくなったんですが、
何か原因に心当たりのある方はおられませんか。

printf("before\n");
MPI_Finalize();
printf("after\n");
これをやったらbeforeしか表示されません。

ちなみにmpich-1.2.7@SUSELinux10.2です。

170:デフォルトの名無しさん
07/02/27 01:07:31
設定がうまくいってないんだろ?

171:169
07/02/27 03:48:13
NFSで共有していないファイルから問題設定を読んでいて、
PC毎にパラメタが変わってこけていたという罠。

吊ってきます
Λ||Λ

172:デフォルトの名無しさん
07/03/13 00:51:59
並列計算に興味あるのですが、単に処理するデータを分割、各PCで計算、最後に統合するのでは
なく、PC毎に別のデータを別の処理方法で行っていて、あるPCの処理結果が別の処理中のPCの処
理に割り込んで処理方法を変えるなどということは出来るのでしょうか?

173:デフォルトの名無しさん
07/03/20 23:06:11
自作のC++プログラムの並列化をしています。
MPI_Finalizeを呼ぶタイミングについて疑問があります。

MPI_Finalizeをmainの末尾で呼べば無事に終わるのですが、
Singletonクラスのデストラクタの中で呼んだら落ちてしまいました。

main を抜けた後に呼んではいけないでんしょうか?
環境は、MPICH2、Win XP SP2、Visual Studio 2005 です。


174:デフォルトの名無しさん
07/05/06 03:28:13
MPI_Gatherなどで、転送するデータタイプはMPI_DOUBLEなどで指定しますが、
データタイプがテンプレートに指定されたデータタイプによって変わる場合、
どのように設定したらよいのでしょうか?


175:デフォルトの名無しさん
07/05/19 08:51:23
平凡な方法ですが、
template<typename T> class MpiConst{};
template<double> struct MpiConst
{
  static const int TYPE = MPI_DOUBLE;
};

と特殊化をしておいてから、目的の template を作る
のは、どうでしょう。

これは、MpiConstを隠蔽する改良案です。
class Base
{
protected:
  Base();
  ~Base();

  static const int TYPE = MPI_DOUBLE;
   // 以下、MpiConst の定義・特殊化
};

template<typename T> TargetClass: protected Base
{ ... };



176:デフォルトの名無しさん
07/05/19 09:14:10
↑すみません。class Base の中の
static const ... の行を消し忘れました。

177:デフォルトの名無しさん
07/05/21 07:56:54
openmpの場合、#ifdef _OPENMPでopenmpを使ってコンパイルしている
場合とそうでない場合に別々のコードを書くことができますが、
MPIの場合はどのようにしたらよいのでしょうか?


178:デフォルトの名無しさん
07/06/09 16:58:36
このスレではPCクラスタのシステム障害(とくにハード)について経験ある方も
少なくないと思うので、お尋ねします。

1年前に構築した16ノードクラスタ(ディスクはNFS共有、ギザイーサ)が、
最近頻繁にp4_errorを起こすようになりました。
とりあえず疑わしいところからパーツを取り替えまくったのですが、全く改善しません。
特定ノードというより全体的にパラパラと障害が発生してるので、もしやネットワークかな
と思ったのですが、ネットワークに問題があるなら、rloginやsshのセッションやNFS
の読み書きにも障害が出ると思うのですが、特に問題は出ていないようです。
MPIで並列したときに限って発生します。
これからネットワークの交換を検討していますが、何かアドバイス頂けいたら幸いです。

ちなみに1年間はほぼ問題なく使えており、他の計算機でも実績があるので
プログラム側の問題ではないです。

179:デフォルトの名無しさん
07/06/22 11:04:41
MPI_Finalizeを行わずに終了した場合、どのような問題が起きる可能性がありますか?

180:デフォルトの名無しさん
07/06/23 23:33:50
MPI_Finalize のソース読んだらいいんじゃね??


181:デフォルトの名無しさん
07/06/24 14:51:42
>>178
今頃気付いたが、ギザイーサワロス
巨大王墓間を高速インターコネクトで結んで世界の七不思議にでも入れたいノケ?

182:デフォルトの名無しさん
07/06/24 15:17:25
デッドロックを発生させない定石のようなものはありますか?

183:デフォルトの名無しさん
07/06/26 08:00:52
>>181
中川しょ(ry

184:デフォルトの名無しさん
07/06/27 15:30:14
>>181
日本語でおk

185:デフォルトの名無しさん
07/06/27 23:51:22
巨大王墓=ピラミッド

186:デフォルトの名無しさん
07/06/28 02:15:45
わかんねーよハゲwww

187:デフォルトの名無しさん
07/06/28 22:45:57
世界の七不思議=ギザのピラミッド他

188:・∀・)っ-○◎●
07/06/29 02:42:04
ギザかわゆすwwwwwww

189:デフォルトの名無しさん
07/07/02 16:57:33
現在boostのuBlasを使って逆行列を解いています。
MPIを使ってさらに大規模な行列を計算させたいのですが、お薦めのライブラリを教えてください

190:デフォルトの名無しさん
07/08/12 20:42:39
どなたかPS3でmpich2やってるひといません?

fedora5でひととおりmpich2をインストール、設定後に実行するとこんなんで
て困ってます。

# mpirun -n 1 date
mpiexec_ps3slave1 (send_dict_msg 632):send_dict_msg: sock= errmsg=:(32, 'Broken pipe'):
mpdtb:
/usr/local/bin/mpdlib.py, 632, send_dict_msg
/usr/local/bin/mpirun, 250, mpiexec
/usr/local/bin/mpirun, 1399, ?

mpiexec_ps3slave1: mpd_uncaught_except_tb handling:
exceptions.KeyError: 'cmd'
/usr/local/bin/mpirun 255 mpiexec
elif msg['cmd'] != 'response_get_mpdrun_values':
/usr/local/bin/mpirun 1399 ?
mpiexec()

どなたか御力をおかしください。

191:190
07/09/03 22:06:14
自己解決しました。Fedoroa 6を入れなおして、mpich2を入れなおしたら
いけました。

他にps3でクラスタやってる人の例をネットなどでみていると、結構Fedora 5で
やってる人がいるから、OSの違いでうまくいったというよりも、初回のmpiの
インストール時の設定に問題があったのかもしれません。以上。

192:デフォルトの名無しさん
07/09/10 01:30:38
MPIでJUnitみないなテストできんの?
知ってるひといたら教えてくれい

193:デフォルトの名無しさん
07/09/12 04:50:40
>>192
こんなのあった
自分は使ったことないが

URLリンク(sourceforge.jp)

194:デフォルトの名無しさん
07/09/23 03:05:43
>>193
つかってみたぞ
いがいとべんりだった


195:デフォルトの名無しさん
07/09/24 00:57:56
誰かまともなチュートリアル書いてくれよ

196:デフォルトの名無しさん
07/09/26 16:47:33
>>195
チュートリアル書きたいが
どんな機能があるのがよくわからん

197:デフォルトの名無しさん
07/09/27 00:30:55
>>195
虎の巻じゃだめかね

198:デフォルトの名無しさん
07/09/27 01:59:38
>>197
虎の巻をたのむ


199:デフォルトの名無しさん
07/09/27 09:50:27
>>198
URLリンク(accc.riken.jp)

200:デフォルトの名無しさん
07/09/27 15:07:25
>>199
すまねえ
193の虎の巻がほしかったんだ


201:デフォルトの名無しさん
07/09/30 00:21:40
>>200
パッケージの中にあるじゃん


202:デフォルトの名無しさん
07/09/30 12:28:39
>>201
あるけどわかりにくくない?


203:デフォルトの名無しさん
07/09/30 21:15:53
>>200

URLリンク(sourceforge.jp)

204:デフォルトの名無しさん
07/09/30 21:37:27
もっぺん書くけどさ、

ま と も な

チュートリアルが欲しいんだよ。


205:デフォルトの名無しさん
07/10/01 03:36:48
>>204
作者に直で言うしかないな


206:デフォルトの名無しさん
07/10/01 23:01:28
みんなここで勉強したのかえ?

207:デフォルトの名無しさん
07/10/04 21:05:22
203のチュートリアルを直そうと思うんだけどここにはっていいよね?
どうせLGPLだし

204氏はどんなチュートリアルが欲しいんだい?


208:デフォルトの名無しさん
07/10/05 12:19:32
boostにmpi入るからそれでいいじゃん

209:デフォルトの名無しさん
07/10/11 00:03:40
だれか>>193使った人いる?


210:デフォルトの名無しさん
07/10/17 09:58:07
>>209
使ってるよ
プログラミングの効率が上がった


211:デフォルトの名無しさん
07/10/20 20:55:50
作者は岩手大学の学生か?


212:デフォルトの名無しさん
07/10/26 21:09:07
AUTHORSにそう書いてあるね


213:デフォルトの名無しさん
07/11/02 21:07:27
CentOS5.0にrpmで入ってたOpenMPIを使ってます。

$ rpm -qa |grep mpi
openmpi-devel-1.1.1-5.el5
openmpi-libs-1.1.1-5.el5
openmpi-libs-1.1.1-5.el5
openmpi-1.1.1-5.el5
openmpi-devel-1.1.1-5.el5

手元にX86_64のPCが2台とi386のPCがあるのですが、

異種アーキテクチャのバイナリの自動選択はどうやってするのでしょうか?

全部i386で揃えろって意見もあるかもしれませんが、64bit整数演算をする
ので64bitで動かしたいんですよね。

mpichは出来るみたいですね。

URLリンク(enrico.phys.cmu.edu)

というかOpenMPIはman マニュアル無くて悲しい。

214:デフォルトの名無しさん
07/11/04 15:00:58
Debian 4.0 etch AMD64のマシンを2台用意してMPICHで環境を整えようとしています。
2台ともデュアルコアなので、

/etc/mpich/machines.LINUX   に
cluster1:2
cluster2:2

と記述しています。
テストを行おうと
mpirun -np 4 cpi
をしてみたのですが、1分以上待ってもプロンプトが帰ってきません。しかし
mpirun -np 3 cpi
とするとcluster1に2スレッド、cluster2に1スレッド割り当てられ計算結果がすぐ返ってきます?

4コア使い切るためにはどうしたら良いでしょうか?


215:213
07/11/07 00:40:14
色々試したが諦めた。次はPVMを試そうと思う。

216:デフォルトの名無しさん
07/11/07 11:28:47
SuSE Linux9.3
mpich-1.2.7p1
gcc, pgi 7.1
を使用していますが、emacsでmpiデバッグできませんかね。
gdbとpgdbgを使ってデバッグできますが、
pgdbgは使いにくいし、gdb単体も使いにくいので、できれば
emacsからgdbを起動したいなと。


217:デフォルトの名無しさん
07/11/07 13:26:16
PVMってまだ使われてるの?

218:213
07/11/07 14:06:12
>>217
しらんけど、CentOSに標準でパッケージが入ってたよ。


219:デフォルトの名無しさん
07/11/07 15:42:53
>>213
ローカルマシンに同じ名前のディレクトリを作る。
そこに機種毎のバイナリを置く。
これで桶。

220:デフォルトの名無しさん
07/11/07 15:44:35
>>219
補足。
機種毎のバイナリは同じ名前で作っておく。

mpirunはデフォでは同じ名前のユーザーの同じ名前のディレクトリにある
同じ名前のコマンドを実行するだけなので。

221:デフォルトの名無しさん
07/11/07 15:59:06
>>218
標準で入ってるんだ
昔はPVMが主流だったそうだけど、今はほとんどがMPIだよね

222:213
07/11/08 00:36:34
>>219
ありがとう。しかしPVMのマニュアルをせっかく読み始めたので
こっちで行ってみます。MPIは出鼻をくじかれたので気に入らない。

223:214
07/11/10 21:37:30
/etc/mpich/machines.LINUX   の
localhost:2
cluster2:2

となっていたのを

cluster1:2
cluster2:2

にしたらいけました。3スレッドはできるので machines.LINUXは悪くないと決め付けてました。



224:デフォルトの名無しさん
07/12/12 06:13:16
MPIの並列計算で困っています。アドバイスお願いいたします。

・4CPU/共有メモリの計算機でMPIによる並列計算を行っています。
しかし
・この計算機の場合、計算実時間が1CPUで計算している場合よりも
大幅に増えてしまいます。
(大学の大型計算機等で計算した場合、計算実時間は4CPUの場合、
1CPUの1/3.4ぐらいに短縮されますのでプログラム的には問題ないと考えています。)
・top コマンドで計算状況を監視していると、使用CPUが変動し、しばしば
同じCPUを2つのスレッドで競合しているようです。
・使用CPUの数をいろいろと変えてみましたが必ず競合してしまうようです。
・従って時間計測コマンドでCPU時間を測定すると、
下記のようにCPU時間は短縮されているが、実時間は増えてしまうという結果になるようです。
real time 1000.0
user time 250.0
・計算機を納品した会社(H○C systems)に質問したところ、
設定は問題はない。プログラムの問題、あるいは通信時間がかかってしまうので
実時間が増える、といういい加減な返答しかきません。

似たような症状を経験したことのある方、対処法をご存知でしたら
教えてもらえないでしょうか。

225:デフォルトの名無しさん
07/12/13 07:08:53
sched_setaffinity(2) を使うと幸せになれるかも。

226:デフォルトの名無しさん
07/12/27 14:48:26
>>224
MPICHならconfigure時に --mem=shared を付けて構築すべし
通信が共有メモリを介したものになる(異ノード間は当然sshやrsh経由)。
実行時に ps -x してsshやrshでプロセスが起動してたら、わざわざ同一計算機内でTCP/IP通信しちゃってるので損。
OSやコンパイラに付属のMPICHはsharedで構築されていない例が多いので自分で構築してみよう。


227:デフォルトの名無しさん
07/12/27 14:59:25
4CPU/共有メモリって、いわゆる普通のマルチプロセッサのことだよね
今時シングルコアはないから、2コアの2CPUなんだろう

228:デフォルトの名無しさん
07/12/28 20:38:39
みなさまご助言ありがとうございます。
>>225
検索すると状況としてはこれが当てはまる感じなのですが、
私には使い方がよく分かりません。
詳しいサイト等ありましたら教えてもらえないでしょうか。

>>226
確かにps x コマンドで確認すると(ノード内の場合でも)
rsh が動いていました。
このコンピュータはMPIのインストール及び設定済みのものを
購入したのですが、業者がいいかげんということなのでしょうか?
複数ノード構成なのですが、この場合はどうなのでしょうか
業者の説明では例えば、machinefile に
node00:2 とすればSMPとなるとのことでした。
node00 node00 とすれば通信が発生するとのことでした。

>>227
シングルコアのItanium2:4CPUx4ノードの構成です。
(年度でわけて増設して購入したのでちょっと古いCPUになっています)
納品されたのは1年以上前なのですが、不具合ばかりです。

229:225
07/12/29 00:39:48
こんな感じ。

#include <mpi.h>
#include <sched.h>
#include <stdio.h>

int
main(int argc, char *argv[])
{
  int rank;
  cpu_set_t mask;
  double t;

  MPI_Init(&argc, &argv);
  MPI_Comm_rank(MPI_COMM_WORLD, &rank);
  __CPU_ZERO(&mask);
  __CPU_SET(rank, &mask);
  if (sched_setaffinity(0, sizeof(mask), &mask) == -1) {
    perror("Failed to set CPU affinity");
    goto error;
  }
  t = MPI_Wtime();
  while (MPI_Wtime() - t < 10 + rank * 5)
    ;
  MPI_Finalize();
  return 0;

 error:
  MPI_Finalize();
  return -1;
}

230:225
07/12/29 00:46:50
>>229のプログラムは各プロセスが (10 + rank * 5) 秒後に終了する。
sar コマンドを使って、例えば

> sar -P ALL 1 1000

とやると各プロセスがランクと同じ番号の CPU で走り続けてランク順に終了していく様子が観察できる。

参考にしたページ:URLリンク(d.hatena.ne.jp)

231:デフォルトの名無しさん
08/01/08 18:31:33
>>226
の書き込み見て、--with-comm=shared というオプションをつけてMPICHを
コンパイルしてみたんだけど、逆に遅くなりました。共有メモリのほうが早く
なると思うんですけど、どうしてだろう?
CPUは Core 2 Quad 2.4GHz を使っています。

232:デフォルトの名無しさん
08/01/09 01:43:00
GridMPIについて、質問です。

GridMPIのMPI関数は、通信先によって、リモートノードなら、IMPI、
自ノードなら自ノード内のMPI(ベンダMPIなど)を呼び出して通信
するはずですが、GridMPIが提供しているMPI関数と(自ノードの)
ベンダMPIの関数のシンボルが重複しないのはなぜでしょう?

(最初は、GridMPIから発行するベンダMPIの関数は、MPI関数では
なく、PMPI関数と思っていましたが、これは違いますよね・・・)


233:デフォルトの名無しさん
08/01/10 00:07:05
MPICH1.2.5について質問です。
MPICHのブロードキャストはTCPを用いて行われているようなのですが、
UDPによるブロードキャストを使用することはできるのでしょうか?
ご存知の方がいらっしゃれば、よろしくお願いします。

234:デフォルトの名無しさん
08/01/11 10:27:42
普段はPVMでプログラミングをしているのですが、MPIでは

1.スレーブ(MPIでもこういう表現するんですかね)のマシンに
 計算領域を割り当てて計算させる

2.マスタに計算結果を返す

1と2を繰り返す

という流れはどういう風にソース上で実現させているのでしょうか。


235:デフォルトの名無しさん
08/01/11 20:48:46
>>234
スレーブとか言いません。
全く同じプログラムが複数走ります。
主従はなく、皆平等です。

MPI_Comm_rank関数を呼び出すと自分のノード番号がわかるので、
その番号に応じた振舞いをするようにプログラムを書きます。
たとえば、0から100までの足し算を2台の計算機でするときに、
ノード番号0なら0から49まで、ノード番号1なら50から100まで計算するようにしておきます。
通信は送信したいノード番号に向けて送信し、受信したいノード番号を指定して受信します。


236:デフォルトの名無しさん
08/01/12 20:56:17
WindowsCCSでHPLのベンチ取りたいんだけど参考になるwebとかありませんか?

237:デフォルトの名無しさん
08/01/13 11:21:47
>>235
そうやるんですか

PVMで同じようにする方法がさっぱりわからんもんで
参考になるかな、とは考えたのですが・・・

238:デフォルトの名無しさん
08/01/16 23:13:34
PVMってまだ使われてるのか?

239:デフォルトの名無しさん
08/02/07 17:31:34
おーい、このスレ生きてますか?

質問です。

class base {
...
};

class derived1: base{
...
};

class derived2: base{
...
};

があって、
vector<base*> v;
にノード0で
v.push_back(new derived1());
v.push_back(new derived2());
...
などとして配列を作ります。
で、作った物を他のノードに配信したいのですが、どうやれば良いでしょうか?
newで生成したderived1などのオブジェクトも一緒に配信したいわけで、単純にvのバイト列を送れば良いというわけには行かないわけで。
実際にはderived1等にもnewしたオブジェクトのポインタが存在して、それも他のノードで再現したいわけで...

240:デフォルトの名無しさん
08/02/07 18:19:40
死んでます

241:239
08/02/07 20:05:46
死んでるのかよ!

って、まあ置いといて、STLのstringなんかもオブジェクトのバイナリ丸コピじゃだめなんだよな。
ヒープからバッファ取ってるから。
となると、シリアライズして送信、受信側で再構築なんだろうけど、正直面倒臭いな。


242:デフォルトの名無しさん
08/03/01 05:39:37
MPI_File_xxでテキストファイルは扱えないのでしょうか?

243:デフォルトの名無しさん
08/03/06 23:33:27
学科の演習用端末更新終わった~

Linux / Cele 420 / MEM 2GB / 26台 /hdd less

という構成なんだが、手軽に遊ばせるMPIのサンプルないかな?

ちなみに、午後6時に強制shutdownの設定になってるので、
長くても8時間程度のジョブの奴を頼む。

244:デフォルトの名無しさん
08/03/18 08:12:50
MPIプログラムによってネットワークがどのくらい使用されているかは、どのようにしてわかりますか?
環境はFedora8+Intel C++ 10です。

245:デフォルトの名無しさん
08/03/29 13:32:00
Windows用のものはありませんか?

246:デフォルトの名無しさん
08/04/05 15:00:58
MPICHにWindows版があるyp!

247:デフォルトの名無しさん
08/04/17 17:12:34
プログラムをコンパイルし実行するとsignal 6というエラーが出るのですが、これはどのようなエラーなのでしょうか?

248:デフォルトの名無しさん
08/04/17 18:43:41
どっかでabort()してるんじゃないの

249:デフォルトの名無しさん
08/04/18 21:06:07
MPIにおけるシグナルの使い方は実装依存なのじゃ。
同じエラーが出るミニプログラムを作ってうp汁

250:デフォルトの名無しさん
08/04/22 00:04:00
NPACI Rocksつこうてる人おる?
どこのスレいけばいいか解らんくて
迷子してる

251:デフォルトの名無しさん
08/05/21 23:38:11
計算の進行状況をファイルに書いてたのだが、
ファイルがバッファリングされる関係で
リアルタイムで更新されないので、fflushを
つっこんだら、計算時間が倍になったぞ。

こういうのは難しいなぁ。


252:デフォルトの名無しさん
08/05/22 06:37:45
>>251
NFSとかSambaでリモートのファイルシステムに書いてない?
ローカルの /tmp あたりに書くようにすると速くなるかも。

253:デフォルトの名無しさん
08/05/22 09:17:59
というか、頻繁に確認しない限りそんな遅くならないんじゃないの?

254:251
08/05/23 00:45:22
>>252
リモートファイルシステムです。
多分それで速くなると思いますが/tmpとか勝手に
使ったら怒られそう。大学共同利用のシステムなんで。

>>253
かなり頻繁に更新してますた。数秒に1回ぐらい。

進行状況を書いてただけなので、flush頻度を1/100
にしたら速度がだいたい元に戻りました。

255:デフォルトの名無しさん
08/05/23 01:30:25
>>254
普通の大学の計算機センターならローカルディスクぐらい用意してるよ。
聞いてみな

256:251
08/05/24 18:29:49
計算の進行状況をlogに書くってのも一歩間違うと大変な事になるな。

計算で64bit Intetgerを使って、桁あふれ(2^64)が起きたら
「SKIPしますた」とlogファイルに書いて次ぎのデータ処理に入る
ようにしてたんだ。

今まで深さ4の処理をしてたんだが桁あふれが起きてなかった。

次に深さ5の処理に入ったんだ。とたんに桁あふれが増えて
「SKIPしますた。」でdisk使用制限が超えそうになっちまった。

テラヤバスで、20時間実行したjobを強制停止…

>>255
いや、他大学システムなんで、あまりくだらない質問したく
なくて。利用料金も私が出したんじゃなくて、教授のだし。

257:デフォルトの名無しさん
08/05/26 19:24:36
MPICHのMPI_Finalizeって常時ポーリングしてんのかな?
処理が終ってFinalize待ちのプロセッサの負荷が100%になってやがる。
割り込み使ってくだちゃい。

258:デフォルトの名無しさん
08/05/27 21:52:46
負荷100%といえば、

rank=0のタスクをjobのマネージメントだけにつかって
rank=1以降を計算に使うプログラムを書いた。

rank=0とrank=1以降でも大してCPU使用率がかわらん
かった。rank=0のタスクはMPI_RECVで待機してただけ
なんだがな。

259:デフォルトの名無しさん
08/06/20 22:58:08
MPIで複数のCPUを使って計算させたときに、計算の速さ(結果)を秒数などで表示する
何か良いプログラムは無いでしょうか?

姫野ベンチやHPLだと、結果がFLOPSでしかでないので分かりにくいと言われ
体感的(秒数なもの)にわかるものにしてほしいと(´・ω・`)

思いつく簡単なベンチマークを例であげると、例えばスーパーπの104万桁を2つのCPUで
計算した場合は○○秒かかったけど、4つだと○秒だったよ!という感じです。(ベンチマーク
じゃなくてもいいです。)

よろしくお願いします。

260:デフォルトの名無しさん
08/06/20 23:17:57
>>259
自分で秒数に戻せばいい。そもそも計算速度(flop/sec)というのは

 計算速度=計算量÷計算時間

として求めている。
計算量(浮動小数点演算の回数)はプログラムによって決まる。
ベンチマークプログラムなら解説文書に計算量が書いてあるはず。
計算量と計算速度が分かれば当然ながら

 計算時間=計算量÷計算速度

で秒数が分かる。

261:デフォルトの名無しさん
08/06/21 01:48:01
>>260

アドバイスありがとうございます!
なるほど!
そういう風に求めるのですね。

助かりましたm(__)m

262:デフォルトの名無しさん
08/06/21 10:55:46
time mpirun -np 3 aho &
でいいじゃん。
各ノードごとの時間を知りたければ
mpirun -np 3 time aho &
でできるぜ

263:259
08/06/26 17:15:29
>>262

timeを使えば計算時間分かりますね!
アドバイスありがとうございますm(__)m

すいません。色々アドバイスを頂いたのですが何かオープンキャンパスで
高校生の方たちにクラスタを使ってもらうらしく姫野ベンチとかだと流体
の計算なので何を計算しているのかイメージが付きにくいんじゃないか?
と、言われまして何かイメージが付きやすいプログラムというのは無い
でしょうかね・・・?

すいません、変な質問をして(汗

264:デフォルトの名無しさん
08/06/26 22:30:47
>>263
計算結果を可視化するところまでやるとか。
でも見た目が楽しい計算結果でないと訴求力がないだろうねえ。

あるいは利用ノード数(並列度)を変えて実行時間の変化をグラフにして
並列度の高いクラスタのありがたみ(速度向上)を訴えるとか。

265:デフォルトの名無しさん
08/06/27 01:51:51
>>263
迷路。

ノードごとに探索経路を色分けすればぐー

266:259
08/06/27 11:53:25
>>264

>計算結果を可視化するところまでやるとか。
>でも見た目が楽しい計算結果でないと訴求力がないだろうねえ。

そうなんですよね~
分子力学のプログラムで計算結果を可視化できるものがあったんですが
リンク切れとソースの名前をググっても出てこなかったので諦めました・・・。

>あるいは利用ノード数(並列度)を変えて実行時間の変化をグラフにして
>並列度の高いクラスタのありがたみ(速度向上)を訴えるとか。

なるほど。理想値と実際に計算にかかった時間をグラフに書いてもらえば
オーバーヘッドの事や何倍速く計算できたかと言う事が分かりやすいですね!
アドバイスありがとうございますm(__)m

>>265

>迷路。

すいません。
迷路というのは迷路を解くと言う事でしょうか?

267:デフォルトの名無しさん
08/08/22 20:08:51
すいません MPI初心者です。
windowsでMPIを実行しようとしているんですけどエラーがでて困っています。
インクルドのパスは切っています。
error C2653: 'MPI' : 識別子がクラス名でも名前空間名でもありません。
error C3861: 'Init': 識別子が見つかりませんでした
というエラーがでます。
なんで何でしょう。いきなり初期設定でつまずいて恥ずかしいのですが
だれかアドバイスしていただけないでしょうか。

268:デフォルトの名無しさん
08/08/23 08:45:51
>>267
それで他人になにか状況が伝わるとでも?

269:デフォルトの名無しさん
08/08/23 18:49:31
C:Program Files\MPICH2\lib
C:Program Files\MPICH2\include
を追加する。
最低これでエラーはなくなるはずのに認識できない。
メッセージは同様。
error C2653: 'MPI' : 識別子がクラス名でも名前空間名でもありません。
error C3861: 'Init': 識別子が見つかりませんでした
絶対windowsで同様なエラーが出ている人がいるはず。
MPICH2はwindowsでは無理なのか?


270:デフォルトの名無しさん
08/08/23 21:20:54
>>269
それで他人になにか状況が伝わるとでも?


ソースくらい出せ。
コンパイルオプションくらい出せ

271:デフォルトの名無しさん
08/08/23 21:22:39
windowsでMPICH2は「余裕で」動いてる。

272:デフォルトの名無しさん
08/08/24 14:46:18
わかりました。
ウィザードで作った雛形をつかってコピしていたからみたいです。
空のディレクトリをしてしてファイル追加してみるとできました。
ご声援ありがとうございました。何の役にもたたなかったけど(w

273:デフォルトの名無しさん
08/08/24 20:32:38
>>272
何の役にも立たないのは、お前がなんら情報を出さないからだろ。
自分の低能を棚上げしてイヤミで〆か。
新打法がいいね。

274:デフォルトの名無しさん
08/08/25 17:29:10
>>273
野球していたが打てなかったので1本足打法に変えました。
するとよく打てるようになりました。
そして解説者に言われました。
新打法がいいね。

275:デフォルトの名無しさん
08/08/25 23:55:04
自分の考えを人間にすら伝えられないバカは
自分の考えをコンピュータに伝えられるわけがない。
プログラムなんてやめた方がいいよ。

276:デフォルトの名無しさん
08/09/16 08:21:40
OpenMPIってVistaじゃ使えないの?

277:デフォルトの名無しさん
08/09/17 03:03:50
なんか荒れてる…w
MPICH2いれてBoostのMPI使おうかと思ったが
うまくいかね

using mpi ; をusr-config.jamに書いたが
パスが通ってないと言われる…

いい解説サイト知っていたら教えてくださいませ

278:デフォルトの名無しさん
08/11/01 04:35:50
MPI対応のFFTで、2次元の場合はタイル状に、3次元の場合はブロック状に、
データ分割可能なもの知りませんか?

fftwやFFTEのMPI版は短冊形(z方向分割)にしか対応していません。

279:デフォルトの名無しさん
08/12/01 12:33:58
ちょっと質問なんですが
MPI_Sendrecvってペアじゃないと使えないですかね?

片方がMPI_Sendrecv

もう一方がMPI_SendだけとかMPI_Recvだけとか。

わかる方いたらご教授願いたいのですが。


280:デフォルトの名無しさん
08/12/04 16:33:04
シングルノードWinXP-Proの環境で、MPICH2に付属ので例題cpi.exeを実行してみたら動きませんでした。
エラーメッセージは特になく、タスクマネージャで確認するとCPUコア数分のcpi.exeが実行中であるのが
確認できるのでが、強制終了する以外コントロールできない状況です。MPICH1ではうまくゆくのですが。
どなたかご教示のほうよろしくお願いします。




最新レス表示
レスジャンプ
類似スレ一覧
スレッドの検索
話題のニュース
おまかせリスト
オプション
しおりを挟む
スレッドに書込
スレッドの一覧
暇つぶし2ch