18/07/27 02:39:37.38 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
3.4 ベクトルモード
ry 、各プロセッサコアをN個（このペーパーでは4つ）の独立したベクトルレーンに分割します。
ry 、命令は同じベクタ・レーン内の他の命令のみをターゲットにすることができ、オペランド・バッファとALU間にフル・クロス・バーを必要としません。
各レーンは、32エントリ命令ウィンドウ、2つの64ビットオペランドバッファ、16レジスタ、および1つのALUで構成 ry
。 E2は、64ビット、128ビット（256ビットにパディングされた）、および256ビット幅のベクトルに対するベクトル演算 ry
。各ALUは、8つの8ビット、4つの16ビット、または2つの32ビット・ベクタ・オペレーション ry
? ry 1コアあたり最大32 ry 。
4つのALUにより、E2は1コア1サイクルあたり最大32のベクトル演算 ry
。 64ビット・ベクタ・オペレーションは単一のALUを使用し、128ビット・オペレーションと256ビット・ベクタ・オペレーションは4つのALUすべて ry
。表2に、各ベクトル長とデータ要素サイズでサポートされる並列ベクトル演算の数 ry 。 >>199
ベクトル命令を含む命令ブロックは、各ベクトルレーンの命令ウィンドウのサイズである32命令に制限される。
レーン1で発行されるベクトル命令は、他の3つのレーンで自動的に発行され、スカラー命令は常にレーン1に割り当てられます。
? ry 形成するために別名が付けられます。
ベクタモードでは、64個の64ビット物理レジスタ（R0R63）に16個の256ビットベクタレジスタ（V0V15）を形成するためにエイリアスされます。
物理レジスタファイルを4つのバンクに分割して、ベクトルの単一サイクルアクセス ry
? 3.4.ベクトル ry
3.4.1 ベクトルモードでのメモリアクセス
E2コアは、256ビットのチャンクで動作し、中小長のベクトルでデータレベルの並列処理を効率 ry
? より大きなベクトルでの操作は、効率的なリフレッシュモードを使用して命令フェッチと定数の生成（セクション3.3）をバイパスするループ内の複数の命令ブロックを使用して実行されます。
ループ内の複数の命令ブロックでのより大きなベクトル操作に於ては、効率的なリフレッシュモードを使用する事で命令フェッチと定数の生成がバイパスされます（セクション3.3）。
201:>>200
18/07/27 02:41:44.47 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 5
複数の命令ブロック間で大きなベクトルを分割すると、同じベクトルの隣接するチャンクのロード間に遅延が発生する可能性 ry 。 ry 。
この遅延を軽減するために、E2はメモリインタフェースコントローラ（MIC）と呼ばれる特殊なユニット ry
。 MICはL1データキャッシュの制御を引き継ぎ、キャッシュの一部をプリフェッチストリームバッファに変更します[8,11]。
ストリームバッファは、次のベクトルロードのアドレスを予測し、そのデータをキャッシュに早期に持ち込む。
これにより、後続の命令ブロックのベクタロードが常にL1キャッシュにヒット ry
? ry 従来のキャッシュとして動作 ry 。
ベクトルおよびスカラー演算は命令ブロックで混合されるので、キャッシュの一部は依然として従来型キャッシュとして動作する必要があります。
? ry 半減させますか？ それらの方法をスト??リームバッファ用のメモリに変換する。
キャッシュのサイズを半分にするのではなく、キャッシュのセットアソシアティビティを半減させますか？ つまりそれらのウェイをストリームバッファ用のメモリに転換する。
ベクタロード時に、キャッシュはストリームバッファをチェックします。
スカラのロードとストアでは、チェックするセットの数は少なくなりますが、キャッシュは同じ方法でキャッシュをチェックします。
? ry 、ブロックコミットまでストリームバッファにバッファされ、その時点 ry 。
ベクタストア命令は、ストリームバッファにバッファされ、ブロックコミット時点でメインメモリに直接書き込まれます。
202:yamaguti
18/07/27 02:46:28.11 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
URLﾘﾝｸ(search.yahoo.co.jp)
URLﾘﾝｸ(google.jp)
203:>>201
18/07/27 02:47:07.02 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
4. 例：RGBからYへの変換
このセクションでは、E2でプログラムをベクトル化 ry 例 ry 。
図2は、カラー画像をグレースケールに変換するために一般的に使用されるRGBからYへの輝度変換のためのCコードおよび対応するベクトル化されたアセンブリを示す。
1 // numVectors > 0
2 // y = r * .299 + g * .587 + b * .114;
3 void rgb2y(int numVectors,
4 __vector float *r, __vector float *g,
5 __vector float *b, __vector float *y)
6 {
7 __vector float yr = { 0.299f, 0.299f,
8 0.299f, 0.299f };
9 __vector float yg = { 0.587f, 0.587f,
10 0.587f, 0.587f } ;
11 __vector float yb = { 0.114f, 0.114f,
12 0.114f, 0.114f };
13
14 for (int i = 0; i < numVectors; i++)
15 y[i] = r[i] * yr + g[i] * yg + b[i] * yb;
16 }
17
18 _rgb2y:
19 read t30, r3 // numVectors
20 read t20, r4 // next rのアドレス
21 read t21, r5 // 次のgのアドレス
22 read t22, r6 // 次のアドレスb
23 read t32, r7 // yのアドレス
24 read t31, r8 // i
25 read t1, v0 // vector yr
26 read t3, v1 // ベクトルyg
27 read t5, v2 // vector yb
28
204:>>203
18/07/27 02:49:23.89 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
29 // RGBからYへの変換
30 vl t0, t20 [0] // ベクトルロード
31 vl t2, t21 [1]
32 vl t4, t22 [2]
33 vfmul t6, t0, t1 // ? ベクトルfp mul ベクトル 乗算 fp
34 vfmul t7, t2, t3
35 vfmul t8, t4, t5
36 vfadd t9, t6, t7 // ? ベクトルfp add ベクトル 加算 fp
37 vfadd t10, t8, t9
38
39 // 結果をYに格納する
40 multi t40, t31, #32
41 add t41, t32, t40
42 vs 0(t41), t10 [3] // ベクトルストア
43
44 // ループテスト
45 tlt t14, t31, t30
46 ret_t<t14>
47 br_f<t14> rgb2y
48 addi r8, t31, #1
49 addi r4, t20, #32
50 addi r5, t21, #32
51 addi r6, t22, #32
図2： ベクトル化されたRGBからYへの輝度変換のためのC ry およびE2アセンブリリスト。
205:>>204
18/07/27 02:55:53.80 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
? ry 三重線を有する。
画像の各ピクセルは、赤、緑、および青の色成分に対応する三重要素を有する。
輝度（Y）は、各RGB値に定数を掛け、3つの結果を合計 ry
? ry 、並行して並列化することができます。
このプログラムは、各変換が独立しているため、並行して複数の変換を実行するために、並列化することができます。
4.1 Cソース
? ry 、これらのベクトルへのポインタ、 ry Yへのポインタ、変換するベクトルの数 ry 。
各RGBコンポーネントはベクトルで表され、これらの三つのベクトルへのポインタ、事前に割り当てられた結果ベクトルYへのポインタ、そして変換するベクトルの数が引数として関数に渡されます（行4-5）。 >>203
変換の定数もベクトルに格納されます（7-12行目）。
各ベクトルは256ビット幅で、個々のデータ要素は32ビット単精度浮動小数点型なので64ビットにパディングされます。
変換は単純なforループを使用して行われます（1416行目）。
? この例 ry 、ループを展開してブロックを埋めるわけではありません。
例を単純化するために、ループ展開でブロックを埋める事を避けます。
4.2 アセンブリ
アセンブリリストは、1851 ry 。 >>203-204 >>203 >>204
? ry 、新しいブロックはすべてのラベル（ライン18）で開始されます。
命令はコンパイラ（この例では1つのブロック）によってブロックにグループ化され、全てのラベルは新しいブロックの先頭を意味します（ライン18）。
ry 、ブロックをアトミックにフェッチ、実行、およびコミットします。
慣習的には、スカラーレジスタを表すためにRn、ベクトルレジスタを表すVn、テンポラリオペランドを表すTn ry
? ry 、すべてのブロックで参照できるグローバル状態の一部です。
スカラーレジスタとベクタレジスタは、全てのブロックでグローバルステートとして参照できる構成要素です。
? ただし、一時的なオペランドは、 ry 表示されます。
但し、テンポラリオペランドは、定義されたブロック内でのみ参照可能です。
? ry 19行目???卸行目 ry 。
グローバルレジスタファイルから読み取ることができる命令は、レジスタREAD命令（19行目 - 27行目）のみです。
ただし、ほとんどの命令はグローバルレジスタファイルに書き込むことができます。
206:>>205
18/07/27 02:57:32.83 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
ベクトル命令は 'v'で始まります（行30-37と42）。 >>204 >>203-204 >>203
すべてのロード命令とストア命令には、ロード・ストア識別子が割り当てられ、シーケンシャル・メモリ・セマンティクスが確実に行なわれます（3032行目と42行目）。
? これは、割り当てられた負荷ID0は、ID1のストアの前に ry 。
ここで割り当てられた処理ID0は、ID1のストアの前に完了する必要があります。
? ry 見ることができない。
ほとんどの命令は述語になり得、述語は定義されたブロック内でしか参照できない。
述語命令は、述語命令に符号化された極性と比較される真または偽を表すオペランドを取る（_tおよび_fで示される）。
45行目のテスト命令は、受信命令（行4647）が自身の符号化された述語と比較する述語を作成する。
一致する述部を持つ命令だけが実行されます。
Page 6
ブロックは最大で128個のスカラ命令に制限されています。
ベクトル命令を使用する場合、ブロックは合計32個のスカラ命令とベクトル命令に制限されます。
? には27種類 ry 。
ブロック_rgb2yには計 27 個のスカラー命令とベクトル命令が混在しています。
207:>>206
18/07/27 03:03:38.97 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
サイクル 1 2 3 4 5 6 7 8 9 1011121314151617
FETCH IF IF IF IF
READ R R R R R
READ R R R R
MEM L L L S
EX A A A M M M M M M M M M A A B
EX M A T M M M M M M M M M A A A
EX M M M M M M M M M A A
EX M M M M M M M M M A A
図3： 図2の1つの可能なスケジュール。
208:>>207
18/07/27 03:09:30.30 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
? 4.3 指導スケジュール
4.3 命令スケジュール
図3は、図2の例の1つの可能なスケジュｰ ry 。 >>207
我々は、3サイクルの32ビット浮動小数点乗算を仮定し、すべてのロードがL1キャッシュでヒットし、3サイクルが必要となる。
ry 1サイクルにつき8命令をフェッチ ry 、27命令ブロック ry 4サイクル ry
。サイクル1では、8つのレジスタ読み出し命令がフェッチされ、これらの命令は依存性がないので、次のサイクルですべて実行 ry
? すべてのグローバル・レジスタを読み出すために5サイクルを必要とする1サイクルにつき2回のレジスタ・リードが実行できます。
1サイクルに付き 2 つのレジスタの読出しが実行でき 5 サイクルですべてのグローバル・レジスタを読出せます。
サイクル2では、レジスタR4（20行目）とR8（24行目）が読み出され、ベクタロード（30行目）、即値乗算（40行目）、および即値（48行目）命令に送られます。 >>203-204 >>203 >>204
これらの命令はそれぞれ1つのオペランドで待機しているため、すべて準備ができてサイクル3で実行を開始します。
サイクル17でブロックがコミットする準備ができるまで、ry 継続
5. 結論
? ry 、E2アーキテクチャについて説明しましたか？ 高性能な電力を効率的に達成するために設計されたExplicit Data Graph Execution（EDGE）ISAを利用した新しい動的マルチコア。
この論文では、E2アーキテクチャ -- 演算性能が高く電力を効率的に達成するために設計されたExplicit Data Graph Execution（EDGE）ISAを利用した新しい動的マルチコアに付いて説明しました。
EDGEアーキテクチャとして、E2はデータフローの実行と攻撃的な投機によって命令レベルの並列 ry
、ベクトルとSIMDのサポートによって、データ・レベルの並列 ry 説明 ry
。このベクトルのサポートにはスカラー命令が散在しているため、E2は従来のベクトルプロセッサよりも柔軟性があり、従来のスカラーアーキテクチャよりも優れています。
? ry 、SystemCとMicrosoft Phoenixソフトウェアの最適化と分析フレームワークで新しいコンパイラバックエンドを使用してE2用の ry 。
209:>>208
18/07/27 03:12:18.38 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
我々は、最適化と分析のフレームワークであるMicrosoft Phoenixソフトウェア付きの新しいコンパイラバックエンドと SystemC とを使用して E2用のアーキテクチャシミュレータを開発しました[1]。
? 、産業強度コンパイラ ry 。
ry 、我々の産業強度コンパイラと組み合わせることで、アーキテクチャの詳細な調査と評価を実行できるサイクル精度の高いFPGA実装を開発中です。
? ry 先行しています。
多くの課題が待受けています。
アクセラレータとして説得するためには、GPUや専用ベクトルプロセッサなどの特殊なアクセラレータよりも優れた性能、電力効率、プログラマビリティ ry
。 E2は汎用プロセッサとしても優れている可能性 ry 。その場合、新しいISAへの移行を正当化するために、現在の静的マルチコア・アーキテクチャに比べて十分な電力/性能 ry
。 E2のパフォーマンスと電力効率は、コアを動的に構成および分解する能力を基盤としているため、動的構成を管理するための正しいポリシーとメカニズムには慎重な検討 ry
? ry プログラマーが基盤となるハードウェアについて推論 ry 。
理想的には、コンポジションに関するすべての決定をランタイムシス ry 、プログラマがこのハードウェアの根本に付いて推論することを完全に免れます。
最後に、組み込みデバイスからデータセンターまで、E2のパワーとパフォーマンスのトレードオフの能力が役立つさまざまなアプリケーションドメインがあります。
今後数か月 ry 電力性能 ry 調査
210:>>209
18/07/27 03:14:44.39 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
6. 参考文献
[1] Microsoft Phoenix。
URLﾘﾝｸ(research.microsoft.com)
[2] ARM。 Cortex-A9 MPCoreテクニカルリファレンスマニュアル、2009年11月
[3] D. Burger、SW Keckler、KS McKinley、M. Dahlin、LK John、C. Lin、CR Moore、J. Burrill、RG McDonald、W. Yoder、およびTRIPSチーム。 EDGEアーキテクチャを使用したSilicon Endへのスケーリング IEEE Computer、37（7）：44？55、2004年7月。
[4]ケイデンス。 Cadence InCyte Chip Estimator、2009年9月。
[5] H. EsmaeilzadehおよびD. Burger。.階層的制御予測：積極的な予測のサポート。.マルチコアアーキテクチャにおけるシーケンシャルプログラムの並列実行に関する2009ワークショップの講演会、2009年。
[6] MD HillとMR Marty。 マルチコア時代のアムダールの法則。 IEEE COMPUTER、2008。
[7] E.？Ipek、M. K？rman、N. K？rman、およびJF Mart？ez。 コア・フュージョン：チップ・マルチプロセッサにおけるソフトウェア・ダイバシティの適応。 コンピュータアーキテクチャに関する国際シンポジウム（ISCA）、サンディエゴ、CA、2007年6月。
211:>>210
18/07/27 03:15:58.77 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
? [8] ry 小さな完全連想キャッシュ ry 。
[8] NP Jouppi。 小さなフルアソシエイティブキャッシュとプリフェッチ・バッファを追加することで、ダイレクト・マップ・キャッシュのパフォーマンスを向上させます。 SIGARCH Computer Architecture News、18（3a）、1990を参照されたい。
? [9] ry マイクロシンポジウム ry 。
[9] C.Kim、S.Sethumadhavan、D.Gulati、D.Burger、M.Govindan、N.Ranganathan、およびS.Keckler。 構成可能な軽量プロセッサ。.第40回IEEE / ACMマイクロアーキテクチャ国際シンポジウム議事録、2007年。
[10] S. Sethumadhavan、F. Roesner、JS Emer、D. Burger、およびSW Keckler。 遅延バインディング：順序なしロード・ストア・キューを使用可能にします。 2007.第34回国際コンピュータシンポジウム講演予稿集、347357頁、ニューヨーク、 NY 、米国、2007年。 ACM。
? [11] ry 国際シンポジウム ry 。
[11] T.シャーウッド、S。セア、B.カルダー。 予測子指示ストリームバッファ。 In Proceedings of the 33rd Annual ACM/IEEE International Symposium on Microarchitecture, 2000.第33回ACM / IEEE国際マイクロアーキテクチャシンポジウム講演予稿集、2000年。
[12] A.スミス。 明示的なデータグラフのコンパイル。 博士論文、テキサス大学、オースティン、2009年。
212:>>184-211
18/07/27 03:21:15.54 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>184-211
URLﾘﾝｸ(theregister.co.uk)
URLﾘﾝｸ(gigazine.net)
URLﾘﾝｸ(web.archive.org)
>478 山口青星 160930 1929 /EmvfkU+
:
> 意味スレッド有機分散普遍浸透
>479 478 160930 1931 /EmvfkU+
:
>> マルチ PC 的スーパスカラ マルチ PC 的順序外実行
>>>>>>>01> ↓
>>>01> フェイルレストランザクション ( 普遍浸透有機スレッド Aperios BeOS PalmOS6 DfBSD )
>>>>>>>01> ↓
>>>>>01> フェイルレストランザクションベース細粒度分散 VM
>>>>>>01>
>>>>>>01>
>>v1> メインメモリ細粒度ページ ( キャッシュライン投影 ) ※1
>>v1> ↓
>>>>>>>>>01> 細粒度ページ単位普遍マルチスレッド ( 完全掌握 ) ※2
>>v1> ↓
>>>>>>>>>01> キャッシュ対応疑似分散 UMA ( コヒーレントレスコヒーレント 浸透スレッド ) ※3
>>v1> ↓
>>>>>>>>>01> 透過可視マルチプロセッサベース論理物理ユニプロセッサ ( 256KB-SPE 込 ) ※4
>>v1>
>>v1> ↓↑ ( VM 策 ↑ / ↓ 環境策 1 )
>>v1>
:
213:>>212
18/07/27 03:23:10.80 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>184-212 >>212
>480 479 161001 2229 hw5iBIwd
>>>>>>>>7> ※1 ROM 化オブジェクト 多段実身仮身 TRONCHIP キュー ( MMU )
>>>>>>>>7> → 自律 機能メモリ
>>>>v>
>>>>v> ※2 選別 波及 浸透 仮身 高低 細胞
> 競合自動回避 分配済オブジェクト投影 ( 必然分配 上流 Ru?y )
>>>>>>>>> API 内外 鏡像 → API 内部 API 外部 ( 内宇宙 外宇宙 )
>>>>>>>>n>
>>>>>>>>>01> ※3 BeBox : キャッシュ非対応 ( 環境 )
>>>>>>>>>71>
>>>>>>>>>01> ※4 MPU 機構直交融合動的普遍オーバライド
>>>>>>>><71> ( 加算器 レジスタ トラップ・ベクタ・ブレークポイント )
>>>>>>>>>71>
>>>>>>>>01> ※5 Rite : スタック 分散 ( Amoeba : 生バイナリ )
>>>>>>01>
:
>485 478 161006 2307 sOXXCC59
:
>>>>><7> 細粒度スレッドレベル部品分散 VM / MTRON WinnyOS ( Aperios/MuseOS )
:
214:>>213
18/07/27 03:25:24.36 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>184-213 >>212-213
>487 486 161008 1739 7/TdBlDM
:
>>>>>>>><71> ↓
>>>>>>><7> 有機無機ハイブリッドコンピュータ ( 有機分子 返り値 互換 )
>>>>>>>><71> ↓
:
>502 478 161016 1447 +gGlHDwt
:
>>>>><71> AAP/SPE AI/AL クラスタ
>>>>>>>><71> ↓
>>>>><71> AAP/SPE 有機コンパイル ( 自生 / 3D プリンタ )
>>>>>>>> 細粒度ライブラリベース回路 ( 最適化 )
>>>>>>>> 平面有機回路 積層有機回路
>>>>>>>><71> ↓
:
215:>>214
18/07/27 03:42:18.14 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>184-214 >>212-214
>>164
> ｽﾚﾘﾝｸ(future板:478-509番)
>>177
> >>152-176
> ｽﾚﾘﾝｸ(future板:681番)-684# TRON SakamuraSensei
>ｽﾚﾘﾝｸ(future板:478番)-509# DensiZunou SekkeiZu Gaiyou
> >>110 >>44-46
>>184
>55
> >>46 訂正
> ｽﾚﾘﾝｸ(future板:525-527番)# 64bitARM Fuguai
216:>>215
18/07/27 03:54:39.51 pBBIx/eO.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>184-215 >>212-215
>>25-42 >>97-98
>>212
>意味スレッド有機分散普遍浸透
>ry ( 普遍浸透有機スレッド
>細粒度ページ単位普遍マルチスレッド ( 完全掌握 ) ※2
>キャッシュ対応疑似分散 UMA ( コヒーレントレスコヒーレント 浸透スレッド ) ※3
>>213
>※2 選別 波及 浸透 仮身 高低 細胞
>競合自動回避 分配済オブジェクト投影 ( 必然分配 上流 Ru?y )
:
>細粒度 ry 分散 VM /
>>214
>有機無機ハイブリッドコンピュータ ( 有機分子 返り値 互換 )
217:yamaguti
18/07/30 06:13:12.48 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
This is the html version of the file URLﾘﾝｸ(atrg.jp)
Page 1
ZettaScaler/PEZY-SCの紹介と今後の方向性
～自動チューニング技術の現状と応用に関するシンポジウム発表資料
2016/12/26
PEZY Computing, K.K.
218:>>217
18/07/30 06:15:12.57 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 2
PEZYグループ
株式会社PEZY Computing （ペジーコンピューティング）
・独自メニーコア・プロセッサ開発
・同汎用PCIeボード開発
・同独自システムボード開発
・同アプリケーション開発
・半導体2.5次元実装技術開発
・ウェハ極薄化応用技術開発
創業：2010年1月 社員数：23名
UltraMemory株式会社 （ウルトラメモリ）
・超広帯域独自DRAM開発
・DRAM積層技術開発
・磁界結合メモリIF開発
・ウェハ極薄化応用技術開発
・広帯域、高速DRAM開発
・最先端汎用DRAM受託開発
創業：2013年11月 社員数：41名
株式会社ExaScaler （エクサスケーラー）
・液浸冷却技術開発
・HPC液浸システム開発
・液浸スパコンシステム開発
・液浸冷却水槽販売
・液浸冷却システム販売
・液浸冷却用ボード類販売
創業：2014年4月 社員数：13名
219:>>218
18/07/30 06:16:03.52 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
PEZY Computing：メニーコア・プロセッサ
UltraMemory：超広帯域積層カスタムDRAM
ExaScaler：液浸冷却システム
? 組み合わせることにより、最終システムとしてスーパーコンピュータを開発
? 各社の要素技術を個別に製品展開
Page 3
主な内容
? ZettaScaler1.x/PEZY-SCの概要
? プログラミング概要
? 今後の展開
? その他の話題
Page 4
ZettaScaler1.x/
PEZY-SCの概要
220:>>219
18/07/30 06:18:31.10 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 5
ZettaScaler-1.xシステム
Suiren（睡蓮） ZettaScaler-1.5
2014.10Install 2016.5 Upgrade (32node to 48node)
Shoubu（菖蒲） ZettaScaler-1.6
2015.6Install 2016.5 Upgrade
Suiren Blue（青睡蓮） ZettaScaler
2015.5 Install 2016.5 upgrade
Ajisai（紫陽花） ZettaScaler-1.6
2015.10Install 2016.5Upgrade
Satsuki（皐月） ZettaScaler-1.6
2016.5 Install
Sakura（さくら） ZettaScaler-1.6
2016.5 Install
221:>>220
18/07/30 06:19:21.12 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 6
Top500
? 世界で最も高速なコンピュータシステムの上位500位までを定期的にランク付けし、評価するプロジェクト。
1993年に発足し、スーパーコンピュータのリストの更新を年2回発表
? 単位：FLOPS（Floating Operation per Second）浮動小数点命令を1秒間に何回実行するか？
? ハイパフォーマンスコンピューティング(HPC)における傾向を追跡・分析するための基準を提供することを目的とし、
LINPACKと呼ばれる行列計算ベンチマークによりランク付けを行っている。
? 大規模システムを構築するには資金力も必要
Green500
? 世界で最もエネルギー消費効率の良いスーパーコンピュータを定期的にランク付けし評価するプロジェクト
? 単位：FLOPS/W FLOPSあたりの消費電力。
? スーパーコンピュータにおけるグリーンITの指標の1つともされ、
日本では「スーパーコンピュータの省エネ性能ランキング」などと呼ばれる事もある。
? 省電力、高効率実行の技術力が問われる
Page 7
Green500での成果
理研情報基盤センターに設置した菖蒲が 2015/6, 11, 2016/6の3期連続で首位
皐月も2位を獲得
222:>>221
18/07/30 06:20:27.16 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 8
ZettaScaler-1.xのキーテクノロジー
液浸冷却技術“ESLiC”
1,024メニーコアプロセッサ, “PEZY-SC”
液浸サーバー“Brick”高密度実装技術
223:>>222
18/07/30 06:21:08.85 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 9
菖蒲ZettaScaler-1.6システム
? ノード：1つのXeon に4個のPEZY-SCnp が接続されている
Intel Xeon E5-2618L v3
DDR4 LP 32GB DDR4 LP 32GB DDR4 LP 32GB DDR4 LP 32GB
PEZY-SCnp DDR4 32GB
PCIe Gen3 8Lane
PEZY-SCnp DDR4 32GB
PCIe Gen3 8Lane
PEZY-SCnp DDR4 32GB
PCIe Gen3 8Lane
PEZY-SCnp DDR4 32GB
PCIe Gen3 8Lane
PCH C612
DMI2
BMC
RS-232C
SPI
VGA
USB SATA SATA
Infiniband FDR
PCIe 8Lane
PEZY-SCnpはPEZY-SCの半導体部分は変更せずに パッケージとしての信号品質と電源品質を向上したもの
224:>>223
18/07/30 06:21:52.86 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 10
菖蒲ZettaScaler-1.6システム
? ブリック：4ノードの集合体
? 液浸層：16ブリックから構成
? 全体システム:5 液浸層から構成
Page 11
225:>>224
18/07/30 06:22:43.07 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
第2世代プロセッサ「PEZY-SC」
Name PEZY-SC
製造プロセス TSMC28HPM
コア性能
動作周波数 733MHz(Target)
キャッシュ L1: 1MB, L2: 4MB, L3: 8MB
周辺回路
動作周波数 66MHz
IPs
内蔵CPU ARM926 x 2 Cache L1:32KB*2, L2: 64KB
PCIe PCIe Gen3 x 8Lane 4Port (8GB/s x 4 = 32GB/s)
DDR DDR4 64bit 2,400MHz 8Port (19.2GB/s x 8 = 153.6GB/s)
コア（PE）数 1,024 PE
演算性能
3.0T Flops (単精度浮動小数点)
1.5T Flops (倍精度浮動小数点)
消費電力
70W (Leak: 10W, Dynamic: 60W)
46W@533MHz (PEZY-1以下)
パッケージ
DDR版 47.5*47.5mm (2,112pin)
Wide-IO版 20*60mm CSP (#pin: TBD)
226:>>225
18/07/30 06:23:33.00 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 12
PEZY-SCの特徴
? 高性能
? 8スレッドSMT（Simultaneous Multi-threading）
? 4スレッドを順番に切り替え x 2面
? 8スレッド分のレジスタファイルを用意
? Deep pipelining (16Stages)
? 潤沢なオンチップキャッシュ、メモリ
? 低消費電力、高密度実装
? 極端に高い周波数は狙わない
? 各PEはシンプルに
? In-order 2way SuperScaler
? 分岐予測なし
? キャッシュ間コンシステンシはソフトウェア責任
? 独自ISAによる必要命令の絞り込み
227:>>226
18/07/30 06:24:33.15 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 13
PEZY-SCのブロック図
ARM0 ARM1 PTILE PTILE PTILE PTILE
Local Bus / Config Bus
PEZY-SC Core DDR4C DDR4C DDR4C DDR4C DDR4C DDR4C DDR4C DDR4C
RSTGen
CLKGen
INTC
SRAM
SPI
PIT
PIT
UART
WDT
GPIO
? PTILE: PCIe Gen3
? ARM926は2個搭載 役割分担に対する制約はない
? L1I 16KB / L1D 16KB / L2 32KB
? ITCM 16KB / DTCM 16KB
? MMU
228:>>227
18/07/30 06:25:31.86 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 14
PEZY-SCプロセッサ全体構成
３レイヤーの階層構造を持ったMIMD型メニコアプロセッサ
(4PE x 4(village) x 16(city) x 4(prefecture) = 1024PE)
PE
Program Counter (8set)
L1 I- Cache (2KB)
ALU 4FpOps/Cycle
Register File 32b x 32w x 8set
Local Memory (16KB)
Village (4PE)
PE
PE
L1 D- Cache (2KB)
PE
PE
L1 D- Cache (2KB)
City ( 16 PE )
Special Function Unit
Village (4PE) Village (4PE)
Village (4PE) Village (4PE)
L2 I-Cache (32KB)
L2 D-Cache (64KB)
229:>>228
18/07/30 06:31:21.90 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Prefecture
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
L3 I-Cache (128KB)
L3 D-Cache (2MB)
230:>>229
18/07/30 06:32:07.83 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Prefecture
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
L3 I-Cache (128KB)
L3 D-Cache (2MB)
231:>>229-230
18/07/30 06:32:50.77 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Prefecture
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
L3 I-Cache (128KB)
L3 D-Cache (2MB)
232:>>229-231
18/07/30 06:33:48.30 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Prefecture
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
City (16PE) City (16PE) City (16PE) City (16PE)
L3 I-Cache (128KB)
L3 D-Cache (2MB)
233:>>229
18/07/30 06:45:42.46 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
DDR4-I/F 64 bit 2400MHz DDR4-I/F 64 bit 2400MHz
234:>>230
18/07/30 06:46:14.12 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
DDR4-I/F 64 bit 2400MHz DDR4-I/F 64 bit 2400MHz
235:>>231
18/07/30 06:47:10.62 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
DDR4-I/F 64 bit 2400MHz DDR4-I/F 64 bit 2400MHz
236:>>232
18/07/30 06:47:55.24 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
DDR4-I/F 64 bit 2400MHz DDR4-I/F 64 bit 2400MHz
237:>>229-236
18/07/30 06:51:12.91 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
ARM926
Host I/F & Inter Processor I/F
Host I/F
PCI Express Gen3 x8
Host I/F
PCI Express Gen3 x8
Host I/F
PCI Express Gen3 x8
Host I/F
PCI Express Gen3 x8
UART
SPI BUS
GPIO
238:>>229-237
18/07/30 06:54:34.12 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 15
階層構造と同期メカニズム
? スレッドを階層管理
? 同期レベル（バリア同期）
? Level 0 :スレッドレベル、 PE内の0-3スレッド、または4-7スレッド
? Level 1 : PEレベル、PE内の8スレッド
? Level 2 : Villageレベル、4つのPEとL1キャッシュ
? Level 3 : Cityレベル、16のPEとL1/L2キャッシュまで
? Level 4 : Prefectureレベル、256のPEとL1/L2/L3キャッシュまで
? Level 5 : PEZY-SCレベル、1024のPEとL1/L2/L3キャッシュまで
Sync Level
0 Thread 0-3 Thread 4-7
1 PE PE PE PE
L1 Cache
2 Village Village Village Village
L2 Cache
3 City
L3 Cache
4 Prefecture
5 PEZYSC Core
239:>>238
18/07/30 06:55:38.03 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 16
オンチップキャッシュ
level Size(B) Chip Total(B) Way Entry Line 長(B) 接続
データキャッシュ
L1 2K 1M 8 4 64 2PEに1つ
L2 64k 4M 8 32 256 Ciry毎 L1 8 個に対して
L3 2M 8M 8 256 1k Prefecture毎 L2 16 個に対して
命令キャッシュ
L1 2K 2M 8 2 128 PE毎
L2 32K 2M 4 32 256 City毎 PE 16個
L3 128K 512K 4 32 1K Prefecture毎 L2 16 個
複数PE間のメモリコンシステンシはソフトウェア責任、 PE毎に16KBのローカルメモリを備える
Page 17
プログラミング概要
240:>>239
18/07/30 06:56:30.65 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 18
プログラミング対象
Xeon
PEZY-SC
PEZY-SC
PEZY-SC
PEZY-SC
<演算リソース>
・1024個の演算コア(PE)
・1PEあたり8個のスレッド
<メモリ>
・32GBのデバイスメモリ
・1PEあたり16KBのローカルメモリ
241:>>240
18/07/30 06:57:53.49 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 19
作成するプログラム
? 2種類のプログラムを作成する必要がある
? CPU上のプログラム（C++で記述）
? PEZY-SC上のカーネルプログラム(PZCLで記述）
※PZCL=カーネルプログラムを記述するPEZY独自仕様の言語
コンパイラはllvmを用いている。
main関数呼び出し
CPU プログラム
起動 終了
カーネルプログラム1
起動 終了
カーネルプログラム2
上図のようにCPUプログラムからカーネルプログラムを起動する
242:>>241
18/07/30 06:58:54.95 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 20
特殊な関数
? カーネルプログラムで利用可能な、PEZY-SC制御に必要な組み込み関数がある。
? sync_L1 (L1キャッシュにアクセスする単位でのスレッド同期)
? sync_L2 (L2キャッシュにアクセスする単位でのスレッド同期)
? sync_L3 (L3キャッシュにアクセスする単位でのスレッド同期)
? sync (sync_L3と同等)
? flush_L1 (L1キャッシュのフラッシュ)
? flush_L2 (L2キャッシュのフラッシュ)
? flush_L3 (L3キャッシュのフラッシュ)
? flush (flush_L3と同等)
? get_pid (PE ID取得)
? get_tid (PE内スレッドID取得)
? chgthread (PE内スレッドの表裏切り替え)
243:>>242
18/07/30 06:59:40.84 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 21
カーネルプログラムの構造
? 基本的な構造
void pzc_foo(…)
{
? PE ID取得(get_pid)
? PE内スレッドID取得(get_tid)
? 自スレッドに割り当てられた処理の実行
? 出力バッファフラッシュ(flush)
}
Page 22
pzcAddサンプル
? カーネルは起動するとユニークな tid,pid を持って、 CPUから指定されたスレッド分実行される。
tid=0,pid=0
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid();
int pid = get_pid();
int index = pid * get_maxtid() + tid;
if(index >= count) return;
c[index] = a[index] + b[index];
flush(); // cache flush
}
244:>>243
18/07/30 07:00:23.57 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
tid=1,pid=0
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid();
int pid = get_pid();
int index = pid * get_maxtid() + tid;
if(index >= count) return;
c[index] = a[index] + b[index];
flush(); // cache flush
}
…
tid=7,pid=N
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid();
int pid = get_pid();
int index = pid * get_maxtid() + tid;
if(index >= count) return;
c[index] = a[index] + b[index];
flush(); // cache flush
}
? １つのPEには8スレッドが存在する
? スレッド数を128で起動した場合、128/8=16個のPEが実行される
? 8192を超えるスレッド数で起動する場合、CPUから複数回に分けて起動される
245:>>244
18/07/30 07:01:00.85 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 23
簡単な最適化の説明
? 前述のpzcAddサンプルを用いて、PEZY-SC内での簡単な最適化の説明を行う
? ここでは以下のような最適化を行っている
? カーネル呼び出しのオーバヘッドの削減
? chgthreadを用いたレイテンシーの隠蔽
? 同期を用いたキャッシュアクセスの効率化
Page 24
オーバヘッド削減(1/2)
? 以下のコードをスレッド数=要素数として起動する場合、
8192を超えるサイズを処理しようとした場合にカーネルが複数回起動されるため、カーネル呼び出しのオーバヘッドが増加する
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid(); // thread ID (0 - 7)
int pid = get_pid(); // PE ID
int index = pid * get_maxtid() + tid;
if(index >= count) return;
c[index] = a[index] + b[index];
flush(); // cache flush
}
246:>>245
18/07/30 07:03:04.06 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 25
オーバヘッド削減(2/2)
? 以下のようにカーネルコードを修正し、CPUからの呼び出し時のスレッド数を固定にしても、
1回のカーネル呼び出しで全要素の処理を行えることとなる。
? これによってオーバヘッドを減らすことができる。
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid(); // thread ID (0 - 7)
int pid = get_pid(); // PE ID
int offset = pid * get_maxtid() + tid;
int step = get_maxtid() * get_maxpid();
for(int pos = offset; pos < count; pos += step) {
c[pos] = a[pos] + b[pos];
}
flush();
}
247:>>246
18/07/30 07:03:40.68 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 26
寄り道:CPUエミュレート
? このようにカーネルの中でループさせることは別のメリットもある。
? CPUで1スレッドでの動作として、この関数を同じように動作させることができる
→ソースを共有したデバッグに有効
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid(); // thread ID (0 - 7)
int pid = get_pid(); // PE ID
int offset = pid * get_maxtid() + tid;
int step = get_maxtid() * get_maxpid();
for(int pos = offset; pos < count; pos += step) {
c[pos] = a[pos] + b[pos];
}
flush();
}
CPUでは
get_tid() … 常に0
get_pid() … 常に0
get_maxtid() … 1
get_maxpid() … 1
248:>>247
18/07/30 07:04:41.29 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 27
スレッドの切り替え (1/3)
? １つのPEに8スレッド存在するが、一度には4スレッドのみが動作する。
? 表裏で4スレッドずつ。
? sync/flushなどの同期やchgthreadを使用しないと、表裏が切り替わらない。
249:>>248
18/07/30 07:05:33.12 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 28
スレッドの切り替え (2/3)
? 以下の実装では、ループの中にスレッドが切り替わる命令が無いので
現在実行中の各スレッドが flushにたどり着くまで裏スレッドは処理されない。
? アクセスのアドレスが不連続になり、キャッシュ効率が悪い
? メモリアクセスのレイテンシーを隠蔽できない
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid(); // thread ID (0 - 7)
int pid = get_pid(); // PE ID
int offset = pid * get_maxtid() + tid;
int step = get_maxtid() * get_maxpid();
for(int pos = offset; pos < count; pos += step) {
c[pos] = a[pos] + b[pos];
}
flush();
}
memory
↑ request ↓
t0 stall flush
t4
250:>>249
18/07/30 07:06:07.72 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 29
スレッドの切り替え (3/3)
? 以下のようにa, bの読み込み後にchgthreadを入れる事で改善される。
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid(); // thread ID (0 - 7)
int pid = get_pid(); // PE ID
int offset = pid * get_maxtid() + tid;
int step = get_maxtid() * get_maxpid();
for(int pos = offset; pos < count; pos += step) {
float a_ = a[pos];
float b_ = b[pos];
chgthread();
c[pos] = a_ + b_;
}
flush();
}
memory
↑ request ↓
t0 stall flush
↓ chgthread
t4
251:>>250
18/07/30 07:06:50.07 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 30
メモリアクセスの同期(1/2)
? 以下の実装だと、各スレッドがメモリレイテンシーの状況によって進行度がばらばらになり、
キャッシュアクセスが非効率となる場合がある。
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid(); // thread ID (0 - 7)
int pid = get_pid(); // PE ID
int offset = pid * get_maxtid() + tid;
int step = get_maxtid() * get_maxpid();
for(int pos = offset; pos < count; pos += step) {
float a_ = a[pos];
float b_ = b[pos];
chgthread();
c[pos] = a_ + b_;
}
flush();
}
memory request
t0 ↑
t1 ↑
…
t7 ↑
252:>>251
18/07/30 07:07:24.21 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 31
メモリアクセスの同期(2/2)
? 以下のようにメモリアクセス前に同期を入れることにより、メモリアクセス性能が向上する場合がある
ただし同期自体のペナルティがあるため、利用する／しない、あるいは同期レベルの選択に注意が必要
void pzc_Add(float* a, float* b, float* c, int count)
{
int tid = get_tid(); // thread ID (0 - 7)
int pid = get_pid(); // PE ID
int offset = pid * get_maxtid() + tid;
int step = get_maxtid() * get_maxpid();
for(int pos = offset; pos < count; pos += step) {
sync_L2();
float a_ = a[pos];
float b_ = b[pos];
chgthread();
c[pos] = a_ + b_;
}
flush();
}
memory request
t0 → ↑
t1 → ↑
… sync
t7 → ↑
253:>>252
18/07/30 07:08:00.62 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 32
PEZY-SCの効果的な利用
? スレッド、PE単位の並列性を活かす
? L1~L3キャッシュに優しいメモリ配置を行う
? CPUからカーネルの起動回数を減らす
? chgthread を用いてレイテンシーを隠蔽する
? 同期を適切に用いて、キャッシュの効率を上げる
? ローカルメモリを利用することでメモリアクセスを減らす
? その他各種設定（メモリ書き出し設定・カーネル呼び出し方法設定）→これについては今後必要に応じて情報公開します。
Page 33
ローカルメモリの利用(1/2)
? PE毎に16KBのローカルメモリをカーネルプログラムで利用できる
? デフォルトではPE内の8スレッドのスタック領域として、2KBずつを割り振られている
0x0000
スレッド0用スタック領域(2KB)
スレッド1用スタック領域(2KB)
スレッド2用スタック領域(2KB)
スレッド3用スタック領域(2KB)
スレッド4用スタック領域(2KB)
スレッド5用スタック領域(2KB)
スレッド6用スタック領域(2KB)
スレッド7用スタック領域(2KB)
0x3fff 16KB
254:>>253
18/07/30 07:08:43.24 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 34
ローカルメモリの利用(2/2)
? このままではユーザが利用できないため、スレッド用のスタック領域を削減する
（下図はスレッド毎のスタックサイズを1KBとした場合）
0x0000
スレッド0用スタック領域(1KB)
スレッド1用スタック領域(1KB)
スレッド2用スタック領域(1KB)
スレッド3用スタック領域(1KB)
スレッド4用スタック領域(1KB)
スレッド5用スタック領域(1KB)
スレッド6用スタック領域(1KB)
スレッド7用スタック領域(1KB)
0x2000 8KB
ユーザ利用可能領域(8KB)
0x3fff 8KB
Page 35
プログラミングのパターン
? PEZY-SCのカーネルプログラムはなるべく全処理を一括で持っていきたい
? MIMDでプログラミングに自由度があるので、多少並列度が落ちるところもとりあえずカーネルには載せることは容易
SC処理1 → CPU処理2 → SC処理3 → CPU処理4 → SC処理5
↓
SC処理1 → SC処理2 → SC処理3 → SC処理4 → SC処理5
255:>>254
18/07/30 07:09:32.45 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 36
プログラミングのパターン
? フロントエンドがclangであり、ほとんどのケースではSCとCPUでのソースコードの共有が容易。
? デバッグ時には細かい単位で切り替えながら不具合を特定することが非常に有効
CPU処理1 ⇔ SC処理1
↓
CPU処理2 ⇔ SC処理2
↓
CPU処理3 ⇔ SC処理3
↓
CPU処理4 ⇔ SC処理4
↓
CPU処理5 ⇔ SC処理5
Page 37
プログラミングのパターン
? 最終的な実行はなるべくカーネル処理だけとする
CPU処理1 SC処理1
↓
CPU処理2 SC処理2
↓
CPU処理3 SC処理3
↓
CPU処理4 SC処理4
↓
CPU処理5 SC処理5
256:>>255
18/07/30 07:10:04.32 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 38
その他の話題
Page 39
共同開発のパターン
? そもそもPEZY-SCは利用できそうだろうか？
? 自分のところで評価するのは負荷が高い。。。
Page 40
共同開発のパターン1
? そもそもPEZY-SCは利用できそうだろうか？
? 自分のところで評価するのは負荷が高い。。。
→（可能な範囲で）実装に必要な情報をご提供頂き、PEZY側で（可能な範囲で）評価を行う（基本はNDAベース）
A社／大学／研究所
実装に必要な情報 ↑
↓ 評価結果
PEZY
257:>>256
18/07/30 07:10:59.53 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 41
共同開発のパターン2
? そもそもPEZY-SCは利用できそうだろうか？
? まずは簡単に触ってみたい。。。
? PEZY-SCを空冷環境下でご提供
? ただし、開発途上のものなので十分な情報やサポートを保証できるものではありません。
（弊社側で可能な範囲でのご提供となります）
A社／大学／研究所
↑ ↑
PEZY-SC空冷環境 評価結果
PEZY
258:>>257
18/07/30 07:12:26.60 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 42
PEZY-SC評価システム例
LIANLI ATX PC-T60A
ASUS X99E WS
Intel? Xeon? Processor E5-2650 v3 (25M Cache, 2.30 GHz)
Samsung DDR4-2133 8GB×4
Crucial 2.5” SSD CT250BX100SSD1
PEZY-SC Dual Board x 2 株式会社 PEZY Computing 社製品
RA-750S
Optional
120 mm / 140 mm Fan Cooler Model: T60-1
259:>>258
18/07/30 07:13:17.14 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 43
共同開発のパターン3
? そもそもPEZY-SCは利用できそうだろうか？
? 液浸環境下でスパコン構成を試してみたい。 →菖蒲システムの利用公募
URLﾘﾝｸ(accc.riken.jp)
こちらも十分な情報やサポートを保証できるものではありません（可能な範囲でのご提供となります）
研究開発用途で開発情報を公開可能ならばお勧め！
個人でも応募可！！
Page 44
菖蒲システムでできること
? 複数のコンピュートノードを用いた大規模な並列計算が可能。MPIの利用が可能。
? 現状は1タンク=16ブリック=256ノードが開発者に常時提供されている。
必要に応じて全システムでの利用も可能。
? ジョブ管理システムslurmの利用が可能。
? フロントエンド、コンピュートノードともに linux(centOS7)が入っており、
一般的なlinuxのライブラリやツールが利用可能。
260:>>259
18/07/30 07:14:05.52 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 45
菖蒲の構成
? フロントエンドとコンピュートノードから構成される。
? 4つのコンピュートノードは1つのブリックを構成する。
? また、各コンピュートノードはそれぞれ1個のXeonと4個のPEZY-SCを所持する。
? フロントエンド、コンピュートノードはInfinibandにより結合されている。
shoubu
t1n011 t1n012 t1n013 t1n014 1ブリック
t1n021
‥‥
Page 46
ジョブ管理システムの利用
? 複数の人が菖蒲システムを利用するためにジョブシステム (slurm)が導入されている。
これにより特定のコンピュートノードを意識せずに利用ができる。
? ssh shoubu.riken.jp のようにしてフロントエンドにログインする。
? フロントエンド上でプログラムの編集、ビルドを行う。
? sbatch ?nodes <ノード数> --ntasks-per-node <ノードあたりの MPIプロセス数> tst.sh
#!/bin/sh
#SBATCH ?p debug
#SBATCH ?exclusive
mpirun ... //MPIを用いる場合
261:>>260
18/07/30 07:14:44.17 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 47
今後の展開
Page 48
今後の展開
? 新プロセッサ PEZY-SC2の開発
? 2,048コアの演算PE＋MIPSプロセッサ内蔵
? TCIインタフェースによる、メモリ帯域の飛躍的拡大
? Brickボード、液浸冷却システムのブラッシュアップ
? 新ブリック構成で冷却効率を向上
? ZettaScaler-2.xシリーズ
? これらの新規開発要素を組み合わせた、新しいスーパーコンピュータの実現
262:>>261
18/07/30 07:15:27.78 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 49
PEZY-SC2の特徴
? CPUがMIPSとなりSC2とメモリ空間を共有する
→従来XeonとSCの間で必要であったメモリ転送が必要なくなる。
メモリ
↑ Xeon
↓ SC SC SC SC
メモリ メモリ メモリ メモリ
↓
メモリ
MIPS
SC2
Page 50
PEZY-SC2の特徴
? CPUとSC2の協調動作の強化
? 各種命令セットの補強
? （大きな変更なく）SCのプログラムをそのままコンパイル・実行できる
263:>>262
18/07/30 07:16:03.73 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 51
外部に公開している情報
? 若干のサンプルプログラム
? Doxygenで自動生成されたAPIリファレンス
? 簡単なアーキテクチャ説明資料
? 簡単なプログラミングマニュアル
Page 52
外部に公開している情報
? 若干のサンプルプログラム
? Doxygenで自動生成されたAPIリファレンス
? 簡単なアーキテクチャ説明資料
? 簡単なプログラミングマニュアル
↓
? ユーザポータルを作成してここに各種情報を集約していく予定です（2017/1予定）
? PEZYと個別にNDAのやり取りを行い、その後に参加して頂くようになります。
264:>>263
18/07/30 07:17:26.14 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
Page 53
開発中/予定のソフトウェア
? 物理系シミュレーション
? 開発環境
? OpenACC／OpenCL／PUDA(!)･･･
? 量子計算シミュレーション
? メタゲノム解析ツール
? ニューラルネット
? Caffe／･･･
? 数値計算ライブラリ
? BLAS／FFT･･･
? ･･･
Page 54
ご興味がありましたら
ishikawaATpezy.co.jp
お気軽にご連絡ください
265:>>217-264
18/07/30 07:23:05.62 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>217-264
>4 YAMAGUTIseisei 180610 0143 OGJRAL12?
>>145 オryｰ 180203 1039 lpGi+Bkf
> :
>> 技術流出を防ぐためにペジー社は守る！？
>>URLﾘﾝｸ(m.youtube.com)
>
>
>>5 yamaguti~貸 170319 2042 cRK6Y+kv
>> 【櫻LIVE】 齊藤元章・PEZY Computing代表取締役社長 × 櫻井よしこ（プレビュー版）
>> URLﾘﾝｸ(m.youtube.com)
> :
266:>>265
18/07/30 07:23:57.02 wOzVCFyH.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>831 オryｰ 180706 1751 H22QHp/d
> 第51回のTop500は米国のSummitが中国から首位を奪回 | マイナビニュース
>URLﾘﾝｸ(news.mynavi.jp)
:
>。もし運用 ry 、20.41PFlopsでTop500 5位 ry 、幻 ry 。ExaScalerでは、暁光を設置 ry 主体を募集 ry 、きちんと運用 ry 、国内でなくても良い
>832 オryｰ 0706 2235 kFCxLR3J
> 中国だな
267:>>173
18/08/12 20:42:35.91 ltAhnLdz.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>184-216
ｽﾚﾘﾝｸ(future板:105-154番)
>153 >>152 180812 2027 ltAhnLdz?
> >>105-152
> ｽﾚﾘﾝｸ(future板:184-216番)
> >184 yamaguti 180727 0129 pBBIx/eO?2BP(0)
>> >>46 >>173 >>152-183
>> Google 翻訳
>>
>> これは、ファイル URLﾘﾝｸ(microsoft.com)
>> の html版です。 Google
> :
>> E2ダイナミックマルチコアアーキテクチャにおける動的ベクトル化
>> 2010 HEART 2010の議事に出席する
> :
>154 >>153 180812 2033 ltAhnLdz?
>
> >>153
> URLﾘﾝｸ(arxiv.org)
> URLﾘﾝｸ(mobile.twitter.com)
> URLﾘﾝｸ(www.cs.utexas.edu)
> URLﾘﾝｸ(www.cs.utexas.edu)
> URLﾘﾝｸ(www.microsoft.com)
> ftp%3A//ftp.cs.utexas.edu/pub/dburger/papers/IEEECOMPUTER04_trips.pdf#20170706111151
:
(deleted an unsolicited ad)
268:YAMAGUTIseisei
18/08/20 01:55:24.80 xpTaf9mR.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
HPKY 型 汎用 AI/AL
>>179 >>152 リンク先 > ｽﾚﾘﾝｸ(future板:774番)# JinkakuSisutemu Sikumi >105-107
>774 yamaguti~貸 171020 1534 0nNF/MoU?
> >673 \> NN ベース AI というよりもいわば設計ベース AI ( AL ) + NN という事ならば説得力
>
> 従来予想 : 超強力弱い AI ( 粒度 時間方向割当度 → 強い AI 度 ) ( >5 168 )
> >371 yamaguti~貸 171011 1322 gs4iO9ie
>>+
>>粒度さえ充分に細かければ ( + データと計算機パワー 資金力 ( +
>>接地 必ずしも不要
>> ｽﾚﾘﾝｸ(future板:217番)#280#284#998# EraaNaihou
>
>>+ データと
>↑ 学習済高低レイヤモジュール : 充実 ( 不足致命的ならず ) ?
>
> → 自然言語解釈動記憶システム ( 接地 ( 効果 ) 論理物理スロット シミュ ( 準 ) エミュ ) ≒ 人格システム ( 学習済モジュールベース )
>
>
>+ AutoML ( 等 ) での設計最適化 → 最早いわば設計ベース AI ( AL ) + NN ≒ 弱い強い AI ( AL ) ?
> >814 yamaguti~貸 171007 2158 ziH696dX?
>>>最適な設計を、AutoMLで探し出 ry 、AutoMLを使用した設計が、 ry 翻訳では専門家を完全に凌駕
>
> → 導かれる構造の例 ( 上記条件下 ) : 外部記憶比重 >>709 ⇔ 追加学習比重 ( 極論 : 不要 ) ( ≒ 簡易版強い AI ( AL ) )
> 但し 敢て追加学習 → 極論 : 転移学習だけで良い ( 下記文脈 )
>ry URLﾘﾝｸ(mobile.twitter.com)
>>>>DNNにMeta-Learning + ゲーム理論と転移学習（ ry ）と強化学習(人間の目的指向の再現)を組み合 ry AGIっぽ ry
>>>>>>>>> >482 自然言語解釈
>>>>>>>>>DeepMind : DNC のスロットベーススロットをスロットに見立てる等 \> ( → 整備済 )
> +
> ｽﾚﾘﾝｸ(future板:814番)# JinkakuSisutemu Sikumi
>>814 yamaguti~貸 171007 2158 ziH696dX?
>>>> この国だけに配慮致します立場でなくなってしまいましたので申上げます
(deleted an unsolicited ad)
269:YAMAGUTIseisei
18/08/20 02:36:33.99 xpTaf9mR.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>268
>>>+ データと
>>↑ 学習済高低レイヤモジュール : 充実 ( 不足致命的ならず ) ?
必ずしも充実不要 ( 一見致命的不足状態も条件次第で可 )
270:YAMAGUTIseisei
18/09/08 00:07:50.66 sHJfJTCE.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>269
> YAMAGUTIseisei wrote:
>> HPKY 型 汎用 AI/AL
>> DSL 型 汎用 AI/AL
>> 他
>>
>>
>> >179 yamaguti 180602 1505 5+vbS3Cj?
>>> >>162 >>152 >>178 辞書ベース
>>>> 23 yamaguti 180523 0850 nChEz1ni?
>>>>> 10 NN ベース辞書ベース例 ( 候補例 : テキストベース辞書ベース )
>>>>> 13 >22 >> この国だけに配慮致します立場でなくなってしまいましたので申上げます
>> :
>>
>>
>> >268 YAMAGUTIseisei 180820 0155 xpTaf9mR?
>>> HPKY 型 汎用 AI/AL
>>>>>179 >>152 リンク先 > ｽﾚﾘﾝｸ(future板:774番)# JinkakuSisutemu Sikumi >105-107
>> :
>>
>>
>> >269 YAMAGUTIseisei 180820 0236 xpTaf9mR?
>>>>>268
>>>>>> + データと
>>>>> ↑ 学習済高低レイヤモジュール : 充実 ( 不足致命的ならず ) ?
>>> 必ずしも充実不要 ( 一見致命的不足状態も条件次第で可 )
>>
>> データなし + 学習機構なし ( NN 等なし ) 可 ( 禅 無 空 )
>>
>> 関連 時間方向粒度 : 疑似接地 ( 超高精度耳年増 )
:
271:YAMAGUTIseisei
18/09/08 00:18:18.50 sHJfJTCE.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>269
翻訳 教師データなし例 ( NN ベース ML )
ｽﾚﾘﾝｸ(future板:40-44番)# Sekkei
ｽﾚﾘﾝｸ(future板:63番)# Jissyou FB
272:YAMAGUTIseisei
18/09/16 18:40:23.27 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>189 >>267 >>184-216
YAMAGUTIseisei wrote:
>> E2ダイナミックマルチコアアーキテクチャにおける動的ベクトル化
>
> 訂正
>
>> スカラーモードでは、どの命令もブロック内の他の回路にオペランドを送信でき、電力を節約するためにALUのうち2つを除くすべてがオフになります。
>> ベクタモードでは、すべてのN個のALUはオンになっていますが、回路は同じベクタレーンの回路にのみオペランドを送信できます。
>
> スカラーモードでは、どの命令もブロック内の他の命令にオペランドを送信でき、電力を節約するためにALUのうち2つを除くすべてがオフになります。
> ベクタモードでは、すべてのN個のALUはオンになっていますが、命令は同じベクタレーンの命令にのみオペランドを送信できます。
273:>>270
18/09/16 21:30:31.65 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
> YAMAGUTIseisei wrote:
:
>> dahara1 氏
>> Universal Transformerを用いて翻訳を超える
>> URLﾘﾝｸ(webbigdata.jp)
>>> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
>> 要約
>>
>>
>>
>> 目次
>>
>> * 1. ry まとめ
>> * 2. ry Transformerをより汎用的にしたUniversal Transformer
>> * 3. ry 感想
>> * 4. ry まとめ
>>
>> １． ry まとめ
>>
>> ・機械翻訳で圧倒的な ry Transformerをより汎用的にしたUniversal Transformer ry
>> ・ry 曖昧な単語をより深く調べるように動的に動作を変更する事ができる
>> ・Transformerは翻訳以外の作業は不得意だが、Universal Transformerは様々な作業に応用できる
274:>>270
18/09/16 21:31:48.49 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>> ２．Transformerをより汎用的にしたUniversal Transformer
>>
>> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
>>
>> 昨年、我々は既存の機械翻訳や、その他の自然言語を扱う既存 ry よりも顕著な成功 ry 機械学習モデルであるTransformer ry
>>
>> Transformer以前のニューラルネットワークに基づく機械翻訳アプローチの大半は、文章の先頭から順番に処理をしていました。
>> これはRNN ( ry ) ry 、RNNは文章を先頭から順番に ry 、ある文を翻訳した結果を続く文を翻訳する際にインプットに利用 ry
>> 、前の段落の文脈を捉え ry 、 RNNは文書のような連続する処理( ry )において非常に強力ですが、 ry
>> 、長い文章ではより多くの処理ステップと時間 ry 、またそれらの繰り返し構造は人工知能を適切に学習 ry 困難
>>
>> ry 対照的に、Transformerでは全ての単語またはシンボルを並列に処理しながら、セルフアテンションメカニズムを使用して、
>> 離れた位置の文章から文脈を組み込む ry 。並行して全ての単語を処理しつつ、
>> 複数の処理ステップにわたって各単語を文中の他の離れた単語の解釈時に入力情報とし ry 速く訓練
>>
>> ry 。しかしながら、より小さく構造化された言語を理解する作業、またはもっとシンプルな文字列のコピー（ ry ） ry
>> 、トランスフォーマはあまりうまく ry 。対照的に、Neural GPUやNeural Turing Machineなどの既存 ry
>> は前述のようなシンプルなタスクでは上手く ry が、翻訳のような大規模な言語理解タスクでは上手く動作しません。
>>
>> ry Transformerを、斬新で効率的なparallel-in-time recurrenceを使用し、
>> 計算的に様々なタスクに応用できるチューリング完全なUniversal Transformersに拡張
>>
275:>>270
18/09/16 21:34:08.86 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>> ２．Transformerをより汎用的にしたUniversal Transformer
>>
>> 以下、ai.googleblog.comより「Moving Beyond Translation with the Universal Transformer」の意訳です。
>>
>> 昨年、我々は既存の機械翻訳や、その他の自然言語を扱う既存 ry よりも顕著な成功 ry 機械学習モデルであるTransformer ry
>>
>> Transformer以前のニューラルネットワークに基づく機械翻訳アプローチの大半は、文章の先頭から順番に処理をしていました。
>> これはRNN ( ry ) ry 、RNNは文章を先頭から順番に ry 、ある文を翻訳した結果を続く文を翻訳する際にインプットに利用 ry
>> 、前の段落の文脈を捉え ry 、 RNNは文書のような連続する処理( ry )において非常に強力ですが、 ry
>> 、長い文章ではより多くの処理ステップと時間 ry 、またそれらの繰り返し構造は人工知能を適切に学習 ry 困難
>>
>> ry 対照的に、Transformerでは全ての単語またはシンボルを並列に処理しながら、セルフアテンションメカニズムを使用して、
>> 離れた位置の文章から文脈を組み込む ry 。並行して全ての単語を処理しつつ、
>> 複数の処理ステップにわたって各単語を文中の他の離れた単語の解釈時に入力情報とし ry 速く訓練
>>
>> ry 。しかしながら、より小さく構造化された言語を理解する作業、またはもっとシンプルな文字列のコピー（ ry ） ry
>> 、トランスフォーマはあまりうまく ry 。対照的に、Neural GPUやNeural Turing Machineなどの既存 ry
>> は前述のようなシンプルなタスクでは上手く ry が、翻訳のような大規模な言語理解タスクでは上手く動作しません。
>>
>> ry Transformerを、斬新で効率的なparallel-in-time recurrenceを使用し、
>> 計算的に様々なタスクに応用できるチューリング完全なUniversal Transformersに拡張
>>
276:>>270
18/09/16 21:34:53.21 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>> ry 訓練速度を維持するために並列構造を構築、Transformerの異なる変換関数を
>> 複数の parallel-in-time recurrentな変換関数に置き換えました。(下図のように同じ変換関数が、
>> 複数の処理ステップにわたって並列に、全てのシンボルに適用され、各ステップの出力が次のステップの入力に
>>
>> 重要なことは、RNNがシンボルを順次処理するケースで、Universal Transformerは全てのシンボルを
>> (Transformerのように)同時に処理します。しかし同時にUniversal Transformerはセルフアテンションを使用して
>> 平行に複数回、再帰的に反復処理を行い、 ry 解釈を改善します。このparallel- in-time recurrence ry は、
>> RNNで使用されている順次処理する再帰的メカニズムよりも高速であり、 ry 標準的なフィードフォワードTransformerより強力
>>
>> Universal Transformerは、セルフアテンションを使用して異なる位置からの情報を結合し、反復遷移関数を適用することによって、
>> シーケンスの各位置について一連のベクトル表現（h1〜hmとして示される）を繰り返して品質を向上します。矢印は操作間の依存関係
>>
>> 各ステップでは、オリジナルのTransformerと同様に、セルフアテンションを使用して、各シンボル
>> (例えば、文中の単語)から他の全てのシンボルに情報が伝達 ry 、この変換 ry (すなわち反復段階の数)は、
>> ry ( ry 、固定数または入力長に設定 ry )、またはUniversal Transformer自体によって動的に決定
>>
>> 後者の機能を実現するために、各位置に適応計算メカニズム ry
>> 、あいまいなシンボルやより多くの計算を必要とするシンボルに、より多くの処理ステップを割り当
>>
>> ry bankは、「銀行」、「土手」、「堤防」、「岸辺」、「海浜」、「塚」
>> :
>> 例えば単語「bank」 ry 厳密にするためにより多くの計算ステップ ry 追加的な文脈情報を統合
>>
277:>>270
18/09/16 21:36:28.00 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>> ry 単一の関数を繰り返し適用する事が制限のように見えるかも ry
>> 、特に異なる機能に異なる関数を適用する標準のトランスフォーマーと比較した場合は。しかし、
>> 1つの関数を繰り返し適用する方法を学ぶことは、アプリケーションの数(処理ステップの数)が可変
>>
>> 、Universal T ry がより曖昧なシンボルに多くの計算 ry 以外に、モデルは、 ry 関数アプリケーションの数を増減するか、
>> トレーニング中に学習された他の特性に基づいて入力の任意の部分に改良を適用することがよくあります。
>> これにより、 ry 、入力のさまざまな部分に異なる変換 ry 効果的に学ぶことができ、理論的な意味でもより強力 ry
>> 。これは、標準のTransformerでは実行できない ry 。標準のTransformerでは学習済み変換ブロックが1回だけ
>>
>> ry 実証的なパフォーマンスにも気をつけています。 ry 文字列のコピーや逆順にソート、整数加算などを
>> TransformerやRNNよりはるかに上手に学ぶことができることを確認 ry 。さらに、多様な言語タスクを理解するために、
>> ry bAbI linguistic reasoning task とLAMBADA language modeling taskに挑戦し、最新のスコアを達成
>>
>> 、同じトレーニングデータで同じ方法で訓練された同じ数のパラメータを持つ従来のTransformerに対して、0.9 BLEUだけ翻訳品質を向上 ry
>> 、元のTransformerは昨年 ry 従来の機械翻訳モデルより2.0 BLEUのスコア改善 ry 、それに更に約50％の相対的な改善
>>
>> Universal T ry は、このように、「実用的なシーケンスモデル(機械翻訳などの大規模な言語理解モデル)」と
>> 「計算上ユニバーサルなモデル (Neural Turing MachineやNeural GPUなどの勾配降下法を使って
>> 任意のアルゴリズムを実行することができるモデル)」とのギャップを埋めます。
>>
278:>>270
18/09/16 21:37:07.19 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>> 私達は、最近のparallel-in-time sequence modelsを開発して計算量と再帰処理の深さを高める事、及び、
>> ここで紹介した基本的なUniversal Transformerにさらなる改良を加えてより強力でよりデータ効率の良い学習アルゴリズムを構築する事、
>> それらが、現在の最先端技術を超えた学習アルゴリズムの一般化に繋がる事に情熱を燃やしています。
>> ここで紹介する ry さらなる改良が、より多くの学習アルゴリズムを構築するのに役立つことを願っています ry
>> 、現在の最先端技術を超えて一般化されています。
>>
>> 、Universal Transformerの学習と評価に使用されるコードは、オープンソースとしてTensor2Tensorリポジトリ
>>
>> 謝辞
>> この研究は、Mostafa Dehghani、Stephan Gouws、Oriol Vinyals、Jakob Uszkoreit、および?ukaszKaiserによって行われました。
>> 実り多いコメントとインスピレーションのため、Ashish Vaswani、Douglas Eck、David Dohanに感謝します。
>> ３． ry 感想
>>
>> やっている事自体は人間が翻訳時に無意識にやっている事の真似で「曖昧な単語について前後の文脈を見て何度も意味を推測する。
>> 曖昧でない単語は特に注目せずにさっと翻訳する」だけの話なのですが、それを実現している所が凄いですね。
>>
>>「チューリング完全」 ry 、応用範囲が一気に広が
>> ４． ry まとめ
>>
>> 1)ai.googleblog.com
>> Moving Beyond Translation with the Universal Transformer
>>
>> 2)arxiv.org
>> Universal Transformers
>>
>> 3)github.com
>> universal_transformer.py
>>
>>
>>
>>
279:>>272-276
18/09/16 21:39:08.85 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
URLﾘﾝｸ(google.jp)
280:>>272-276
18/09/16 21:39:28.50 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>> 183 名前：yamaguti E-mail：1427220599/490sage492 投稿日：2018/06/25(月) 02:58:02.57 ID:wuqwxjPG?2BP(0)
>> :
>>>>> 182 >>178-179 >>114 ( 一形態 : 物理空間融合レンダ 仮想空間融合レンダ 意味空間融合レンダ 人格システム )
>>>> DeepMind : DNC のスロットベーススロットをスロットに見立てる等 ( 下手すれば 2018 年にも目鼻 )
>>>> 目鼻 → 1 年以内 ? 一まずの変革完了 ( ≒ 曲りなり特異点 ? ) → 1 年以内 ? 接地構造手直し完了 ( ≒ 特異点 ? )
>>>>>> 178 3D ゲーム環境内疑似コマンド限定接地
>>> ↓
>>> GQN : 現実 3D 空間対応基盤 (
>> :
>>
>>
>>> 、計算的に様々なタスクに応用できるチューリング完全なUniversal Transformers
>> 汎用
>>
>>
>>
281:>>272-276
18/09/16 21:42:13.69 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
URLﾘﾝｸ(google.jp)
282:>>272-276
18/09/16 21:42:41.84 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>> 、Transformerでは全ての単語またはシンボルを並列に処理しながら、 ry 、離れた位置の文章から文脈を組み込む ry 。
>> ry 処理しつつ、複数の処理ステップにわたって各単語を文中の他の離れた単語の解釈時に入力情報とし ry 速く訓練
>> :
>>> ry Transformerを、斬新で効率的なparallel-in-time recurrenceを使用し、
>> 計算的に様々なタスクに応用できるチューリング完全なUniversal Transformersに拡張
>>
>>
>>> 145 yamaguti~貸 171005 1350 Mw10xW3l? \>482 yamaguti~貸 170923 1906 gJe8GJca? \>182 yamaguti 180617 0148 GMgC8zpV?
>>> :
>>>> 631 yamaguti~貸 170925 0009 mWACkEZG?
>> :
>>>>>> 482 自然言語解釈
>>>>>>> 479 >>241 >255
>>>>> DeepMind 又カーネギーメロン大が最近達成した
>>>>> 3D ゲーム環境内疑似コマンド限定接地の仕組を多重化すれば可能 ( 強力版弱い AI )
>>>>>
>>>>> DeepMind : DNC のスロットベーススロットをスロットに見立てる等 ( 下手すれば 2018 年にも目鼻 )
>> :
>>
>>> 178 yamaguti 180528 1227 x4HB0Rxw?
>>>>> 145 メタ
>>>>>> DeepMind 又カーネギーメロン大が最近達成した
>>>>>> 3D ゲーム環境内疑似コマンド限定接地の仕組を多重化すれば可能 ( 強力版弱い AI )
>>>>>>
>>>>>> DeepMind : DNC のスロットベーススロットをスロットに見立てる等 ( 下手すれば 2018 年にも目鼻 )
>> :
>>
283:>>282
18/09/16 21:44:46.87 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>280
順序間違い
>>282 >>280 の順
284:>>280-283
18/09/16 21:46:04.43 m2szPimC.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>> 23 名前：yamaguti E-mail：1531923755sage330 投稿日：2018/07/29(日) 12:06:53.16 ID:xu0GwKe6?-2BP(0)
>>>> 310 yamaguti 180721 2201 1u89Awcb?
>>>>> 289 \>>Universal Transformersがタイムステップ＋ポジションで位置情報変化
>>> :
>>>>> 405 オryー 180714 1249 D84wNS6G
>>>> :
>>>>> 言語の特徴量ベクトルにタイムステップとポジション(時間間隔と位置情報)を付加した上で \>> 1つ１つのシンボルではなく、全てのベクトルを再帰処理に回す手法
>>>>
>>>> 再帰効果 ( 上記文脈 ) エミュの究極 ( 完全汎用 AI/AL )
>>>>> 14
>>>>> ｽﾚﾘﾝｸ(future板:152番)### HPKY gata Hannyou AI/AL \> 機械学習限定論ご遠慮下さ
>>
>>>>> 再帰効果 ( 上記文脈 ) エミュの究極 ( 完全汎用 AI/AL )
>> 補足
>> △ 言語の特徴量ベクトルにタイムステップとポジション(時間間隔と位置情報)を付加 ( 数理発想 )
>> ○ タイムステップとポジション ( 時間間隔と位置情報 ) に言語の特徴量ベクトル情報を割付け ( 非数理発想 哲学発想 )
:
285:>>284
18/09/24 00:07:04.34 0hnbvbuq.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>273-284 >>268-271
>68 yamaguti 180920 1033 EmLF0I+9?
> ｽﾚﾘﾝｸ(future板:273番)-284
>>273 >>270 180916 2130 m2szPimC?
>> :
>>>> dahara1 氏
>>>> Universal Transformerを用い ry
>>>> URLﾘﾝｸ(webbigdata.jp)
>>>>>、ai.googleblog.comより「 ry the Universal Transformer」の意訳
Moving Beyond Translation with the Universal Transformer
URLﾘﾝｸ(ai.googleblog.com)
:
> >280 >>272-276 180916 2139 m2szPimC?
>>>> >183 名前：yamaguti E-mail：1427220599/490sage492 投稿日：2018/06/25(月) 02:58:02.57 ID:wuqwxjPG?2BP(0)
:
>>>>> 、計算的に様々なタスクに応用できるチューリング完全なUniversal Transformers
>>>> 汎用
> :
>
> >>67
>>>>＞＞>ry : HTM HPKY DSL HPKY-UniversalTransformer )
286:YAMAGUTIseisei
18/11/04 21:03:02.30 p92jbM/P.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>489 俺は、素人だが。 181104 1916 aWKkvlhq
> >407
> なんか、やばいよね。
>
> 素数の解明によって、
> 円周率(π)も、ネイピア数(対数の底、e)も、光速(c)も、電気定数(ε)も、
>数式で表せるよう
>
>超光速の数式も表せるようになる。時間の逆行が可
>
>現在の物理法則が全てひっくり返る。元素周期も壊れ、中間元素の存在も証明される。もはや物質の規定がなくなっ
>
>異空間や他宇宙の存在が証明される（10次元のひも理論とつながってくる）。ワープ航法が数式で示さ
> 重力が解明され、素粒子の大統一理論が完成する。
>490 俺は、素人だが。 1104 1916 aWKkvlhq
> >407
>
>つまり、もはや世界は物質ではなく意識であることが証明
:
>>150 >>112-116
> 松尾先生 WBS 20160815 鏡像 レンダリング
>我々が世界があると思っているものは実は我々の脳が創り上げている
ｽﾚﾘﾝｸ(future板:741番)
287:>>184
18/12/01 23:23:51.03 pKy81yx+.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>108 >>212 訂正
× フェイルレストランザクション
○ ペナルティ隠蔽余地トランザクション
288:YAMAGUTIseisei
18/12/17 20:01:20.47 wTQbtxsi.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>723 ｰ 181211 2359 Pd+R48B6
> DNNの学習を成功：
>IBMの8ビットAIに向けた取り組み (1
> URLﾘﾝｸ(eetimes.jp)
>IBMは、「8ビットの浮動小数 、深層学習モデルとデータセットのスペクトル精度を完全に維持した深層ニューラルネッ （DNN）のトレーニングを初めて成功させた」とするAIチップ
:
>>143
URLﾘﾝｸ(google.jp)
>694 ｰ 181211 1737 g7tutqJt
>：完全自動運 カギは「SoCの仮想化」、Armが 以内に新 - MONOist
> URLﾘﾝｸ(monoist.atmarkit.co.jp)
>、CPUクラスタを複数に切り分ける仮想化技術「スプリット・ロック（ ）機能」 。
>、たくさんのアプリ を実装する自動運転車 。1つのSoC（ ）に安全要求レベルに差があるソフト 同時に実装 。用途の1つはHMI（ヒューマンマシンインタフェース）だ。
>RTOSによって動作するメーター表示と、Linuxなどで動作する車載情報機器を切り分け 、 、継続が必要な動作を維持 。
>ット・ロック機能の （ 拡大） 出典：Arm
>、ECU（ ）の統合 スプリット・ロック 重要 とデイ氏 。「 、安全要求レベル 混在 制御 。 。また、OSの中には必ずしも安全と言えないものもあるため、切り分け 重要だ」 。
> スプリット・ロック機能は、独立したCPUをさまざまなタスク できる スプリットモードと、ロック状態のCPUを生成する安全性の高いロックモード 。上位 ソフト は モード を認識する必要がなく、
>760 ｰ 181213 0128 lkivx+NO
>Intel、CPUやGPUを3次元積層する業界初の3Dパッケージング技術「Foveros
>URLﾘﾝｸ(m.pc.watch.impress.co.jp)
:
>Intel、次世代CPUアーキテクチャ「Sunny Cove
>～Willow Cove、Golden Coveと進化予定、Atomのロードマップも更新
>URLﾘﾝｸ(m.pc.watch.impress.co.jp)
289:yamaguti
18/12/17 20:02:28.21 wTQbtxsi.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>354 ｰ 181205 1635 apGRu5oh
:
> 2方式のスピン量子ビットを結合：
>の高精度制御と高速読み出しを両立
> URLﾘﾝｸ(eetimes.jp)
>（理研）らの国際共同研究グループは、高精度制御に適した「スピン1/2量子ビット」と高速読み出 「ST量子ビット」 、両方式の互換性を確保 成功
>
>研究成果 、 課題 読み出し時間を従来の1000分の1に改善 可能
>
> 今回の研究成果は、理研創発物性科学研究センター量子機能システム研究グループの野入亮人特別研究員や中島峻研究員、
>樽茶清悟グループディレクター（東京大 院工学 教授）、量子システム理論研究チームのDaniel Loss（ ） リーダー（バーゼル大学物理学科教授）、
>ルール大学ボーフム校のAndreas Wieck（ ）教授ら 共同研究
:
> 三重量子ドットの近くに 磁石を配置した。 磁場 、単一試料上で、2方式の量子ビット 。 、両 量子ビットは交換相互作用によって結合が可能となる。この結合はゲート電極 パルス電圧で高速に制御
290:YAMAGUTIseisei
19/03/03 16:00:42.55 +7/NmDId.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>519 ｰ 190209 1105 O2wPLMPX
>URLﾘﾝｸ(mobile.twitter.com)
>
>【1969年
> 2KBのメインメモリで何をしたか？
> → 人類を月に送り込んだ
>
>【2019
>1.5GBのメインメモリで何
>→ Slackを起動
:
(deleted an unsolicited ad)
291:オーバーテクナナシー
19/05/01 20:42:14.49 T43aMYfX.net
若手研究者の9割「AIが人の知性を超す」
URLﾘﾝｸ(blog.livedoor.jp)
東工大教授「シンギュラリティは来ない」
URLﾘﾝｸ(blog.livedoor.jp)
ドワンゴ川上量生｢シンギュラリティは現在進行形。人間は、人間が社会をコントロールしていると思っているが、ほとんどできない｣
URLﾘﾝｸ(blog.livedoor.jp)
Facebook、AI同士が独自言語で会話を始めたため機能を緊急停止
URLﾘﾝｸ(blog.livedoor.jp)
脳科学者の茂木健一郎氏「AIは既に人間の脳の限界を超えている」
URLﾘﾝｸ(blog.livedoor.jp)
Google研究本部長「AIが人類を乗っ取ることはありません。あくまでも人間が使うツールなのです」
URLﾘﾝｸ(blog.livedoor.jp)
AIに人類が支配される、経済界が予測不能の世界「ターミネーター」議論始める
URLﾘﾝｸ(blog.livedoor.jp)
Google幹部「人工知能が人類を滅ぼすなんて懸念は何十年も先の話」
URLﾘﾝｸ(blog.livedoor.jp)
人工知能「Google DeepMind」の学習力が驚異的。シンギュラリティまであと少し
URLﾘﾝｸ(blog.livedoor.jp)
天才カーツワイルが語ったように「人間がコンピューターに打ち負かされる日」は来るのか？
URLﾘﾝｸ(blog.livedoor.jp)
292:オーバーテクナナシー
19/05/01 22:55:07.98 T43aMYfX.net
Unicode、㍻ ㍼ ㍽ ㍾ のような一文字版の令和を追加
URLﾘﾝｸ(blog.livedoor.jp)
293:オーバーテクナナシー
19/05/03 02:24:15.51 lwDFy36y.net
【胸糞注意】日本人男性、スペインで噴水に突き落とされ笑い者にされる（犯人はリヴァプールサポのイギリス人達）
URLﾘﾝｸ(blog.livedoor.jp)
【悲報】ホリエモンロケット、強風でまた打ち上げ延期
URLﾘﾝｸ(blog.livedoor.jp)
ビジネスホテル「電気ケトルを調理に使う客が増えて困ってる」
URLﾘﾝｸ(blog.livedoor.jp)
294:YAMAGUTIseisei
19/08/17 17:18:34.07 bzKFIC02.net
ハイデルベルクニューロモルフィックコンピューティングプラットフォームへのHTMモデルの移植
_ｽﾚﾘﾝｸ(future板:26-37番)#-52# _ｽﾚﾘﾝｸ(future板:69-81番)#67-89#
階層的時間的記憶理論 ( HTM )
_URLﾘﾝｸ(webcache.googleusercontent.com)
短縮版
_ｽﾚﾘﾝｸ(future板:539番)-676
_ｽﾚﾘﾝｸ(future板:22-30番)
_ｽﾚﾘﾝｸ(future板:6-82番)
世界の構造を学習する事を新皮質内カラムが如何にして可能たらしめるかの理論
_ｽﾚﾘﾝｸ(future板:43-67番)# 投影 : 投射
なぜニューロンは何千ものシナプスを持っているのか、新皮質に於けるシーケンス記憶の理論
_ｽﾚﾘﾝｸ(future板:19-27番)#-33
Smalltalkの背後にある設計原則
_ｽﾚﾘﾝｸ(future板:71-85番)#-88#+plan9+elis-tao+simpos-esp+amigaos/intent+hongmngos+spurs/cell+model1sega+tronchip+hpky-universaltransformer
dahara1 氏 : Universal Transformerを用いて翻訳を超える
_ｽﾚﾘﾝｸ(future板:273-285番)#1518883298/12-14# SLING
295:yamaguti
19/08/17 17:23:57.24 bzKFIC02.net
ZettaScaler/PEZY-SCの紹介と今後の方向性 ～自動チューニング技術の現状と応用に関するシンポジウム発表資料
_ｽﾚﾘﾝｸ(future板:217-266番)
「健康医療分野のデータベースを用いた戦略研究」
_ｽﾚﾘﾝｸ(future板:60-78番)# PEZY
Subleq ベースのシンプルなマルチプロセッサコンピュータ
_ｽﾚﾘﾝｸ(future板:27-43番)#-50
E2ダイナミックマルチコアアーキテクチャにおける動的ベクトル化
_ｽﾚﾘﾝｸ(future板:217-216番)#272
面積の効率的な高ILP EDGEソフトプロセッサの実装に向けて
_ｽﾚﾘﾝｸ(future板:105-154番)
SSVEPマグニチュード変動の予測モデル : ブレインコンピュータインタフェースにおける連続制御への応用
_ｽﾚﾘﾝｸ(future板:25-39番)
手術シミュレータ用臓器バリエーション 3D モデルライブラリ
_ｽﾚﾘﾝｸ(future板:5番)#+morikawa-sigehiro+PLAYSTATION3/Cell-NamerakaNettowaaku
好奇心に基づいた学習の大規模研究
_ｽﾚﾘﾝｸ(future板:155-202番)#-205
296:YAMAGUTIseisei
19/08/17 17:25:00.82 bzKFIC02.net
完成済汎用 AI/AL
_ｽﾚﾘﾝｸ(future板:205-207番)# KanseiZumi HannyouAI/AL
汎用 AI/AL 設計例
_ｽﾚﾘﾝｸ(future板:61-77番)# HannyouAI/AL SekkeiRei
電子頭脳設計概要
_ｽﾚﾘﾝｸ(future板:478番)-509#742# DensiZunou SekkeiGaiyou
齊藤元章氏‐AGIチップ実現への Game Changer
_URLﾘﾝｸ(m.youtube.com)
297:
19/10/21 00:11:37 vDjC8bXW.net
>697 ｰ 191017 1558 XiCcLj2z
>「利益率最大の取引」を90％ --東芝、金融取引マシンの実証機を開発
>_URLﾘﾝｸ(japan.cnet.com)
>東芝、ミリ秒オーダーで大規模な「組み合 最適化問題」を計算 技術を2019年中に適用実験 金融分野などに期待
>_URLﾘﾝｸ(www.itmedia.co.jp)
:
>948 ｰ 190615 0814 9sktmndW
> 東芝系社員、退職拒み単純作業 「追い出し部屋」と反発
>_URLﾘﾝｸ(www.asahi.com)
:
>946 ｰ 190615 0739 Cq0WtbUq
> 柔軟な思考をAIで 脳に近づけ実現
> 情報通信研究機構や東芝
>_URLﾘﾝｸ(r.nikkei.com)
298:
19/10/21 00:12:09 vDjC8bXW.net
>7 yamaguti 191020 2243 5HKI3QqK
> >957 ｰ 191020 1540 DwxJj9eO
>>「超計算 人類の手中に」
>>
>>昨日の日経 トップ一面
>>_URLﾘﾝｸ(i.imgur.com)
>>_URLﾘﾝｸ(i.imgur.com)
> :
>907 ｰ 191008 1923 WupT4Ud4
>東大、ペルチェ素子の10倍高効率な冷却素子を開発 [
>_ｽﾚﾘﾝｸ(poverty板)##
>72 ｰ 191010 1001 uWNNLhXI >73 ｰ 1010 1005 uWNNLhXI
>CPU「R●●●-V」の長 短 _URLﾘﾝｸ(gigazine.net)
:
>x86とArmの牙城陥落か、R●●●-V _URLﾘﾝｸ(tech.nikkeibp.co.jp)
:
299:オーバーテクナナシー
19/11/20 12:40:11 /WhciMdy.net
Ray Kurzweil (USA) at Ci2019 - The Future of Intelligence, Artificial and Natural
URLﾘﾝｸ(www.youtube.com)
300:オーバーテクナナシー
19/11/21 18:03:30.98 PEIql8s+.net
ニュース
NTTとドコモ、AI技術をトヨタのコンセプトカー「LQ」に提供 対話AIの音声認識・行動先読みを支援
URLﾘﾝｸ(www.itmedia.co.jp)
AIは自分のことを説明できるのか？ ─ユヴァル・ノア・ハラリ、フェイフェイ・リー公開インタヴュー（中篇）
URLﾘﾝｸ(wired.jp)
ＡＩは米国の高技能職に影響へ、金融も免れず－ブルッキングズ研究所
URLﾘﾝｸ(www.bloomberg.co.jp)
AI導入に遅れている日本企業の背景 「年功序列」にしがみつく人々
URLﾘﾝｸ(www.excite.co.jp)
グーグル製AIチップを搭載したエッジ端末をエイスースが「後追い」で製品化した理由
URLﾘﾝｸ(tech.nikkeibp.co.jp)
LINE、AIが電話応対するサービスで実証実験 都内レストランの予約対応を自動化
URLﾘﾝｸ(www.itmedia.co.jp)
MIT、自動運転AIにわがまま運転見分ける能力を授ける。自己中ドライバーを早期警戒
URLﾘﾝｸ(japanese.engadget.com)
AI技術を「特許出願」する理由、しない理由--求められる透明性
URLﾘﾝｸ(japan.cnet.com)