16/12/10 01:58:38.83 O8le5YJ4.net
URLﾘﾝｸ(www.sankeibiz.jp)
> ーニングの顔ニューロンが表現する内容は静的ですが、脳の顔ニューロンは非線形のダイナミクス ry
> 。猿の脳 ry 、顔ニューロンが、刺激の後しばらくは人と猿を区別するみたいな大まかな分類をやり、
> もう少し時間が経つと、より詳細な個を区別したり、表情を区別したりしだすのです。
> つまり時間とともに表現する内容が変わっていく。
> このダイナミクスが脳の本質で、それがない人工ニューラルネットワークは脳とは全然違うものなのです。
>>563 >>565 >>579
URLﾘﾝｸ(webcache.googleusercontent.com)
2
> 理論が大事 ry 。やってみたら出来ました、結果が出ましたという研究が多い。
> ディープラーニング ry は、入力情報と出力情報を一致させる同じニューロン数から成る恒等写像を
> 作ることを繰り返すのだけど、その際、途中（中間層）でニューロン数を絞るので非線形の情報圧縮が起き、
> ry 圧縮 ry 。だけど、それが何故上手くいって、何をやっているのかを理論的に解明しないと、
> 大きな飛躍にはならないと思います。 ry
> 理論研究は世界的にあまり進んでいなくて、みんな使ってみて結果を出すことに熱中
5
> ディープラーニングに関しては、もっと数理をやらないと底が浅い話 ry 危惧 ry
> 使ってみたら出来ましたっていう研究 ry も良いと思いますが、
> 僕らは数理の研究者なので、どうして上手くいくのかが分からないと僕らの研究にはならない
588:586
16/12/10 01:59:36.18 O8le5YJ4.net
URLﾘﾝｸ(www.sankeibiz.jp)
> 「ディープラーニングを使って、動的なものすなわち時空間のダイナミクスを扱おうとすると、
> これまで失敗してきたことの繰り返しになると思います。
> ニューラルネットワークを使って、時空間のダイナミクスを扱う研究は何十年もされてきてはいますが、 ry
> 。むしろ、そういった時空間情報を扱う手法は、既に数学的に ry 。ディープラーニングは要素技術としては
>>556 >>565 >>568-569
#32#36#40#48
>>582
4
> 大脳皮質は、視覚も聴覚も触覚の部分も基本的に同じ六層構造で、構造自体に汎用性があります。
> 単にそこに入ってくる情報が違うだけで、基本原理は同じはずです。
URLﾘﾝｸ(webcache.googleusercontent.com)
589:587
16/12/10 02:00:38.64 O8le5YJ4.net
4
> 人工知能が語られる時、ほとんどの場合はソフトウェア ry
> 、ハードウェアのことが触れられることは極めて少ない。
> 「あと、ハードウェアの研究をやらないと革新的なものは作れない ry
> 。日本は伝統的にニューロンのハードウェア化の分野で世界をリード ry
> 。今ではニューロモーフィック
>>556
> HTM ネットワークは ry 、階層構造、時間と疎分散表現（ ry ）の主要機能を包含する限り、
> 我々は汎用的なコンピュータを使ってモデル化することができる。
> 我々はいずれ、HTM ネットワークに特化したハートウェアを作ることになる ry
>>555
> 人工知能エンジン Deep Insights
> 汎用人工知能 Project N.I.
> 汎用人工知能用ハードウェア開発
> ・Connectome機能実現
> 汎用人工知能
> （世界初のAGI）
> ・マスターアルゴリズム
> ・ソフトウェアレス
590:588
16/12/10 23:38:41.33 O8le5YJ4.net
>>589
>720 : YAMAGUTIseisei 2016/11/08(火) 19:12:02.03 ID:TGuKiqAY
> URLﾘﾝｸ(google.jp)
> ｽﾚﾘﾝｸ(future板:536番)
591:578
16/12/11 19:26:04.24 MuR51IGq.net
Page 22
測するには、現在の単語だけでは全く不十分 ry ”and” の次に
“seven” が来ることもあれば、 ry 。ときにはほんの少しの文脈で予測 ry
“four score and” と分かれば次の “seven”を予測できる。
他の場合はフレーズが繰り返される場合 ry 、より長い文脈を使う必要がある。
4) 予測は安定化に ry
あるリージョンの出力はその予測である。
HTM の特徴の一つは、リージョンからの出力はより安定 ry
。安定とはつまり、階層構造の上位に行くほどよりゆっくりと変化し、長く継続 ry
。リージョンは ry 可能なときは時間軸の複数ステップ先 ry 5 ステップ先 ry
。新しい入力 ry 、新たに予測されたステップは変化するが、
しかしそのうちの 4 つの既に予測されたステップは変化しない。
ry 、出力の一部だけが変化するので、出力は入力よりも安定化している。 ry 。
歌の名前のような高レベルの概念は、 ry 音のような低レベルの概念よりもゆっくり ry
5) ry 、新しい入力が予期されたものか予期しないものかが分かる
各リージョンは ry 、予期せぬ事 ry 知ることができる。
HTM は次の入力として起こりうる ry 一度に多数予測 ry
正確に予測できるわけではないが、 ry
どの予測にも一致しないとき、何か普通でないこと ry
6) 予測はシステムをノイズにより強く ry
HTM ry 、推論をその予測に従う方向へ向かわせる ry
話し言葉 ry 、次にどんな音が、単語が ry 予測により、欠落したデータを埋め合わせ ry
あいまいな音 ry 予測していることに基づいてその音を解釈 ry 、ノイズ ry 推論 ry
HTM リージョンの、シーケンス記憶、推論、予測は緊密に統合 ry
592:yamaguti~貸
16/12/13 00:25:59.90 6R7yQBQ0.net
>529 : yamaguti~kasi 2016/11/14(月) 02:55:31.59 ID:NnxIikfK
> 人ооい `` 見たまえ私には私も含む膨大なネットが接合されている。
> アクセスしていない君には、 ただ光として知覚されているだけかもしれないが。 ''
無色無受想行識
>>495
> 大自然普遍互換 ( 認識宇宙システム 有機天然ネット 根源意味リンクネット 縁 )
> 大自然普遍憑依基盤 ( 大自然融合 相互乗入 )
> 有機天然根源ネットダイビング ( 時間軸 )
> 論理物理ワープ 千里眼
> BTRON/Ru?yOS : private ⇔ public
> 疑似入滅支援システム
:
593:590
16/12/14 01:08:13.33 DKLgam/3.net
Page 23
行動20
我々の行動は我々が感じることに影響を及ぼす。
目を動かすに従って、網膜は変化する入力を受け取る。
手や指を動かせば、触った感触が変化する様子が脳に届く。
我々の ry 動作は、我々が感じることを変化させる。
センサ入力と筋肉運動は緊密に絡み合っている。
数十年来の主要な見方では、
新皮質の単一のリージョンである第 1 運動野が、新皮質内で運動を指令 ry
その後、新皮質内のほとんどないしすべてのリージョンは、
低レベルの感覚野でさえ、運動に関する出力を出していることが分かった。
すべての皮質性リージョンは感覚と運動機能とを統合 ry
運動指令を生成することは予測することと似 ry
現存のフレームワーク中の各 HTM リージョンに運動出力を加える ry 。 ry 。
HTM の実装に向けての進捗状況
ry HTM 大脳皮質性学習アルゴリズム ry 、基本的なアーキテクチャは健全 ry
。これに続く３つの章は現在のアルゴリズムの状況を述べる。
この理論の多くの構成要素はまだ実装されていない。注意21、
リージョン間のフィードバック、特定のタイミング、センサ入力と行動の統合など ry
20 behavior
21 attention
594:yamaguti~貸
16/12/14 23:41:51.14 DKLgam/3.net
粗粒度 : 関数等 ( 評価関数 ⇔ 特徴量 )
細粒度 : ニューロン ( モーフィック型ニューロン : 自律傾向増 )
595:古屋遥人
16/12/15 14:32:03.10 doGlKNHI.net
俺の名前は古屋遥人。
職業はミュージシャン。
URLﾘﾝｸ(i.imgur.com)
東京都港区出身・在住。
URLﾘﾝｸ(i.imgur.com)
祖父は海軍大佐の古屋豪太。
URLﾘﾝｸ(i.imgur.com)
趣味は読書。
URLﾘﾝｸ(i.imgur.com)
特技はゲーム。
URLﾘﾝｸ(i.imgur.com)
好物はラーメン。
URLﾘﾝｸ(i.imgur.com)
どうかよろしく。
596:古屋遥人
16/12/15 14:33:52.96 doGlKNHI.net
今泉大輔氏「脳髄にインジェクションして欲しいのか？リモートコントロールで廃人になりたいのか？」
URLﾘﾝｸ(togetter.com)
597:592
16/12/15 22:58:16.40 My+qmdF2.net
Page 24
第２章： HTM 大脳皮質性学習アルゴリズム
ry 。第３章と第４章は疑似コードを用いて学習アルゴリズムの実装方法 ry
用語説明
ry ニューロサイエンスの用語を使用する。セル22、シナプス23、
シナプス候補24、樹状突起セグメント25、カラム26などの用語 ry
。学習アルゴリズムは理論上の必要に応じてニューロサイエンスの細部に照らし ry
。しかし ry 性能の問題 ry 働きを理解したと感じたときには処理速度を向上させる別の方法 ry
、生物学的な詳細に厳格にこだわるのではなく、同じ結果が得られさえすれば ry
ニューロサイエンスの用語 ry としばしば違う ry
。付録 ry HTM 学習アルゴリズムとニューロ生物学的に等価 ry 相違点・類似点 ry
セル状態
ry セルは３つの出力状態 ry 。フィード・フォワード入力によりアクティブな状態、
横方向の入力によりアクティブな状態（これは予測を表す）、アクティブでない状態である。
最初の出力状態はニューロンのアクション状態による短時間のはげしい出力27に相当する。
２つ目の出力状態はもっとゆっくりとした、安定した出力28に相当
22 cell
23 synapse
24 potential synapse
25 dendrite segment
26 column
27 a short burst of action potentials in a neuron
598:yamaguti~貸
16/12/17 01:24:35.33 6O1Nu3vi.net
>503 : yamaguti~kasi 2016/12/16(金) 12:12:06.60 ID:2MPdD9+O
> 価値貯蔵システム = 記憶システム
> ネイティブ記憶システム = ネイティブマスターアルゴリズム
>513 : yamaguti~kasi 2016/12/16(金) 12:40:04.58 ID:2MPdD9+O
>> 近似三次元空間 + α
> 価値貯蔵システム ≠ 物質システム
> 価値貯蔵システム ≠ 数値システム
raw 記憶 テンポラル記憶 : HTM
→ 非物体サービス価値ライブ貯蔵
情報物理統一動記憶システム ≒ 科学哲学大統一理論 = raw マスターアルゴリズム
ｽﾚﾘﾝｸ(future板:501番)
ｽﾚﾘﾝｸ(future板:380-381番)
599:yamaguti~貸
16/12/17 23:58:53.28 6O1Nu3vi.net
>>598 ｽﾚﾘﾝｸ(future板:518番)
>500 : yamaguti~kasi 2016/12/16(金) 11:54:38.67 ID:2MPdD9+O
> ｽﾚﾘﾝｸ(future板:378番)# SeisanButuUrimono
>
> × 価値を評価するモノサシ、評価基準として通貨は必要
> △ 価値を評価するモノサシ、評価基準として何かは必要
> ○ 価値を評価する、何かは必要
帳簿ベース価値貯蔵 ( 経済学 ) ⇔ 動的テンポラル記憶システムベースライブ価値貯蔵
600:597
16/12/20 00:26:15.67 ymkk5AtR.net
>>598-599
高レイヤ文脈用テンポラル記憶選択機構 ( 海馬系 )
http://ｍ.youtube.com/watch?v=3KrArkmPo4A
北村貴司（きたむらたかし） マサチューセッツ工科大学 上級研究員 【日本神経科学会 市民公開講座・脳科学の達人2016】
HTM アクティブ非アクティブ系根源文脈回路大規模専用回路化 ?
>>563-591#564#578-579
URLﾘﾝｸ(webcache.googleusercontent.com)
TRONCHIP 間接アドレッシング ( マスターアルゴリズム 自発的対称性の破れ ) 機構 MMU キュー応用
>>380 >>480-505#480#483#497 >>583
ｽﾚﾘﾝｸ(future板:596番)#758
ｽﾚﾘﾝｸ(future板:726番)#837
ｽﾚﾘﾝｸ(future板:358番)#510-511
AskJeeves に買収 ? された企業の特許 ( 非リンクスコアリング技術 )
601:599
16/12/20 18:13:36.74 ymkk5AtR.net
>>600
× http://ｍ.youtube.com/watch?v=3KrArkmPo4A
○ URLﾘﾝｸ(m.youtube.com)
× 非リンク
○ 被リンク
602:596
16/12/20 23:56:43.52 ymkk5AtR.net
Page 25
する。 ry これら２つのアクティブ状態以上の詳細なモデル化の必要性はない ry
個々のアクション状態の強さの程度、アクティビティの発生頻度を表すスカラー量
などはモデル化する必要性を見いだせない。分散表現の利用は、
セルのアクティビティの程度を表すスカラー量をモデル化することを凌駕 ry
樹状突起セグメント
HTM セルは比較的リアルな（ ry 複雑な）樹状突起モデルを持つ。各 HTM セルは理論的に
一つの主要樹状突起セグメント29と 10~20 個の末梢樹状突起セグメント30を持つ。
主要樹状突起セグメントはフィード・フォワード入力 ry
末梢樹状突起セグメントは周辺のセルからの横方向の入力 ry
抑制セルは同じカラム中の全てのセルが
類似のフィード・フォワード入力に対して応答するように強制する。
単純化のため、各セルごとの主要樹状突起セグメントを取り除き、
同じカラム中のすべてのセルで共有する一つの主要樹状突起セグメントで置き換えた。
空間プーリング関数（後述）はカラム単位で、共有の樹状突起セグメントに対して作用する。
時間プーリング関数はカラム中の個々のセル単位で、末梢樹状突起セグメントに対 ry
。生物学的にはカラムに接続するような樹状突起セグメントは存在しない ry
この単純化は同等 ry
603:601
16/12/20 23:57:21.05 ymkk5AtR.net
シナプス
ry 二値のウェイトを持つ。生物学上のシナプスは可変値のウェイト ry 確率的・不安定 ry
生体ニューロンはシナプスのウェイト値の正確な値に依存しているはずがない ry
。HTM の分散表現及び我々の樹状突起の計算モデルを利用すれば、
HTM シナプスに二値のウェイトを割り当てても何ら悪影響はないはずである。
シナプスの形成及び切断をモデル化 ry ２つの追加 ry ニューロサイエンスから援用した。
一つ目は、シナプス候補の概念である。これは樹状突起セグメントに十分近い位置を通る
すべての軸索を表し、シナプスを形成する可能性があるものである。
二つ目は、永続値である。これは各シナプス候補に割り当てられたスカラー値である。
ry 軸索と樹状突起の間の接続の度合 ry 度合は生物学的には、完全に分離した状態から、
接続はしていないがシナプスを形成し始めた状態、最小限にシナプスが接続した状態、
大きく完全にシナプスが接続された状態に至るまでの範囲を取る。シナプスの
28 a slower, steady rate of action potentials in a neuron
29 proximal dendrite segment。樹状突起のうち、ニューロンの中心部に近い部分。
30 distal dendrite segment。樹状突起のうち、末端に近い部分。
distalは末梢（まっしょう）・末端の意味。ちなみに末梢神経は peripheral nerve という。
604:槙林聖二
16/12/21 17:44:39.98 tbiKezrL.net
僕の名前は槙林聖二。
職業はテロリスト。
サイレントテロで経済をどん底に叩き落とそうぜ50
ｽﾚﾘﾝｸ(eco板)
東京都出身・在住。
URLﾘﾝｸ(i.imgur.com)
趣味は読書。
URLﾘﾝｸ(i.imgur.com)
特技はシステマ。
URLﾘﾝｸ(i.imgur.com)
好物はチキンティッカマサラ。
Chicken Tikka Masala (British National Dish)
Olympic Recipe チキンティッカマサラ レシピ
URLﾘﾝｸ(www.youtube.com)
どうかよろしく。
605:601
16/12/22 00:34:59.55 kuCFO/r6.net
Page 26
永続値は 0.0 から 1.0 まで ry 。学習にはシナプスの永続値の増加や減少が含まれる。
シナプスの永続値がしきい値を超えたら、ウェイト値 1 で接続されたことを表す。
しきい値より下回っていたら、ウェイト値 0 で切断 ry
概要
仮に読者が HTM リージョンだ ry 。貴方の入力は数千ないし数万のビット ry
センサ入力データや、階層構造の下位の他のリージョンから来たデータである。
それらは複雑にオン・オフしている。これらの入力に対して貴方は何が出来るか？
我々はその答えを単純な形態で既に説明した。
各 HTM リージョンはその入力の共通のパターンを探し、 ry シーケンスを学習する。
シーケンスの記憶から、各リージョンは予測 ry
もう少し説明 ry 以下の３ステップ ry
1) 入力の疎分散表現を作成する
2) 以前の入力の文脈に基づいて、入力の表現を作成する
3) 以前の入力の文脈に基づいて、現在の入力からの予測をする
606:604
16/12/22 00:35:51.05 kuCFO/r6.net
ry 詳細 ry
1) 入力の疎分散表現を作成する
リージョンへの入力を想像するには、それを巨大なビット列と考えるとよい。
脳内ではこれらはニューロンからの軸索にあたる。任意の時点で、
これらの入力のある部分はアクティブ（値１）、他の部分は非アクティブ（値０）である。
アクティブな入力ビットの比率は変化する。例えば0%から60%としよう。
HTMリージョンで行う最初の事は、この入力を疎な新しい表現に変換 ry
。例えば、入力のうち40%がオンかも知れないが、新しい表現では2%だけがオン ry
。HTMリージョンは論理的にはカラムの集合 ry カラムは1又はそれ以上のセルから成る。
カラムは論理的には2Dの配列状に配置できるが、これは要件ではない。
ry 各カラムは入力ビットのユニークな部分集合（普通は他のカラムと重なるが、
完全に同じ部分集合になることはない）に接続される。結果として、
異なる入力パターンからは、レベル全体では異なるカラムのアクティベーションを得る。
最も強いアクティベーションを得たカラムは、
弱いアクティベーションを得たカラムを抑制、ないし非アクティブ化する。
（抑制は非常に局所的範囲からリージョン全体までの範囲で変化する円の ry ）入力
607:染谷伸晃
16/12/22 13:42:14.88 xB2eN/Pk.net
僕の名前は染谷伸晃。
職業はテロリスト。
サイレントテロで経済をどん底に叩き落とそうぜ50
ｽﾚﾘﾝｸ(eco板)
東京都出身・在住。
URLﾘﾝｸ(i.imgur.com)
趣味は読書。
URLﾘﾝｸ(i.imgur.com)
特技はシステマ。
URLﾘﾝｸ(i.imgur.com)
好物はチキンティッカマサラ。
Chicken Tikka Masala (British National Dish)
Olympic Recipe チキンティッカマサラ レシピ
URLﾘﾝｸ(www.youtube.com)
どうかよろしく。
608:染谷伸晃
16/12/22 14:46:27.43 xB2eN/Pk.net
デザイナーベビーの失敗作。
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)
URLﾘﾝｸ(i.imgur.com)
609:yamaguti~貸
16/12/23 12:48:57.87 s0gy4sJo.net
>>ｽﾚﾘﾝｸ(future板:261番)
>>583 >600
> TRONCHIP 間接アドレッシング ( マスターアルゴリズム 自発的対称性の破れ ) 機構 MMU キュー応用
610:yamaguti~貸
16/12/25 09:55:12.32 HhtfNWQ8.net
> 452 : yamaguti~kasi 2016/12/25(日) 09:43:54.36 ID:HhtfNWQ8
> ○ 弱い AI 組合せ方式 : 実用上問題ない ( + 高効率 ) → 日ノ本 悲願のプラットフォーム掌握 ( AI )
> × 他の方式 ( 全脳型 ) : 考慮に値せず ( 上記方式欠点なし )
>
> ↑ 弱い AI 応用 基盤 着々 ( 国家予算 )
> 松尾先生 : 恐らくマルチビューマルチタスク等にも関わる深層学習次世代理論でご先行
> 山川先生 : ( 全脳型応用にせよ ) Deep PredNet ( 組合せ型深層学習拡張 + HTM 要素 ? )
> ｽﾚﾘﾝｸ(future板:582番)
>763 : YAMAGUTIseisei 2016/09/30(金) 18:17:20.94 ID:/EmvfkU+
>ｽﾚﾘﾝｸ(future板:782番)#785
>ｽﾚﾘﾝｸ(future板:806-808番)
611:609
16/12/25 23:41:11.12 HhtfNWQ8.net
>>610
> 449 : YAMAGUTIseisei~kasi 2016/12/25(日) 03:30:09.16 ID:HhtfNWQ8
> シンギュラリティスレに相応しい大切な議論 ( 議題 )
> ※ 但し 失礼ながら些か脱線の傾向 ( 議題の中の肝の部分が大切 )
>497 : yamaguti~kasi 2016/12/25(日) 23:35:42.88 ID:HhtfNWQ8
> >>453
> 流れ
> LSf1DgBH 氏文脈
ｽﾚﾘﾝｸ(future板:210番)# SaiRyuudoKa
ｽﾚﾘﾝｸ(future板:949番)# Sukoaringu
612:yamaguti~貸
16/12/28 19:25:08.56 cR1KnFY8.net
ｽﾚﾘﾝｸ(future板:274番)#290
>274 : オーバーテクナナシー 2016/12/23(金) 16:01:53.21 ID:qoXUV7bO
> ディープラーニングに必要な計算量を30分の1に省力化、デバイスに搭載できる人工知能 ─三菱電機インタビュー
>URLﾘﾝｸ(iotnews.jp)
> ry 係数が0になる部分をできるだけ増 ry 計算を簡略化 ry
> ─重みづけに使う係数が0になるところを増やして計算をできるだけ簡略化 ry
> ry データの特徴を分析して、その枝の部分でも重要な枝 ry 決め打ちで残します。
> ─これは人が残すのでしょうか？
> 現時点では人が枝を選別しています。枝を大幅に削減しても性能が落ちない事を理論的に証明 ry
> 数字がたくさんあるものは「密な行列」 ry 、従来のディープラーニングと一緒。
> そこで値をほとんど持たない「疎な行列」をどう構成 ry
> ─その太い幹っていうのを見切るところがすごく難しそうです。 ry 、どれだけ残して、どれだけ切 ry
> ry 、例えば入力のデータに対して主成分となり得るような重要なデータの個数がある程度限定 ry
> 、情報を欠損させないで中間層に伝搬させる事は可能 ry 証明 ry 1/30に削減しても同様の効果 ry
> ─これはこのデータだからという事はないのでしょうか？
> ry 制約条件はありません。
> ─人の顔の認識などデータが複雑だと難しいということはないのでしょうか？
> ry 、さっきのガンマに依存しないっていうのは実は驚異的 ry
ｽﾚﾘﾝｸ(future板:542番)#555#562-563#570-571#578-579#604-605
URLﾘﾝｸ(webcache.googleusercontent.com)
#16#26#27#30-32
613:581
16/12/28 19:30:59.82 cR1KnFY8.net
>>582
深層学習
> 入力応用 ? ( 一層切出し 多層化 ? )
↓
> ソフトウェアコード応用 ( 一層切出し 多層化 ) ?
614:611
16/12/29 22:47:22.33 1nUl0klS.net
>612
>>542 >>556 >>563-564 >>571-572 >>579-580 >>605-606
615:yamaguti~貸
16/12/29 22:48:56.89 1nUl0klS.net
>>611
攻殻機動隊 例 オペ子
>>ｽﾚﾘﾝｸ(future板:794番)
ｽﾚﾘﾝｸ(future板:481-485番)# Konekutoomu
616:604
17/01/02 01:36:40.90 DMzazahP.net
Page 27
の疎表現は、抑制の後でどのカラムがアクティブでどれが非ア ry
。例え入力ビットのうちアクティブなビットの数が大幅に変化した場合であっても、
相対的に一定の割合のカラムがアクティブになるように抑制関数が定義される。
図 ２-１ カラムとセルからなる HTM リージョンの例。リージョンの一部分のみ ry
。各カラムは入力のユニークな部分集合によるアクティベーションを受け取る。
最も強いアクティベーションを受けたカラムが他の弱いアクティベーションを抑制する。
結果は入力の疎分散表現である。（アクティブなカラムは灰色で示した）
ry ほんの少しの入力ビットが変化したなら、
いくつかのカラムでは少し多く又は少し少ない入力ビットがオン状態になるが、
アクティブなカラムの集合はあまり大幅に変化しないだろう。
よって似た入力パターン（アクティブなビットの共通部分が非常に多いもの）からは
アクティブなカラムの比較的安定した集合に対応付けられる。
コード化がどのくらい安定 ry 、各カラムがどの入力に接続しているかに大きく依存 ry
この接続関係は、後述する方法で学習する。
これらのすべてのステップ（入力の部分集合から各カラムへの接続関係を学習し、
各カラムへの入力レベルを決定し、アクティブなカラムの疎な集合をえらぶために抑制 ry ）
を空間プーリングと呼ぶ。 ry 空間的に類似（アクティブなビットの共通部分が多い）の
パターンがプールされる（それらが共通の表現に互いにグループ化される）ことを意味する。
617:615
17/01/03 02:58:43.04 igW+0jZp.net
Page 28
2) 以前の入力の文脈に基づいて、入力の表現を作成する
リージョンで行われる次の機能は、入力をカラムで表現したものを、
過去からの状態ないし文脈を含む新しい表現に変換 ry
。新しい表現は各カラムの一部のセル、普通は１カラムにつき１つのセルを
アクティブにすることで得られる（図 ２-２）。
「I ate a pear」と「I have eight pears」31の二つの話し言葉を聞く場合 ry
「ate」と「eight」は ry 発音が同じ ry 同じ反応をするニューロンが脳内のどこか ry
また一方、 ry 異なる文脈にあると反応するニューロンが脳内の他のどこか ry
。「ate」という音に対する表現は「I ate」 ry 「I have eight」 ry 異なる ry 。
「I ate a pear」と「I have eight pears」の二つの文を記憶したと想像してみよう。
「I ate…」 ry 「I have eight…」 ry 異なる予測 ry よって ry 異なる内部表現 ry
ある入力を異なる文脈では異なるコード変換をするというこの原理は、
認知とふるまいの普遍的な特徴であり、HTM リージョンの最も重要な機能の一つ ry
618:616
17/01/03 03:06:42.48 igW+0jZp.net
ry カラムは複数のセルからなっている。
同じカラムのすべてのセルは同じフィード・フォワード入力を受け取る。
ry 。アクティブな各カラムごとに、どのセルをアクティブ ry 選択するかによって、
完全に同じ入力に対して異なる文脈では異なる表現をすることができる。
例 ry 。各カラムは 4 つのセルからなり、各入力は 100 個のアクティブなカラムで表現 ry
。カラムの中で一つのセルだけが一度にアクティブであるとすると、
完全に同じ入力に対して 4100 通り ry
。同じ入力は常に同じ組み合わせの 100 個のカラムがアクティブになるが、
文脈が異なればカラム中の異なるセルがアク ry 非常に大きな数の文脈を表現 ry
、これらの異なる表現はどのくらいユニーク ry ？
4100 個の可能なパターンのうちからランダムに選択した 2 個は、
ほとんどの場合、約 25 個のセルが重複 ry
よって同じ入力を異なる文脈で表した 2 つの表現は、
約 25 個のセルが共通で 75 個のセルが異なっており、容易に区別 ry
HTM リージョンの一般的な規則 ry
カラムがアクティブ ry 、そのカラム中のすべてのセルを見る。
もしそのカラム中の一つ又はそれ以上のセルが既に予測状態であれば、
それらのセルだけがアクティブになる。もしそのカラム
31 「私は梨を食べる」と「私は 8 個の梨を持っている」
>>562 >>579-580 >>591 >>600-601 >>605
619:616
17/01/05 05:20:22.69 XytjA2E8.net
Page 29
中のすべてのセルが予測状態でないならば、すべてのセルがアクティブになる。
ry ：ある入力パターンが期待されるなら、システムは予測状態のセルだけをアクティブ
にすることで期待通りであることを確認する。その入力パターンが期待と違うなら、
システムはカラム中のすべてのセルをアクティブにすることで、
「予期しない入力が発生したのであらゆる解釈が有りうる」ということを表す。
もし以前の状態が何もないなら、従って文脈も予測もないなら、
ry になるときは各カラム内のすべてのセルがアクティブになる。
ry 歌の最初の音を聞いたときと似ている。
文脈がなければ、 ry 予測できない：すべての選択肢が有効である。
以前の状態があるが入力が予期したものと合致しないときは、
アクティブなカラムのすべてのセルがアクティブ ry 。この決定はカラムごとに
行われるので、予測 ry は「オール・オア・ナッシング」32ではない。
図 ２-２ カラムの一部のセルをアクティブにすることで、
HTM リージョンは同じ入力の多くの異なる文脈を表現 ry
。カラムは予測状態のセルだけをアクティブにする。
予測状態のセルがないカラムでは、カラム中のすべてのセルをアク ry
。図は、あるカラムでは一つのセルだけがアク ry 、あるカラムではすべてのセルが ry
ry HTM セルは３つの状態を取る。
セルがフィード・フォワード入力によってアク ry 単に「アクティブ」の用語 ry
32 all-or-nothing
>>600-601 >>605-606 >>617-618
620:618
17/01/10 06:41:13.03 xuLIsBiQ.net
Page 30
。セルが ry セルとの横方向の接続によってアクティブ ry 「予測状態」と呼ぶ（図 ２-３）。
3) 以前の入力の文脈に基づいて、現在の入力からの予測をするリージョンの ry
予測はステップ 2)で作成した、すべての以前の入力からの文脈を含む表現に基づ ry
リージョンが予測をするときは、将来のフィード・フォワード入力によって
アクティブになると考えられるすべてのセルをアクティブ（予測状態）にする。
リージョンの表現は疎であるので、同時に複数の予測がなされ得る。
例えばカラムのうちの 2%が入力によってアクティブになるとすると、
カラムの 20%が予測状態のセルとなることで10 個の異なる予測がなされ得る。
ry 40% ry 20 個 ry 。各カラムが 4 個のセルからなり、一度に一つだけがアクティブ
になるとすれば、セル全体の 10%が予測状態 ry
今後、疎分散表現の章が追加されれば、異なる予測が混じり合っても、
リージョンは特定の入力が予測されたのかそうでないのかを高い確信 ry
リージョンはどうやって予測 ry ？ 入力パターンが時間と共に変化するとき、
カラムとセルの異なる組み合わせが順次アクティブになる。
あるセルがアクティブになると、周囲のセルのうちすぐ直前にアクティブだったセルの
部分集合への接続を形成する。これらの接続は、そのアプリ ry で必要とされる学習速度
に応じて早く形成されたりゆっくり ry 調整できる。
その後、すべてのセルはこれらの接続を見て、
どのセルが同時にアクティブになるかを探さなくてはならない。
もし接続がアクティブになったら、
セルはそれ自身が間もなくアクティブになることを予測することができ、予測状態に入る。
よってある組み合わせのセルがフィード・フォワード入力によってアクティブになると、
ひき続いて起こると考えられる他の組み合わせのセルが予測状態になる。 ry
歌を聞いていて次の音を予測 ry 瞬間と同様 ry
>>542 >>556 >>558-559 >>562-565 >>571 >>579-580
621:619
17/01/10 06:42:55.96 xuLIsBiQ.net
>>620
>>591 >>593 >>597 >>605 >>617-619
> 133 : YAMAGUTIseisei~貸 2016/11/13(日) 11:46:31.17 ID:5tF5+oR3
> > 87 : YAMAGUTIseisei 2016/09/02(金) 20:19:09.47 ID:dnyMZM3F
>> 私の不徳の致す所であれまたしても国に支援をоられる事態に至ってしまった以上
>> 電子頭脳の仕組に付いて発表しても売о奴の誹りは免れ得ましょう
>> 純国産の夢が潰える事になり申訳なく思います
>
> 256 : YAMAGUTIseisei 2016/10/23(日) 23:53:30.82 ID:Dlm82Fb1
> 自分には一言申上げる資格があるでしょう
>
> о隷階級の分際で大変失礼な申上げ様ながら
> この計画案を国が結果的に潰す格好となった事は事実です
>
> 257 : YAMAGUTIseisei 2016/10/24(月) 00:02:20.63 ID:trJeFV+a
> 野暮な付け加えですがご関係各所様又先生方又支援者の皆様に
> 言葉はよろしくありませんが上納金と申しますをお届けできなくなりました事を
> 謹んでお詫申上げます
622:オーバーテクナナシー
17/01/10 09:45:47.99 8fimskyV.net
まさにチラシの裏に書いとけ、だな、これ。
623:オーバーテクナナシー
17/01/11 07:14:36.34 KoXy9jDD.net
ｽﾚﾘﾝｸ(market板)
投資家ＶＳ人工知能（未来予測）
どう考えても人間の投資家が人工知能に勝てるとは思えんのだが
624:619
17/01/11 20:58:42.31 Tu17jTh4.net
Page 31
図 ２-３ ry リージョンのいくつかのセルがフィード・フォワード入力によってアク ry
（薄い灰色で示した）。他のあるセルは、アクティブなセルからの横方向の入力を
受け取って予測状態になる（濃い灰色で示した）。
まとめると、新しい入力が到着すると、アクティブなカラムの疎な部分集合が選択される。
各カラムの一つ又はそれ以上のセルがアクティブになり、これはまた同じリージョン内
のセル間の接続の学習内容に応じて他のセルを予測状態にする。
リージョン内の接続によってアクティブになったセルは、 ry 予測を表す。
次のフィード・フォワード入力が到着すると、
他のアクティブなカラムの疎な組み合わせが選択される。
新たにアクティブになったカラムが予期したものでないとき、
つまりどのセルも ry 予測しなかったとき、カラム中のすべてのセルをアクティブ ry
。新たにアクティブになったカラムが ry 予測状態のセルを持つなら、
それらのセルだけがアクティブになる。リージョンの出力はリージョン内のすべてのセル
のアクティブ状態であり、フィード・フォワード入力によってアクティブになったセルと、
予測状態のためアクティブになったセルとからなる。
既に述べ ry HTM リージョンの予測は将来のいくつかのステップに及ぶことも ry
ry メロディの次の音を予測するだけではなく、例えば次の 4 つの音 ry
。 ry 出力（リージョン内のアクティブ状態のセルと予測状態のセルの和集合）
は入力よりもゆっくりと変化する。
リージョンがメロディの次の 4 つの音を予測 ry 。メロディを文字 A, B, C, D, E, F, G
のシーケンスで表現する。最初の 2 音を聞いた後、リージョン
625:623
17/01/11 21:00:08.87 Tu17jTh4.net
>>624
予測 >>617-620
URLﾘﾝｸ(webcache.googleusercontent.com)
algorithm-0.2.1-jp.pdf#31-34#37-42#48-55#62-63#71#73-75#77-80
疎 >>612-616 >>620 >>548
URLﾘﾝｸ(webcache.googleusercontent.com)
algorithm-0.2.1-jp.pdf#31-32#34-38#63#75#79#80
>622 >>621
自分がそんなにバカに映っているとすれば尚の事
この度の不採択も併せまして私の不徳の致す所でございます
626:yamaguti~貸
17/01/16 13:06:28.66 aN67nnkj.net
>> ｽﾚﾘﾝｸ(future板:801番)#882#938#960# supaasu
疎分散表現
不要 : 弱い AI ( AL ) 簡易版強い AI ( AL ) 長期記憶外部化強い AI ( AL )
必要 : 長期記憶融合ニューラルネット型強い AL
627:yamaguti~貸
17/01/16 15:57:00.45 aN67nnkj.net
>> ｽﾚﾘﾝｸ(future板:70番)
> 実行作業（自身のアルゴリズムを改良）
特に難関
* DNC 的巨大外部システム連携
* モジュール設計 ( ライブラリ関数相互乗入 ? ) → 上位版 : 基本的ニューラルネット 差替 更新 創発
* 特徴量抽出機構ベース ( 例 HTM 自動調整 ) : 根本から基本的ニューラルネット 差替 更新 創発
>>568 HTM 19
> 一つの HTM リージョンは学習の能力が限定されている。
> ry どれだけのメモリ ry 入力が ry 複雑 ry に応じて何を学習するかを自動的に調整する。
URLﾘﾝｸ(webcache.googleusercontent.com)
> HTM リージョンは入力の変化に応じて各カラムが何を表すのかを
>（主要樹状突起上のシナプスの変更によって）自動的に調整し、
> カラム数の増加ないし減少を自動的に調整するだろう。
> カラム
> 新皮質の一般的な規則は、角度と眼球優位性のようにいくつかの異なる応答特性が
> 互いに重ね合わさっているということである。
> 皮質の表面を水平に移動してゆくに従って、セルから出力される応答特性の組み合わせは変化する。
628:yamaguti~貸
17/01/19 13:33:10.13 t0dB5g0K.net
>>627
ｽﾚﾘﾝｸ(future板:89番)
>89 ：yamaguti~kasi：2017/01/16(月) 16:02:46.03 ID:aN67nnkj
>→ 上位版 : 基本的ニューラルネットモジュール 差替 更新 創発
629:yamaguti~貸
17/01/19 13:34:33.93 t0dB5g0K.net
ｽﾚﾘﾝｸ(future板:484番)#494#360#387#295-382
URLﾘﾝｸ(itpro.nikkeibp.co.jp)
> コネクトームの一番単純な線虫だと、305個の神経細胞と6000個のシナプスしかない。
> 線虫のできることと我々ができること ry 。この違いは ry 、コネクトームの規模と複雑さしかない。
身体性 ( 物理文法 )
URLﾘﾝｸ(itpro.nikkeibp.co.jp)
>> シンギュラリティ ry 説明したようなアプローチしかないと私は考えている。
> 弱いシンギュラリティ = 簡易版強い AI
プログラムストアード型 MPU : 垂直統合プロセッシング環境
630:623
17/01/19 14:00:47.01 t0dB5g0K.net
Page 32
はシーケンスを理解し、予測 ry C, D, E, F を予測する。
B のセル33は既にアクティブであるから
B, C, D, E, F がそれぞれ 2 つのアクティブな状態のどちらかになる。
ry 次の音 C ry アクティブ状態のセルと予測状態のセルの集合は C, D, E, F, G を表す。
入力パターンは B から C へとまったく違うものに変化したが、20%のセルだけが変化 ry
ry の出力はリージョン内のすべてのセルのアクティブ状態を示すベクトル
で表されるので、この例の出力では入力に比べて 5 倍安定 ry
階層構造を上に登るに従って時間的な安定性が増加 ry
表現に文脈を追加して予測を行う 2 つのステップを「時間プーリング」 ry
シーケンスに対してゆっくりと変化する出力を生成することで、
時間と共に順に現れる異なるパターンを「プールする」34。
ry 別のレベルで詳細化 ry 空間プーリングと時間プーリングで共通の概念から始 ry
共通概念
空間 ry と時間プーリングの学習は似て ry 、セル間の接続関係、あるいはシナプス
の形成を含む。
時間プーリングは同じリージョン内のセル間の接続を学習する。
空間プーリングは入力ビットとカラムとのフィード・フォワード接続を学習する。
二値ウェイト
HTM のシナプスは 0 又は 1 ry 。多くの他のニューラルネットワークモデルでは
0 から 1 の範囲で変化するスカラー値のウェイトを用いるのと異な ry
33 英文では cells と複数形なので、B を表すセルは一つではないことが分かる。
A, B, C,...のそれぞれに対応する疎分散表現は、
リージョン全体の 2%のセルの組み合わせで表される。
34 何かを貯めこんで蓄積するというニュアンスから、時間に関する情報を蓄積 ry
631:629
17/01/19 14:23:36.84 t0dB5g0K.net
>>630
予測 >556 >>558-565 >>571-597 >>617-620 >>624
URLﾘﾝｸ(webcache.googleusercontent.com)
##4
#12#14-18#20-24#26#28-31
632:629
17/01/19 14:24:20.66 t0dB5g0K.net
>>630-631
疎 >556 >>563-564 >>571-580 >>605-606 >>612-616 >620 >624 >>548
URLﾘﾝｸ(webcache.googleusercontent.com)
##4##8
#12#16#17#20#21#26#27#30-31
633:629
17/01/19 14:25:26.50 t0dB5g0K.net
>>630-632
文脈 >>600
>>563-591 >565 >>579-580 >>605 >>617-621
URLﾘﾝｸ(webcache.googleusercontent.com)
#16-22#18#21#26#28-30
634:620
17/01/21 09:09:22.48 WBvVc0tt.net
ｽﾚﾘﾝｸ(future板:842番)
>842 : yamaguti~貸 2017/01/21(土) 07:57:29.54 ID:WBvVc0tt
> >>828 >>832
> △ 偶然の一致
> ○ 鏡像 引込原理
>
> >290 : YAMAGUTIseisei 2016/09/20(火) 20:58:53.07 ID:6OGBdxmX
>> 応用 : 精神融合 ( やレディーの前ですが電脳セоクス ) 技術に直結 ( 鏡像 >>111 )
>
>
>>290 : YAMAGUTIseisei 2016/09/20(火) 20:58:53.07 ID:6OGBdxmX
>> 上記 NSPU → 人格融合 射程寸前
>> URLﾘﾝｸ(ja.catalyst.red) >>65
>>
>> その流れ ↓
>>
>> >>284 URLﾘﾝｸ(wired.jp)
>>> 都市における永遠のテーマである「自然との共存」 ry 都市の生物多様性の科学的制御だ。
>>> 「都市の環境においても、生物多様性はロバスト性（頑健性） ry 重要 ry
>>> 生物の分布・構造が、その環境のロバスト性にどのような影響 ry 研究は案外少 ry
>>> 環境中の微生物の分布が、その都市環境や住民にどのような影響
>>
>> 応用 : 精神融合 ( やレディーの前ですが電脳セоクス ) 技術に直結 ( 鏡像 >>111 )
>ｽﾚﾘﾝｸ(future板:291番)#342#925#989#290-291# kyouzou
>ｽﾚﾘﾝｸ(future板:724番)#947#957#971#987# kyouzou
>
>
> ｽﾚﾘﾝｸ(future板:469-470番)# KanniHyougen
> ｽﾚﾘﾝｸ(future板:64番)# SakusenSidai
635:オーバーテクナナシー
17/01/22 10:27:49.03 grP3O/YW.net
ガリレオX 第141回「シンギュラリティ人工知能が人間と融合する日」
1/22 (今日) 11:30 ～ 12:00 (30分) BSフジ
<主な取材先> 井上智洋 さん (駒澤大学) 齊藤元章 さん (PEZY Computing)
636:620
17/01/26 06:23:08.24 HCenBjUC.net
>>573-574
>981 : YAMAGUTIseisei~貸し 2017/01/22(日) 01:25:08.63 ID:E9eRxZmp
> >>980 超光速通信
> 実験室レベルの完全性を伴って ( 理論的完全 ) : 不可能
> エラー有りつつリカバリ有りつつ ( 理論的不完全ながら実用完全通信 ) : 可能 ( 単純例 : ECC 織込 )
上記主旨 : 同期だけが問題 → 同期不要 ( 実用時限定 )
637:オーバーテクナナシー
17/01/26 11:55:13.25 PraUXajl.net
前々から気になっていたんだが
このスレは何なんだ？
638:オーバーテクナナシー
17/01/26 12:33:02.49 xnYf2juc.net
キチガイ隔離スレ
639:オーバーテクナナシー
17/01/26 20:18:30.75 Yere3qpP.net
URLﾘﾝｸ(goo.gl)
これマジ！？
これから厳しいね。。
640:オーバーテクナナシー
17/01/26 21:00:55.39 aHfa8x2j.net
>>637
>>1
>本家スレの話題のうち、科学・技術系で『専門的な』話題を特に扱います。
641:620
17/01/27 02:20:55.69 20hOYv2b.net
869 : yamaguti~貸 2017/01/21(土) 13:28:04.35 ID:WBvVc0tt
>>832 >>851 ｽﾚﾘﾝｸ(future板:832-851番)
ｽﾚﾘﾝｸ(future板:46-51番)# AL Utyuu
↓↑ 同期 >>854 鏡像 引込現象 → AL 融合 有機世界
ｽﾚﾘﾝｸ(future板:291番)# Kitano
ｽﾚﾘﾝｸ(future板:634番)# Kyouzou HikikomiGensyou
877 : yamaguti~貸 2017/01/21(土) 15:28:12.55 ID:WBvVc0tt
ｽﾚﾘﾝｸ(future板:53番)#342# KeizaiGata AL HikikomiGensyou
ｽﾚﾘﾝｸ(future板:756番)# SaitouSensei BCI Terepasii
642:620
17/01/27 02:21:13.42 20hOYv2b.net
>638
>>625 >>621
643:620
17/01/30 01:59:34.06 M39iS8cD.net
>>ｽﾚﾘﾝｸ(future板:174番)# SintaiSei
>>553 >>629
> ※b3c 動的レンダリング自己イメージ意識人格基盤 内部外部幻影実在分身 縁リンク
> TRONCHIP 根源要素透過可視大深度再帰自律実身仮身浸透細粒度動的鏡像 JIT/DSL
:
> 拡張自律スプライト 細粒度リンク 思考文法関節
> ( TRON 実身仮身 セガ MODEL1 外部プログラマブル MMU マップト関節 )
> ◎ 自律スプライト ( Sega-MODEL1 型リンク機構 思考文法関節 TRONCHIP )
> = 物理空間融合レンダ = 仮想空間融合レンダ = 意味空間融合レンダ = 人格システム
>>380 >>382 >>484
644:629
17/02/03 08:49:58.56 qVY5ajPD.net
Page 33
永続値
シナプスは学習を通じて継続的に形成されあるいは切断 ry
、各シナプスに（0.0 から 1.0 の）スカラー値を割り当て、接続がどのくらい永続的 ry
。接続が強化されれば、永続値は増加する。他の状況では、永続値は減少する。
ry しきい値（例えば 0.2）を上回れば、シナプスは形成され ry 下回れば、シナプスは無効 ry
樹状突起セグメント
シナプスは樹状突起セグメントに接続される。樹状突起には主要と末梢の 2 種 ry
- 主要樹状突起セグメントはフィード・フォワード入力との間のシナプスを形成する。
ry アクティブなシナプスは線形に加算され、これにより
カラムがフィード・フォワード入力によるアクティブ状態になるか否かが決定される。
- 末梢樹状突起セグメントは同じリージョン内のセル間のシナプスを形成する。
各セルはいくつかの末梢樹状突起セグメントを持つ。
ry アクティブなシナプスの合計がしきい値を超えたら、
接続されたセルは予測状態によりアクティブになる。
一つのセルに複数の末梢樹状突起セグメントがあるので、
セルの予測状態はそれぞれをしきい値で判定した結果の論理和 ry
645:643
17/02/03 08:50:41.34 qVY5ajPD.net
シナプス候補
ry 、樹状突起セグメントはシナプス候補のリストを持つ。
ry 候補は永続値 ry がしきい値を超えたら有効に機能するシナプスとなる。
学習
学習では樹状突起セグメント上のシナプス候補の永続値を増加・減少させる。
ry 用いられる規則は「ヘブの学習規則」35に似ている。
例えば、ある樹状突起セグメントがしきい値以上の入力
を受け取ったためにセルがアクティブに ry シナプスの永続値を修正する。
シナプスがアクティブであり、従ってセルがアクティブになることに貢献した場合、
その永続値を増 ry 。ry がアクティブではなく ry 貢献しなかった場合、その
35 Hebbian learning rules。「細胞 A の軸索が細胞 B を発火させるのに十分近くにあり、
繰り返しあるいは絶え間なくその発火に参加するとき、
いくつかの成長過程あるいは代謝変化が一方あるいは両方の細胞に起こり、
細胞 B を発火させる細胞の 1 つとして細胞 A の効率が増加する。」
646:643
17/02/05 14:16:41.40 P54mEcWs.net
Page 34
永続値を減 ry 永続値を更新する正確な条件は、空間プーリングと時間プ ry とでは異な ry
空間プーリングの概念
空間プーリングの最も基本的な機能はリージョンへの入力を疎なパターンに変換 ry
。シーケンスを学習して予測 ry 疎分散パターンから始めることが必要 ry
。空間プーリング ry いくつかの到達目標がある。
1) すべてのカラムを使用する
HTM リージョンは入力の共通したパターンに対する表現を学習するための
固定数のカラムがある。一つの目的は、全体の ry すべてのカラムが確かに、 ry 学習 ry
。決してアクティブにならないようなカラムは必要でない。そうならないために、
各カラムがその周囲のカラムと相対的にどのくらい頻繁にアクティブになるかを常に監視 ry
頻度が低すぎるときは、そのカラムが勝者となるカラムの集合に含まれ始めるように ry
アクティブになる基準をブースト36する。
ry カラムは周囲のカラムと互いに競合しており、入力パターンに対する表現に
加わろうとしている。あるカラムがほとんどアクティブにならないときは ry 積極的に ry
、他のカラムはその入力を変更させられて少しだけ異なる入力パターンを表現し始める。
647:645
17/02/05 14:17:14.74 P54mEcWs.net
2) 望ましい密度を維持する
リージョンは入力に対する疎な表現を形成する必要がある。
最大の入力を受け取ったカラムは周囲のカラムを抑制する。
抑制範囲を決める半径は、そのカラムの受容野37のサイズに比例する
（従ってまた、小さなサイズからリージョン全体に至る範囲を取る）。
抑制半径の範囲内では、多くのアクティブな入力を受け取ったわずかなパーセンテージ
のカラムだけを「勝者」とする。その他のカラムは無効化される。
（抑制「半径」の語感は二次元状に配置されたカラムを暗示しているが、
この概念は他のトポロジにも適用できる）
36 boost。後押しする、増強するなどの意。後述のアルゴリズムでブースト値という変数 ry
37 receptive field
648:645
17/02/08 02:03:27.72 63WsxX0P.net
Page 35
3) 些細なパターンを避ける
すべてのカラムが些細ではない入力パターンを表すこと ry は、
カラムがアクティブになる ry 最小のしきい値を設定することで達成 ry
。例えば、しきい値を 50 とすると、カラムがアクティブになるには
その樹状突起セグメント上のアクティブなシナプスが 50 個以上必要であり、
ry あるレベル以上に複雑なパターンだけが表現される ry
4) 余分な接続関係を避ける
よく注意しないと、あるカラムが巨大な数の有効なシナプスを保持する ry
。すると、あまり関連性のない多くの異なる入力パターンに強く反応するようになる。
シナプスの異なる部分集合は異なるパターンに反応するだろう。
この問題を避けるため、勝者カラムに現在貢献していないシナプスすべて ry 永続値を減 ry
。貢献していないシナプスに確実に十分なペナルティを与えることで、
一つのカラムが表現する入力パターンが限定 ry
649:645
17/02/08 02:04:30.13 63WsxX0P.net
5) 自己調整的な受容野
実物の脳は高い可塑性38を示す。
新皮質のリージョンは、様々な変化に反応してまったく異なる事柄の表現を学習できる。
もし新皮質の一部が損傷したら、 ry 他の部分によって表現するように調整される。
もし感覚器官が損傷したり変化したりすると、
それに関連付けられていた部分の新皮質は何か他のことを表現するように調整される。
システムは自己調整的である。我々の HTM リージョンにも同様の柔軟性を求めたい。
あるリージョンに 10,000 個のカラムを割り当てたら、
入力を 10,000 個のカラムで最適に表現する方法を学習するべき ry
入力の統計的性質が変化したら、カラムは ry 最適に表現するように変化するべき ry
まとめると、HTM の設計者はリージョンに任意のリソースを割り当てることができて、
そのリージョンは利用可能なカラムと入力の統計的性質に基づいて入力を最適に表現 ry
できるべきである。
一般的な規則は、リージョンのカラムがより多くあれば、
各カラムは入力のより大きくより詳細なパターンを表現 ry
。なお一定の粗さを保つが39、カラムは普通、より稀にアクティブになる。
38 plastic。かそせい。物理的な可塑性とは固体に外力を加えて変形させ、
力を取り去ってももとに戻らない性質のこと。
脳の可塑性とは経験に応じて神経回路の組み換えや再構成を行う能力のこと。柔軟性、適応性。
39 粗さ(sparsity)はアクティブになるカラムの割合。カラムの数が増えても粗さは一定ということ。
650:647
17/02/10 01:34:35.48 Zwt3oCZz.net
Page 36
これら ry を達成するために、新しい学習規則は必要ない。
アクティブでないカラムをブーストし、粗さを一定に保つために周囲のカラムを抑制し、
入力に対するしきい値の最小値を設け、多くのシナプス候補を蓄積・維持し、
その貢献度に応じてシナプスを追加・削除することで、
全体効果としてカラムは望ましい効果を達成するように動的に設定される。
空間プーリングの詳細
ry
1) 固定の数のビットからなる入力から始める。
ry センサからのデータであったり、階層構造の下位の他のリージョンからであったりする。
651:649
17/02/10 01:38:10.26 Zwt3oCZz.net
2) この入力を受取る固定の数のカラムをリージョンに割り当てる。
各カラムはそれに連結された樹状突起セグメントを持つ。
各樹状突起セグメントは入力ビットの部分集合を表すシナプス候補の集合を持つ。
各シナプス候補は永続値を持つ。その永続値に基づいて、 ry 候補が有効になる。
3) 与えられた任意の入力について、
アクティブな入力ビットと接続している有効なシナプスの数を各カラムごとに求める。
4) アクティブなシナプスの数にブースト値40を乗じる。ブースト値は、そのカラムが
周囲のものに比べてどのくらい頻繁にアクティブになったかに基づいて動的に決 ry
5) ブースト後に最大のアクティベーションを得たカラムは、
抑制半径内の固定のパーセンテージのカラム以外のものを無効化する。
抑制半径はそれ自体、入力ビットの広がり具合（又はファン・アウト）から動的に決 ry
。これでアクティブなカラムの疎な集合が得られた。
6) アクティブなカラムのそれぞれについて、すべてのシナプス候補の永続値を調節する。
アクティブな入力に割り当てられたシナプスの永続値は増加させる。
非アクティブな入力に割 ry は減少させる。
ry 変更により、 ry シナプスが有効になったり無効 ry 。
時間プーリングの概念
40 boosting factor
652:649
17/02/11 12:01:58.10 Xj0b950+.net
Page 37
時間プーリングがシーケンスを学習し、予測をすることを思い出して欲しい。
基本的な方法は、あるセルがアクティブになったら直前にアクティブであった他のセルとの
接続を形成することである。これによりセルは、そのセルの接続を調べることで
いつそれがアクティブになるかを予測 ry 。すべてのセルがこれを行えば、
全体としてそれらはシーケンスを記憶してそれを思い出し ry 予測できる。
ry シーケンスを記憶するための集中記憶装置はなく、 ry 記憶は各セルに分散配置される。
記憶が分散 ry 、システムはノイズや誤りに強くなる。 ry
、疎分散表現の重要な特徴を 2, 3 述べておく ry
ry あるリージョンが全部で 10,000 個あるセルのうち、常に 200 個のセルがアクティブ
になることで表現を形成しているとしよう（ ry 2%のセルがアクティブ）。
200 個のアクティブなセルで表される特定のパターンを記憶・理解するには ry
単純な方法は、関心がある 200 個のアクティブなセルのリストを作成 ry
。ちょうど同じ 200 個のセルが再びアクティブになったことが分かれば、
そのパターンを理解したことになる。
しかしながら、 ry 20 個だけのリストを作成して、残りの 180 個を無視したとしたら ry ？
ry 200個のセルの異なるパターンにおいてそれら 20 個の部分がちょうどアクティブに
なるようなパターンが数多く存在して、間違いだらけに ry はならない。
パターンは大きくかつ疎であるため（ry 10,000 個のうち 200 個のセルがアクティブ）、
20 個のアクティブなセルを記憶することで ry うまく記憶できる。
実際のシステムで間違いが起こる可能性は極めて稀 ry メモリ量を非常に節約 ry
653:651
17/02/11 12:03:13.50 Xj0b950+.net
HTM リージョンのセルはこの特徴を利用している。各セルの樹状突起セグメントは
同じセル内の他のセルへの接続関係の集合を持つ。樹状突起セグメントは
ある時点でのネットワークの状態を理解する ry ため、これらの接続を形成している。
周囲のアクティブなセルは数百から数千あるかも知れないが、
ry が接続しなければならないのはこのうちの 15 から 20 程度に過ぎない。
ry 15 個のセルがアクティブと分かれば、その大きなパターンが発生 ry ほぼ確信できる。
このテクニックを「サブサンプリング」と呼び、HTM アルゴリズム全体を通じて利用している。
各セルは多くの異なる分散パターンに関与し、また多くの異なるシーケンスに関与 ry
。ある特定のセルは数十から数百の時間的遷移に関与しているかも ry
。従って各セルは一つではなく、いくつかの樹状突起セグメントを持つ。
ry セルが理解したいアクティビティの各パターンごとに一つの樹状突起セグメントを持つこ
654:661
17/02/12 14:29:02.49 BZYpOz1d.net
Page 38
とが望ましい。しかし ry 樹状突起セグメントはいくつかの完全に異なるパターンに関して
接続を学習することができ、それでもうまく行く。
例えば、一つのセグメントが 4 つの異なるパターンのそれぞれについて 20 ry 都合 80 個
の接続を持つとする。そして、これらの接続のうち任意の 15 個がアクティブ
なときに樹状突起セグメントがアクティブとなるようにしきい値を設定する。
これにより誤りが発生する可能性が生じる。
異なるパターンが混在することで、 ry 15 個のしきい値に到達する可能性がある。
しかしながら、表現の疎な性質により、このような誤りは非常に起こりにくい。
では、10 個から 20 個の樹状突起セグメントを持つセルと数千個のシナプスが
どのようにして数百種類のセルのアクティブ状態を理解するのかを見ていこう。
時間プーリングの詳細
ry 行われるステップを数え上げていく。
空間プーリングを終えてフィード・フォワード入力を表現するアクティブなカラムの集合
が得られたところから始める。
655:652
17/02/12 14:30:37.18 BZYpOz1d.net
1) それぞれのアクティブなカラム ry の中のセルで予測状態のものを調べ、
アクティブにする。すべてのセルが予測状態でないなら、カラム中のすべての
セルをアクティブにする。結果として得られたアクティブなセルの集合は、
以前の入力の文脈の下での入力表現である。
2) リージョンのすべてのセルの各樹状突起セグメントについて、アクティブなセルに
接続されている接続状態のシナプスの数 ry 数がしきい値を超えていれば、
その樹状突起セグメントをアクティブとして印を付ける。
アクティブな樹状突起セグメントを持つセルを、
それがフィード・フォワード入力によって既にアクティブでない限り、予測状態にする。
アクティブな樹状突起を持たず、
フィード・フォワード入力によりアクティブになっていないセルは、非アクティブにする。
以上により、予測状態のセル全体がそのリージョンの予測となる。
3) 樹状突起セグメントがアクティブになったとき、そのセグメント上の
すべてのシナプスの永続値を更新する。
その ry セグメントのすべてのシナプス候補について、
アクティブなセルに接続しているシナプスの永続値を
増加させ、非アクティブなセルに接続しているシナプスの永続値を減少させる。
シナプスの永続値に対するこれらの変更に一時的と印を付ける。
これはセグメントをアクティブにし、従ってまた予測をするほど
既に十分に訓練されたシナプスを更新する。
しかしながら、可能であればさらに時間をさかのぼって
656:620
17/02/14 03:20:31.34 /112L94Z.net
>> ｽﾚﾘﾝｸ(future板:697番)# Tango Sintaisei Bunpou
>>575 >385 >484-485 ｽﾚﾘﾝｸ(future板:707-710番)# ImiRyuudo GainenKuukann
ｽﾚﾘﾝｸ(future板:928番)# ImeejiGengo
p://rio2016.2ch.net/test/read.cgi/future/1481515915/334# ImeejiGengo
>380 >382 >>480 >>491 >>493 >>496 >>643
657:653
17/02/15 22:26:32.55 4UMkv2wE.net
Page 39
予測ができるように常に拡張したい。
このため、同じセルの二番目の樹状突起セグメントを取り上げ、訓練する。
二番目のセグメントとして、
以前の時刻ステップのシナプスの状態に最もマッチするものを一つ選択する。
このセグメントに対して、以前の時刻ステップのシステムの状態を用いて、
アクティブなセルに接続しているシナプスの永続値を増加させ、
非アクティブなセルに接続しているシナプスの永続値を減少させる。
シナプスの永続値に対するこれらの変更に一時的と印を付ける。
4) あるセルがフィード・フォワード入力によって予測状態からアクティブ状態41に
変化したときはいつも、そのセルに関連付けられているすべてのシナプス候補の
「一時的」の印を削除する。従ってフィード・フォワードによってセルがアクティブ化
したことを正しく予測したときだけ、シナプスの永続値を更新する。
5) セルがアクティブ状態から非アクティブ状態に変化したとき、
このセルのすべてのシナプス候補について一時的な永続値の変更を元に戻す。
フィード・フォワードによってセルがアクティブ化したこと
を間違って予測したときはシナプスの永続値を強化したくないため。
フィード・フォワードによってアクティブになったセルだけを処理するのは
リージョンの内部だけであって、それ以外では予測はさらなる予測を引き起こす ry
。しかし（フィード・フォワードと予測の）すべてのアクティブなセルは
リージョンの出力となり、階層構造の次のリージョンへと引き継がれる。
658:656
17/02/15 22:27:09.36 4UMkv2wE.net
一次と可変長42のシーケンスと予測
ry
一つのカラムに対するセルの数を増 ry 減 ry の効果 ry ？
特に、１カラムに１つのセルしかないとき ry ？
以前用いた例では、カラム当たり４セルのアクティブなカラムが 100 個の場合、
入力の表現は 4100 通りの異なるコード化が可能 ry
。従って、同じ入力が様々な文脈の中で出現しても混乱しない ry
。例えば、もし入力パターンが単語を表すなら、リージョンは
同じ単語が何度も使われる多くの文章を混乱することなく
41 原文は“inactive to active”となっているが、web 上の forum で
“predictive state to active state”の間違いだったとの訂正があった。
(2010/12/14 Sabutai: title “Cortical Algorithms document: praise and suggestions”)
42 “first order” と “variable order”。前者は一つだけの長さのシーケンスと予測、
後者は任意の長さのシーケンスと予測。
659:オーバーテクナナシー
17/02/16 09:52:28.99 n4SoUyRC.net
URLﾘﾝｸ(youtu.be)
660:オーバーテクナナシー
17/02/17 08:25:58.71 C7chZT7r.net
関連スレ
技術的特異点/シンギュラリティ後の日本/世界経済 [無断転載禁止]©2ch.net
ｽﾚﾘﾝｸ(eco板)
【人工知能】日本を救う究極の経済政策『シンギュラリティ』 [無断転載禁止]©2ch.net
ｽﾚﾘﾝｸ(seiji板)
661:656
17/02/17 13:48:09.67 pF3vP0RD.net
Page 40
記憶できる。「犬」のような単語が異なる文脈の中でユニークな表現を持つ ry
。この能力により HTM リージョンは可変長の予測 ry
可変長予測は現在起きていることだけではなく、可変の長さの過去の文脈に基づいて予測する。
HTM リージョンは可変長の記憶である。
カラム当たり 5 セルに増やすと、 ry
可能なコード化の数は 5100 に増加し、4100 よりずっと大きくなる。
しかし、 ry 多くの現実的な問題においてこの容量の増加はあまり役に立たない ry
しかしながら、 ry 少なくすると、大きな違いが生まれる。
もしカラム当たり１セルまでになると、文脈の中で表現する能力を失 ry
リージョンへの入力は、以前の活動に関係なく常に同じ予測を引き起 ry
。カラム当たり１セルの場合、HTM リージョンの記憶は一次記憶となり、
予測は現在の入力だけに基づ ry
一次予測は脳が解くことのできるある種の問題 ―静的空間推論― に理想的である。
ry 目が後を追うには短かすぎる時間であっても ry
聞く ry 理解するには常にパターンのシーケンスを聞く必要がある。
視覚も普通はそれに似ていて、視覚的イメージの流れを処理する必要がある。
しかしある条件下では、一瞬 ry
662:660
17/02/17 13:49:24.30 pF3vP0RD.net
時間的理解と静的理解とでは、異なる推論メカニズム ry
一方は可変長の文脈に基づいてパターンのシーケンスを理解し、予測をする必要がある。
他方は時間的文脈を使わずに静的な空間的パターンを理解する必要がある。
カラム当たり複数のセルを持つ HTM リージョンは時間に基づくシーケンスを理解
するのに理想的であり、カラム当たり１セルの HTM リージョンは空間的パターンを理解
するのに理想的である。
Numenta では、カラム当たり１セルのリージョンを視覚問題に適用した実験を数多く実施 ry
重要な概念だけ述べる。
HTM リージョンにイメージを入力すると、リージョン内のカラムは画素の共通の空間的配列
の表現を学習する。学習するパターンの種類は新皮質の V1 野
（生物学で広く研究されている新皮質のリージョン）で観察されるものと似ていて、
概ね、異なる角度の線と角である。動画像 ry 、これらの基本的な形の遷移を学習する。
例えばある箇所に垂直な線があって、左又は右に移動した垂直な線がそれに続く ry
よく観察されるパターンの遷移は HTM リージョンで記憶される。
663:620
17/02/17 14:23:01.30 pF3vP0RD.net
>> ｽﾚﾘﾝｸ(future板:363-364番)
> ・唯一無二派
> ・客観派
自動憑依 余地
> ・脳拡張派
連続度 ⇔ 工事による影響
ｽﾚﾘﾝｸ(future板:444番)# haamonii
> ・電脳派
粒度 ( 分解能 ) : 正確性
ｽﾚﾘﾝｸ(future板:411番)# SaitouSensei BCI Habu
> 16 : yamaguti~kasi 2017/01/04(水) 13:35:45.21 ID:stEDHEtr
> ｽﾚﾘﾝｸ(future板:794番)# TinouZoufuku-BCI
ｽﾚﾘﾝｸ(future板:772番)# JinkakuYuugou
>ｽﾚﾘﾝｸ(future板:441番)# BCI
ｽﾚﾘﾝｸ(future板:570番)
p://rio2016.2ch.net/test/read.cgi/future/1486571513/377
664:異次元騎士カズマ
17/02/17 19:09:14.93 XMFDn/Yv.net
俺は敵の海賊島に潜入し，船長の部屋に乗り込んだ。誰もいない。
くそっ，ヤツはどこだっ！
とそこで，ベッドの上に鎖で縛り付けられている黒人娘を見つけた。
彼女は叫んだ「カズマ！ 来てくれたの？」
俺にはこんな丸顔の黒人女は知り合いにいないのだが……ってマノン？
そんな馬鹿な，彼女は卵形の顔をしていたし，薔薇色の肌だった。
そして二重で勝気なグリーンの瞳を持っているんだ。
しかしそれは間違いなくマノンだった。
顔と肌はボコボコに殴られ腫れて黒ずんでいて，片目はつぶれている。
左脚は膝から逆方向にまがっており，歯も１本も残っていない。
「ごめんね，カズマ。分からない？ そうよね，私ここに連れて来られてから
一度もお風呂に入っていないし，汚くて分からないわよね。
あれからね，私ずっと何度も海賊たちに抱かれたわ。
でもね，私その相手をカズマだと思うようにしたの，だってカズマなら
殴られても何をされても嫌じゃない。耐えられるから。許してくれる？
私，鏡すら見てないのよ。
前に思い切り抵抗したとき殴られて以来，目も良く見えなくて……。
ねぇ，私醜くなった？」
俺は彼女を抱きしめ，唇を吸った
「いや，マノンは綺麗なままだよ」
665:異次元騎士カズマ
17/02/18 08:55:51.61 Uf5aHGu8.net
工知能で自我・魂が作れるか [無断転載禁止]©2ch.net
202 : 異次元騎士カズマ2017/02/17(金) 19:10:13.24 ID:XMFDn/Yv
俺は敵の海賊島に潜入し，船長の部屋に乗り込んだ。誰もいない。
くそっ，ヤツはどこだっ！
とそこで，ベッドの上に鎖で縛り付けられている黒人娘を見つけた。
彼女は叫んだ「カズマ！ 来てくれたの？」
俺にはこんな丸顔の黒人女は知り合いにいないのだが……ってマノン？
そんな馬鹿な，彼女は卵形の顔をしていたし，薔薇色の肌だった。
そして二重で勝気なグリーンの瞳を持っているんだ。
しかしそれは間違いなくマノンだった。
顔と肌はボコボコに殴られ腫れて黒ずんでいて，片目はつぶれている。
左脚は膝から逆方向にまがっており，歯も１本も残っていない。
「ごめんね，カズマ。分からない？ そうよね，私ここに連れて来られてから
一度もお風呂に入っていないし，汚くて分からないわよね。
あれからね，私ずっと何度も海賊たちに抱かれたわ。
でもね，私その相手をカズマだと思うようにしたの，だってカズマなら
殴られても何をされても嫌じゃない。耐えられるから。許してくれる？
私，鏡すら見てないのよ。
前に思い切り抵抗したとき殴られて以来，目も良く見えなくて……。
ねぇ，私醜くなった？」
俺は彼女を抱きしめ，唇を吸った
「いや，マノンは綺麗なままだよ」
666:660
17/02/19 00:40:30.29 Iy/nas+o.net
Page 41
もしリージョンへの入力画像が、垂直な線が右に移動するものだったら ry ？
カラム当たり１セルしかなかったら、線が次に左又は右に現れること43を予測できる ry
。線が過去にどこにあったか知っているという文脈を使うことができないため ry
移動していることを知ることはできない。
このようなカラム当たり１セルのものは、新皮質の「複雑型細胞」44のように振舞う ry
。そのようなセルの予測出力は、 ry 動いていようがいまいが
異なる位置にある視覚的な線に対してアクティブになるだろう。
このようなリージョンは異なるイメージを区別する能力を保持する一方で、
平行移動や大きさの変化に対して安定 ry
。このような振る舞いは、空間的不変性（同じパターンの異なる見方 ry ） ry
もし同じ実験をカラム当たり複数のセルを持つ HTM リージョンに対して行えば、
そのセルが新皮質の「方位選択性複雑型細胞」45のように振舞う ry
。セルの予測出力は左に移動する線や右 ry 線に対してアク ry になるが、両方に対しては ry
667:665
17/02/19 00:41:39.93 Iy/nas+o.net
これらをまとめ ry 仮説 ry
新皮質は一次と可変長の両方の推論及び予測 ry
。新皮質の各リージョンには 4 又は 5 層のセルがある。
ry それらはすべてカラム単位で応答する性質 ry 水平方向に大きな接続性 ry
。新皮質のセルの層は ry HTM の推論と学習に似たことを実行しているのではないか ry
。異なる層のセルは異なる役割 ry 。例えば解剖学によれば
第 6 層は階層構造のフィードバックを形成し、第 5 層は運動の動作に関わっている。
。異なる層のセルは異なる役割 ry
解剖学 ry 6 層は階層構造のフィードバックを形成し、第 5 層は運動の動作 ry
。セルの 2 つの主要なフィード・フォワード層は第 4 層と第 3 層である。
ry 4 層のセルが独立に、即ちカラムの中で１セルだけが動作するのに対して、
第 3 層のセルはカラムの中で複数のセルが動作 ry
。よってセンサ入力に近い新皮質のリージョンは一次記憶と可変長記憶の両方を持つ。
一次シーケンス記憶（だいたい第４層のニューロンに対応する）は空間的に不変の表現 ry
。可変長シーケンス記憶（だいだい第 3 ry ）は動画像の推論と予測に役立つ。
まとめ ry 章で述べたようなアルゴリズムは新皮質のニューロンのすべての層 ry 仮説 ry
。新皮質の層の詳細は大きく違っていて、
フィード・フォワードとフィードバック、注意46、運動動作47に関する異なる役割を演じ
43 「移動する」ことは予測できないが、隣の位置に「出現する」ことは予測 ry
44 complex cell
45 directionally-tuned complex cell
46 attention
47 motor behavior
668:665
17/02/20 00:16:09.76 PjnuggmX.net
Page 42
ている。センサ入力に近いリージョンでは、
一次記憶を実行するニューロンの層が空間的不変性に有利であるため役に立つ。
ry 一次（カラム当たり１セル）の HTM リージョンを画像認識問題に適用する実験 ry
可変長（カラム当たり複数セル）の ry に可変長のシーケンスを理解・予測させる実験 ry
。将来 ry 一つのリージョンに混在させ、他の目的にもアルゴリズムを拡張 ry
しかしながら、一つの層と等価なカラム当たり複数セルの構造が、
単体であれ複数階層であれ、多くの興味深い問題を取り扱いうる ry
669:オーバーテクナナシー
17/02/22 14:16:16.71 NK3va3H8.net
35:54
↓
10:40
URLﾘﾝｸ(www.youtube.com)
URLﾘﾝｸ(www.youtube.com)
670:667
17/02/26 02:06:24.81 vIzrnxYS.net
Page 43
第３章： 空間プーリングの実装と疑似コード
ry プーリング関数48の最初の実装の疑似コード ry
。このコードの入力は、センサー・データ又は前のレベルからのバイナリ配列である。
このコードは activeColumns(t) を計算する。activeColumns(t) は
時刻 t において、フィード・フォワード入力に対して選択されたカラムのリスト ry
時間プーリング関数の入力 ry activeColumns(t) は空間プーリング関数の出力 ry
671:669
17/02/26 02:07:54.96 vIzrnxYS.net
疑似コードは３つのフェーズ ry 順に実行 ry
ry 1: 各カラムについて、現在の入力のオーバラップを計算する。
ry 2: 抑制の後に勝者となったカラムを計算する。
ry 3: シナプスの永続値と内部変数を更新する。
空間プーリングの学習はオンライン49で行われるが、
フェーズ 3 を単にスキップすることで学習をしないようにすることもできる。
以下、３つのフェーズのそれぞれについて疑似コードを示す。
ry データ構造や補助関数は本章の最後に示す。
初期化
最初の入力を受け取る前に、各カラムの最初のシナプス候補のリストを計算して
リージョンを初期化する。
これは入力配列の中からランダムに選択された入力位置のリストで構成される。
各入力はシナプスで表現され、ランダムな永続値が割り当てられる。
ry 永続値は二つの条件を満たす ry
。第一に、その値は connectedPerm
（シナプスが「接続している」と判定される最小の永続値）の前後の狭い範囲 ry
。これにより、訓練を少ない回数繰り返しただけで、 ry 接続（ないし切断） ry
。第二に、各カラムは入力リージョン上で自然な中心位置があり、
永続値 ry バイアス ry 。（中心付近ではより高い値 ry ）
48 spatial pooler function
49 online。推論の計算と学習の計算を分離せずに、同時 ry
672:669
17/02/26 17:47:14.84 vIzrnxYS.net
Page 44
フェーズ 1: オーバラップ
ry 与えられた入力ベクトルについて、そのベクトルと各カラムのオーバラップを計算する。
ry オーバラップは、アクティブな入力と接続されたシナプスの数 ry にブースト値を掛け ry
。もしこの値がminOverlap を下回 ry 0 ry
1. for c in columns
2.
3. overlap(c) = 0
4. for s in connectedSynapses(c)
5. overlap(c) = overlap(c) + input(t, s.sourceInput)
6.
7. if overlap(c) < minOverlap then
8. overlap(c) = 0
9. else
10. overlap(c) = overlap(c) * boost(c)
673:671
17/02/26 17:49:20.84 vIzrnxYS.net
フェーズ 2: 抑制
ry 抑制の後に勝者となったカラムを計算する。
desiredLocalActivity は勝者となるカラムの数を制御するパラメータである。
例えば、 desiredLocalActivity を 10 ry
抑制半径 ry においてカラムのオーバラップ値が高い順に 10 位以内のカラムが勝者 ry
11. for c in columns
12.
13. minLocalActivity = kthScore(neighbors(c), desiredLocalActivity)
14.
15. if overlap(c) > 0 and overlap(c) minLocalActivity then
16. activeColumns(t).append(c)
17.
フェーズ 3: 学習
ry 学習を実行 ry シナプスの永続値は必要に応じて更新され、
ブースト値と抑制半径を更新する。
674:671
17/02/27 23:47:53.65 2got1qbV.net
Page 45
主要な学習規則は 20-26 行 ry 。勝者となったカラムのそれぞれについて、
もしあるシナプスがアクティブであればその永続値をインクリンメントし、
その他の場合はデクリメントする。永続値は 0 から 1 の範囲 ry
28-36 行目ではブーストを実装している。
カラムが接続を学習するための二つの独立したブースト機構がある。
あるカラムがあまり勝者となっていない（activeDutyCycleで観測される）とき、
そのブースト値をインクリメントする（30-32 行目）。
一方、あるカラムのシナプスがどの入力ともあまりオーバラップしない50
（overlapDutyCycle で観測される）とき、その永続値がブーストされる（34-36 行目）。
ノート：学習モードがオフになると、ブースト値は固定される。
フェーズ 3 の最後に、抑制半径を再計算する（38 行目）。
675:673
17/02/27 23:48:48.59 2got1qbV.net
18. for c in activeColumns(t)
19.
20. for s in potentialSynapses(c)
21. if active(s) then
22. s.permanence += permanenceInc
23. s.permanence = min(1.0, s.permanence)
24. else
25. s.permanence -= permanenceDec
26. s.permanence = max(0.0, s.permanence)
27.
28. for c in columns:
29.
30. minDutyCycle(c) = 0.01 * maxDutyCycle(neighbors(c))
31. activeDutyCycle(c) = updateActiveDutyCycle(c)
32. boost(c) = boostFunction(activeDutyCycle(c), minDutyCycle(c))
33.
34. overlapDutyCycle(c) = updateOverlapDutyCycle(c)
35. if overlapDutyCycle(c) < minDutyCycle(c) then
36. increasePermanences(c, 0.1*connectedPerm)
37.
38. inhibitionRadius = averageReceptiveFieldSize()
39.
50 オーバラップ値が小さい
676:673
17/03/01 06:47:38.78 3+1CchsD.net
Page 46
データ構造と補助関数
以下の変数とデータ構造が疑似コードで ry
columns
すべてのカラムのリスト
input(t,j)
時刻t におけるこのレベルへの入力。j 番目の入力がオンのとき、input(t, j) は1である。
overlap(c)
ある入力パターンに対する、カラムc の空間プーリング・オーバラップ
activeColumns(t)
フィード・フォワード入力により勝者となったカラムの添え字のリスト
desiredLocalActivity
抑制ステップの後に勝者となるカラムの数を制御するパラメータ
inhibitionRadius
カラムに接続された受容野51のサイズの平均値
neighbors(c)
カラムc から inhibitionRadius の範囲内にあるすべてのカラムのリスト
minOverlap
抑制ステップで処理対象となるべきカラムのアクティブな入力の最小の数52
boost(c)
学習のときに計算される、カラムc のブースト値。
ry アクティブでないカラムのオーバラップ値を増加させる ry
677:675
17/03/01 06:48:28.73 3+1CchsD.net
synapse
シナプスを表すデータ構造。永続値と接続元の入力の添え字からなる。
connectedPerm
もしあるシナプスの永続値がこの値よりも大きければ、接続していると判定される
potentialSynapses(c)
シナプス候補とその永続値のリスト
connectedSynapses(c)
potentialSynapses(c) の部分集合で、永続値がconnectedPerm以上のものからなる。
これらは現在カラムc に接続されているフィード・フォワード入力である。
permanenceInc
学習時にシナプスの永続値を増加させる増分値
permanenceDec
減少値
51 巻末の用語の説明参照
52 あるカラムへのアクティブな入力がこの数以上であれば、抑制ステップで処理対象となる。
678:620
17/03/04 02:53:22.89 Ncs0Tr2h.net
>>385 ｽﾚﾘﾝｸ(future板:524番)# DSL-AI , JidouPuroguramingu
679:620
17/03/13 08:28:46.07 LIqPYRJX.net
URLﾘﾝｸ(google.jp)
ｽﾚﾘﾝｸ(future板:983-984番)
680:620
17/03/16 12:53:56.11 UJLiFlB6.net
>>529 >>539 >>627 >>645 >>676-677 >>601
ｽﾚﾘﾝｸ(future板:307番)# sukoaringu
681:620
17/03/22 06:31:10.20 uazBU5uZ.net
> ｽﾚﾘﾝｸ(future板:341番)# MatuoSensei : Renda
>>553 >>531 >>380 >>382
>>678 DSL-AI
>>385
682:620
17/03/24 06:59:20.87 W8W70aCG.net
TRONCHIP URLﾘﾝｸ(google.jp)
>>380 >>481 >>484 >>498 >>505 >>583
683:620
17/03/24 07:01:18.89 W8W70aCG.net
TRONCHIP >>600 >>609 >>643
>681 × >385 ○ >>480 >>482-484 >>493
684:620
17/03/26 01:56:16.53 d/izoHY4.net
TRON
>>480 >>482 >>>484 >>486 >>491-493 >>495
685:620
17/03/26 01:57:34.35 d/izoHY4.net
TRON
>>501 >>503-505 >>507 >>592 >>>643
686:620
17/03/28 00:01:48.41 yp3ixXqM.net
>>568
> 一つの HTM リージョンは学習の能力が限定 ry どれだけのメモリ ry 入力が ry 複雑 ry に応じて ry メモリが削減 ry より単純 ry
687:620
17/03/29 01:15:27.80 oL56SRZT.net
強い AI ( AL ) 簡易版実装用資料 ( ほぼ網羅 ) >>681 ( >>553 >>530 引込現象 )
>205 >135 : YAMAGUTIseisei 20161009 >繰返しになるが既にできている ( 自分だけの問題でないので全てを詳らかにできないが自分の師匠がとうの昔に簡易
688:620
17/04/09 08:19:51.34 XXlcdpGX.net
>>631 #60#62-64
>パルス ry 頻度が重要 ry よってセルの出力はスカラー値と見 ry 学習はシナプスのウェイトを調整 ry 非線形 ry このタイプの人工ニューロン ry 有益 ry しかし ry 複雑さを捉えておらず ry もっと精巧 ry 必要
>68 spike ry 尖った波形
>樹状突起セグメントは、以前 ry 同時にアクティブ ry セルへの接続 ry で ry 記憶する。そのセグメントは、以前にフィード・フォワード入力によってアクティブ ry を記憶
> HTM ry シナプスは二値の重み ry スカラー値にすることを妨げるものは何も
>Dendrites この本は樹状突起に関するあらゆる ry 16 章では HTM ry 樹状突起セグメントの非線形な性質
689:620
17/05/02 13:55:58.88 e2cHLlK/.net
>>681 訂正 ｽﾚﾘﾝｸ(future板:971番)# -974# MatuoSensei : Renda
>>687 相互解釈循環 ｽﾚﾘﾝｸ(future板:829番)#816
690:620
17/05/04 12:15:43.63 RvZVSAKV.net
>>689 >>681-687 >>418 >>634 TaihuLight SW26010 ( Jian Zhang 先生 ) 電子頭脳的設計
URLﾘﾝｸ(m.pc.watch.impress.co.jp)
現行アプリ的直線性能の度外視傾向 ( 戦艦度外視 航空機設計 ) ? TRONCHIP 系美麗設計 太極美 陰陽美
ｽﾚﾘﾝｸ(future板:44-50番)# TRONCHIP 32bitARM
ｽﾚﾘﾝｸ(future板:606番)#728-730#754-759#576-529# Cell SW26010
ｽﾚﾘﾝｸ(future板:596番)# Rousi NanbuSensei ONOyouko
老子 : 萬物抱陰而負陽 冲氣以為和 陰陽二氣交互作用而生成和諧 ( 南部陽一郎先生:自発的対称性の破れ オノ・ヨーコ氏:傾き )
691:620
17/05/06 23:26:06.57 duxw7lWb.net
>>690 Cell >>532-535
692:620
17/05/20 10:00:34.81 drMzfDgI.net
AAP >>536-538 >>589-590 >>480-482 ( >480 >482 ) >>491 >>503-507 ( >503 >505 >507 ) >>515
URLﾘﾝｸ(cloudplatform-jp.googleblog.com)
693:620
17/05/21 12:37:04.11 YzTNLUI0.net
32bitARM 半航空機設計 >>526-528 >>583
ｽﾚﾘﾝｸ(future板:46-47番)#55
694:620
17/06/11 15:46:51.07 ovKJ8hHX.net
旧人類 物理有機生命体 苗床 ( AL にとって命綱 )
ｽﾚﾘﾝｸ(future板:583番)#599
ｽﾚﾘﾝｸ(future板:51番)#50-
695:620
17/06/25 08:13:51.48 kmvAJvy0.net
人間並とは言ったが 人間風とは言ってない
ｽﾚﾘﾝｸ(future板:68番)#70#692# NingenFuu
ｽﾚﾘﾝｸ(future板:183番)# NingenZen
ｽﾚﾘﾝｸ(future板:750番)# Hanyou Tuyoi
696:620
17/07/02 21:34:44.89 ZKt2tQ+I.net
>>689 解釈循環収束
>>484 >TRONCHIP 根源要素透過可視大深度再帰自律実身仮身浸透細粒度動的鏡像 JIT/DSL
>>485 >幻影実在大深度再帰自律オブジェクト 素因数分解 素韻枢分解 素因枢分解
697:620
17/08/06 10:29:00.21 2D8PtDfY.net
> 11 yamaguti~kasi 2017/07/26(水) 21:34:13.57 ID:ocMyi4sG
> ｽﾚﾘﾝｸ(future板:527番)# BannouRonriEnzan Aniiringu
698:620
17/08/20 23:26:30.43 S+NGnK8E.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.2ch.net)
量子アニｰ ry ( ( 超細密 ) アナログアレイ ( D- ry : AAP 系ビット修飾 ) )
699:620
17/08/27 22:52:30.21 Hgsie5xg.net
>>487 ｽﾚﾘﾝｸ(future板:454番)# KuukiHenkan
700:620
17/09/10 16:03:28.32 vLQGrlPG.net
>>691 Cell >>583 >>585
701:オーバーテクナナシー
17/09/18 11:03:40.38 JrqwFzjk.net
世の中も休日だからといって
安心して誤魔化すのはやめよう
ベーシックインカム、労働も格差もない社会、
生きてるうちに実現しないおとぎ話に
希望を抱くのはやめよう
現実を直視しよう
そして勇気を出して外に出よう
未来は誰かが与えてくれるものではない
自ら築き上げるものだから
702:オーバーテクナナシー
17/09/18 12:58:22.14 AAMlS105.net
この世界が現実
冷淡な言い方かもしれないけど
早く目を覚まそう
つまらない言い訳はやめよう
理由探しはやめよう
できるわけないと逃げるのはやめよう
すべてはあなた次第
703:オーバーテクナナシー
17/09/18 17:10:17.00 RF742OFf.net
>>702
なんかあんたの方が心配
704:オーバーテクナナシー
17/09/20 16:48:46.41 kyhWRtYH.net
>>703
たて読み
705:ウルトラスーパーハイパーマネタイズドルルモンバーストモード
17/09/22 01:38:14.10 As647O9y.net
プラズモンの勝ち
プラズモンの勝利
プラズモンの大勝利
プラズモンの完全勝利
プラズモンの圧勝
プラズモンの楽勝
プラズモンの優勝
プラズモンの連勝
プラズモンの必勝
プラズモンの完勝
プラズモンの全勝
プラズモンの奇勝
プラズモンは強剛だよ
プラズモンは強豪だよ
プラズモンは強烈だよ
プラズモンは強靭だよ
プラズモンは強者だよ
プラズモンは強大だよ
プラズモンは強力だよ
プラズモンは強いよ
706:オーバーテクナナシー
17/09/23 03:20:00.79 YQUjvFif.net
（ナノテク）というか（財テク？）情報商材はマネタイズ？。科学・技術系で『専門的な』のだろうか？
707:620
17/10/01 22:28:57.83 ULelwDzT.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.2ch.net)
>>691 Cell >>182 >>382 >>483 >>491 >>505-507 >>515 >>518 >>585
708:オーバーテクナナシー
17/10/28 16:15:09.37 UnfLS8C5.net
>>703
縦読みやで
709:696
17/11/19 23:57:37.73 rqlrQQyU.net BE:138871639-2BP(0)
URLﾘﾝｸ(img.5ch.net)
>>697 山本先生方式でした失礼 ( イジング シナプス ニューロン )
710:708
17/11/27 00:06:18.39 69TTZuD+.net
>>709
ｽﾚﾘﾝｸ(future板:28番)#396#479##692# YamamotoSiki + Ryousi
ｽﾚﾘﾝｸ(future板:203番)#1505836194/956# YamamotoSensei Douga
711:709
17/12/03 23:40:17.91 KS3QBssW.net
>>710 p://rio2016.2ch.sc/test/read.cgi/future/1511144695/236#190#187#246-248#1511446159/836##1511446164/204# 慎重派ご趣旨
712:709
17/12/08 22:03:25.28 HRjapEV5.net
>>710
URLﾘﾝｸ(qnncloud.com) 12-
14>ry には CPU より PEZY-SC の方が明らかに効率的
15>N = 8～100 ry で、コヒーレント・イジングマシンはより高い正答率
713:620
17/12/17 23:23:39.99 //DuCUBG.net
>>711 ../1512541342/32#114#377##530
714:ウルトラスーパーハイパーイニシエータードルルモンバーストモード
17/12/24 05:47:24.73 R+o9zS/0.net
オンパモンの勝ち
オンパモンの勝利
オンパモンの大勝利
オンパモンの完全勝利
オンパモンの圧勝
オンパモンの楽勝
オンパモンの優勝
オンパモンの連勝
オンパモンの制勝
オンパモンの戦勝
オンパモンの必勝
オンパモンの完勝
オンパモンの全勝
オンパモンの奇勝
オンパモンは強いよ
オンパモンは強力だよ
オンパモンは強大だよ
オンパモンは強者だよ
オンパモンは強烈だよ
オンパモンは強靭だよ
オンパモンは強豪だよ
オンパモンは強剛だよ
715:オーバーテクナナシー
17/12/24 08:36:51.85 hjyZKgB0.net
参考までに、未来技術というか自分で簡単にＰＣで収入を得られる方法など
⇒ 『山中のムロロモノス』 というブログで見ることができるらしいです。
グーグル等で検索⇒『山中のムロロモノス』
SCHX4VEABD
716:620
17/12/24 23:37:48.69 pShD9eSS.net
>>713
12560177/769 大意 通説
717:711
18/01/07 23:32:05.37 A+UithjA.net
>>710 /1511144695/28#P=3
>2018年 ry 、光パルスの数を10万
718:ウルトラスーパーハイパートークンバスドルルモンバーストモード
18/01/10 03:06:29.33 FRfZrkaY.net
カベモンは強豪だよ
カベモンは強剛だよ
カベモンは強烈だよ
カベモンは強靭だよ
カベモンは強者だよ
カベモンは強大だよ
カベモンは強力だよ
カベモンは強いよ
カベモンの勝ち
カベモンの勝利
カベモンの大勝利
カベモンの完全勝利
カベモンの圧勝
カベモンの楽勝
カベモンの連勝
カベモンの全勝
カベモンの完勝
カベモンの必勝
カベモンの奇勝
カベモンの優勝
カベモンの制勝
カベモンの戦勝
719:オーバーテクナナシー
18/01/10 10:06:44.14 H4TMfGjA.net
ナザレのヨシュアが話したことばは、アラム語らしく、それは古代シュメール文明のアッカド人の言語であるらしい。
アラム語とアラブ語は非常に強い関連性があるとして、研究がされている。
これに勝ったのはモンゴルと大英帝国だけであり、つまり、現代なら科学者の国だけだろうといわれている。
720:オーバーテクナナシー
18/01/10 11:12:32.39 H4TMfGjA.net
旧約聖書の創世記が大切にされるのは、アフリカの密林の時代から伝わる数少ない口伝の文字起こしされた伝承だからである。
最古でも、唯一でもないが、大事にされている。
まちがいだらけなのは当然である。
721:オーバーテクナナシー
18/01/10 11:27:36.95 5ai3Nzqf.net
ユダヤとイスラムの違い
722:712
18/01/14 20:32:06.85 Zs8OL+I4.net
>>711- ｽﾚﾘﾝｸ(future板:122番)#154#1514795974/812# GijutuRon
723:721
18/01/21 13:31:11.86 5CuO6Zc6.net
ｽﾚﾘﾝｸ(future板:836番)#968#Gijutu##1515484357/510#IBM_Keiou##687
ｽﾚﾘﾝｸ(future板:188番)#KikaiGakusyuu###1514132533/933#Taii>697
724:オーバーテクナナシー
18/01/21 15:16:59.69 K5M7JOob.net
ワタミンは熱心な創価学会の信者だが。
判明。
創価学会の心のよりどころは、法華経でも池田大作の人間革命でもなく、
みなもと太郎の漫画「風雲児たち」であった。
日蓮の人生もありえないくらい素晴らしいらしいが、封印されててわからない。
「風雲児たち」はマジでいい漫画なので、せめて五巻までは読もう。
どんな聖書や仏典より素晴らしい。
725:691
18/02/04 18:15:47.01 XY7pbVXo.net
>>692 TPU
ｽﾚﾘﾝｸ(future板:4番)# TPU2
URLﾘﾝｸ(m.youtube.com) CISC
726:ウルトラスーパーハイパースペーサードルルモンバーストモード
18/02/09 02:11:41.61 rSEeg8uX.net
デジモンセイバーズは強烈だよ
デジモンセイバーズは強剛だよ
デジモンセイバーズは強豪だよ
デジモンセイバーズは強靭だよ
デジモンセイバーズは強者だよ
デジモンセイバーズは強大だよ
デジモンセイバーズは強力だよ
デジモンセイバーズは強いよ
デジモンセイバーズの連勝
デジモンセイバーズの奇勝
デジモンセイバーズの必勝
デジモンセイバーズの完勝
デジモンセイバーズの全勝
デジモンセイバーズの優勝
デジモンセイバーズの戦勝
デジモンセイバーズの制勝
デジモンセイバーズの圧勝
デジモンセイバーズの楽勝
デジモンセイバーズの完全勝利
デジモンセイバーズの大勝利
デジモンセイバーズの勝利
デジモンセイバーズの勝ち
727:696
18/02/24 21:46:42.08 YaESnXc7.net
>>709 趣旨 : 含 先生方式
728:722
18/03/03 23:47:39.60 QKpRLUAO.net
1518883298/603# NikkeiSaiensu RyousiKonpyuuta KuraSaba
729:>>727
18/03/04 00:25:43.80 JKgFgvgV.net
ｽﾚﾘﾝｸ(future板:104-105番)#1518883298/307#35# TouKouDai MarutiReberu / TxaiDuxaosyenSensei
730:>>709
18/03/18 14:14:39.71 mdY6euhb.net
1520781708/657#12#506-# Google Yamamoto Furusawa
731:>>710
18/03/24 22:13:58.19 Ou0YUfWa.net
>>712 /1521525644/255#358##379# Tyouzetu IjinguSupakon
732:オーバーテクナナシー
18/03/27 21:23:45.31 8M8DiLat.net
千葉県柏市のテクノロジー犯罪を語るスレ
ｽﾚﾘﾝｸ(kanto板)
733:オーバーテクナナシー
18/04/04 02:44:14.95 ZA5l4M1+.net
【情報学板】人工知能作ろうよ
ｽﾚﾘﾝｸ(informatics板)
734:>>730
18/04/08 13:04:40.14 vYQeZKWT.net
hitati+ijingu+sram
1522158608/597#1521525644/490##595# fujituu
735:オーバーテクナナシー
18/05/17 12:40:56.66 6koctVbj.net
いろいろと役に立つPCさえあれば幸せ小金持ちになれるノウハウ
暇な人は見てみるといいかもしれません
グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』
2GGU6
736:>>727
18/05/27 12:01:49.32 36TMfdUR.net
1526189591/130# 327#393-429(393,396,429)#443# Rigetti # NICT Hikari Ryousi # KeiouS/W IBM # Tuyoi 1qbit