14/08/06 21:16:59.31 3I/Qfemw0 BE:368289528-PLT(13345) ポイント特典
sssp://img.2ch.net/ico/o_anime_po.gif
映像だけから音を復元するビジュアルマイク技術。防音ガラス越しのポテチ袋から会話を再現
MITとマイクロソフト、Adobeの研究者チームが、映像から周囲の音を復元する「ビジュアルマイクロフォン」技術を発表しました。
音が物体に当たって生じるごく僅かな揺らぎを解析することにより、
「防音ガラス越しの4.5m先にあるポテトチップの袋の映像から、室内の会話内容を復元」する実験に成功しています。実際の様子は続きの動画をどうぞ。
URLﾘﾝｸ(www.youtube.com)
SIGGRAPH 2014にあわせて論文を発表したのは MIT CSAILの Abe Davis氏、マイクロソフトリサーチのMichael Rubinstein氏、Adobe Researchの Gautham Mysore氏ら。
音は空気の振動なので物を震わせ、動きを記録すれば音を記録できる、とはマイクや録音の原理そのものですが、肉眼では分からないほどのわずかな動きを映像から抽出して意味のある音を復元できることは驚きです。
実験で主に使われたのは、ポテトチップの袋やキャンディの包み紙、観葉植物の葉など、比較的音の影響を受けやすい物体。このほかグラスの水や箱ティッシュなどもビジュアルマイクに向いた物体とされています。
震えやすい薄膜のような物体とはいえ、音による変形はマイクロメートル(1/1000ミリ)単位。映像では数百から数千分の1ピクセル分しかありません。
映像の最小単位である1ピクセルのさらに数千分の1では手の出しようがないように思えますが、研究者チームは画像全体のわずかな色の揺らぎから動きを解析する手法を用いて音を復元しています。
これが可能ならば過去に撮影した動画から拾えていない音を再現したり、サイレント映画から撮影現場の音を再現することも期待できそうですが、
実験の大部分では音の高い周波数を拾うため、一秒に2000コマ以上を撮影できるハイスピードカメラを用いています。
しかし結局は特殊な機材が必要で現実的ではないのかといえばそうでもなく、論文ではさらに進んで、一般的な民生用カメラで撮影した動画から音を再現することも試みています。
(以下ソース)
URLﾘﾝｸ(japanese.engadget.com)