大阪の映像制作・制作技術会社 (株)写楽の社長 木内の気ままなブログです。                    (文章や写真を引用される場合はご連絡ください)
スポンサーサイト
上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
バーチャル広告。位置検出。
WBC 2次ラウンド、日本対キューバ戦6-0で快勝~!! 2連覇なるか~??

WBC 2次ラウンドの中継を見ていて気になったのが、バックネットのバーチャル広告。
色々な広告が出てきますが、実際の現地はグリーンバックで、広告は中継映像に合成されています。

放送されている映像はこちらで、(画面再撮)
20090316-1

合成される前の映像はこうです。(同じフレーム) (画面再撮)
20090316-2

海外のサッカー中継では10年近く前から、MLBでも最近よく見かけるバーチャル広告では、バーチャルスタジオ(CGなどで作成した背景映像がカメラの動きに追従するシステム)などと同様に撮影された映像を専用の機材でリアルタイムに解析し、位置が変わっても自動的に合成されています。

カメラの位置検出には三脚に付けるセンサー方式と、グリッドパターン認識(位置検出用の格子模様)などがありますが、WBCの中継ではグリッド無しでも位置検出ができる方式のようですね。

弊社でも以前、バーチャルスタジオ運用のお仕事をしていた時期がありましたが、当時のシステムでは合成されて映像が出てくるまでのディレイ(遅れ)が15フレーム(0.5秒ほど)あり、位置検出が狂ってしまう事もよくあったので「生放送で使うのは大変だろうなぁ…」と思っていましたが、ちょっと離れているうちにどんどん進歩しているようですね。

この映像を解析して位置検出をする方式は元は軍事技術で、現在は日本国内のメーカー製もありますが、初期はイスラエル製がほとんど。今でもイスラエルのあるメーカーが業界内では有名です。戦闘機搭載のシステムでは1970年代からカメラ映像から位置検出して追従するシステムが使用されています。

位置検出での合成は生放送では高額なシステムが必要ですが、レンダリングベースならパソコンのフリーソフト(VoodooCameraTracker と Blender など)でもできます。興味のある方は遊んでみてください。


この位置検出、別のソフトですが弊社では8mmフィルムのテレシネ映像のジッター除去に使用した事があります。レンダリングには実時間の10倍以上かかりましたが、ガタガタ、ユラユラの映像がビシッと止まりすぎて驚きました。効果というか弊害というか、カメラの手ブレも吸収されちゃいます。
他にも自動的にダスト(ゴミや髪の毛)やスクラッチノイズを自動的に除去する処理もしたんですが、8mmフィルムの「味」がほとんどなくなってしまうほどクリーンな映像になっちゃいました。

お仕事用ではないんですが、実はデジタル一眼で自動的に1コマずつ8mmフィルムをRAW撮影する機材を(忙しいのでなかなか進んでおらず数年ごし…)をある方からの依頼もあって映写機を改造して開発?!中です。当初はHDビデオカメラでの撮影をテストしましたが、業務用の3CCDでもフィルムのラチチュードには到底かなわず、プルダウンの関係でフィルムの元のコマ数により(DVDやBDに収録するため)23.976pにしたほうが良い場合と29.97fpsにしたほうが動きが自然にできる場合がある事が分かったので、ビデオカメラでのテレシネは簡易用として割り切り、1コマずつ撮影(フレームバイフレーム撮影)するデジ一方式が本命です。
(ちなみに海外では3CCDのNTSCビデオカメラで1コマずつ8mmフィルムを撮影する機材が売られています)

まだ自動化の点で問題ありですが、デジ一方式のテスト映像では今まで見た事の無いような品質です。10メガピクセルのRAW撮りで(コマではなく)カットごとに露出や色、ガンマをバッチ処理してTIFF出力。静止画連番からHD動画化して位置検出でのジッター除去と傷消しをし、最適なプルダウンをして完成です。
どこまでクリーンにしてしまうかは意見の分かれるところではありますが、テレシネで有名なシ○テル製を使用したお気楽コース(手動傷消しなし)よりきれいに安定しちゃう感じです。

しかし、手間と時間が掛かりすぎてコストが見合わないと思うのでお仕事にする気は現段階では無いです(笑)。
 
コメント
コメント
コメントありがとうございます。
中継を見ていて分かったのは、広告の合成はスイッチングアウトのPGMにしていたということです。
この方法だと、国ごとにもそれぞれ合成が出来て便利ですね。

現地で合成していたとしてもディレイを考えれば当然の順序ですが、センターカメラが絡むOL(ディゾルブ)がかかった場合など、合成の広告のイン・アウトが汚い瞬間が何度かありました。
それと、わざと分かるシーンの写真を乗せていたのですが、投手のモーションとかがブレて手や球が消えていますね。あれはカメラアングルや広告枠の場所で被らないようにすべきです。次回への大きな課題ですね。

その他、映像自体はTB○ユニと思われるインサートカメラは普通でしたけど、公式映像のカメラはギラギラでしたね。あれはSD向けのディテールだとは思いますが、あんなHD映像はなかなかないです(笑)。(静止画でリサイズ後にシャープネス調整をする鉄則と同様に)SD用のディテールはダウンコン時かダウンコンしてから付加してほしいものです…。

技術的には何の問題も無いと思いますが、スロー映像には一律合成無しでしたね。契約上の表示時間の関係でしょうか??
数ヵ月後の放送技術誌あたりに詳しく出てくるかもですね。

私のブログはマニアックでマイナーな話が多いと思いますが(汗)、自らの勉強や更なる制作技術の向上の一環と思っていますのでお付き合いいただけるとうれしいです。今後ともよろしくお願いいたします。
2009/03/29(日) 09:59:06 | URL | 管理人 #SFo5/nok [ 編集 ]
お初ドンです^^
 先日はどうもありがとうございました。早速覗きにきておりますですw 

 WBCのあれは多分衛星通信の映像・音声ラグ(日米間で片道約7秒ほど)の調整技術の応用ですね。広告の差込を受け側で行うことで、映像に対する音声ラグを調整する間に処理の遅れも取り戻してるのではないかなと思って見てたりしました。グリッドはPADRES.comと下のカメラマークではないかと邪推してみたりw

 映像内に映像があるような場合(映像チェックのためのモニタやスクリーンなど)ソースがバレテシマウので、アングルにもかなり気を使ってると思われます。現場目線で見るとスタッフの苦労がひしひしと伝わってきてまた違った楽しみがありますね^^

 動画サイトなどで「謎の技術(笑)」として知られるVoodoo camera tracke(ハノーバ大のオープンソース)とblenderで組むアレをリアルタイムでやるのは大変ですが、複数のモデリングデータをチマチマとマッチングさせていくようなモノを作る時にもとても重宝するものだと思います。シェア版はコマンドの簡素化が相当に図られてるそうなので、納期が非常にタイトであるとかするようなモノが延々と続いたりするような状況で、ワークフローの面から考えれば導入してみるのもありかも知れません。収益と人件費、予算面の折り合いを予想するところは大事なので、慎重に検討したいところではあります。

 それにしてもさすがの情報量。今後ともよろしくお願いいたしますです。
2009/03/27(金) 06:23:17 | URL | もんさん #PR6.u/TU [ 編集 ]
コメントの投稿
URL:
本文:
パスワード:
非公開コメント: 管理者にだけ表示を許可する
 
トラックバック
トラックバック URL
トラックバック
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。