multiple sub-nyquist sampling encodingとは？わかりやすく解説

MUSE（Multiple Sub-Nyquist Sampling Encoding）とは、NHK放送技術研究所が1984年に開発したハイビジョン向けの映像圧縮技術方式である^[1]。動きベクトルを用いたサブサンプリングと、時間軸色線順次方式（TCI）による色信号の時分割多重を組み合わせ、限られた帯域で高精細映像を伝送することを可能にした^[2]。

概要

MUSEは、NHK技研が1984年に開発したハイビジョン向けのアナログ伝送適合型映像圧縮方式である。クインカンクス（さいころの五の目）状のサブナイキストサンプリングと、時間軸色線順次（TCI）による色差多重を組み合わせることで、当時の衛星放送で利用可能な帯域内にハイビジョン映像を収めることを目的として設計された^[2]。

日本のBS放送向けに開発されたが、アメリカの衛星放送への適用も考慮されており、VSB-AM変調を用いた地上波伝送実験や、マイクロ波中継、字幕・データ放送の実験など、多様な応用研究が行われた^[3]^[4]。

開発の背景

NHKでは現在のテレビ（System-J/NTSC-J）の「次のテレビ」として1964年より立体テレビジョンおよび高品位テレビジョン（ハイビジョン）についての研究を開始し、1972年にはCCIR（現在のITU-R）に規格提案を行うに至った。しかし、ハイビジョン放送の実用化には大きな技術的課題があった。それは利用できる帯域幅である。当時利用可能な最大の帯域幅は12GHz BSの27MHzであり、BSではFM変調が用いられていることから駒井・カーソン則に従って計算すると、伝送可能なベースバンド信号（原信号）の幅は9MHz以下に限られる。従って、RGB各色ごとに30MHzを要するスタジオ規格はもとより、視覚的な差異がないとされる^[5]放送規格の各色20MHz幅のハイビジョン映像をそのまま放送することはできない。この問題を解決するための放送用伝送方式が検討され^[6]、その結果としてMUSE方式が開発された。

特徴

MUSEの主な特徴は、入力映像に対して動きベクトルを用いたサブサンプリングを行う点と、色信号の多重化に時間軸色線順次方式（TCI）を採用してYC時分割多重を行う点にある^[2]。サブサンプリングのパターンはさいころの五の目（千鳥格子）状である。人間の視覚は斜め方向の解像度が縦横方向より低く^[7]、また動体視力は静止視力より低いという特性を持つ。MUSEはこれらの特性を活用し、静止画と動画とで異なる圧縮処理を行っている。ただし、パン・チルト撮影時に動画として圧縮処理を行うと、映像が動いていても画質の低下が目立つ場合がある。そのため、パン・チルト時にはフィールド間・フレーム間で合成できるよう動きベクトルによる動き補正を行い、静止画に準じた処理を可能としている。

信号処理方式

映像の圧縮

以下の仕様は特記なき限り二宮佑一ほか（1988）による^[7]。

圧縮対象走査線 : 1,032本
原始サンプリング周波数 : 44.55MHz
伝送サンプリング周波数 : 16.2MHz
ベースバンド帯域幅 : 8.1MHz (-6dB)
同期信号 : デジタルフレームパルス型、正極同期
色差多重方式 : 時間軸圧縮多重 (TCI)
- 時間軸輝度圧縮率 : 12:11
- 時間軸色差圧縮率 : 4:1
- 輝度算出式 : Y' = 0.588G + 0.118B + 0.294R
圧縮方式 : フィールド間、フレーム間、ライン間オフセットサンプリング方式
動きベクトル補正 : 水平±16サンプル (32.4MHzクロック)/フレーム、垂直±3ライン/フィールド

まず、得られたハイビジョン信号の20MHzを超える成分を帯域制限により除去し、サンプリング周波数44.55MHzでRGB各色ないしは輝度・色差各成分のデジタル化を行う。次に、圧縮に適したカラーマトリクスにより輝度・色差に変換し、輝度・色差を時分割で格納するために輝度信号に12:11の時間軸変換を施す。これによって輝度のサンプリング周波数は48.6MHzとなる。色差については7.425MHz以上の成分を除去した後、2種類の色差信号Cb・Crを交互に送るために垂直方向の情報を半分に削減し、サンプリング周波数を14.85MHzに変換したうえで2回のクインカンクスサブナイキストサンプリング（さいころの五の目状のサンプリング点の間引き）を行う^[2]。

輝度については静止画と動画とで処理が異なる。静止画の場合はサンプリング周波数変換を交えた2回のサブナイキストサンプリングにより、20MHz分の情報が8.1MHzに畳み込まれる。動画の場合はさらに16MHzを超えた成分を除去したうえで、静止画の2回目と同じサブサンプリングを行って8.1MHzに畳み込まれる。この畳み込まれたデジタル映像を静止画・動画に応じて適宜混合し、アナログに変換して伝送する。静止画と動画の最終処理を共通化することで、デコード時に静止画・動画の判定に誤りが生じた場合でも、デコード結果の破綻を防ぐ設計となっている。なお、フィルタの改良や静止画のフレーム単位処理など複数の改善案も提案されている^[8]^[9]^[10]^[11]^[12]。

デコード時には、伝送された映像をデジタル化し、エンコード時と同様に静止画・動画の判定を行う。静止画と判定された場合は前のフレームと合成することで補完してデコードを行う。

音声の圧縮

以下の仕様は特記なき限り菅並秀樹ほか（1989）による^[13]。

1フレームあたり1350ビット 1ミリ秒
音声圧縮方式 : 準瞬時圧伸 DPCM
モード
- Aモード : 32kHz 15-8bit（8レンジ）×4ch（3-1ステレオ）
- Bモード : 48kHz 16-11bit（6レンジ）×2ch
音声誤り制御 : (82,74)短縮化BCH 16ビットインターリーブ
多重化方式 : 垂直帰線期間に12.15Mbaudで3値ベースバンド多重

音声はMUSEのために開発されたDANCE（DPCM Audio Near-instantaneous Compressing and Expanding）方式で圧縮される。標準テレビジョン放送とは異なり、最大4チャンネルの3-1ステレオ方式をサポートするAモードではサンプリング周波数32kHz・15ビット、最大2チャンネルのBモードでは48kHz・16ビットでデジタル化した音声を用いる。デジタル化した音声はサンプル点間の差分をDPCMで圧縮し、その差分信号に1ミリ秒区間の準瞬時圧伸（桁落とし）を施して、Aモードでは8レンジ8ビット、Bモードでは6レンジ11ビットに圧縮する。DPCM圧縮の際にリーク値を用いた不完全積分を行うことで伝送誤り時の雑音と直流誤差を低減し、ローカルデコーダを設けることで圧縮誤差の累積を防止している。

圧縮されたデジタル音声は(82,74)短縮化BCHで保護した後、16ビットインターリーブを行い、2値から3値（0/1/2）の12.15Mbaudに変換・時間軸変更してMUSE映像の垂直帰線区間に格納する。3値化の際の信号値は伝送路がAM変調かFM変調かによって異なる。ハイビジョンLDの場合はデータ放送用の領域を削減し、より強固な誤り訂正を付加する^[14]^[15]。データ放送については標準テレビジョン放送と同様に斜め配置の288バイトパケット方式を採用し、18フレームで1スーパーフレームを構成している^[16]。

初期仕様

MUSEの原型となるシステムは1983年の技研公開で展示されたものである。伝送サンプリング周波数は19MHzであり、27MHzのRF帯域幅に適合する設計であった。音声も水平同期（33.75kHz）にロックした14-11ビット準瞬時圧伸2チャンネル方式であった^[17]。

初期のMUSEでは、映像はサンプリング周波数64.8MHzでデジタル化され、画素は単純な2回の1/2サブサンプリングにより1/4に削減されていた。またTCI多重化における輝度信号の時間軸圧縮は行われていなかった^[18]。音声はQPSK変調のRFを時分割多重する方式^[19]^[20]、もしくは標準テレビジョン放送で用いられた音声フレームを4値ベースバンド多重する方式^[21]が用いられていた。

派生方式

MUSE-T

以下の記述は特記なき限り二宮佑一ほか（1987）による^[22]。

放送用のMUSE（以下、MUSE-Eと表記）に対し、MUSE-Tは4:2:2 TCIを利用できない狭帯域での素材伝送を目的として開発された。RGB各色を初期のMUSE-Eと同様^[7]^[23]にサンプリング周波数64.8MHzでデジタル化し、MUSE-Eと同様にカラーマトリクスの変換を行う。入力映像が静止画の場合は1回のみ単純なフィールドオフセットサブサンプリングを行う。動画の場合も帯域制限が加わるのみで静止画の場合と同一の処理となる。音声についてもMUSE-Eと同様に圧縮・時間軸変換を行い、シンボルレート12.15Mbaudとした音声を垂直帰線区間に多重する。

米国向けMUSE

日本におけるハイビジョンの開発・放送の進展を受け、アメリカでもHDTVの放送に対する関心が高まった。これに対しATSC（ここでは規格ではなく団体としてのATSC）はHDTV方式であるATVの提案を募集し、FCCは既存の受信機と互換性のある方式、または占有帯域幅が6MHzでサイマル放送に適した方式であることを条件とした^[24]。FCCの諮問機関であるACATSが実施したATVコンペティションへの参加と、走査線数1125本のHDTVスタジオ規格の普及を目的として^[25]、NHK技研はNarrow MUSE、MUSE-6、MUSE-9の3方式を開発した。この3方式のうち最終選考まで残ったのはNarrow MUSEであった^[26]。1993年2月8日に開催された諮問委員会特別委員会の会合において、いずれの方式も6MHz帯域内で良好なHDTV画質を実現していたものの、改良を実施しない状態では単独規格として採用できるほどの性能を示した方式はないと判断された。しかし、4つの完全デジタル方式はいずれも、アナログ・デジタル混在方式であるNarrow MUSEを性能面で有意に上回ったため、Narrow MUSEは選考対象から除外された^[27]。

Narrow MUSE

以下の仕様は特記なき限り合志清一ほか（1991）による^[28]。

圧縮対象走査線数 : 648本
原始サンプリング周波数 : 40.095MHz
伝送サンプリング周波数 : 19.44MHz
ベースバンド帯域幅 : 4.86MHz (-6dB)

Narrow MUSEは占有帯域幅6MHzという条件のみを満たした方式であり、NTSCとの互換性を最も重視しない一方で、3方式の中で最も高画質なシステムである。デジタル化の際のサンプリング周波数は40.095MHzであり、圧縮前に1125本（有効走査線数1035本）から750本（同690本）への走査線数変換を行う^[29]。また音声の映像への多重化のシンボルレートは7.29Mbaudとなっており^[30]、BS向けMUSEとは細部で異なる。電波発射時の変調には標準テレビジョン放送との相互干渉を防ぐため、単純なVSB-AM変調を採用せず、750kHzまでの低域にはVSB-AM変調、高域にはSSB変調を行う特殊な変調方式を採用した^[31]^[32]。

MUSE-6、MUSE-9

以下の記述は特記なき限り奥田治雄ほか（1989）による^[33]。

NTSC Compatible MUSE-6は、既存の標準テレビジョン放送受像機でも受信・視聴できる一方、対応受像機では静止画解像度が約2倍となる方式である。画面アスペクト比の4:3から16:9への変更にあたっては、画面中心部と周辺部の画質差を防ぐためにサイドピクチャー方式ではなくワイドクリアビジョンと同様のレターボックス方式を採用した。ワイドクリアビジョンが順次走査525本（有効走査線数480本）の映像を飛び越し走査360本で放送するのに対し、MUSE-6は飛び越し走査750本（同690本）の映像を圧縮し、飛び越し走査345本で放送する。走査線数を半分にすることで失われる情報は、レターボックス方式の採用によって生じた黒帯部分に圧縮して格納される。この分離方式として加減算法とSSKF（Symmetric Short Kernel Filter）を用いる方式とが検討された^[34]。入力映像が静止画の場合は7.7MHzまでの情報を周波数領域で4分割し、3.9〜7.7MHzの成分を1.9〜4.2MHzに周波数変換して2フレームオフセット変調多重^[35]で多重化・格納する。音声は最大2チャンネルまでをMUSE-EのAモードと同様にDANCE方式で圧縮・3値化するが、1フレームあたり1170ビットであり^[36]、多重化区間は垂直帰線区間ではなく水平帰線区間に格納される。

MUSE-9はMUSE-6の拡張方式であり、MUSE-6では収容しきれなかった動画の高周波成分、AモードとBモードの差分による高音質化信号、およびAモードのサラウンド化のための追加2チャンネル音声を、追加チャンネルで送信する。この追加チャンネルは主チャンネルであるMUSE-6の使用帯域に隣接していても、離れた別の送信機を使用していても構わない。

放送サービス等への展開

BSを通じたMUSEによる有料放送の実現を目的として、スクランブル方式を含む関連仕様が定義された^[37]^[38]。MUSEデコーダを内蔵したテレビの取扱説明書にはデスクランブラの接続方法についての記載があった^[39]。また、ハイビジョンLDの記録方式としても採用された^[14]。

脚注

[脚注の使い方]

multiple sub-nyquist sampling encodingとは？わかりやすく解説

ミューズ‐ほうしき〔‐ハウシキ〕【MUSE方式】