Multiple Sub-Nyquist Sampling Encoding
MUSE(Multiple Sub-Nyquist Sampling Encoding)とは、NHK放送技術研究所が1984年に開発したハイビジョン向けの映像圧縮技術である。日本におけるBS放送向けに開発されたがアメリカでのBS放送の便も考慮され、CATVや標準テレビ放送と同様にVSB-AM変調による地上波での放送実験、マイクロ波による中継実験、現在のデジタル放送で採用されているISDBシリーズが備えているような字幕・データ放送の実験などの諸実験が行われ、ハイビジョンLDの記録方式としても採用された。この他にもBSを通じてMUSEによる有料放送を行うべくそれに関する仕様が定義され、MUSEデコーダを内蔵したテレビの説明書にデスクランブラの接続についての記載されたりしていた。
ハイビジョン放送実用化への課題
NHKでは現在のテレビ(System-J/NTSC-J)の「次のテレビ」として1964年より立体テレビジョン及び高品位テレビジョン(ハイビジョンのことである)についての研究を始め、1972年にはCCIR(現在のITU-R)に規格提案を行うまでとなった。しかし、ハイビジョン放送を実用化するためには大きな壁が立ちふさがっていた。それは利用できる帯域幅である。当時利用可能な最大の帯域幅は12GHz BSの27MHzであり、BSではFM変調が用いられていることから駒井・カーソン則に従って計算すると伝送可能なベースバンド信号(原信号)の幅はわずか9MHz以下となってしまう。従ってRGB各色ごとに30MHzもあるスタジオ規格、視覚的な差異がないとされる放送規格の各色それぞれ20MHz幅のハイビジョン映像をそのまま放送するのは不可能である。この問題を解決するために放送用伝送手段が考えられ、その結果MUSE方式が開発された。
MUSEの特徴
MUSEの特徴は入力された映像をさいころの五の目(千鳥格子)状のサンプリングパターンとなるサブサンプリングを動きベクトルを利用して行うことと、色信号の多重化に色線順次TCIを用いてYC時分割多重を行ったことである。人間の目は縦横方向に比べ斜め方向の解像度は低く、動体視力は静止視力にくらべてやはり低い性質を活用し静止画・動画を振り分けた圧縮を行っているが、パン・チルトを行っている場合は動画として圧縮処理を行うと目の特性から動いてても画質の低下が目に付いてしまうのでフィールド間・フレーム間で合成ができるように動きベクトルを用いた動き補正を行って静止画的に処理できるようにしている。
開発初期のMUSE
MUSEの原型となるシステムは1983年の技研公開で展示されたもので、伝送サンプル周波数が19MHzと27MHzのRF帯域にぎりぎり合致する代物であり、音声も水平同期(33.75kHz)にロックした14-11bit準瞬時圧伸2チャンネルであった。初期のMUSEともいえるものとなると映像はサンプリング周波数64.8MHzでデジタル化され、画素は単純に2回の1/2にサブサンプリングによって1/4となる。TCI多重化の際の輝度信号の時間軸圧縮もなかった。音声はQPSK変調のRFを時分割多重もしくは標準テレビジョン放送で用いられた音声フレームを4値ベースバンド多重する。
MUSE-T
放送用に作られたMUSE(以下区別のためにMUSE-Eと記す)であるが、MUSE-Tは4:2:2 TCIを利用することが不可能な狭帯域での素材伝送などの用を足すために作られた。RGBの各色を初期のMUSE-E同様にサンプリング周波数64.8MHｚでデジタル化し、MUSE-E同様にカラーマトリクスの変換を行う。そして入力映像が静止画の場合、1回のみ単純なフィールドオフセットサブサンプリングを行う。動画の場合も帯域制限が加わるだけで静止画の場合と同一である。音声に関してもMUSE-Eと変わらず圧縮・時間軸したことによってシンボルレート12.15Mbaudとなった音声を垂直帰線区間に多重する。
ATV向けのMUSE
日本におけるハイビジョンの開発・放送に影響を受けてアメリカでもHDTVの放送を望む声が高まってきた。これに対しATSCは既存の受信機と互換性のあるHDTV方式であるATVを募集し、FCCはそれに応える形で既存の受信機と互換性のある方式ないしは占有帯域が6MHz幅とサイマル放送しやすい方式でなければならないと定めた。FCCの諮問機関であるACATSが行ったATVコンペディションに応募すべく、走査線数1125本のHDTVスタジオ規格を普及させるべくNHK技研はADTV(Advanced Definition Television)であるNarrow MUSEおよびMUSE-6, MUSE-9を開発した。この開発された3方式のうち最後まで残れたのはNarrow MUSEであった。
MUSE-6, MUSE-9
NTSC Compartible MUSE-6は既に広範に普及している標準テレビジョン放送受像機で受信・受像できる一方で、対応のテレビで受信した場合は約2倍の静止画解像度をもたらす、という方式である。画面アスペクト比の4:3から16:9への変更には、中心部と画面端の画質差を防ぐためにサイドピクチャー方式ではなくワイドクリアビジョンのようにレターボックス方式を採用した。圧縮元の映像が順次走査525本(有効走査線本数480本)、放送時飛び越し走査360本のワイドクリアビジョンと違い、MUSE-6は飛び越し走査750本(同690本)の映像を圧縮、飛び越し走査345本で放送している。走査線数を半分にした結果失われるはずだった情報は、レターボックス方式を採用することによって生まれた黒帯に圧縮して格納される。この分離法として加減算法とSSKF(Symmetric Short Kernel Filter)を用いられた方式とが検討された。入力された映像が静止画の場合は7.7MHzまでの情報を周波数領域で4分割し、3.9～7.7MHzの分を1.9～4.2MHzに周波数をずらして2フレームオフセット変調多重で多重化・格納される。一方で音声は2チャンネルまでのみMUSE-EのAモード同様にDANCE方式で圧縮・3値化されるが、1フレームあたり1170ビットであり、多重化区間は垂直帰線区間ではなく水平帰線区間に格納される。MUSE-9はMUSE-6の拡張であり、MUSE-6では格納しきれなかった動画の高い周波数成分の情報や、AモードとBモードとの差分高音質化信号、Aモードのサラウンド化のための追加2チャンネル音声が追加チャンネルによって送信される。この追加チャンネルは主チャンネルであるMUSE-6が使っている帯域と地続きであっても、離れて別の送信機を使っていても構わない。