素材伝送用コーデックは、原理的に生じる符号化遅延によるさまざまな運用制約を受けており、低遅延化が望まれていました。NECでは最新の動画符号化規格H.264/MPEG-4 AVCを利用し、放送画質を保ったうえで最小10msのコーデック遅延を実現した装置を開発したので紹介します。

1. はじめに

2011年7月24日、日本では地上波放送のデジタル移行という大きな節目を迎えました。デジタル放送における最大の特長はデジタル化とハイビジョン化であり、これは放送送出用のみならず素材伝送用などあらゆる場で急速に拡大しています。その背景において、アナログ時代からは比較にならないほど膨大となった情報量を効率良く伝送するコーデックは、必要不可欠なコンポーネントになっています。

NECは、これまで圧縮技術の黎明期からMPEG-2符号化方式コーデックを、近年ではMPEG-2以上の圧縮効率を持つとされるH.264/MPEG-4 AVC符号化方式コーデックを開発し市場展開を行ってきました。

コーデックは1.5Gbps帯域のHDTV（High Definition Television）信号を、主観映像品位を損なわず約25～250分の1にデータ圧縮する最先端技術である一方で、その処理による原理上不可避な遅延が発生します。特に素材伝送用コーデックでは、用途の性質上さまざまな運用制約を受けており低遅延化が望まれてきました。

本稿では低遅延化への取り組みと、それら技術を搭載し最小10ms遅延を実現したコーデック装置の概要を紹介します。

2. 低遅延コーデックへの取り組み

素材伝送用コーデックでは画質の高品位化はもとより低遅延化が強く望まれていました。素材伝送においては、生放送での掛け合いや、ゴルフなどのスポーツ中継でワイヤレスカメラと有線カメラが混在する中継での映像切り替えなど、コーデックによる遅延を許容できない運用ケースが多数存在します。また、リアルタイムでの応答性を必要とされる情報カメラの遠隔操作でもコーデックの遅延により伝送される映像の応答性が悪く、運用者からは非圧縮伝送のような使用感が求められています（ 図1 ）。このような運用現場からの低遅延化要求に対して、本開発では符号化のハードウェア構成をはじめ符号化方式や搭載アルゴリズムについて一から見直しを行いました。

従来の符号化ハードウェア構成は、映像フレームを処理単位とした蓄積型順次処理となっており、n×映像フレーム（nは正の整数）の固定遅延が発生していました。本開発では符号化LSIを開発し、処理単位を符号化最小単位レベルにすることで、いわゆる映像フレーム内追っかけ処理を可能にしました。これにより、ハードウェア構成に起因した遅延を数msレベルに短縮しました。

コーデックでは上記の他、符号化規格に依存した遅延が発生します。この遅延は映像の高品質化とトレードオフの関係にあるといわれています。なぜなら、同規格内の高画質化キーファクターである動き予測や符号化構造、符号量配分最適化などに対して、精度及び組合せによる処理量増加はもとより選択モードによっては映像フレーム並べ替えを要するなど、それぞれが遅延増の要因となるためです。更に符号化データは、動画符号化規格で定められる平滑化バッファを経て伝送されるため、このバッファ通過時間もコーデック遅延として加算されます。平滑化バッファは発生符号量の時間変動を吸収するためのもので、バッファ通過時間は変動幅に比例します。本開発においては、符号化方式は最新の動画符号化方式であるH.264/MPEG-4 AVCを採用し、素材伝送用途として一般的に要求される4:2:2フォーマット対応（High4:2:2プロファイル）は当然のこと、ビットレートに関しても高ビットレート（50Mbps以上レベル）に対応しました。符号化構造については、平滑化バッファ遅延抑制の観点から発生符号量を符号化ライン単位で均一化できるイントラカラムリフレッシュ方式を採用しました（ 図2 ）。これらは現時点での国際標準符号化規格に則った最良の選択であり、独自符号化方式の採用は仮に低遅延効果が得られたとしても互換性の面で運用デメリットが大きいと判断し、選択肢から外しました。

高画質化、特に本開発で必須条件である低遅延性能との両立が困難なことは前述のとおりです。なかでも急峻なシーンの切り替わり、いわゆるシーンチェンジ前後の画質維持は最大の課題です。シーンチェンジは、その前後の映像フレームに相関がなく、画質品位を保つために局所的に多くの符号量を配分する必要があります。しかし、単純に符号量配分を多くするとシーンチェンジ以降での符号量不足、つまり画質劣化が継続する状態になります。また、発生符号量の時間的変動幅が大きくなるため、前述の平滑化バッファとの関係から、低遅延化ができなくなります。これを回避するには、最小遅延で高精度にシーンチェンジを予測して、適正な符号量制御をする必要があります。これに対し、本開発ではNEC独自確率モデルにもとづく高精度複雑度推定機能を搭載しました。これにより、符号化前の入力映像数ライン程度の情報からシーンチェンジを正確に検出し、符号量制御を符号化最小単位レベルでフィードバックをかけて最適化することで、画質劣化の抑制に成功しました。このアルゴリズムに加え、総合的な主観画質品位を上げるために、色、テクスチャ、動きなどの局所画像特徴に応じて視覚感度の空間分布を推定し、高感度領域を優先的に高画質化する独自アルゴリズムも搭載しています（ 図3 ）。

これらの取り組みにより、素材伝送の現場において、従来コーデック使用時に必然的に発生していた遅延というストレスを感じさせることなく、かつ伝送路帯域の効率化というメリットを生かした運用が実現できるものと考えています。

3. 超低遅延コーデック装置の概要

現在のNECの製品ラインアップは以下のとおりです。

3.1 VC-7500/VD-7500ボードコーデック

VC-7500（ 写真1 ）/VD-7500（ 写真2 ）はH.264/MPEG-4 AVC対応ボードエンコーダ、及びH.264/MPEG-4 AVCとMPEG-2兼用ボードデコーダです。180mm×120mmサイズの基板でHDTV及び、SDTV（Standard Definition Television）用コーデックに必要な基本的機能をすべて実現します。15W程度の低消費電力で動作します。

本ボードコーデックはデジタルFPU（Field Pickup Unit）などに内蔵して使用されることを意図した製品です。MPEG-2従来製品であるVC-5510/VD-5510と形状及びインタフェースに互換を持たせ、VC-5510/VD-5510を内蔵しているNEC製FPU装置は内蔵ボードを差し替えることによりH.264/MPEG-4 AVC対応にアップグレード可能です。

本ボードコーデックは独自の低遅延機能を採用しています。超低遅延モードでは10ms～120ms、通常遅延モードでは300ms～700msのコーデック遅延を実現します（伝送路の遅延は含みません）。映像レートは最大120Mbpsであり、一般の素材伝送として要求される高画質（高ビットレート）伝送から低ビットレートまで対応可能です。また、素材伝送という観点から4:2:2フォーマットにも対応しています。音声符号化方式は、MPEG2-AAC、MPEG-1 LayerⅡ、非圧縮LPCM（SMPTE 302M-2002）を選択可能です。機器ID監視情報・タイムコード・放送局間制御情報・字幕データなどの補助データ伝送についても対応可能です。

3.2 VC-7700/VD-7700 1Uハーフラックコーデック

VC-7700（ 写真3 ）/VD-7700（ 写真4 ）は1UハーフラックサイズのH.264/MPEG-4 AVC対応エンコーダ装置、及びH.264/MPEG-4 AVC、MPEG-2兼用デコーダ装置です。デジタルSNG、中継車車載用、中継基地局などの用途からフレッツ網やインターネット網などを利用するIP網伝送用途まで幅広く使用できる装置です。コーデック機能は前述のVC-7500/VD-7500ボードコーデックと同一ですが、MPEG-2従来製品の1UハーフラックコーデックVC-5700/VD-5700とサイズ及び外部制御インタフェースなどの互換性を有しており、本装置の置き換えに必要なシステム構築コストに配慮しています。IPインタフェースでは、強力なFECによる誤り訂正機能を採用しており、低い回線品質でも安定した伝送を実現しています。

4. おわりに

本稿では、H.264/MPEG-4 AVC超低遅延コーデック装置について紹介しました。これらの装置は従来果たせなかった高画質化と最小10msの超低遅延化を両立したことで、よりいっそう、さまざまな分野において帯域の有効活用や高品位なサービス提供の実現の一翼を担えるものと自負しています。しかしながら技術が日々進歩することで機能性能の向上の余地が出てくること、あるいは用途ごとに要求仕様が異なることなどから、NECでは引き続き市場の要求に応える新製品開発及び既存製品の機能性能向上に取り組んでいきます。

最後に、本稿で紹介したコーデック装置の開発に当たりご協力いただいた関係各位に感謝いたします。

執筆者プロフィール