Internet Engineering Task Force (IETF) S. Zhao Request for Comments: 9584 Intel Category: Standards Track S. Wenger ISSN: 2070-1721 Tencent Y. Lim Samsung Electronics June 2024
This document describes an RTP payload format for the Essential Video Coding (EVC) standard, published as ISO/IEC International Standard 23094-1. EVC was developed by the MPEG. The RTP payload format allows for the packetization of one or more Network Abstraction Layer (NAL) units in each RTP packet payload and the fragmentation of a NAL unit into multiple RTP packets. The payload format has broad applicability in videoconferencing, Internet video streaming, and high-bitrate entertainment-quality video, among other applications.
このドキュメントでは、ISO/IEC International Standard 23094-1として公開されているEssential Video Coding(EVC)標準のRTPペイロード形式について説明します。EVCはMPEGによって開発されました。RTPペイロード形式は、各RTPパケットペイロードに1つ以上のネットワーク抽象化レイヤー(NAL)ユニットのパケット化と、NALユニットの複数のRTPパケットへの断片化を可能にします。ペイロード形式は、ビデオ会議、インターネットビデオストリーミング、および高ビットレートのエンターテイメント品質のビデオなど、他のアプリケーションに幅広い適用性を備えています。
This is an Internet Standards Track document.
これは、インターネット標準トラックドキュメントです。
This document is a product of the Internet Engineering Task Force (IETF). It represents the consensus of the IETF community. It has received public review and has been approved for publication by the Internet Engineering Steering Group (IESG). Further information on Internet Standards is available in Section 2 of RFC 7841.
このドキュメントは、インターネットエンジニアリングタスクフォース(IETF)の製品です。IETFコミュニティのコンセンサスを表しています。公開レビューを受けており、インターネットエンジニアリングステアリンググループ(IESG)からの出版が承認されています。インターネット標準の詳細については、RFC 7841のセクション2で入手できます。
Information about the current status of this document, any errata, and how to provide feedback on it may be obtained at https://www.rfc-editor.org/info/rfc9584.
このドキュメントの現在のステータス、任意のERRATA、およびそのフィードバックを提供する方法に関する情報は、https://www.rfc-editor.org/info/rfc9584で取得できます。
Copyright (c) 2024 IETF Trust and the persons identified as the document authors. All rights reserved.
著作権(c)2024 IETF Trustおよび文書著者として特定された人。無断転載を禁じます。
This document is subject to BCP 78 and the IETF Trust's Legal Provisions Relating to IETF Documents (https://trustee.ietf.org/license-info) in effect on the date of publication of this document. Please review these documents carefully, as they describe your rights and restrictions with respect to this document. Code Components extracted from this document must include Revised BSD License text as described in Section 4.e of the Trust Legal Provisions and are provided without warranty as described in the Revised BSD License.
このドキュメントは、BCP 78およびIETFドキュメント(https://trustee.ietf.org/license-info)に関連するIETF Trustの法的規定の対象となります。この文書に関するあなたの権利と制限を説明するので、これらの文書を注意深く確認してください。このドキュメントから抽出されたコードコンポーネントには、セクション4.Eで説明されている法的規定のセクション4.Eで説明されており、改訂されたBSDライセンスで説明されている保証なしで提供されるように、改訂されたBSDライセンステキストを含める必要があります。
1. Introduction 1.1. Overview of the EVC Codec 1.1.1. Coding-Tool Features (Informative) 1.1.2. Systems and Transport Interfaces 1.1.3. Parallel Processing Support (Informative) 1.1.4. NAL Unit Header 1.2. Overview of the Payload Format 2. Conventions 3. Definitions and Abbreviations 3.1. Definitions 3.1.1. Definitions from the EVC Standard 3.1.2. Definitions Specific to This Document 3.2. Abbreviations 4. RTP Payload Format 4.1. RTP Header Usage 4.2. Payload Header Usage 4.3. Payload Structures 4.3.1. Single NAL Unit Packets 4.3.2. Aggregation Packets (APs) 4.3.3. Fragmentation Units (FUs) 4.4. Decoding Order Number 5. Packetization Rules 6. De-packetization Process 7. Payload Format Parameters 7.1. Media Type Registration 7.2. Optional Parameters Definition 7.3. SDP Parameters 7.3.1. Mapping of Payload Type Parameters to SDP 7.3.2. Usage with SDP Offer/Answer Model 7.3.3. Multicast 7.3.4. Usage in Declarative Session Descriptions 7.3.5. Considerations for Parameter Sets 8. Use with Feedback Messages 8.1. Picture Loss Indication (PLI) 8.2. Full Intra Request (FIR) 9. Security Considerations 10. Congestion Control 11. IANA Considerations 12. References 12.1. Normative References 12.2. Informative References Acknowledgements Authors' Addresses
The Essential Video Coding [EVC] standard, which is formally designated as ISO/IEC International Standard 23094-1 [EVC], was published in 2020. One of MPEG's goals is to keep EVC's Baseline profile essentially royalty-free by using technologies published more than 20 years ago or otherwise known to be available for use without a requirement for paying royalties, whereas more advanced profiles follow a reasonable and non-discriminatory licensing terms policy. Both the Baseline profile and higher profiles of EVC [EVC] are reported to provide coding efficiency gains over High Efficiency Video Coding [HEVC] and Advanced Video Coding [AVC] under certain configurations.
ISO/IEC International Standard 23094-1 [EVC]として正式に指定されているEssential Video Coding [EVC]標準は2020年に公開されました。MPEGの目標の1つは、EVCのベースラインプロファイルを本質的にロイヤリティフリーに保つことで公開されています。20年前、またはロイヤリティを支払うための要件なしに使用できることが知られていることが知られていますが、より高度なプロファイルは、合理的で非差別的なライセンス条件のポリシーに従います。EVC [EVC]のベースラインプロファイルとより高いプロファイルの両方が、高効率のビデオコーディング[HEVC]および高度なビデオコーディング[AVC]よりもコーディング効率の向上を提供すると報告されています。
This document describes an RTP payload format for EVC. It shares its basic design with the NAL unit-based RTP payload formats of H.264 Video Coding [RFC6184], Scalable Video Coding (SVC) [RFC6190], High Efficiency Video Coding (HEVC) [RFC7798], and Versatile Video Coding (VVC) [RFC9328]. With respect to design philosophy, security, congestion control, and overall implementation complexity, it has similar properties to those earlier payload format specifications. This is a conscious choice, as at least the RTP Payload Format for H.264 video as described in [RFC6184] is widely deployed and generally known in the relevant implementer communities. Certain mechanisms described in [RFC6190] were incorporated, as EVC supports temporal scalability. EVC currently does not offer higher forms of scalability.
このドキュメントでは、EVCのRTPペイロード形式について説明しています。H.264ビデオコーディング[RFC6184]、スケーラブルビデオコーディング(SVC)[RFC6190]、高効率ビデオコーディング(HEVC)[RFC7798]、および汎用性の高いビデオコーディング(および汎用性の高いビデオコーディング)のNALユニットベースのRTPペイロードフォーマットと基本設計を共有しています。VVC)[RFC9328]。設計哲学、セキュリティ、混雑制御、および全体的な実装の複雑さに関して、以前のペイロード形式の仕様と同様の特性を備えています。[RFC6184]に記載されているH.264ビデオのRTPペイロード形式は、関連する実装者コミュニティで広く展開され、一般的に知られているため、これは意識的な選択です。[RFC6190]に記載されている特定のメカニズムは、EVCが時間的スケーラビリティをサポートするため、組み込まれました。EVCは現在、より高い形式のスケーラビリティを提供していません。
The codings described in [EVC], [AVC], [HEVC], and [VVC] share a similar hybrid video codec design. In this document, we provide a very brief overview of those features of EVC that are, in some form, addressed by the payload format specified herein. Implementers have to read, understand, and apply the ISO/IEC standard pertaining to EVC [EVC] to arrive at interoperable, well-performing implementations. The EVC standard has a Baseline profile and a Main profile, the latter being a superset of the Baseline profile but including more advanced features. EVC also includes still image variants of both Baseline and Main profiles, in each of which the bitstream is restricted to a single IDR picture. EVC facilitates certain walled garden implementations under commercial constraints imposed by intellectual property rights by including syntax elements that allow encoders to mark a bitstream as to what of the many independent coding tools are exercised in the bitstream, in a spirit similar to the general_constraint_info of [VVC].
[EVC]、[AVC]、[HEVC]、および[VVC]で説明されているコードは、同様のハイブリッドビデオコーデックデザインを共有しています。このドキュメントでは、本明細書に指定されているペイロード形式で扱われる、何らかの形で、EVCのこれらの機能の非常に簡単な概要を説明します。実装者は、EVC [EVC]に関連するISO/IEC標準を読み、理解し、適用して、相互運用可能でパフォーマンスの高い実装に到達する必要があります。EVC標準にはベースラインプロファイルとメインプロファイルがあり、後者はベースラインプロファイルのスーパーセットですが、より高度な機能を含みます。EVCには、ベースラインプロファイルとメインプロファイルの両方の静止画像バリエーションも含まれており、それぞれにビットストリームが単一のIDR画像に制限されています。EVCは、エンコーダが[VVCSTREAMで何をしているかについて、多くの独立したコーディングツールが何を行使しているかについて、エンコーダがビットストリームをマークすることを可能にする構文要素を含めることにより、知的財産権によって課される商業的制約の下で特定の壁に囲まれた庭の実装を促進します。]。
Conceptually, all EVC, AVC, HEVC, and VVC include a Video Coding Layer (VCL), a term that is often used to refer to the coding-tool features, and a Network Abstraction Layer (NAL), which usually refers to the systems and transport interface aspects of the codecs.
概念的には、すべてのEVC、AVC、HEVC、およびVVCには、ビデオコーディングレイヤー(VCL)、コードツール機能を参照するためによく使用される用語、および通常はシステムを参照するネットワーク抽象化レイヤー(NAL)が含まれます。コーデックのインターフェイスの側面を輸送します。
Coding blocks and transform structure
コーディングブロックと構造を変換します
EVC uses a traditional block-based coding structure, which divides the encoded image into blocks of up to 64x64 luma samples for the Baseline profile and 128x128 luma samples for the Main profile that can be recursively divided into smaller blocks. The Baseline profiles utilize HEVC-like quad-tree-blocks partitioning that allows a block to be divided horizontally and vertically into four smaller square blocks. The Main profile adds two advanced coding structure tools: 1) Binary Ternary Tree (BTT) partitioning that allows non-square coding units and 2) Split Unit Coding Order segmentation that changes the processing order of the blocks from traditional left-to-right and top-to-bottom scanning order processing to an alternative right-to-left and bottom-to-top scanning order. In the Main profile, the picture can be divided into slices and tiles, which can be independently encoded and/or decoded in parallel.
EVCは、従来のブロックベースのコーディング構造を使用します。これは、エンコードされた画像をベースラインプロファイルの最大64x64 LUMAサンプルのブロックと、より小さなブロックに再帰的に分割できるメインプロファイルの128x128 LUMAサンプルに分割します。ベースラインプロファイルは、ブロックを水平および垂直に4つの小さな平方ブロックに分割できるようにするHEVCのようなクアッドツリーブロックパーティションを利用しています。メインプロファイルには、2つの高度なコーディング構造ツールが追加されます。1)非二乗コーディングユニットを許可するバイナリの三元ツリー(BTT)パーティション、2)ブロックの処理順序を従来の左から右へと変更する分割ユニットコーディング順序セグメンテーション代替の左から下から下へのスキャン順序へのトップからボトムのスキャン注文処理。メインプロファイルでは、画像をスライスとタイルに分割できます。スライスとタイルは、独立してエンコードおよび/または並列にデコードできます。
EVC also uses a traditional video codecs prediction model assuming two general types of predictions: Intra (spatial) and Inter (temporal) predictions. A residue block is calculated by subtracting predicted data from the original (encoded) one. The Baseline profile allows only discrete cosine transform (DCT-2) and scalar quantization to transform and quantize residue data, wherein the Main profile additionally has options to use discrete sine transform (DST-7) and another type of discrete cosine transform (DCT-8). In addition, for the Main profile, Improved Quantization and Transform (IQT) uses a different mapping or clipping function for quantization. An inverse zig-zag scanning order is used for coefficient coding. Advanced Coefficient Coding (ADCC) in the Main profile can code coefficient values more efficiently, for example, indicated by the last non-zero coefficient. The Baseline profile uses a straightforward RLE-based approach to encode the quantized coefficients.
EVCは、2つの一般的なタイプの予測を仮定して、従来のビデオコーデック予測モデルも使用します:Intra(空間)および(時間間)予測。残基ブロックは、元の(エンコードされた)ものから予測されたデータを減算することによって計算されます。ベースラインプロファイルは、離散コサイン変換(DCT-2)とスカラー量子化のみを可能にし、残基データを変換および量子化します。メインプロファイルには、ディスクリートSINE変換(DST-7)と別のタイプの離散コサイン変換を使用するオプションがさらにあります(DCT-8)。さらに、メインプロファイルの場合、改善された量子化と変換(IQT)は、量子化のために異なるマッピングまたはクリッピング関数を使用します。逆Zig-Zagスキャン順序は、係数コーディングに使用されます。メインプロファイルの高度な係数コーディング(ADCC)は、たとえば、最後の非ゼロ係数で示されるなど、より効率的に係数値をより効率的にコードできます。ベースラインプロファイルは、簡単なRLEベースのアプローチを使用して、量子化係数をエンコードします。
Entropy coding
エントロピーコーディング
EVC uses a similar binary arithmetic coding mechanism as HEVC CABAC (context adaptive binary arithmetic coding) and VVC. The mechanism includes a binarization step and a probability update defined by a lookup table. In the Main profile, the derivation process of syntax elements based on adjacent blocks makes the context modeling and initialization process more efficient.
EVCは、HEVC CABAC(コンテキスト適応バイナリ算術コーディング)およびVVCと同様のバイナリ算術コーディングメカニズムを使用します。メカニズムには、ルックアップテーブルで定義されたバイナリゼーションステップと確率更新が含まれます。メインプロファイルでは、隣接するブロックに基づく構文要素の派生プロセスにより、コンテキストモデリングと初期化プロセスがより効率的になります。
In-loop filtering
ループフィルタリング
The Baseline profile of EVC uses the deblocking filter defined in H.263 Annex J [VIDEO-CODING]. In the Main profile, an Advanced Deblocking Filter (ADDB) can be used as an alternative, which can further reduce undesirable compression artifacts. The Main profile also defines two additional in-loop filters that can be used to improve the quality of decoded pictures before output and/ or for Inter prediction. A Hadamard Transform Domain Filter (HTDF) is applied to the luma samples before deblocking, and a lookup table is used to determine four adjacent samples for filtering. An adaptive Loop Filter (ALF) allows signals of up to 25 different filters to be sent for the luma components; the best filter can be selected through the classification process for each 4x4 block. Similarly to VVC, the filter parameters of ALF are signaled in the Adaptation Parameter Set (APS).
EVCのベースラインプロファイルは、H.263 Annex J [ビデオコーディング]で定義されたデブロッキングフィルターを使用します。メインプロファイルでは、高度なデブロックフィルター(ADDB)を代替として使用できます。これにより、望ましくない圧縮アーティファクトがさらに減少します。メインプロファイルは、出力前および/またはインター予測のために、デコードされた画像の品質を改善するために使用できる2つの追加のループ内フィルターを定義します。Deblocking前にHadamard変換ドメインフィルター(HTDF)がLUMAサンプルに適用され、ルックアップテーブルを使用して、フィルタリング用の4つの隣接するサンプルを決定します。適応ループフィルター(ALF)により、最大25の異なるフィルターの信号をLUMAコンポーネントに送信できます。最適なフィルターは、4x4ブロックごとに分類プロセスを通じて選択できます。VVCと同様に、ALFのフィルターパラメーターは、適応パラメーターセット(APS)でシグナル付けされます。
Inter prediction
インター予測
The basis of EVC's Inter prediction is motion compensation using interpolation filters with a quarter sample resolution. In the Baseline profile, a motion vector is transmitted using one of three spatially neighboring motion vectors and a temporally collocated motion vector as a predictor. A motion vector difference may be signaled relative to the selected predictor, but there is a case where no motion vector difference is signaled, and there is no remaining data in the block. This mode is called a "skip" mode. The Main profile includes six additional tools to provide improved Inter prediction. With Advanced Motion Vectors Prediction (ADMVP), adjacent blocks can be conceptually merged to indicate that they use the same motion, but more advanced schemes can also be used to create predictions from the basic model list of candidate predictors. The Merge with Motion Vector Difference (MMVD) tool uses a process similar to the concept of merging neighboring blocks but also allows the use of expressions that include a starting point, motion amplitude, and direction of motion to send a motion vector signal. Using Advanced Motion Vector Prediction (AMVP), candidate motion vector predictions for the block can be derived from its neighboring blocks in the same picture and collocated blocks in the reference picture. The Adaptive Motion Vector Resolution (AMVR) tool provides a way to reduce the accuracy of a motion vector from a quarter sample to half sample, full sample, double sample, or quad sample, which provides an efficiency advantage, such as when sending large motion vector differences. The Main profile also includes the Decoder-side Motion Vector Refinement (DMVR), which uses a bilateral template matching process to refine the motion vectors without additional signaling.
EVCのインター予測の基礎は、四半期のサンプル解像度を持つ補間フィルターを使用した運動補償です。ベースラインプロファイルでは、3つの空間的に隣接する運動ベクトルのいずれかを使用して、および予測子として一時的にコロケートされたモーションベクトルを使用して、モーションベクトルが送信されます。選択された予測子に対して動きベクターの違いを信号することができますが、動きベクターの違いがシグナルがなく、ブロック内に残りのデータがない場合があります。このモードは「スキップ」モードと呼ばれます。メインプロファイルには、改善されたインター予測を提供する6つの追加ツールが含まれています。Advanced Motion Vectors予測(ADMVP)を使用すると、隣接するブロックを概念的にマージして同じモーションを使用することを示すことができますが、より高度なスキームを使用して、候補予測子の基本モデルリストから予測を作成することもできます。モーションベクトル差(MMVD)ツールとのマージは、隣接するブロックをマージするという概念と同様のプロセスを使用しますが、出発点、モーション振幅、および動き方向を含む式を使用してモーションベクトル信号を送信することもできます。高度な動きベクター予測(AMVP)を使用して、ブロックの候補モーションベクトル予測は、同じ画像の隣接ブロックから導き出され、参照画像のブロックをコロケートします。適応運動ベクトル解像度(AMVR)ツールは、4分の1のサンプルから半分のサンプル、完全なサンプル、ダブルサンプル、またはクワッドサンプルにモーションベクトルの精度を低下させる方法を提供します。ベクトルの違い。メインプロファイルには、デコーダーサイドモーションベクトル精製(DMVR)も含まれています。これは、両側テンプレートマッチングプロセスを使用して、追加のシグナルなしでモーションベクトルを改良します。
Intra prediction and intra coding
イントラ予測とコーディング内
Intra prediction in EVC is performed on adjacent samples of coding units in a partitioned structure. For the Baseline profile, when all coding units are square, there are five different prediction modes: DC (mean value of the neighborhood), horizontal, vertical, and two different diagonal directions. In the Main profile, intra prediction can be applied to any rectangular coding unit, and 28 additional direction modes are available in the Enhanced Intra Prediction Directions (EIPDs). In the Main profile, an encoder can also use Intra Block Copy (IBC), where previously decoded sample blocks of the same picture are used as a predictor. A displacement vector in integer sample precision is signaled to indicate where the prediction block in the current picture is used for this mode.
EVCのイントラ予測は、パーティション構造内のコーディングユニットの隣接するサンプルで実行されます。ベースラインプロファイルの場合、すべてのコーディングユニットが正方形の場合、5つの異なる予測モードがあります:DC(近隣の平均値)、水平、垂直、および2つの異なる対角線方向。メインプロファイルでは、任意の長方形コーディングユニットにイントラ予測を適用でき、28の追加の方向モードが拡張された予測方向(EIPD)で利用可能です。メインプロファイルでは、エンコーダーは、以前にデコードされた同じ画像のサンプルブロックが予測子として使用されるブロック内コピー(IBC)を使用することもできます。整数サンプル精度の変位ベクトルは、現在の画像の予測ブロックがこのモードに使用される場所を示すためにシグナルです。
Reference frames management
参照フレーム管理
In EVC, decoded pictures can be stored in a decoded picture buffer (DPB) for predicting pictures that follow them in the decoding order. In the Baseline profile, the management of the DPB (i.e., the process of adding and deleting reference pictures) is controlled by a straightforward AVC-like sliding window approach with very few parameters from the sequence parameter set (SPS). For the Main profile, DPB management can be handled much more flexibly using explicitly signaled Reference Picture Lists (RPLs) in the SPS or slice level.
EVCでは、デコードされた画像をデコードされた画像バッファー(DPB)に保存して、デコード順に続く画像を予測できます。ベースラインプロファイルでは、DPBの管理(つまり、参照写真を追加および削除するプロセス)は、シーケンスパラメーターセット(SPS)からのパラメーターがほとんどない、簡単なAVCのようなスライドウィンドウアプローチによって制御されます。メインプロファイルの場合、DPB管理は、SPSまたはスライスレベルで明示的に信号された参照画像リスト(RPL)を使用して、はるかに柔軟に処理できます。
EVC inherits the basic systems and transport interface designs from AVC and HEVC. These include the NAL-unit-based syntax, hierarchical syntax and data unit structure, and Supplemental Enhancement Information (SEI) message mechanism. The hierarchical syntax and data unit structure consists of a sequence-level parameter set (i.e., SPS), two picture-level parameter sets (i.e., PPS and APS, each of which can apply to one or more pictures), slice-level header parameters, and lower-level parameters.
EVCは、AVCおよびHEVCからの基本システムと輸送インターフェイス設計を継承します。これらには、NALユニットベースの構文、階層的構文とデータユニット構造、および補足強化情報(SEI)メッセージメカニズムが含まれます。階層的構文とデータユニット構造は、シーケンスレベルのパラメーターセット(つまり、SPS)、2つの画像レベルのパラメーターセット(つまり、PPSおよびAPS、それぞれが1つ以上の写真に適用できます)で構成されています。パラメーター、および低レベルのパラメーター。
A number of key components that influenced the NAL design of EVC as well as this document are described below:
EVCのNAL設計に影響を与えた多くの重要なコンポーネントとこのドキュメントを以下に説明します。
Sequence parameter set
シーケンスパラメーターセット
The Sequence Parameter Set (SPS) contains syntax elements pertaining to a Coded Video Sequence (CVS), which is a group of pictures, starting with a random access point picture and followed by zero or more pictures that may depend on each other and the random access point picture. In MPEG-2, the equivalent of a CVS is a Group of Pictures (GOP), which generally starts with an I frame and is followed by P and B frames. While more complex in its options of random access points, EVC retains this basic concept. In many TV-like applications, a CVS contains a few hundred milliseconds to a few seconds of video. In video conferencing (without switching Multipoint Control Units (MCUs) involved), a CVS can be as long in duration as the whole session.
シーケンスパラメーターセット(SPS)には、写真のグループであるコード化されたビデオシーケンス(CVS)に関連する構文要素が含まれています。アクセスポイント画像。MPEG-2では、CVSに相当するものは写真のグループ(GOP)であり、通常はIフレームから始まり、PおよびBフレームが続きます。ランダムアクセスポイントのオプションはより複雑ですが、EVCはこの基本概念を保持しています。多くのテレビのようなアプリケーションでは、CVSには数百ミリ秒から数秒のビデオが含まれています。ビデオ会議(関与するマルチポイント制御ユニット(MCU)を切り替えることなく)では、CVSはセッション全体と同じくらい長くなる可能性があります。
Picture and adaptation parameter set
画像と適応パラメーターセット
The Picture Parameter Set (PPS) and the Adaptation Parameter Set (APS) carry information pertaining to a single picture. The PPS contains information that is likely to stay constant from picture to picture, at least for pictures of a certain type; whereas the APS contains information, such as adaptive loop filter coefficients, that are likely to change from picture to picture.
画像パラメーターセット(PPS)と適応パラメーターセット(APS)には、単一の画像に関連する情報があります。PPSには、少なくとも特定のタイプの写真については、写真ごとに一定のままである可能性が高い情報が含まれています。一方、APSには、適応ループフィルター係数などの情報が含まれています。これらには、画像ごとに変更される可能性があります。
Profile, level, and toolsets
プロファイル、レベル、およびツールセット
Profiles and levels follow the same design considerations known from AVC, HEVC, and video codecs as old as MPEG-1 Video. The profile defines a set of tools (not to be confused with the "toolset" discussed below) that a decoder compliant with this profile has to support. In EVC, profiles are defined in Annex A of [EVC]. Formally, they are defined as a set of constraints that a bitstream needs to conform to. In EVC, the Baseline profile is much more severely constrained than the Main profile, reducing implementation complexity. Levels relate to bitstream complexity in dimensions such as maximum sample decoding rate, maximum picture size, and similar parameters directly related to computational complexity and/or memory demands.
プロファイルとレベルは、AVC、HEVC、およびビデオコーデックからMPEG-1ビデオと同じくらい古いものから知られている同じ設計上の考慮事項に従います。このプロファイルは、このプロファイルに準拠したデコーダーがサポートする必要がある一連のツール(以下で説明する「ツールセット」と混同しないでください)を定義します。EVCでは、プロファイルは[EVC]の付属書Aで定義されています。正式には、それらはビットストリームが適合する必要がある一連の制約として定義されます。EVCでは、ベースラインプロファイルはメインプロファイルよりもはるかに厳しく制約されているため、実装の複雑さが減少します。レベルは、最大サンプルデコード速度、最大画像サイズ、計算の複雑さやメモリの要求に直接関連する同様のパラメーターなどの寸法のビットストリームの複雑さに関連しています。
Profiles and levels are signaled in the highest parameter set available, the SPS.
プロファイルとレベルは、利用可能な最高のパラメーターセットであるSPSで知られています。
EVC contains another mechanism related to the use of coding tools, known as the toolset syntax elements. These syntax elements, toolset_idc_h and toolset_idc_l (located in the SPS), are bitmasks that allow encoders to indicate which coding tools they are using within the menu of profiles offered by the profile that is also signaled. No decoder conformance point is associated with the toolset, but a bitstream that was using a coding tool that is indicated as not being used in the toolset syntax element would be non-compliant. While MPEG specifically rules out the use of the toolset syntax element as a conformance point, walled garden implementations could do so without incurring the interoperability problems MPEG fears and create bitstreams and decoders that do not support one or more given tools. That, in turn, may be useful to mitigate certain intellectual property-related risks.
EVCには、ツールセット構文要素として知られるコーディングツールの使用に関連する別のメカニズムが含まれています。これらの構文要素であるToolset_idc_hおよびToolset_Idc_l(SPSにあります)は、エンコーダーが、通知されたプロファイルによって提供されるプロファイルのメニュー内で使用しているコーディングツールを示すことができるビットマスクです。デコーダーコンフォーマンスポイントはツールセットに関連付けられていませんが、ツールセットの構文要素で使用されていないと示されているコーディングツールを使用していたビットストリームは非準拠になります。MPEGは、ツールセット構文要素の使用を適合点として具体的に除外しますが、壁に囲まれた庭の実装は、相互運用性の問題を発生させずにそうすることができ、MPEGが恐れ、1つ以上のツールをサポートしないビットストリームとデコーダーを作成します。それは、特定の知的財産関連のリスクを軽減するのに役立つかもしれません。
Bitstream and elementary stream
ビットストリームと小川
Above the Coded Video Sequence (CVS), EVC defines a video bitstream that can be used as an elementary stream in the MPEG systems context. For this document, the video bitstream syntax level is not relevant.
コード化されたビデオシーケンス(CVS)の上で、EVCはMPEGシステムのコンテキストで基本ストリームとして使用できるビデオビットストリームを定義します。このドキュメントでは、ビデオビットストリーム構文レベルは関連していません。
Random access support
ランダムアクセスサポート
EVC supports random access mechanisms based on IDR and clean random access (CRA) access units.
EVCは、IDRおよびClean Random Access(CRA)アクセスユニットに基づいたランダムアクセスメカニズムをサポートします。
Temporal scalability support
時間的スケーラビリティサポート
EVC supports temporal scalability through the generalized reference picture selection approach known since AVC/SVC. Up to six temporal layers are supported. The temporal layer is signaled in the NAL unit header (which co-serves as the payload header in this document), in the nuh_temporal_id field.
EVCは、AVC/SVC以降に知られている一般化された参照画像選択アプローチを通じて、時間的スケーラビリティをサポートします。最大6つの時間層がサポートされています。時間層は、nALユニットヘッダー(このドキュメントのペイロードヘッダーとして共同軍用)、nuh_temporal_idフィールドで信号を送信します。
Reference picture management
参照画像管理
EVC's reference picture management is POC-based, similar to HEVC. In the Main profile, substantially all reference picture list manipulations available in HEVC are specified, including explicit transmissions or updates of reference picture lists. Although for reference pictures management purposes, EVC uses a modern VVC-like RPL approach, which is conceptually simpler than the HEVC one. In the Baseline profile, reference picture management is more restricted, allowing for a comparatively simple group of picture structures only.
EVCの参照画像管理は、HEVCと同様のPOCベースです。メインプロファイルでは、HEVCで利用可能なすべての参照画像リスト操作が指定されています。参照写真管理の目的では、EVCは最新のVVC様RPLアプローチを使用しています。これは、HEVCよりも概念的にシンプルです。ベースラインプロファイルでは、参照画像管理はより制限されており、比較的単純な画像構造のグループのみが可能になります。
SEI Message
SEIメッセージ
EVC inherits many of HEVC's SEI messages, occasionally with syntax and/or semantics changes, making them applicable to EVC. In addition, some of the codec-agnostic SEI messages of the VSEI specification [VSEI] are also mapped.
EVCは、HEVCのSEIメッセージの多くを継承し、時には構文やセマンティクスの変更を行い、EVCに適用できるようにします。さらに、VSEI仕様[VSEI]のコーデックに依存しないSEIメッセージの一部もマッピングされています。
EVC's Baseline profile includes no tools specifically addressing parallel-processing support. The Main profile includes independently decodable slices for parallel processing. The slices are defined as any rectangular region within a picture. They can be encoded to have coding dependencies with other slices from the previous picture but not with other slices in the same picture. No specific support for parallel processing is specified in this RTP payload format.
EVCのベースラインプロファイルには、並列処理サポートに特に対処するツールが含まれていません。メインプロファイルには、並列処理のための独立したデコード可能なスライスが含まれています。スライスは、写真内の任意の長方形領域として定義されます。それらは、前の画像の他のスライスとコーディング依存関係を持つようにエンコードできますが、同じ画像の他のスライスではありません。このRTPペイロード形式では、並列処理の特定のサポートは指定されていません。
EVC maintains the NAL unit concept of [VVC] with different parameter options. EVC also uses a two-byte NAL unit header, as shown in Figure 1. The payload of a NAL unit refers to the NAL unit excluding the NAL unit header.
EVCは、さまざまなパラメーターオプションを使用して[VVC]のNALユニットの概念を維持しています。EVCは、図1に示すように、2バイトNALユニットヘッダーも使用します。NALユニットのペイロードは、NALユニットヘッダーを除くNALユニットを指します。
0 1 2 3 4 5 6 7 0 1 2 3 4 5 6 7 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |F| Type | TID | Reserve |E| +-------------+-----------------+
Figure 1: The Structure of the EVC NAL Unit Header
図1:EVC NALユニットヘッダーの構造
The semantics of the fields in the NAL unit header are as specified in EVC and described briefly below for convenience. In addition to the name and size of each field, the corresponding syntax element name in EVC is also provided.
NALユニットヘッダーのフィールドのセマンティクスは、EVCで指定されているとおりであり、便利なために以下で簡単に説明します。各フィールドの名前とサイズに加えて、EVCの対応する構文要素名も提供されます。
F:
F:
1 bit
1ビット
forbidden_zero_bit:
forbidden_zero_bit:
Required to be zero in EVC. Note that the inclusion of this bit in the NAL unit header was included to enable transport of EVC video over MPEG-2 transport systems (avoidance of start code emulations) [MPEG2S]. In this document, the value 1 may be used to indicate a syntax violation, e.g., for a NAL unit resulting from aggregating a number of fragmented units of a NAL unit but missing the last fragment, as described in Section 4.3.3.
EVCではゼロである必要があります。NALユニットヘッダーにこのビットを含めることは、MPEG-2輸送システム(STARTコードエミュレーションの回避)[MPEG2S]を介したEVCビデオの輸送を可能にするために含まれていることに注意してください。このドキュメントでは、値1を使用して、セクション4.3.3で説明されているように、NALユニットの多数の断片化ユニットを集約したが最後のフラグメントを欠いていることに起因するNALユニットなどの構文違反を示すために使用できます。
Type:
タイプ:
6 bits
6ビット
nal_unit_type_plus1:
nal_unit_type_plus1:
This field allows the NAL Unit Type to be computed. The NAL Unit Type (NalUnitType) is equal to the value found in this field, minus 1; in other words:
このフィールドにより、NALユニットタイプを計算できます。NALユニットタイプ(Nalunittype)は、このフィールドで見つかった値と等しく、マイナス1です。言い換えると:
NalUnitType = nal_unit_type_plus1 - 1.
nalunittype = nal_unit_type_plus1-1。
The NAL unit type is detailed in Table 4 of [EVC]. If the value of NalUnitType is less than or equal to 23, the NAL unit is a VCL NAL unit. Otherwise, the NAL unit is a non-VCL NAL unit. For a reference of all currently defined NAL unit types and their semantics, please refer to Section 7.4.2.2 of [EVC]. Note that nal_unit_type_plus1 MUST NOT be zero.
NALユニットタイプは、[EVC]の表4に詳述されています。Nalunittypeの値が23以下の場合、NALユニットはVCL NALユニットです。それ以外の場合、NALユニットは非VCL NALユニットです。現在定義されているすべてのNALユニットタイプとそのセマンティクスの参照については、[EVC]のセクション7.4.2.2を参照してください。NAL_UNIT_TYPE_PLUS1はゼロではないことに注意してください。
TID:
TID:
3 bits
3ビット
nuh_temporal_id:
nuh_temporal_id:
This field specifies the temporal identifier of the NAL unit. The value of TemporalId is equal to TID. TemporalId shall be equal to 0 if it is an IDR NAL unit type (NAL unit type 1).
このフィールドは、NALユニットの時間的識別子を指定します。Tuperalidの値はTIDに等しくなります。TuperalIDは、IDR NALユニットタイプ(NALユニットタイプ1)の場合、0に等しくなります。
Reserve:
予約する:
5 bits
5ビット
nuh_reserved_zero_5bits:
nuh_reserved_zero_5bits:
This field shall be equal to the version of the EVC standard. Values of nuh_reserved_zero_5bits greater than 0 are reserved for future use by ISO/IEC. Decoders conforming to a profile specified in Annex A of [EVC] shall ignore (i.e., remove from the bitstream and discard) all NAL units with values of nuh_reserved_zero_5bits greater than 0.
このフィールドは、EVC標準のバージョンに等しくなければなりません。nuh_reserved_zero_5bitsの値は0を超えて、ISO/IECが将来使用するために予約されています。[EVC]の付録Aで指定されたプロファイルに準拠したデコーダーは、0を超えるnuh_reserved_zero_5bitsの値を持つすべてのnalユニットを無視します(つまり、ビットストリームから取り外して廃棄します)。
E:
E:
1 bit
1ビット
nuh_extension_flag:
nuh_extension_flag:
This field shall be equal to the version of the EVC standard. The value of nuh_extension_flag equal to 1 is reserved for future use by ISO/IEC. Decoders conforming to a profile specified in Annex A of [EVC] shall ignore (i.e., remove from the bitstream and discard) all NAL units with values of nuh_extension_flag equal to 1.
このフィールドは、EVC標準のバージョンに等しくなければなりません。NUH_EXTENSION_FLAGの値は、1に等しくなります。ISO/IECが将来使用するために予約されています。[EVC]の付録Aで指定されたプロファイルに準拠するデコーダーは、NUH_Extension_Flagの値を1に等しいすべてのNALユニットを無視します(つまり、ビットストリームから取り外して廃棄します)。
This payload format defines the following processes required for transport of EVC-coded data over RTP [RFC3550]:
このペイロード形式は、RTP [RFC3550]を介したEVCコードデータの輸送に必要な以下のプロセスを定義します。
* usage of RTP header with this payload format
* このペイロード形式でのRTPヘッダーの使用
* packetization of EVC-coded NAL units into RTP packets using three types of payload structures: a single NAL unit, aggregation, and fragment unit
* EVCコードされたNALユニットの3種類のペイロード構造を使用してRTPパケットにパケット化
* transmission of EVC NAL units of the same bitstream within a single RTP stream
* 単一のRTPストリーム内の同じビットストリームのEVC nalユニットの伝送
* usage of media type parameters to be used with the Session Description Protocol (SDP) [RFC8866]
* セッション説明プロトコル(SDP)[RFC8866]で使用するメディアタイプパラメーターの使用
* usage of RTCP feedback messages
* RTCPフィードバックメッセージの使用
The key words "MUST", "MUST NOT", "REQUIRED", "SHALL", "SHALL NOT", "SHOULD", "SHOULD NOT", "RECOMMENDED", "NOT RECOMMENDED", "MAY", and "OPTIONAL" in this document are to be interpreted as described in BCP 14 [RFC2119] [RFC8174] when, and only when, they appear in all capitals, as shown here.
「必須」、「必要」、「必須」、「shall」、「shall」、「suff」、 "not"、 "becommended"、 "becommented"、 "may"、 "optional「このドキュメントでは、BCP 14 [RFC2119] [RFC8174]で説明されているように解釈されます。
This document uses the terms and definitions of EVC. Section 3.1.1 lists relevant definitions from [EVC] for convenience. Section 3.1.2 provides definitions specific to this document.
このドキュメントでは、EVCの用語と定義を使用しています。セクション3.1.1は、利便性のために[EVC]の関連する定義を示します。セクション3.1.2に、このドキュメントに固有の定義を示します。
Access Unit (AU):
アクセスユニット(AU):
A set of NAL units that are associated with each other according to a specified classification rule, are consecutive in decoding order, and contain exactly one coded picture.
指定された分類ルールに従って互いに関連付けられているNALユニットのセットは、デコード順に連続しており、1つのコード化された画像が1つ含まれています。
Adaptation Parameter Set (APS):
適応パラメーターセット(APS):
A syntax structure containing syntax elements that apply to zero or more slices as determined by zero or more syntax elements found in slice headers.
スライスヘッダーに見られるゼロ以上の構文要素によって決定されるゼロ以上のスライスに適用される構文要素を含む構文構造。
Bitstream:
ビットストリーム:
A sequence of bits, in the form of a NAL unit stream or a byte stream, that forms the representation of coded pictures and associated data forming one or more CVSs.
NALユニットストリームまたはバイトストリームの形のビットのシーケンスは、1つ以上のCVSを形成するコード化された画像と関連するデータの表現を形成します。
Coded Picture:
コード化された写真:
A coded representation of a picture containing all CTUs of the picture.
写真のすべてのctusを含む画像のコード化された表現。
Coded Video Sequence (CVS):
コード化されたビデオシーケンス(CVS):
A sequence of access units that consists, in decoding order, of an IDR access unit, followed by zero or more access units that are not IDR access units, including all subsequent access units up to but not including any subsequent access unit that is an IDR access unit.
IDRアクセスユニットのデコード順序で構成されたアクセスユニットのシーケンス、その後、IDRアクセスユニットではないゼロ以上のアクセスユニットが続きます。アクセスユニット。
Coding Tree Block (CTB):
コーディングツリーブロック(CTB):
An NxN block of samples for some value of N such that the division of a component into CTBs is a partitioning.
コンポーネントをCTBSに分割することがパーティション化されるように、nの何らかの値のサンプルのNXNブロック。
Coding Tree Unit (CTU):
コーディングツリーユニット(CTU):
A CTB of luma samples, two corresponding CTBs of chroma samples of a picture that has three sample arrays, or a CTB of samples of a monochrome picture or a picture that is coded using three separate color planes and syntax structures used to code the samples.
LUMAサンプルのCTB、3つのサンプル配列を備えた写真の2つの対応するCTBのCTB、またはモノクロ画像のサンプルのCTBまたはサンプルのコーディングに使用される3つの別々の色平面と構文構造を使用してコーディングされた画像。
Decoded Picture:
デコードされた画像:
A decoded picture is derived by decoding a coded picture.
デコードされた画像は、コード化された画像をデコードすることで導き出されます。
Decoded Picture Buffer (DPB):
デコードされた画像バッファー(DPB):
A buffer holding decoded pictures for reference, output reordering, or output delay specified for the hypothetical reference decoder in Annex C of the [EVC] standard.
[EVC]標準の付属書Cの仮想参照デコーダーに指定された参照、出力の再注文、または出力遅延のために、デコードされた写真を保持するバッファーを保持します。
Dynamic Range Adjustment (DRA):
ダイナミックレンジ調整(DRA):
A mapping process that is applied to the decoded picture prior to cropping and output as part of the decoding process; it is controlled by parameters conveyed in an Adaptation Parameter Set (APS).
デコードプロセスの一部として、トリミングと出力の前にデコードされた画像に適用されるマッピングプロセス。適応パラメーターセット(APS)で伝えられたパラメーターによって制御されます。
Hypothetical Reference Decoder (HRD):
仮想参照デコーダー(HRD):
A hypothetical decoder model that specifies constraints on the variability of conforming NAL unit streams or conforming byte streams that an encoding process may produce.
NALユニットストリームの適合性またはエンコーディングプロセスが生成する可能性のあるバイトストリームの適合性の変動性の制約を指定する仮想デコーダーモデル。
IDR Access Unit:
IDRアクセスユニット:
An access unit in which the coded picture is an IDR picture.
コード化された画像がIDR画像であるアクセスユニット。
IDR Picture:
idr写真:
The coded picture for which each VCL NAL unit has NalUnitType equal to IDR_NUT.
各vcl nalユニットがidr_nutに等しいnalunittypeを持っているコード化された画像。
Level:
レベル:
A defined set of constraints on the values that may be taken by the syntax elements and variables of this document, or the value of a transform coefficient prior to scaling.
このドキュメントの構文要素と変数、またはスケーリング前の変換係数の値によって取得される値に対する定義された一連の制約セット。
Network Abstraction Layer (NAL) Unit:
ネットワーク抽象化レイヤー(NAL)ユニット:
A syntax structure containing an indication of the type of data to follow and bytes containing that data in the form of an RBSP interspersed as necessary.
従うべきデータのタイプの指標を含む構文構造と、必要に応じて散在するRBSPの形式のデータを含むバイトを含む構造。
Network Abstraction Layer (NAL) Unit Stream:
ネットワーク抽象化レイヤー(NAL)ユニットストリーム:
A sequence of NAL units.
NALユニットのシーケンス。
Non-IDR Picture:
非IDR画像:
A coded picture that is not an IDR picture.
IDR画像ではないコード化された画像。
Non-VCL NAL Unit:
非vcl nalユニット:
A NAL unit that is not a VCL NAL unit.
VCl nalユニットではないnalユニット。
Picture Parameter Set (PPS):
画像パラメーターセット(PPS):
A syntax structure containing syntax elements that apply to zero or more entire coded pictures as determined by a syntax element found in each slice header.
各スライスヘッダーに見られる構文要素によって決定されたゼロ以上のコード化された画像に適用される構文要素を含む構文構造。
Picture Order Count (POC):
画像注文数(POC):
A variable that is associated with each picture, uniquely identifies the associated picture among all pictures in the CVS, and (when the associated picture is to be output from the DPB) indicates the position of the associated picture in output order relative to the output order positions of the other pictures in the same CVS that are to be output from the DPB.
各画像に関連付けられている変数は、CVS内のすべての画像間で関連する画像を一意に識別し、(関連する画像がDPBから出力される場合)出力順序に対して出力順序で関連する画像の位置を示します。DPBから出力される同じCVの他の写真の位置。
Raw Byte Sequence Payload (RBSP):
生のバイトシーケンスペイロード(rbsp):
A syntax structure containing an integer number of bytes that is encapsulated in a NAL unit and that is either empty or has the form of a string of data bits containing syntax elements followed by an RBSP stop bit and zero or more subsequent bits equal to 0.
NALユニットにカプセル化されており、空になっているか、構文要素を含む一連のデータビットの形式を持っている整数数のバイトを含む構文構造と、その後にrbspの停止ビットとゼロ以上のビットが0に等しくなります。
Sequence Parameter Set (SPS):
シーケンスパラメーターセット(SPS):
A syntax structure containing syntax elements that apply to zero or more entire CVSs as determined by the content of a syntax element found in the PPS referred to by a syntax element found in each slice header.
各スライスヘッダーで見つかった構文要素によって参照されているPPSで見つかった構文要素の内容によって決定されるゼロ以上のCVSSに適用される構文要素を含む構文構造。
Slice:
スライス:
An integer number of tiles of a picture in the tile scan of the picture, exclusively contained in a single NAL unit.
画像のタイルスキャンにある整数数のタイルのタイルが、単一のNALユニットにのみ含まれています。
Tile:
タイル:
A rectangular region of CTUs within a particular tile column and a particular tile row in a picture.
特定のタイル列内のCTUの長方形の領域と、写真の特定のタイル行。
Tile Column:
タイル列:
A rectangular region of CTUs having a height equal to the height of the picture and width specified by syntax elements in the PPS.
PPSの構文要素によって指定された画像の高さと幅に等しい高さを持つCTUの長方形領域。
Tile Row:
タイル行:
A rectangular region of CTUs having a height specified by syntax elements in the PPS and a width equal to the width of the picture.
PPSの構文要素で指定された高さと、画像の幅に等しい幅を持つCTUの長方形領域。
Tile Scan:
タイルスキャン:
A specific sequential ordering of CTUs partitioning a picture in which the CTUs are ordered consecutively in CTU raster scan in a tile, whereas tiles in a picture are ordered consecutively in a raster scan of the tiles of the picture.
CTUの特定のシーケンシャル順序付けは、CTUがタイルのCTUラスタースキャンで連続して順序付けられる画像を分割しますが、写真のタイルは、写真のタイルのラスタースキャンで連続して順序付けられます。
Video Coding Layer (VCL) NAL Unit:
ビデオコーディングレイヤー(VCL)NALユニット:
A collective term for coded slice NAL units and the subset of NAL units that have reserved values of NalUnitType that are classified as VCL NAL units in this document.
このドキュメントでVCL NALユニットとして分類されているNalunittypeの値を予約したNALユニットのコード化されたスライス単位の集合用語。
Media-Aware Network Element (MANE):
メディア認識ネットワーク要素(MANE):
A network element, such as a middlebox, selective forwarding unit, or application-layer gateway, that is capable of parsing certain aspects of the RTP payload headers or the RTP payload and reacting to their contents.
RTPペイロードヘッダーまたはRTPペイロードの特定の側面を解析し、その内容に反応することができる、ミドルボックス、選択的転送ユニット、アプリケーションレイヤーゲートウェイなどのネットワーク要素。
Informative note: The concept of a MANE goes beyond normal routers or gateways in that a MANE has to be aware of the signaling (e.g., to learn about the payload type mappings of the media streams), and in that it has to be trusted when working with Secure RTP (SRTP). The advantage of using MANEs is that they allow packets to be dropped according to the needs of the media coding. For example, if a MANE has to drop packets due to congestion on a certain link, it can identify and remove those packets whose elimination produces the least adverse effect on the user experience. After dropping packets, MANEs must rewrite RTCP packets to match the changes to the RTP stream, as specified in Section 7 of [RFC3550].
有益なメモ:たてがみの概念は、たてがみがシグナリングを認識しなければならないという点で(メディアストリームのペイロードタイプのマッピングについて学ぶために)、そしてそれがいつ信頼されなければならないという点で、通常のルーターまたはゲートウェイを超えています。Secure RTP(SRTP)を使用します。たてがみを使用する利点は、メディアコーディングのニーズに応じてパケットをドロップできることです。たとえば、特定のリンクの輻輳のためにたてがみがパケットをドロップする必要がある場合、排除がユーザーエクスペリエンスに最も悪影響をもたらすパケットを識別および削除できます。パケットをドロップした後、MANESはRTCPパケットを書き換えて、[RFC3550]のセクション7で指定されているように、RTPストリームの変更を一致させる必要があります。
NAL unit decoding order:
nalユニットデコード順:
A NAL unit order that conforms to the constraints on NAL unit order given in Section 7.4.2.3 of [EVC] and follows the order of NAL units in the bitstream.
[EVC]のセクション7.4.2.3で与えられたNALユニットの順序の制約に準拠し、ビットストリームのNALユニットのオーダーに従うNALユニットの順序。
NALU-time:
nalu-time:
The value that the RTP timestamp would have if the NAL unit would be transported in its own RTP packet.
NALユニットが独自のRTPパケットで輸送される場合、RTPタイムスタンプが持つ値。
NAL unit output order:
NALユニット出力順序:
A NAL unit order in which NAL units of different access units are in the output order of the decoded pictures corresponding to the access units, as specified in [EVC], and in which NAL units within an access unit are in their decoding order.
異なるアクセスユニットのNALユニットが、[EVC]で指定されているように、アクセスユニットに対応するデコードされた画像の出力順に、アクセスユニット内のNALユニットがデコード順になっているNALユニット順序。
RTP stream:
RTPストリーム:
See [RFC7656]. Within the scope of this document, one RTP stream is utilized to transport an EVC bitstream, which may contain one or more temporal sub-layers.
[RFC7656]を参照してください。このドキュメントの範囲内で、1つのRTPストリームが使用され、EVCビットストリームを輸送します。
Transmission order:
トランスミッションオーダー:
The order of packets in ascending RTP sequence number order (in modulo arithmetic). Within an Aggregation Packet (AP), the NAL unit transmission order is the same as the order of appearance of NAL units in the packet.
上昇するRTPシーケンス番号順序でのパケットの順序(Modulo Arithmetic)。集約パケット(AP)内で、NALユニットの伝送順序は、パケット内のNALユニットの外観の順序と同じです。
AU
au
Access Unit
アクセスユニット
AP
AP
Aggregation Packet
集約パケット
APS
APS
Adaptation Parameter Set
適応パラメーターセット
ATS
ATS
Adaptive Transform Selection
適応変換の選択
B
b
Bi-predictive
双子の予測
CBR
CBR
Constant Bit Rate
一定のビットレート
CPB
CPB
Coded Picture Buffer
コード化された画像バッファー
CTB
CTB
Coding Tree Block
ツリーブロックのコーディング
CTU
CTU
Coding Tree Unit
コーディングツリーユニット
CVS
CVS
Coded Video Sequence
コード化されたビデオシーケンス
DPB
DPB
Decoded Picture Buffer
デコードされた画像バッファー
HRD
HRD
Hypothetical Reference Decoder
仮説参照デコーダー
HSS
HSS
Hypothetical Stream Scheduler
仮説的なストリームスケジューラ
I
私僕俺我あたし小生拙者吾輩我輩私儀乃公愚生手前本員
Intra
イントラ
IDR
idr
Instantaneous Decoding Refresh
瞬時のデコードリフレッシュ
LSB
LSB
Least Significant Bit
最小重要なビット
LTRP
LTRP
Long-Term Reference Picture
長期的な参照画像
MMVD
mmvd
Merge with Motion Vector Difference
モーションベクトルの違いとマージします
MSB
MSB
Most Significant Bit
上位ビット
NAL
nal
Network Abstraction Layer
ネットワーク抽象化レイヤー
P
p
Predictive
予測
POC
POC
Picture Order Count
画像注文数
PPS
PPS
Picture Parameter Set
画像パラメーターセット
QP
QP
Quantization Parameter
量子化パラメーター
RBSP
rbsp
Raw Byte Sequence Payload
生のバイトシーケンスペイロード
RGB
RGB
Red, Green, and Blue
赤、緑、青
SAR
sar
Sample Aspect Ratio
サンプルアスペクト比
SEI
sei
Supplemental Enhancement Information
補足強化情報
SODB
SODB
String Of Data Bits
一連のデータビット
SPS
SPS
Sequence Parameter Set
シーケンスパラメーターセット
STRP
strp
Short-Term Reference Picture
短期リファレンス画像
VBR
vbr
Variable Bit Rate
可変ビットレート
VCL
VCL
Video Coding Layer
ビデオコーディングレイヤー
The format of the RTP header is specified in [RFC3550] (included as Figure 2 for convenience). This payload format uses the fields of the header in a manner consistent with that specification.
RTPヘッダーの形式は[RFC3550]で指定されています(便利なため、図2として含まれています)。このペイロード形式は、その仕様と一致する方法でヘッダーのフィールドを使用します。
The RTP payload (and the settings for some RTP header bits) for APs and Fragmentation Units (FUs) are specified in Sections 4.3.2 and 4.3.3, respectively.
APSおよびフラグメンテーションユニット(FUS)のRTPペイロード(およびいくつかのRTPヘッダービットの設定)は、それぞれセクション4.3.2および4.3.3で指定されています。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ |V=2|P|X| CC |M| PT | sequence number | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | timestamp | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | synchronization source (SSRC) identifier | +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+ | contributing source (CSRC) identifiers | | .... | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 2: RTP Header According to RFC 3550
図2:RFC 3550によるRTPヘッダー
The RTP header information to be set according to this RTP payload format is set as follows:
このRTPペイロード形式に従って設定するRTPヘッダー情報は、次のように設定されています。
Marker bit (M):
マーカービット(M):
1 bit
1ビット
Set for the last packet of the access unit and carried in the current RTP stream. This is in line with the normal use of the M bit in video formats to allow an efficient playout buffer handling.
アクセスユニットの最後のパケットに設定し、現在のRTPストリームに携帯しています。これは、効率的なプレイアウトバッファの処理を可能にするために、ビデオ形式でのMビットの通常の使用と一致しています。
Payload Type (PT):
ペイロードタイプ(PT):
7 bits
7ビット
The assignment of an RTP payload type for this new payload format is outside the scope of this document and will not be specified here. The assignment of a payload type has to be performed either through the profile used or in a dynamic way.
この新しいペイロード形式のRTPペイロードタイプの割り当ては、このドキュメントの範囲外であり、ここでは指定されません。ペイロードタイプの割り当ては、使用されるプロファイルまたは動的な方法で実行する必要があります。
Sequence Number (SN):
シーケンス番号(SN):
16 bits
16ビット
Set and used in accordance with [RFC3550].
[RFC3550]に従って設定および使用します。
Timestamp:
タイムスタンプ:
32 bits
32ビット
The RTP timestamp is set to the sampling timestamp of the content. A 90 kHz clock rate MUST be used. If the NAL unit has no timing properties of its own (e.g., parameter sets or certain SEI NAL units), the RTP timestamp MUST be set to the RTP timestamp of the coded picture of the access unit in which the NAL unit is included. For SEI messages, this information is specified in Annex D of [EVC]. Receivers MUST use the RTP timestamp for the display process, even when the bitstream contains picture timing SEI messages or decoding unit information SEI messages as specified in [EVC].
RTPタイムスタンプは、コンテンツのサンプリングタイムスタンプに設定されています。90 kHzのクロックレートを使用する必要があります。NALユニットに独自のタイミングプロパティがない場合(たとえば、パラメーターセットまたは特定のユニット)、RTPタイムスタンプは、NALユニットが含まれているアクセスユニットのコード化された画像のRTPタイムスタンプに設定する必要があります。SEIメッセージの場合、この情報は[EVC]の付録Dで指定されています。[EVC]で指定されているように、ビットストリームに画像タイミングSEIメッセージまたはデコードユニット情報SEIメッセージが含まれている場合でも、受信機はディスプレイプロセスにRTPタイムスタンプを使用する必要があります。
Synchronization source (SSRC):
同期ソース(SSRC):
32 bits
32ビット
Used to identify the source of the RTP packets. According to this document, a single SSRC is used for all parts of a single bitstream.
RTPパケットのソースを識別するために使用されます。このドキュメントによると、単一のSSRCは単一のビットストリームのすべての部分に使用されます。
The first two bytes of the payload of an RTP packet are referred to as the payload header. The payload header consists of the same fields (F, TID, Reserve, and E) as the NAL unit header, as shown in Section 1.1.4, irrespective of the type of the payload structure.
RTPパケットのペイロードの最初の2バイトは、ペイロードヘッダーと呼ばれます。ペイロードヘッダーは、ペイロード構造のタイプに関係なく、セクション1.1.4に示すように、NALユニットヘッダーと同じフィールド(F、TID、リザーブ、およびE)で構成されています。
The TID value indicates (among other things) the relative importance of an RTP packet, for example, because NAL units with larger TID values are not used to decode the ones with smaller TID values. A lower value of TID indicates a higher importance. More important NAL units MAY be better protected against transmission losses than less important NAL units.
たとえば、TID値がRTPパケットの相対的な重要性を(特に)(とりわけ)TID値が大きいNALユニットが使用されていないため、TID値が小さくなるためには使用されないことを示しています。TIDの値が低いと、より重要性が示されます。より重要なNALユニットは、それほど重要ではないNALユニットよりも、伝送損失からよりよく保護される可能性があります。
Three different types of RTP packet payload structures are specified. A receiver can identify the type of an RTP packet payload through the Type field in the payload header.
3つの異なるタイプのRTPパケットペイロード構造が指定されています。レシーバーは、ペイロードヘッダーのタイプフィールドを介してRTPパケットペイロードのタイプを識別できます。
The three different payload structures are as follows:
3つの異なるペイロード構造は次のとおりです。
* Single NAL unit packet: Contains a single NAL unit in the payload, and the NAL unit header of the NAL unit also serves as the payload header. This payload structure is specified in Section 4.3.1.
* 単一NALユニットパケット:ペイロードに単一のNALユニットが含まれており、NALユニットのNALユニットヘッダーもペイロードヘッダーとして機能します。このペイロード構造は、セクション4.3.1で指定されています。
* Aggregation Packet (AP): Contains more than one NAL unit within one access unit. This payload structure is specified in Section 4.3.2.
* 集約パケット(AP):1つのアクセスユニット内に複数のNALユニットが含まれています。このペイロード構造は、セクション4.3.2で指定されています。
* Fragmentation Unit (FU): Contains a subset of a single NAL unit. This payload structure is specified in Section 4.3.3.
* フラグメンテーションユニット(FU):単一のNALユニットのサブセットが含まれています。このペイロード構造は、セクション4.3.3で指定されています。
A single NAL unit packet contains exactly one NAL unit and consists of a payload header as defined in Table 4 of [EVC] (denoted as PayloadHdr), followed by a conditional 16-bit DONL field (in network byte order), and the NAL unit payload data (the NAL unit excluding its NAL unit header) of the contained NAL unit, as shown in Figure 3.
単一のNALユニットパケットには、1つのNALユニットが正確に含まれており、[EVC]の表4(PayLoadHDRとして表される)で定義されているペイロードヘッダーで構成され、その後に条件付き16ビットDONLフィールド(ネットワークバイト順)とNALが続きます。図3に示すように、conted nalユニットのユニットペイロードデータ(NALユニットヘッダーを除くNALユニット)。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | PayloadHdr | DONL (conditional) | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | | | NAL unit payload data | | | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | :...OPTIONAL RTP padding | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 3: The Structure of a Single NAL Unit Packet
図3:単一のNALユニットパケットの構造
The DONL field, when present, specifies the value of the 16 least significant bits of the decoding order number of the contained NAL unit. If sprop-max-don-diff (defined in Section 7.2) is greater than 0, the DONL field MUST be present, and the variable DON for the contained NAL unit is derived as equal to the value of the DONL field. Otherwise (where sprop-max-don-diff is equal to 0), the DONL field MUST NOT be present.
DONLフィールドは、存在する場合、含まれるNALユニットのデコード順数の16の最小ビットの値の値を指定します。SPROP-MAX-DON-DIFF(セクション7.2で定義)が0より大きい場合、DONLフィールドが存在する必要があり、含まれているNALユニットの変数DONはDONLフィールドの値に等しくなります。それ以外の場合(Sprop-Max-Don-Diffが0に等しい)、DONLフィールドが存在してはなりません。
Aggregation Packets (APs) enable the reduction of packetization overhead for small NAL units, such as most of the non-VCL NAL units, which are often only a few octets in size.
集約パケット(APS)により、ほとんどの非VCL NALユニットなど、多くの場合、サイズがわずか数オクテットしかない小さなNALユニットのパケット化オーバーヘッドを減らすことができます。
An AP aggregates NAL units of one access unit, and it MUST NOT contain NAL units from more than one AU. Each NAL unit to be carried in an AP is encapsulated in an aggregation unit. NAL units aggregated in one AP are included in NAL-unit-decoding order.
APは、1つのアクセスユニットのNALユニットを集約し、複数のAUからNALユニットを含めてはなりません。APで運ばれる各NALユニットは、集約ユニットにカプセル化されます。1つのAPに集約されたNALユニットは、NALユニットデコード順に含まれています。
An AP consists of a payload header, as defined in Table 4 of [EVC] (denoted here as PayloadHdr with Type=56), followed by two or more aggregation units, as shown in Figure 4.
APは、[EVC]の表4に定義されているペイロードヘッダーで構成されています(ここではType = 56のPayloadHdrとして示されています)、その後、図4に示すように2つ以上の集約単位が続きます。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | PayloadHdr (Type=56) | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | | | | two or more aggregation units | | | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | :...OPTIONAL RTP padding | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 4: The Structure of an Aggregation Packet
図4:集約パケットの構造
The fields in the payload header of an AP are set as follows. The F bit MUST be equal to 0 if the F bit of each aggregated NAL unit is equal to zero; otherwise, it MUST be equal to 1. The Type field MUST be equal to 56.
APのペイロードヘッダーのフィールドは次のように設定されています。各集約されたNALユニットのfビットがゼロに等しい場合、Fビットは0に等しくなければなりません。それ以外の場合、1に等しくなければなりません。タイプフィールドは56に等しくなければなりません。
The value of TID MUST be the smallest value of TID of all the aggregated NAL units. The value of Reserve and E MUST be equal to 0 for this specification.
TIDの値は、すべての集約されたNALユニットのTIDの最小値でなければなりません。この仕様では、予備とEの値は0に等しくなければなりません。
Informative note: All VCL NAL units in an AP have the same TID value since they belong to the same access unit. However, an AP may contain non-VCL NAL units for which the TID value in the NAL unit header may be different from the TID value of the VCL NAL units in the same AP.
有益なメモ:APのすべてのVCL NALユニットは、同じアクセスユニットに属しているため、同じTID値を持っています。ただし、APには、NALユニットヘッダーのTID値が同じAPのVCL NALユニットのTID値とは異なる場合がある非VCL NALユニットを含む場合があります。
An AP MUST carry at least two aggregation units and can carry as many aggregation units as necessary; however, the total amount of data in an AP obviously MUST fit into an IP packet, and the size SHOULD be chosen so that the resulting IP packet is smaller than the path MTU size so to avoid IP layer fragmentation. An AP MUST NOT contain FUs specified in Section 4.3.3. APs MUST NOT be nested; i.e., an AP cannot contain another AP.
APは、少なくとも2つの集合ユニットを搭載する必要があり、必要な数の集合ユニットを運ぶことができます。ただし、APのデータの合計量は明らかにIPパケットに適合する必要があり、IPレイヤーの断片化を避けるために、結果のIPパケットがパスMTUサイズよりも小さいようにサイズを選択する必要があります。APには、セクション4.3.3で指定されたFUSを含めてはなりません。APをネストしてはなりません。つまり、APは別のAPを含めることはできません。
Informative note: If a receiver encounters nested APs, which is against the aforementioned requirement, it has several options, listed in order of ease of implementation: 1) ignore the nested AP; 2) ignore the nested AP and report a "packet loss" to the decoder, if such functionality exists in the API; and 3) implement support for nested APs and extract the NAL units from these nested APs.
有益な注意:受信者が、前述の要件に反するネストされたAPSに遭遇する場合、実装の容易さの順にリストされているいくつかのオプションがあります。1)ネストされたAPを無視します。2)ネストされたAPを無視し、APIにそのような機能が存在する場合、デコーダーに「パケット損失」を報告します。3)ネストされたAPのサポートを実装し、これらのネストされたAPからNALユニットを抽出します。
The first aggregation unit in an AP consists of a conditional 16-bit DONL field (in network byte order) followed by a 16-bit unsigned size information (in network byte order) that indicates the size of the NAL unit in bytes (excluding these two octets but including the NAL unit header), followed by the NAL unit itself, including its NAL unit header, as shown in Figure 5.
APの最初の集約ユニットは、条件付き16ビットDONLフィールド(ネットワークバイト順)で構成され、その後にバイト単位のNALユニットのサイズを示す16ビットの符号なしサイズ情報(ネットワークバイト順)が続きます(これらを除外します図5に示すように、NALユニットヘッダーを含む2つのオクテットですが、NALユニットヘッダーを含みます。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | : DONL (conditional) | NALU size | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | NALU size | | +-+-+-+-+-+-+-+-+ NAL unit | | | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | : +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 5: The Structure of the First Aggregation Unit in an AP
図5:APの最初の集約ユニットの構造
Informative note: The first octet of Figure 5 (indicated by the first colon) belongs to a previous aggregation unit. It is depicted to emphasize that aggregation units are octet aligned only. Similarly, the NAL unit carried in the aggregation unit can terminate at the octet boundary.
有益なメモ:図5の最初のオクテット(最初のコロンで示されている)は、以前の集合ユニットに属します。集約ユニットはオクテットアラインドのみであることを強調するために描かれています。同様に、集約ユニットに運ばれたNALユニットは、オクテット境界で終了できます。
The DONL field, when present, specifies the value of the 16 least significant bits of the decoding order number of the aggregated NAL unit.
DONLフィールドは、存在する場合、凝集したNALユニットのデコード順序数の16の最小ビットの値の値を指定します。
If sprop-max-don-diff is greater than 0, the DONL field MUST be present in an aggregation unit that is the first aggregation unit in an AP. The variable DON for the aggregated NAL unit is derived as equal to the value of the DONL field, and the variable Decoding Order Number (DON) for an aggregation unit that is not the first aggregation unit in an AP-aggregated NAL unit is derived as equal to the DON of the preceding aggregated NAL unit in the same AP plus 1 modulo 65536. Otherwise (where sprop-max-don-diff is equal to 0), the DONL field MUST NOT be present in an aggregation unit that is the first aggregation unit in an AP.
sprop-max-don-diffが0より大きい場合、APの最初の集約ユニットである集合ユニットにDONLフィールドが存在する必要があります。集約されたNALユニットの変数DONは、DONLフィールドの値に等しいと導出され、AP凝集したNALユニットの最初の集約単位ではない集約ユニットの変数デコード順序数(DON)は、同じAPプラス1モジュロ65536の前の集約されたNALユニットのDONに等しい。APの集合ユニット。
An aggregation unit that is not the first aggregation unit in an AP will be followed immediately by a 16-bit unsigned size information (in network byte order) that indicates the size of the NAL unit in bytes (excluding these two octets but including the NAL unit header), followed by the NAL unit itself, including its NAL unit header, as shown in Figure 6.
APの最初の集約ユニットではない集約ユニットには、すぐにバイト単位のNALユニットのサイズを示す16ビットの符号なしサイズ情報(ネットワークバイト順)が続きます(これら2つのオクテットを除外しますが、NALを含む単位ヘッダー)、図6に示すように、NALユニットヘッダーを含むNALユニット自体が続きます。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | : NALU size | NAL unit | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | | | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | : +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 6: The Structure of an Aggregation Unit That Is Not the First Aggregation Unit in an AP
図6:APで最初の集約ユニットではない集約ユニットの構造
Informative note: The first octet of Figure 6 (indicated by the first colon) belongs to a previous aggregation unit. It is depicted to emphasize that aggregation units are octet aligned only. Similarly, the NAL unit carried in the aggregation unit can terminate at the octet boundary.
有益なメモ:図6の最初のオクテット(最初のコロンで示されている)は、以前の集合ユニットに属します。集約ユニットはオクテットアラインドのみであることを強調するために描かれています。同様に、集約ユニットに運ばれたNALユニットは、オクテット境界で終了できます。
Figure 7 presents an example of an AP that contains two aggregation units, labeled "NALU 1" and "NALU 2", without the DONL field being present.
図7は、DONLフィールドが存在せずに「Nalu 1」と「Nalu 2」とラベル付けされた2つの集約単位を含むAPの例を示しています。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | RTP Header | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | PayloadHdr (Type=56) | NALU 1 Size | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | NALU 1 HDR | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ NALU 1 Data | | . . . | | | + +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | . . . | NALU 2 Size | NALU 2 HDR | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | NALU 2 HDR | | +-+-+-+-+-+-+-+-+ NALU 2 Data | | . . . | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | :...OPTIONAL RTP padding | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 7: An Example of an AP Packet Containing Two Aggregation Units without the DONL Field
図7:DONLフィールドのない2つの集約ユニットを含むAPパケットの例
Figure 8 presents an example of an AP that contains two aggregation units, labeled "NALU 1" and "NALU 2", with the DONL field being present.
図8は、「Nalu 1」と「Nalu 2」とラベル付けされた2つの集約単位を含むAPの例を示しており、DONLフィールドが存在します。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | RTP Header | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | PayloadHdr (Type=56) | NALU 1 DONL | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | NALU 1 Size | NALU 1 HDR | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | | | NALU 1 Data . . . | | | + . . . +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | : NALU 2 Size | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | NALU 2 HDR | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ NALU 2 Data | | | | . . . +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | :...OPTIONAL RTP padding | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 8: An Example of an AP Containing Two Aggregation Units with the DONL Field
図8:DONLフィールドに2つの集約単位を含むAPの例
FUs are introduced to enable fragmenting a single NAL unit into multiple RTP packets, possibly without cooperation or knowledge of the EVC encoder. A fragment of a NAL unit consists of an integer number of consecutive octets of that NAL unit. Fragments of the same NAL unit MUST be sent in consecutive order with ascending RTP sequence numbers (with no other RTP packets within the same RTP stream being sent between the first and last fragment).
FUSは、おそらくEVCエンコーダーの協力や知識なしに、単一のNALユニットを複数のRTPパケットに断片化できるように導入されています。NALユニットのフラグメントは、そのNALユニットの連続したオクテットの整数数で構成されています。同じNALユニットのフラグメントは、上昇するRTPシーケンス番号(同じRTPストリーム内の他のRTPパケットが最初と最後のフラグメントの間に送信されない)で連続して送信する必要があります。
When a NAL unit is fragmented and conveyed within FUs, it is referred to as a fragmented NAL unit. APs MUST NOT be fragmented. FUs MUST NOT be nested; i.e., an FU must not contain a subset of another FU.
NALユニットが断片化され、FUS内で伝達されると、断片化されたNALユニットと呼ばれます。APを断片化してはなりません。FUSをネストしてはなりません。つまり、FUには別のFUのサブセットが含まれていないはずです。
The RTP timestamp of an RTP packet carrying an FU is set to the NALU-time of the fragmented NAL unit.
FUを運ぶRTPパケットのRTPタイムスタンプは、断片化されたNALユニットのNALU時間に設定されます。
An FU consists of a payload header as defined in Table 4 of [EVC] (denoted as PayloadHdr with Type=57), an FU header of one octet, a conditional 16-bit DONL field (in network byte order), and an FU payload, as shown in Figure 9.
FUは、[EVC]の表4に定義されているペイロードヘッダー(タイプ= 57のペイロードhdrとして表される)、1つのオクテットのFUヘッダー、条件付き16ビットDONLフィールド(ネットワークバイト順)、およびFUで構成されています。図9に示すように、ペイロード。
0 1 2 3 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | PayloadHdr (Type=57) | FU header | DONL (cond) | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-| | DONL (cond) | | |-+-+-+-+-+-+-+-+ | | FU payload | | | | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | :...OPTIONAL RTP padding | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
Figure 9: The Structure of an FU
図9:FUの構造
The fields in the payload header are set as follows. The Type field MUST be equal to 57. The fields F, TID, Reserve, and E MUST be equal to the fields F, TID, Reserve, and E, respectively, of the fragmented NAL unit.
ペイロードヘッダーのフィールドは次のように設定されています。タイプフィールドは57に等しくなければなりません。フィールドF、TID、リザーブ、およびEは、断片化されたNALユニットのフィールドF、TID、リザーブ、およびEにそれぞれ等しくなければなりません。
The FU header consists of an S bit, an E bit, and a 6-bit FuType field, as shown in Figure 10.
FUヘッダーは、図10に示すように、Sビット、Eビット、および6ビット先端フィールドで構成されています。
0 1 2 3 4 5 6 7 +-+-+-+-+-+-+-+-+ |S|E| FuType | +---------------+
Figure 10: The Structure of FU Header
図10:FUヘッダーの構造
The semantics of the FU header fields are as follows:
FUヘッダーフィールドのセマンティクスは次のとおりです。
S:
S:
1 bit
1ビット
When set to 1, the S bit indicates the start of a fragmented NAL unit, i.e., the first byte of the FU payload is also the first byte of the payload of the fragmented NAL unit. When the FU payload is not the start of the fragmented NAL unit payload, the S bit MUST be set to 0.
1に設定すると、Sビットは断片化されたNALユニットの開始を示します。つまり、FUペイロードの最初のバイトは、断片化されたNALユニットのペイロードの最初のバイトでもあります。FUペイロードが断片化されたNALユニットペイロードの開始ではない場合、Sビットは0に設定する必要があります。
E:
E:
1 bit
1ビット
When set to 1, the E bit indicates the end of a fragmented NAL unit, i.e., the last byte of the payload is also the last byte of the fragmented NAL unit. When the FU payload is not the last fragment of a fragmented NAL unit, the E bit MUST be set to 0.
1に設定すると、eビットは断片化されたNALユニットの端を示します。つまり、ペイロードの最後のバイトは、断片化されたNALユニットの最後のバイトでもあります。FUペイロードが断片化されたNALユニットの最後のフラグメントではない場合、Eビットは0に設定する必要があります。
FuType:
Futype:
6 bits
6ビット
The field FuType MUST be equal to the field Type of the fragmented NAL unit.
フィールド先端は、断片化されたNALユニットのフィールドタイプに等しくなければなりません。
The DONL field, when present, specifies the value of the 16 least significant bits of the decoding order number of the fragmented NAL unit.
DONLフィールドは、存在する場合、断片化されたNALユニットのデコード順序数の16の最小ビットの値の値を指定します。
If sprop-max-don-diff is greater than 0 and the S bit is equal to 1, the DONL field MUST be present in the FU, and the variable DON for the fragmented NAL unit is derived as equal to the value of the DONL field. Otherwise (where sprop-max-don-diff is equal to 0, or where the S bit is equal to 0), the DONL field MUST NOT be present in the FU.
sprop-max-don-diffが0より大きく、sビットが1に等しい場合、donlフィールドはfuに存在する必要があり、断片化されたnalユニットの可変donはdonlの値に等しく導出されます。分野。それ以外の場合は(Sprop-Max-Don-Diffが0に等しい場合、またはSビットが0に等しい場合)、DONLフィールドをFUに存在してはなりません。
A non-fragmented NAL unit MUST NOT be transmitted in one FU; i.e., the S-bit and E-bit MUST NOT both be set to 1 in the same FU header.
フラージメントされていないNALユニットを1つのFUに送信してはなりません。つまり、S-Bitとe-bitを同じFUヘッダーで1に設定してはなりません。
The FU payload consists of fragments of the payload of the fragmented NAL unit so that if the FU payloads of consecutive FUs, starting with an FU with the S bit equal to 1 and ending with an FU with the E bit equal to 1, are sequentially concatenated, the payload of the fragmented NAL unit can be reconstructed. The NAL unit header of the fragmented NAL unit is not included as such in the FU payload. Instead, the information of the NAL unit header of the fragmented NAL unit is conveyed in F, TID, Reserve, and E fields of the FU payload headers of the FUs and the FuType field of the FU header of the FUs. An FU payload MUST NOT be empty.
FUペイロードは、断片化されたNALユニットのペイロードのフラグメントで構成されているため、FUのFUペイロードが連続したFUの場合、Sビット1のFUから始まり、Eビットが1に等しいFUで終了する場合、連結して、断片化されたNALユニットのペイロードを再構築できます。断片化されたNALユニットのNALユニットヘッダーは、FUペイロードにそのように含まれていません。代わりに、FUSのFUペイロードヘッダーのF、TID、予備、およびEフィールドとFUヘッダーのFuヘッダーのFutypeフィールドのF、TID、リザーブ、およびEフィールドで伝達されます。FUペイロードは空でなければなりません。
If an FU is lost, the receiver SHOULD discard all following fragmentation units in transmission order corresponding to the same fragmented NAL unit unless the decoder in the receiver is known to gracefully handle incomplete NAL units.
FUが失われた場合、受信機のデコーダーが不完全なNALユニットを優雅に処理することが知られていない限り、受信機は同じ断片化されたNALユニットに対応する順序ですべての次の断片化ユニットを破棄する必要があります。
A receiver in an endpoint or a MANE MAY aggregate the first n-1 fragments of a NAL unit to an (incomplete) NAL unit, even if fragment n of that NAL unit is not received. In this case, the forbidden_zero_bit of the NAL unit MUST be set to 1 to indicate a syntax violation.
エンドポイントまたはたてがみのレシーバーは、そのNALユニットのフラグメントNが受信されない場合でも、NALユニットの最初のN-1フラグメントを(不完全な)NALユニットに集約することができます。この場合、構文違反を示すために、NALユニットのFORBIDDEN_ZERO_BITを1に設定する必要があります。
For each NAL unit, the variable AbsDon is derived; it represents the decoding order number that is indicative of the NAL unit decoding order.
各NALユニットについて、可変アブスドンが導出されます。これは、NALユニットデコード順を示すデコード順序番号を表します。
Let NAL unit n be the n-th NAL unit in transmission order within an RTP stream.
nalユニットnを、RTPストリーム内で透過順にn第n nalユニットとします。
If sprop-max-don-diff is equal to 0, then AbsDon[n] (the value of AbsDon for NAL unit n) is derived as equal to n.
sprop-max-don-diffが0に等しい場合、アブスドン[n](nalユニットnのアブスドンの値)はnに等しく導出されます。
Otherwise (where sprop-max-don-diff is greater than 0), AbsDon[n] is derived as follows, where DON[n] is the value of the variable DON for NAL unit n:
それ以外の場合(Sprop-Max-Don-Diffが0より大きい)、Absdon [n]は次のように導出されます。ここで、don [n]はnalユニットnの変数donの値です。
* If n is equal to 0 (i.e., NAL unit n is the very first NAL unit in transmission order), AbsDon[0] is set equal to DON[0].
* nが0に等しい場合(つまり、NALユニットnが透過順に最初のNALユニットです)、アブスドン[0]はdon [0]に等しく設定されます。
* Otherwise (where n is greater than 0), the following applies for derivation of AbsDon[n]:
* それ以外の場合(nは0より大きい)、アブスドン[n]の導出に次のものが適用されます。
If DON[n] == DON[n-1], AbsDon[n] = AbsDon[n-1] If (DON[n] > DON[n-1] and DON[n] - DON[n-1] < 32768), AbsDon[n] = AbsDon[n-1] + DON[n] - DON[n-1] If (DON[n] < DON[n-1] and DON[n-1] - DON[n] >= 32768), AbsDon[n] = AbsDon[n-1] + 65536 - DON[n-1] + DON[n] If (DON[n] > DON[n-1] and DON[n] - DON[n-1] >= 32768), AbsDon[n] = AbsDon[n-1] - (DON[n-1] + 65536 - DON[n]) If (DON[n] < DON[n-1] and DON[n-1] - DON[n] < 32768), AbsDon[n] = AbsDon[n-1] - (DON[n-1] - DON[n])
For any two NAL units (m and n), the following applies:
任意の2つのNALユニット(MおよびN)の場合、次のものが適用されます。
* When AbsDon[n] is greater than AbsDon[m], the NAL unit n follows NAL unit m in NAL unit decoding order.
* アブスドン[n]がアブスドン[m]よりも大きい場合、nalユニットnはnalユニットデコード順でnalユニットMに従います。
* When AbsDon[n] is equal to AbsDon[m], the NAL unit decoding order of the two NAL units can be in either order.
* アブスドン[n]がアブスドン[M]に等しい場合、2つのNALユニットのNALユニットデコード順序はどちらの順序でもあります。
* When AbsDon[n] is less than AbsDon[m], the NAL unit n precedes NAL unit m in decoding order.
* アブスドン[n]がアブスドン[m]よりも少ない場合、nalユニットnはnalユニットMに先行してデコード順になります。
Informative note: When two consecutive NAL units in the NAL unit decoding order has different values of AbsDon, the absolute difference between the two AbsDon values may be greater than or equal to 1.
有益な注意:NALユニットデコード順序の2つの連続したNALユニットがアブスドンの値が異なる場合、2つのアブスドン値の絶対的な差は1以上になる場合があります。
Informative note: There are multiple reasons to allow the absolute difference of the values of AbsDon for two consecutive NAL units in the NAL unit decoding order to be greater than one. An increment by one is not required as at the time of associating values of AbsDon to NAL units, it may not be known whether all NAL units are to be delivered to the receiver. For example, a gateway might not forward VCL NAL units of higher sub-layers or some SEI NAL units when there is congestion in the network. In another example, the first intra-coded picture of a pre-encoded clip is transmitted in advance to ensure that it is readily available in the receiver. When transmitting the first intra-coded picture, the originator still determines how many NAL units will be encoded before the first intra-coded picture of the pre-encoded clip follows in decoding order. Thus, the values of AbsDon for the NAL units of the first intra-coded picture of the pre-encoded clip have to be estimated when they are transmitted and gaps in the values of AbsDon may occur.
有益なメモ:NALユニットデコード順序の2つの連続したNALユニットに対して、アブスドンの値の絶対的な差を1つ以上にするための複数の理由があります。アブスドンの値をNALユニットに関連付ける時点では、すべてのNALユニットが受信機に配信されるかどうかはわからないため、1つの増分は必要ありません。たとえば、ゲートウェイは、ネットワークに混雑がある場合、より高いサブ層またはいくつかのSEINALユニットのVCLユニットを転送しない場合があります。別の例では、事前にエンコードされたクリップの最初のコード化された写真を事前に送信して、受信機で容易に利用できるようにします。コード内の最初の画像を送信すると、オリジネーターは、事前にエンコードされたクリップの最初のコード化された画像がデコード順に続く前に、いくつのNALユニットがエンコードされるかを決定します。したがって、事前にエンコードされたクリップの最初のコード化された画像のNAL単位のアブスドンの値を推定する必要があり、アブスドンの値のギャップが発生する可能性があります。
The following packetization rules apply:
次のパケット化ルールが適用されます。
* If sprop-max-don-diff is greater than 0, the transmission order of NAL units carried in the RTP stream MAY be different from the NAL unit decoding order. Otherwise (where sprop-max-don-diff equals 0), the transmission order of NAL units carried in the RTP stream MUST be the same as the NAL unit decoding order.
* SPROP-MAX-DON-DIFFが0より大きい場合、RTPストリームで運ばれるNALユニットの伝送順序は、NALユニットデコード順とは異なる場合があります。それ以外の場合(Sprop-Max-Don-Diffが0に等しい場合)、RTPストリームに運ばれるNALユニットの伝送順序は、NALユニットデコード順と同じでなければなりません。
* A NAL unit of small size SHOULD be encapsulated in an AP together with one or more other NAL units to avoid the unnecessary packetization overhead for small NAL units. For example, non-VCL NAL units, such as access unit delimiters, parameter sets, or SEI NAL units, are typically small and can often be aggregated with VCL NAL units without violating MTU size constraints.
* 小サイズのNALユニットは、1つ以上の他のNALユニットと一緒にAPにカプセル化する必要があります。たとえば、アクセスユニットデリミター、パラメーターセット、またはseinalユニットなどの非VCL NALユニットは通常小さく、MTUサイズの制約に違反することなくVCL NALユニットと集約できることがよくあります。
* Each non-VCL NAL unit SHOULD, when possible from an MTU size match viewpoint, be encapsulated in an AP with its associated VCL NAL unit as, typically, a non-VCL NAL unit would be meaningless without the associated VCL NAL unit being available.
* 各非VCL NALユニットは、MTUサイズの一致ビューポイントから可能な場合は、関連するVCL NALユニットが利用可能にならずに非VCL NALユニットが無意味であるため、関連するVCLユニットを持つAPにカプセル化する必要があります。
* A single NAL unit packet MUST be used for carrying precisely one NAL unit in an RTP packet.
* RTPパケットに正確に1つのNALユニットを運ぶために、単一のNALユニットパケットを使用する必要があります。
The general concept behind de-packetization is to get the NAL units out of the RTP packets in an RTP stream and pass them to the decoder in the NAL unit decoding order.
パケット脱パケットの背後にある一般的な概念は、RTPストリームのRTPパケットからNALユニットを取り出し、NALユニットデコード順のデコーダーに渡すことです。
The de-packetization process is implementation dependent. Therefore, the following description should be seen as an example of a suitable implementation. Other schemes may also be used as long as the output for the same input is the same as the process described below. The output is the same when the set of output NAL units and their order are both identical. Optimizations relative to the described algorithms are possible.
脱パケット化プロセスは実装に依存します。したがって、次の説明は、適切な実装の例として見る必要があります。同じ入力の出力が以下で説明するプロセスと同じである限り、他のスキームも使用できます。出力は、出力NALユニットのセットとその順序の両方が同一である場合に同じです。説明されているアルゴリズムに対する最適化が可能です。
All normal RTP mechanisms related to buffer management apply. In particular, duplicated or outdated RTP packets (as indicated by the RTP sequence number and the RTP timestamp) are removed. To determine the exact time for decoding, factors such as a possible intentional delay to allow for proper inter-stream synchronization must be considered.
バッファー管理に関連するすべての通常のRTPメカニズムが適用されます。特に、重複または古いRTPパケット(RTPシーケンス番号とRTPタイムスタンプで示されているように)が削除されます。デコードの正確な時間を決定するには、適切なストリーム間同期を可能にするための意図的な遅延の可能性などの要因を考慮する必要があります。
NAL units with NAL unit type values in the range of 0 to 55, inclusive, may be passed to the decoder. NAL-unit-like structures with NAL unit type values in the range of 56 to 62, inclusive, MUST NOT be passed to the decoder.
0〜55の範囲のNALユニットタイプの値を持つNALユニットは、包括的で、デコーダーに渡される場合があります。56〜62の範囲のNALユニットタイプの値を持つNALユニットのような構造は、包括的で、デコーダーに渡さないでください。
The receiver includes a receiver buffer, which is used to compensate for transmission delay jitter within individual RTP streams and to reorder NAL units from transmission order to the NAL unit decoding order. In this section, the receiver operation is described under the assumption that there is no transmission delay jitter within an RTP stream. To clarify the distinction from a practical receiver buffer, which is also used to compensate for transmission delay jitter, the buffer in this section will henceforth be referred to as the "de-packetization" buffer. Receivers should also prepare for transmission delay jitter; that is, either reserve separate buffers for transmission delay jitter buffering and de-packetization buffering, or use a receiver buffer for both transmission delay jitter and de-packetization. Moreover, receivers should take transmission delay jitter into account in the buffering operation, e.g., by additional initial buffering before starting decoding and playback.
受信機には、個々のRTPストリーム内の伝送遅延ジッターを補正し、送信順序からNALユニットデコード順にnalユニットを並べ替えるために使用されるレシーバーバッファーが含まれています。このセクションでは、RTPストリーム内に送信遅延ジッターがないという仮定の下で、受信機操作について説明します。伝送遅延ジッターを補正するためにも使用される実用的なレシーバーバッファーからの区別を明確にするために、このセクションのバッファーは今後「パケット化」バッファーと呼ばれます。受信者は、送信遅延ジッターの準備もする必要があります。つまり、送信遅延ジッターバッファリングとパケット化バッファリングのために別々のバッファーを予約するか、トランスミッション遅延ジッターと脱パケット化の両方にレシーバーバッファーを使用します。さらに、レシーバーは、たとえば、デコードを開始して再生を開始する前に、追加の初期バッファリングにより、バッファリング操作で送信遅延ジッターを考慮に入れる必要があります。
The de-packetization process extracts the NAL units from the RTP packets in an RTP stream as follows. When an RTP packet carries a single NAL unit packet, the payload of the RTP packet is extracted as a single NAL unit, excluding the DONL field, i.e., third and fourth bytes, when sprop-max-don-diff is greater than 0. When an RTP packet carries an AP, several NAL units are extracted from the payload of the RTP packet. In this case, each NAL unit corresponds to the part of the payload of each aggregation unit that follows the NALU size field, as described in Section 4.3.2. When an RTP packet carries a Fragmentation Unit (FU), all RTP packets from the first FU (with the S field equal to 1) of the fragmented NAL unit up to the last FU (with the E field equal to 1) of the fragmented NAL unit are collected. The NAL unit is extracted from these RTP packets by concatenating all FU payloads in the same order as the corresponding RTP packets and appending the NAL unit header with the fields F and TID set to equal the values of the fields F and TID in the payload header of the FUs, respectively, and with the NAL unit type set equal to the value of the field FuType in the FU header of the FUs, as described in Section 4.3.3.
パケット化プロセスは、次のようにRTPストリームのRTPパケットからNALユニットを抽出します。RTPパケットが単一のNALユニットパケットを搭載すると、RTPパケットのペイロードが単一のNALユニットとして抽出されます。つまり、SPROP-MAX-DON-DIFFが0を超える場合、3番目と4番目のバイトを除く。RTPパケットがAPを運ぶと、RTPパケットのペイロードからいくつかのNALユニットが抽出されます。この場合、各NALユニットは、セクション4.3.2で説明されているように、NALUサイズフィールドに続く各集約ユニットのペイロードの部分に対応します。RTPパケットがフラグメンテーションユニット(FU)を搭載している場合、断片化されたNALユニットの最初のFU(Sフィールドが1に等しい)からすべてのRTPパケットが最後のFU(Eフィールドが1に等しい)までのすべてのRTPパケットが断片化されています。NALユニットが収集されます。NALユニットは、対応するRTPパケットと同じ順序ですべてのFUペイロードを連結し、PayloadヘッダーのフィールドFとTIDの値に等しいフィールドFとTIDセットを使用してNALユニットヘッダーを追加することにより、これらのRTPパケットから抽出されます。FUSのそれぞれ、およびセクション4.3.3で説明されているように、FUのFUヘッダーのフィールド先物の値に等しく設定されているNALユニットタイプの場合。
When sprop-max-don-diff is equal to 0, the de-packetization buffer size is zero bytes, and the NAL units carried in the single RTP stream are directly passed to the decoder in their transmission order, which is identical to their decoding order.
sprop-max-don-diffが0に等しい場合、パケット化バッファーサイズはゼロバイトであり、単一のRTPストリームで運ばれるNALユニットは、透過順でデコーダーに直接渡されます。注文。
When sprop-max-don-diff is greater than 0, the process described in the remainder of this section applies.
sprop-max-don-diffが0より大きい場合、このセクションの残りの部分で説明されているプロセスが適用されます。
The receiver has two buffering states: initial buffering and buffering while playing. Initial buffering starts when the reception is initialized. After initial buffering, decoding and playback are started, and the buffering-while-playing mode is used.
受信機には、再生中の初期バッファリングとバッファリングの2つのバッファリング状態があります。初期バッファリングは、受信が初期化されると開始されます。最初のバッファリング、デコード、再生が開始され、バッファリングモードが使用されます。
Regardless of the buffering state, the receiver stores incoming NAL units in reception order into the de-packetization buffer. NAL units carried in RTP packets are stored in the de-packetization buffer individually, and the value of AbsDon is calculated and stored for each NAL unit.
バッファリング状態に関係なく、受信機は受信順に入力して脱パケット化バッファーに貯蔵します。RTPパケットに運ばれるNALユニットは、脱パケット化バッファーに個別に保存され、ABSDONの値は各NALユニットに対して計算および保存されます。
Initial buffering lasts until the difference between the greatest and smallest AbsDon values of the NAL units in the de-packetization buffer is greater than or equal to the value of sprop-max-don-diff.
初期バッファリングは、脱パケット化バッファー内のNALユニットの最大と最小のアブサドン値の差がSprop-Max-Don-Diffの値以上になるまで続きます。
After initial buffering, whenever the difference between the greatest and smallest AbsDon values of the NAL units in the de-packetization buffer is greater than or equal to the value of sprop-max-don-diff, the following operation is repeatedly applied until this difference is smaller than sprop-max-don-diff:
初期バッファリング後、脱パケット化バッファー内のNALユニットの最大と最小のアブサドン値の差がSprop-Max-Don-Diffの値以上である場合、この違いがこの差まで繰り返し適用される場合sprop-max-don-diffよりも小さい:
The NAL unit in the de-packetization buffer with the smallest value of AbsDon is removed from the de-packetization buffer and passed to the decoder.
アブスドンの最小値を持つパケット化バッファーのNALユニットは、パケット化バッファーから削除され、デコーダーに渡されます。
When no more NAL units are flowing into the de-packetization buffer, all NAL units remaining in the de-packetization buffer are removed from the buffer and passed to the decoder in the order of increasing AbsDon values.
脱パケット化バッファーに流れ込んでいない場合、パケット化バッファーに残っているすべてのNALユニットがバッファーから削除され、アブサドン値の増加の順にデコーダーに渡されます。
This section specifies the optional parameters. A mapping of the parameters with the Session Description Protocol (SDP) [RFC8866] is also provided for applications that use SDP.
このセクションでは、オプションのパラメーターを指定します。セッション説明プロトコル(SDP)[RFC8866]を使用したパラメーターのマッピングも、SDPを使用するアプリケーションに提供されます。
Parameters starting with the string "sprop" for stream properties can be used by a sender to provide a receiver with the properties of the stream that is or will be sent. The media sender (and not the receiver) selects whether, and with what values, "sprop" parameters are being sent. This uncommon characteristic of the "sprop" parameters may not be intuitive in the context of some signaling protocol concepts, especially with Offer/Answer. Please see Section 7.3.2 for guidance specific to the use of sprop parameters in the Offer/Answer case.
ストリームプロパティの文字列「SPROP」から始まるパラメーターは、送信者が送信者に送信するか、または送信されるストリームのプロパティを提供することができます。メディア送信者(レシーバーではなく)は、「SPROP」パラメーターが送信されているかどうか、およびどの値でどのような値を選択しますか。「SPROP」パラメーターのこの珍しい特性は、特にオファー/回答の場合、一部のシグナル伝達プロトコルの概念のコンテキストでは直感的ではない場合があります。オファー/回答ケースでのSPROPパラメーターの使用に固有のガイダンスについては、セクション7.3.2を参照してください。
The receiver MUST ignore any parameter unspecified in this document.
受信者は、このドキュメントでは特定されていないパラメーターを無視する必要があります。
Type name:
タイプ名:
video
ビデオ
Subtype name:
サブタイプ名:
evc
EVC
Required parameters:
必要なパラメーター:
N/A
n/a
Optional parameters:
オプションのパラメーター:
profile-id, level-id, toolset-id, max-recv-level-id, sprop-sps, sprop-pps, sprop-sei, sprop-max-don-diff, sprop-depack-buf-bytes, depack-buf-cap (refer to Section 7.2 for definitions)
Profile-id、level-id、toolset-id、max-recv-level-id、sprop-sps、sprop-pps、sprop-sei、sprop-max-don-diff、sprop-depack-buf-bytes、depack-BUF-CAP(定義についてはセクション7.2を参照)
Encoding considerations:
考慮事項のエンコード:
This type is only defined for transfer via RTP [RFC3550].
このタイプは、RTP [RFC3550]を介した転送に対してのみ定義されます。
Security considerations:
セキュリティ上の考慮事項:
See Section 9 of RFC 9584.
RFC 9584のセクション9を参照してください。
Interoperability considerations:
相互運用性の考慮事項:
N/A
n/a
Published specification:
公開された仕様:
Please refer to RFC 9584 and EVC standard [EVC].
RFC 9584およびEVC標準[EVC]を参照してください。
Applications that use this media type:
このメディアタイプを使用するアプリケーション:
Any application that relies on EVC-based video services over RTP
RTPを介したEVCベースのビデオサービスに依存するすべてのアプリケーション
Fragment identifier considerations:
フラグメント識別子の考慮事項:
N/A
n/a
Additional information:
追加情報:
N/A
n/a
Person & email address to contact for further information:
詳細については、連絡先への個人およびメールアドレス:
Stephan Wenger (stewe@stewe.org)
ステファンウェンガー(stewe@stewe.org)
Intended usage:
意図された使用法:
COMMON
一般
Restrictions on usage:
使用に関する制限:
N/A
n/a
Author:
著者:
See Authors' Addresses section of RFC 9584.
RFC 9584の著者のアドレスセクションを参照してください。
Change controller:
Change Controller:
IETF <avtcore@ietf.org>
ietf <avtcore@ietf.org>
profile-id, level-id, toolset-id:
Profile-id、level-id、toolset-id:
These parameters indicate the profile, the level, and constraints of the bitstream carried by the RTP stream or a specific set of the profile, the level, and constraints the receiver supports.
これらのパラメーターは、RTPストリームまたは受信機がサポートするプロファイル、レベル、制約の特定のセットによって運ばれるビットストリームのプロファイル、レベル、および制約を示します。
More specifications of these parameters, including how they relate to syntax elements specified in [EVC] are provided below.
[EVC]で指定された構文要素にどのように関連するかなど、これらのパラメーターのより多くの仕様を以下に示します。
profile-id:
Profile-ID:
When profile-id is not present, a value of 0 (i.e., the Baseline profile) MUST be inferred.
Profile-IDが存在しない場合、0の値(つまり、ベースラインプロファイル)を推測する必要があります。
When used to indicate properties of a bitstream, profile-id MUST be derived from the profile_idc in the SPS.
BitStreamのプロパティを示すために使用する場合、Profile-IDはSPSのProfile_idcから派生する必要があります。
EVC bitstreams transported over RTP using the technologies of this document SHOULD refer only to SPSs that have the same value in profile_idc, unless the sender has a priori knowledge that a receiver can correctly decode the EVC bitstream with different profile_idc values (for example, in walled garden scenarios). As exceptions to this rule, if the receiver is known to support a Baseline profile, a bitstream could safely end with CVS referring to an SPS wherein profile_idc indicates the Baseline Still picture profile. A similar exception can be made for Main profile and Main Still picture profile.
このドキュメントのテクノロジーを使用してRTPを介して輸送されたEVCビットストリームは、受信機が異なるevcビットストリームを異なるemproper_idc値で正しくデコードできるという先験的な知識を持っている場合を除き、プロファイルで同じ値を持つSPSSのみを参照する必要があります(たとえば、壁に囲まれたものでは、庭のシナリオ)。このルールの例外として、受信機がベースラインプロファイルをサポートすることが知られている場合、ビットストリームは、プロファイル_IDCがベースラインのまだ画像プロファイルを示すSPSを参照するCVSで安全に終了できます。メインプロファイルとメインのスチルピクチャープロファイルについても、同様の例外を作成できます。
level-id:
レベルID:
When level-id is not present, a value of 90 (corresponding to level 3, which allows for approximately standard-definition television (SD TV) resolution and frame rates; see Annex A of [EVC]) MUST be inferred.
Level-IDが存在しない場合、90の値(レベル3に対応するもので、標準解像度テレビ(SD TV)の解像度とフレームレートが可能になります。[EVC]の付録Aを参照)を推測する必要があります。
When used to indicate properties of a bitstream, level-id MUST be derived from the level_idc in the SPS.
ビットストリームの特性を示すために使用する場合、レベルIDはSPSのlevel_idcから派生する必要があります。
If the level-id parameter is used for capability exchange, the following applies. If max-recv-level-id is not present, the default level defined by level-id indicates the highest level the codec wishes to support. Otherwise, max-recv-level-id indicates the highest level the codec supports for receiving. For either receiving or sending, all levels that are lower than the highest level supported MUST also be supported.
Level-IDパラメーターが機能交換に使用されている場合、以下が適用されます。Max-Recv-Level-IDが存在しない場合、レベルIDで定義されるデフォルトレベルは、コーデックがサポートしたい最高レベルを示します。それ以外の場合、MAX-RECV-LEVEL-IDは、コーデックが受信にサポートする最高レベルを示します。受信または送信のいずれかの場合、サポートされている最高レベルよりも低いすべてのレベルもサポートする必要があります。
toolset-id:
Toolset-ID:
This parameter is a base64-encoding representation (Section 4 of [RFC4648]) of a 64-bit unsigned integer bit mask derived from the concatenation, in network byte order, of the syntax elements toolset_idc_h and toolset_idc_l. When used to indicate properties of a bitstream, its value MUST be derived from toolset_idh_h and toolset_idc_l in the sequence parameter set.
このパラメーターは、同構成要素Toolset_idc_hおよびToolset_idc_lの連結、ネットワークバイト順序での連結から派生した64ビットの符号なし整数ビットマスクのBase64エンコード表現([RFC4648]のセクション4)です。BitStreamのプロパティを示すために使用する場合、その値は、シーケンスパラメーターセットのToolset_idh_hおよびToolset_idc_lから導出する必要があります。
max-recv-level-id:
max-recv-level-id:
This parameter MAY be used to indicate the highest level a receiver supports.
このパラメーターは、受信機がサポートする最高レベルを示すために使用できます。
The value of max-recv-level-id MUST be in the range of 0 to 255, inclusive.
Max-Recv-Level-IDの値は、包括的0〜255の範囲でなければなりません。
When max-recv-level-id is not present, the value is inferred to be equal to level-id.
Max-Recv-Level-IDが存在しない場合、値はレベルIDに等しいと推測されます。
max-recv-level-id MUST NOT be present when the highest level the receiver supports is not higher than the default level.
受信者がサポートする最高レベルがデフォルトレベルよりも高くない場合、MAX-RECV-LEVEL-IDが存在しないでください。
sprop-sps:
SPROP-SPS:
This parameter MAY be used to convey sequence parameter set NAL units of the bitstream for out-of-band transmission of sequence parameter sets. The value of the parameter is a comma-separated (',') list of base64-encoding representations (Section 4 of [RFC4648]) of the sequence parameter set NAL units as specified in Section 7.3.2.1 of [EVC].
このパラメーターを使用して、シーケンスパラメーターセットのバンド外送信のために、ビットストリームのシーケンスパラメーターセットNAL単位を伝達することができます。パラメーターの値は、[EVC]のセクション7.3.2.1で指定されているように、シーケンスパラメーターセットNAL単位のベース64エンコード表現([RFC4648]のセクション4)のbase64エンコード表現( '、')のリストです。
sprop-pps:
sprop-pps:
This parameter MAY be used to convey picture parameter set NAL units of the bitstream for out-of-band transmission of picture parameter sets. The value of the parameter is a comma-separated (',') list of base64-encoding representations (Section 4 of [RFC4648]) of the picture parameter set NAL units as specified in Section 7.3.2.2 of [EVC].
このパラメーターは、画像パラメーターセットの帯域外送信のために、ビットストリームの画像パラメーターセットNALユニットを伝達するために使用できます。パラメーターの値は、[EVC]のセクション7.3.2.2で指定されているように、画像パラメーターを設定したNALユニットを設定した[[RFC4648]のセクション4)のベース64エンコード表現([RFC4648]のセクション4)のコンマ分離された( '、')リストです。
sprop-sei:
sprop-sei:
This parameter MAY be used to convey one or more SEI messages that describe bitstream characteristics. When present, a decoder can rely on the bitstream characteristics that are described in the SEI messages for the entire duration of the session, independently from the persistence scopes of the SEI messages as specified in [VSEI].
このパラメーターは、ビットストリーム特性を記述する1つ以上のSEIメッセージを伝えるために使用できます。存在する場合、デコーダーは、[VSEI]で指定されているSEIメッセージの永続性スコープとは無関係に、セッションの全期間にわたってSEIメッセージで説明されているビットストリーム特性に依存できます。
The value of the parameter is a comma-separated (',') list of base64-encoding representations (Section 4 of [RFC4648]) of SEI NAL units as specified in [VSEI].
パラメーターの値は、[VSEI]で指定されているSei nalユニットのベース64エンコード表現([RFC4648]のセクション4)のコンマ分離された( '、')リストです。
Informative note: Intentionally, no list of applicable or inapplicable SEI messages is specified here. Conveying certain SEI messages in sprop-sei may be sensible in some application scenarios and meaningless in others. However, a couple of examples are described below.
有益なメモ:意図的に、適用または適用可能なSEIメッセージのリストはここに指定されていません。SPROP-SEIで特定のSEIメッセージを伝えることは、一部のアプリケーションシナリオでは賢明であり、他のアプリケーションでは無意味な場合があります。ただし、いくつかの例を以下に説明します。
1. In an environment where the bitstream was created from film-based source material, and no splicing is going to occur during the lifetime of the session, the film grain characteristics SEI message is likely meaningful; and sending it in sprop-sei rather than in the bitstream at each entry point may help with saving bits and allow one to configure the renderer only once, avoiding unwanted artifacts.
1. ビットストリームがフィルムベースのソース素材から作成され、セッションの存続期間中にスプライシングが発生しない環境では、フィルムグレインの特性SEIメッセージは意味がある可能性があります。また、各エントリポイントのビットストリームではなくSprop-Seiで送信すると、ビットの保存に役立ち、不要なアーティファクトを避けてレンダラーを1回だけ構成できるようになります。
2. Examples for SEI messages that would be meaningless to be conveyed in sprop-sei include the decoded picture hash SEI message (it is close to impossible that all decoded pictures have the same hashtag) or the filler payload SEI message (as there is no point in just having more bits in SDP).
2. SPROP-SEIで伝えられる意味のないSEIメッセージの例には、デコードされた画像ハッシュSEIメッセージが含まれます(すべてのデコードされた写真が同じハッシュタグを持っていることは不可能です)またはフィラーペイロードSEIメッセージ(にはポイントがないため、SDPでより多くのビットを持っているだけです)。
sprop-max-don-diff:
sprop-max-don-diff:
If there is no NAL unit naluA that is followed in transmission order by any NAL unit preceding naluA in decoding order (i.e., the transmission order of the NAL units is the same as the decoding order), the value of this parameter MUST be equal to 0.
デコード順にNALUAに先行するNALユニットが送信順に順序付けられているNALユニットnalUAがない場合(つまり、NALユニットの伝送順序はデコード順序と同じです)、このパラメーターの値は等しくなければなりません0。
Otherwise, this parameter specifies the maximum absolute difference between the decoding order number (i.e., AbsDon) values of any two NAL units naluA and naluB, where naluA follows naluB in decoding order and precedes naluB in transmission order.
それ以外の場合、このパラメーターは、2つのNAL単位NALUAとNALUBのデコード順序数(つまり、ABSDON)値間の最大絶対差を指定します。ここで、NaluaはDECODING順序でNALUBに従い、透過順序でNALUBに先行します。
The value of sprop-max-don-diff MUST be an integer in the range of 0 to 32767, inclusive.
sprop-max-don-diffの値は、0〜32767の範囲の整数でなければなりません。
When not present, the value of sprop-max-don-diff is inferred to be equal to 0.
存在しない場合、sprop-max-don-diffの値は0に等しいと推測されます。
sprop-depack-buf-bytes:
sprop-depack-buf-bytes:
This parameter signals the required size of the de-packetization buffer in units of bytes. The value of the parameter MUST be greater than or equal to the maximum buffer occupancy (in units of bytes) of the de-packetization buffer as specified in Section 6.
このパラメーターは、バイト単位の脱パケット化バッファーの必要なサイズを信号します。パラメーターの値は、セクション6で指定されているパケット化バッファーの最大バッファー占有率(バイト単位)以上でなければなりません。
The value of sprop-depack-buf-bytes MUST be an integer in the range of 0 to 4294967295, inclusive.
SPROP-DEPACK-BUF-BYTESの値は、0〜4294967295の範囲の整数でなければなりません。
When sprop-max-don-diff is present and greater than 0, this parameter MUST be present and the value MUST be greater than 0. When not present, the value of sprop-depack-buf-bytes is inferred to be equal to 0.
sprop-max-don-diffが存在し、0より大きい場合、このパラメーターは存在し、値は0より大きくなければなりません。。
Informative note: The value of sprop-depack-buf-bytes indicates the required size of the de-packetization buffer only. When network jitter can occur, an appropriately sized jitter buffer has to be available as well.
有益な注意:Sprop-Depack-Buf-bytesの値は、脱パケット化バッファーのみの必要なサイズを示します。ネットワークジッターが発生する場合、適切なサイズのジッターバッファーも利用できる必要があります。
depack-buf-cap:
depack-buf-cap:
This parameter signals the capabilities of a receiver implementation and indicates the amount of de-packetization buffer space in units of bytes that the receiver has available for reconstructing the NAL unit decoding order from NAL units carried in the RTP stream. A receiver is able to handle any RTP stream for which the value of the sprop-depack-buf-bytes parameter is smaller than or equal to this parameter.
このパラメーターは、受信機の実装の機能を通知し、RTPストリームで運ばれたNALユニットからのNALユニットデコード順序を再構築できるバイト単位のパケット化バッファー脱バッファースペースの量を示します。レシーバーは、SPROP-DEPACK-BUF-BYTESパラメーターの値がこのパラメーターと等しくなるRTPストリームを処理できます。
When not present, the value of depack-buf-cap is inferred to be equal to 4294967295. The value of depack-buf-cap MUST be an integer in the range of 1 to 4294967295, inclusive.
存在しない場合、depack-buf-capの値は4294967295に等しいと推測されます。Depack-buf-capの値は、1〜4294967295の範囲の整数でなければなりません。
Informative note: The value of depack-buf-cap indicates the maximum possible size of the de-packetization buffer of the receiver only, without allowing for network jitter. When network jitter occurs, an appropriately sized jitter buffer has to be available as well.
有益なメモ:Depack-Buf-Capの値は、ネットワークジッターを許可せずに、受信機のみの脱パケット化バッファーの最大可能なサイズを示します。ネットワークジッターが発生する場合、適切なサイズのジッターバッファーも利用できる必要があります。
The receiver MUST ignore any parameter unspecified in this document.
受信者は、このドキュメントでは特定されていないパラメーターを無視する必要があります。
The media type video/evc string is mapped to fields in the Session Description Protocol (SDP) [RFC8866] as follows:
メディアタイプのビデオ/EVC文字列は、次のようにセッション説明プロトコル(SDP)[RFC8866]のフィールドにマッピングされます。
* The media name in the "m=" line of SDP MUST be video.
* SDPの「m =」行のメディア名はビデオでなければなりません。
* The encoding name in the "a=rtpmap" line of SDP MUST be evc (the media subtype).
* SDPの「a = rtpmap」行のエンコーディング名は、EVC(メディアサブタイプ)でなければなりません。
* The clock rate in the "a=rtpmap" line MUST be 90000.
* 「a = rtpmap」行のクロックレートは90000でなければなりません。
* The OPTIONAL parameters profile-id, level-id, toolset-id, max-recv-level-id, sprop-max-don-diff, sprop-depack-buf-bytes, and depack-buf-cap, when present, MUST be included in the "a=fmtp" line of SDP. The "a=fmtp" line is expressed as a media type string, in the form of a semicolon-separated list of parameter=value pairs.
* オプションのパラメータープロファイルID、レベル-ID、ツールセットID、MAX-RECV-LEVEL-ID、SPROP-MAX-DON-DIFF、SPROP-DEPACK-BUF-BYTES、およびDEPACK-BUF-CAPは、存在する場合は、SDPの「a = fmtp」行に含める。「a = fmtp」行は、パラメーター=値ペアのセミコロン分離リストの形式で、メディア型文字列として表されます。
* The OPTIONAL parameters sprop-sps, sprop-pps, and sprop-sei, when present, MUST be included in the "a=fmtp" line of SDP or conveyed using the "fmtp" source attribute as specified in Section 6.3 of [RFC5576]. For a particular media format (i.e., RTP payload type), sprop-sps, sprop-pps, or sprop-sei MUST NOT be both included in the "a=fmtp" line of SDP and conveyed using the "fmtp" source attribute. When included in the "a=fmtp" line of SDP, those parameters are expressed as a media type string, in the form of a semicolon-separated list of parameter=value pairs. When conveyed in the "a=fmtp" line of SDP for a particular payload type, the parameters sprop-sps, sprop-pps, and sprop-sei MUST be applied to each SSRC with the payload type. When conveyed using the "fmtp" source attribute, these parameters are only associated with the given source and payload type as parts of the "fmtp" source attribute.
* オプションのパラメーターSPROP-SPS、SPROP-PPS、およびSPROP-SEIは、存在する場合は、[RFC5576]のセクション6.3で指定されている「FMTP」ソース属性を使用してSDPの「A = FMTP」ラインに含める必要があります。。特定のメディア形式(つまり、RTPペイロードタイプ)の場合、SPROP-SPS、SPROP-PPS、またはSPROP-SEIの両方をSDPの「A = FMTP」ラインに含めて、「FMTP」ソース属性を使用して伝達してはなりません。SDPの「a = fmtp」行に含まれる場合、これらのパラメーターは、パラメーター=値ペアのセミコロン分離されたリストの形で、メディア型文字列として表されます。特定のペイロードタイプに対してSDPの「a = fmtp」ラインで伝達される場合、パラメーターSPROP-SPS、SPROP-PPS、およびSPROP-SEIをペイロードタイプで各SSRCに適用する必要があります。「fmtp」ソース属性を使用して伝達される場合、これらのパラメーターは、「fmtp」ソース属性の一部として指定されたソースとペイロードタイプにのみ関連付けられます。
Informative note: Conveyance of sprop-sps and sprop-pps using the "fmtp" source attribute allows for out-of-band transport of parameter sets in topologies like Topo-Video-switch-MCU, as specified in [RFC7667].
有益なメモ:[RFC7667]で指定されているように、「FMTP」ソース属性を使用して、「FMTP」ソース属性を使用したSPROP-SPSおよびSPROP-PPSの輸送により、Topo-Video-Switch-MCUなどのトポロジーのパラメーターセットの帯域外輸送が可能になります。
A general usage of media representation in SDP is as follows:
SDPでのメディア表現の一般的な使用法は次のとおりです。
m=video 49170 RTP/AVP 98 a=rtpmap:98 evc/90000 a=fmtp:98 profile-id=1; sprop-sps=<sequence parameter set data>; sprop-pps=<picture parameter set data>;
A SIP Offer/Answer exchange wherein both parties are expected to both send and receive could look like the following. Only the media codec-specific parts of the SDP are shown.
両当事者が送信と受信の両方が期待されるSIPオファー/回答交換は、次のように見えることがあります。SDPのメディアコーデック固有の部分のみが表示されます。
Offerer->Answerer: m=video 49170 RTP/AVP 98 a=rtpmap:98 evc/90000 a=fmtp:98 profile-id=1; level_id=90;
The above represents an offer for symmetric video communication using [EVC] and its payload specification at the main profile and level 3. Informally speaking, this offer tells the receiver of the offer that the sender is willing to receive up to xKpxx resolution at the maximum bitrates specified in [EVC]. At the same time, if this offer were accepted "as is", the offer can expect that the Answerer would be able to receive and properly decode EVC media up to and including level 3.
上記は、[EVC]を使用した対称ビデオ通信のオファーとメインプロファイルとレベル3でのペイロード仕様のオファーを表しています。[EVC]で指定されたビットレート。同時に、このオファーが「現状のまま」受け入れられた場合、オファーは、レベル3までのEVCメディアを受け取り、適切にデコードできることが期待できます。
Answerer->Offerer: m=video 49170 RTP/AVP 98 a=rtpmap:98 evc/90000 a=fmtp:98 profile-id=1; level_id=60
Informative note: level_id shall be set equal to a value of 30 times the level number specified in Table A.1 of [EVC].
有益なメモ:レベル_IDは、[EVC]の表A.1で指定されたレベル数の30倍の値に等しく設定されなければなりません。
With this answer to the offer above, the system receiving the offer advises the Offerer that it is incapable of handling evc at level 3 but is capable of decoding level 2. As EVC video codecs must support decoding at all levels below the maximum level they implement, the resulting user experience would likely be that both systems send video at level 2. However, nothing prevents an encoder from further downgrading its sending to, for example, level 1 if it were short of cycles or bandwidth or for other reasons.
上記のオファーに対するこの回答により、オファーを受け取るシステムは、レベル3でEVCを処理できないがレベル2のデコードが可能であることを申し出者にアドバイスします。EVCビデオコーデックは、実装する最大レベル以下のすべてのレベルでのデコードをサポートする必要があります。結果として、結果のユーザーエクスペリエンスは、両方のシステムがレベル2でビデオを送信する可能性が高いでしょう。ただし、サイクルや帯域幅、その他の理由で、エンコーダーが送信をさらに格下げすることを妨げるものはありません。たとえば、レベル1など。
This section describes the negotiation of unicast messages using the Offer/Answer model described in [RFC3264] and its updates.
このセクションでは、[RFC3264]で説明されているオファー/回答モデルとその更新を使用したユニキャストメッセージの交渉について説明します。
This section applies to all profiles defined in [EVC], specifically to Baseline, Main, and the associated still image profiles.
このセクションは、[EVC]で定義されているすべてのプロファイル、特にベースライン、メイン、および関連付けられた静止画像プロファイルに適用されます。
The following limitations and rules pertaining to the media configuration apply:
メディア構成に関連する以下の制限とルールが適用されます。
The parameters identifying a media format configuration for EVC are profile-id and level-id. Profile_id MUST be used symmetrically.
EVCのメディア形式構成を識別するパラメーターは、プロファイルIDおよびレベルIDです。Profile_idは対称的に使用する必要があります。
The Answerer MUST structure its answer according to one of the following two options:
回答者は、次の2つのオプションのいずれかに従って、回答を構成する必要があります。
* maintain all configuration parameters with the values remaining the same as in the offer for the media format (payload type), with the exception that the value of level-id is changeable as long as the highest level indicated by the answer is not higher than that indicated by the offer; or
* すべての構成パラメーターを維持し、値はメディア形式のオファー(ペイロードタイプ)と同じままであり、レベルIDの値が回答によって示される最高レベルがそれよりも高くない限り、変更可能であることを除いて、申し出によって示されています。または
* remove the media format (payload type) completely (when one or more of the parameter values are not supported).
* メディア形式(ペイロードタイプ)を完全に削除します(パラメーター値の1つ以上がサポートされていない場合)。
Informative note: The above requirement for symmetric use does not apply for level-id and does not apply for the other bitstream or RTP stream properties and capability parameters, as described in Section 7.3.2.1 ("Payload Format Configuration").
有益なメモ:対称使用の上記の要件はレベルIDには適用されず、セクション7.3.2.1(「ペイロード形式の構成」)で説明されているように、他のビットストリームまたはRTPストリームプロパティと機能パラメーターには適用されません。
To simplify handling and matching of these configurations, the same RTP payload type number used in the offer SHOULD also be used in the answer, as specified in [RFC3264].
これらの構成の取り扱いと一致を簡素化するには、[RFC3264]で指定されているように、オファーで使用される同じRTPペイロードタイプ番号も回答で使用する必要があります。
The answer MUST NOT contain a payload type number used in the offer for the media subtype unless the configuration is the same as in the offer or the configuration in the answer only differs from that in the offer with a different value of level-id.
回答には、構成がオファーの場合と同じである場合、または回答の構成がレベルIDの異なる値を持つオファーの構成と同じでない限り、メディアサブタイプのオファーで使用されるペイロードタイプ番号を含めてはなりません。
The following limitations and rules pertain to the configuration of the payload format buffer management.
次の制限とルールは、ペイロード形式のバッファー管理の構成に関係しています。
* The parameters sprop-max-don-diff and sprop-depack-buf-bytes describe the properties of an RTP stream that the Offerer or the Answerer is sending for the media format configuration. This differs from the normal usage of the Offer/Answer parameters; normally, such parameters declare the properties of the bitstream or RTP stream that the Offerer or the Answerer is able to receive. When dealing with EVC, the Offerer assumes that the Answerer will be able to receive media encoded using the configuration being offered.
* パラメーターSPROP-MAX-DON-DIFFおよびSPROP-DEPACK-BUF-BYTESは、オファーまたは応答者がメディア形式の構成に送信しているRTPストリームのプロパティを説明しています。これは、オファー/回答パラメーターの通常の使用法とは異なります。通常、そのようなパラメーターは、提供者または応答者が受信できるビットストリームまたはRTPストリームのプロパティを宣言します。EVCを扱うとき、提供者は、応答者が提供されている構成を使用してエンコードされたメディアを受信できると想定しています。
Informative note: The above parameters apply for any RTP stream, when present, sent by a declaring entity with the same configuration. In other words, the applicability of the above parameters to RTP streams depends on the source endpoint. Rather than being bound to the payload type, the values may have to be applied to another payload type when being sent, as they apply for the configuration.
有益なメモ:上記のパラメーターは、同じ構成の宣言エンティティによって送信された場合の任意のRTPストリームに適用されます。言い換えれば、上記のパラメーターのRTPストリームへの適用性は、ソースエンドポイントに依存します。ペイロードタイプにバインドされるのではなく、構成を申請するため、送信中に値を別のペイロードタイプに適用する必要がある場合があります。
* When an Offerer offers an interleaved stream, indicated by the presence of sprop-max-don-diff with a value larger than zero, the Offerer MUST include the size of the de-packetization buffer sprop-depack-buf-bytes.
* オファーがゼロより大きな値を持つSprop-Max-Don-Diffの存在によって示されるインターリーブストリームを提供する場合、オファーは脱パケットバッファーSPROP-DEPACK-BUFバイトのサイズを含める必要があります。
* To enable the Offerer and Answerer to inform each other about their capabilities for de-packetization buffering in receiving RTP streams, both parties are RECOMMENDED to include depack-buf-cap.
* 提供者と応答者が、RTPストリームを受信する際のパケット化バッファリングの機能についてお互いに通知できるようにするために、両当事者はDePack-Buf-Capを含めることをお勧めします。
* The parameters sprop-sps or sprop-pps, when present (included in the "a=fmtp" line of SDP or conveyed using the "fmtp" source attribute, as specified in Section 6.3 of [RFC5576]), are used for out-of-band transport of the parameter sets (SPS or PPS, respectively). The Answerer MAY use either out-of-band or in-band transport of parameter sets for the bitstream it is sending, regardless of whether out-of-band parameter sets transport has been used in the Offerer-to-Answerer direction. Parameter sets included in an answer are independent of those parameter sets included in the offer, as they are used for decoding two different bitstreams: one from the Answerer to the Offerer, and the other in the opposite direction. In case some RTP packets are sent before the SDP Offer/Answer settles down, in-band parameter sets MUST be used for those RTP stream parts sent before the SDP Offer/Answer.
* パラメーターは、存在する場合(SDPの「a = fmtp」行に含まれるか、[rfc5576]のセクション6.3で指定されている「fmtp」ソース属性を使用して伝達される場合、存在する場合(sdpの「a = fmtp」線に含まれる)、out- out- out-を使用して使用されます。パラメーターセット(それぞれSPSまたはPPS)の帯域輸送の。応答者は、帯域外のパラメーターセット輸送がオファーから回答者への方向で使用されているかどうかにかかわらず、送信しているビットストリームのパラメーターセットの帯域外または帯域内の輸送を使用する場合があります。回答に含まれるパラメーターセットは、2つの異なるビットストリームのデコードに使用されるため、オファーに含まれるパラメーターセットに依存しません。1つは応募者からオファー、もう1つは反対方向です。SDPオファー/回答が落ち着く前にいくつかのRTPパケットが送信された場合、SDPオファー/回答の前に送信されるRTPストリームパーツには、バンド内パラメーターセットを使用する必要があります。
* The following rules apply to transport of parameter sets in the Offerer-to-Answerer direction.
* 以下のルールは、提供者から回答の方向にあるパラメーターセットの輸送に適用されます。
- An offer MAY include sprop-sps and/or sprop-pps. If none of these parameters are present in the offer, then only in-band transport of parameter sets is used.
- オファーには、SPROP-SPSおよび/またはSPROP-PPSが含まれる場合があります。これらのパラメーターがオファーに存在しない場合、パラメーターセットの帯域内輸送のみが使用されます。
- If the level to use in the Offerer-to-Answerer direction is equal to the default level in the offer, the Answerer MUST be prepared to use the parameter sets included in sprop-sps and sprop-pps (either included in the "a=fmtp" line of SDP or conveyed using the "fmtp" source attribute) for decoding the incoming bitstream, e.g., by passing these parameter set NAL units to the video decoder before passing any NAL units carried in the RTP streams. Otherwise, the Answerer MUST ignore sprop-vps, sprop-sps, and sprop-pps (either included in the "a=fmtp" line of SDP or conveyed using the "fmtp" source attribute), and the Offerer MUST transmit parameter sets in-band.
- オファーからアンスウェーラーへの方向で使用するレベルがオファーのデフォルトレベルに等しい場合、応答者は、sprop-spsおよびsprop-ppsに含まれるパラメーターセットを使用する必要があります(「a =に含まれています」fmtp "sdpのラインまたは「fmtp」ソース属性を使用して伝達されます。たとえば、これらのパラメーターセットnalユニットをビデオデコーダーに渡すことにより、RTPストリームに運ばれるNALユニットを渡すことにより。それ以外の場合、応答者はSPROP-VPS、SPROP-SPS、およびSPROP-PPSを無視する必要があります(SDPの「A = FMTP」ラインに含まれるか、「FMTP」ソース属性を使用して伝達します)、および提供者はパラメーターセットを送信する必要があります。-バンド。
* The following rules apply to transport of parameter sets in the Answerer-to-Offerer direction.
* 以下のルールは、回答者の方向からのパラメーターセットの輸送に適用されます。
- An answer MAY include sprop-sps and/or sprop-pps. If none of these parameters are present in the answer, then only in-band transport of parameter sets is used.
- 回答には、SPROP-SPSおよび/またはSPROP-PPSが含まれる場合があります。これらのパラメーターが回答に存在しない場合、パラメーターセットの帯域内輸送のみが使用されます。
- The Offerer MUST be prepared to use the parameter sets included in sprop-sps and sprop-pps (either included in the "a=fmtp" line of SDP or conveyed using the "fmtp" source attribute) for decoding the incoming bitstream, e.g., by passing these parameter set NAL units to the video decoder before passing any NAL units carried in the RTP streams.
- オファーは、SPROP-SPSおよびSPROP-PPS(SDPの「A = FMTP」ラインに含まれるか、「FMTP」ソース属性を使用して伝達される)に含まれるパラメーターセットを使用する必要があります。これらのパラメーターを渡すことにより、NALユニットをビデオデコーダーに設定してから、RTPストリームで運ばれるNALユニットを渡します。
* When sprop-sps and/or sprop-pps are conveyed using the "fmtp" source attribute, as specified in Section 6.3 of [RFC5576], the receiver of the parameters MUST store the parameter sets included in sprop-sps and/or sprop-pps and associate them with the source given as part of the "fmtp" source attribute. Parameter sets associated with one source (given as part of the "fmtp" source attribute) MUST only be used to decode NAL units conveyed in RTP packets from the same source (given as part of the "fmtp" source attribute). When this mechanism is in use, SSRC collision detection and resolution MUST be performed as specified in [RFC5576].
* [RFC5576]のセクション6.3で指定されているように、「FMTP」ソース属性を使用してSPROP-SPSおよび/またはSPROP-PPが伝達される場合、パラメーターの受信機は、SPROP-SPSおよび/またはSPROP-に含まれるパラメーターセットを保存する必要があります。PPSおよびそれらを「FMTP」ソース属性の一部として与えられたソースに関連付けます。1つのソースに関連付けられたパラメーターセット(「FMTP」ソース属性の一部として与えられます)は、同じソース(「FMTP」ソース属性の一部として与えられたRTPパケットで伝達されるNALユニットをデコードするためにのみ使用する必要があります。このメカニズムが使用されている場合、[RFC5576]で指定されているように、SSRC衝突検出と解像度を実行する必要があります。
Figure 11 lists the interpretation of all the parameters that MAY be used for the various combinations of offer, answer, and direction attributes.
図11に、オファー、回答、方向の属性のさまざまな組み合わせに使用できるすべてのパラメーターの解釈を示します。
sendonly --+ recvonly --+ | sendrecv --+ | | | | | profile-id C C P level-id D D P toolset-id C C P max-recv-level-id R R - sprop-max-don-diff P - P sprop-depack-buf-bytes P - P depack-buf-cap R R - sprop-sei P - P sprop-sps P - P sprop-pps P - P Legend: C: configuration for sending and receiving bitstreams D: changeable configuration; same as C, except possible to answer with a different but consistent value (see the semantics of the level-id parameter on these parameters being consistent -- basically, level down-grading is allowed) P: properties of the bitstream to be sent R: receiver capabilities -: not usable; when present MUST be ignored
Figure 11: Interpretation of Parameters for Various Combinations of Offers, Answers, and Direction Attributes
図11:オファー、回答、方向の属性のさまざまな組み合わせのパラメーターの解釈
Parameters used for declaring receiver capabilities are, in general, downgradable, i.e., they express the upper limit for a sender's possible behavior. Thus, a sender MAY select to set its encoder using only lower/lesser or equal values of these parameters.
受信機の機能を宣言するために使用されるパラメーターは、一般に、ダウングレード可能です。つまり、送信者の可能な動作の上限を表します。したがって、送信者は、これらのパラメーターの低い/低い値または等しい値のみを使用してエンコーダーを設定することを選択できます。
When a sender's capabilities are declared with the configuration parameters, these parameters express a configuration that is acceptable for the sender to receive bitstreams. In order to achieve high interoperability levels, it is often advisable to offer multiple alternative configurations. It is impossible to offer multiple configurations in a single payload type. Thus, when multiple configuration offers are made, each offer requires its own RTP payload type associated with the offer.
送信者の機能が構成パラメーターで宣言されると、これらのパラメーターは、送信者がビットストリームを受信するために許容できる構成を表現します。相互運用性の高いレベルを達成するためには、複数の代替構成を提供することをお勧めします。単一のペイロードタイプで複数の構成を提供することは不可能です。したがって、複数の構成オファーが作成されると、各オファーにはオファーに関連付けられた独自のRTPペイロードタイプが必要です。
An implementation SHOULD be able to understand all media type parameters (including all optional media type parameters), even if it doesn't support the functionality related to the parameter. This, in conjunction with proper application logic in the implementation, allows the implementation, after having received an offer, to create an answer by potentially downgrading one or more of the optional parameters to the point where the implementation can cope. This leads to higher chances of interoperability beyond the most basic interop points (for which, as described above, no optional parameters are necessary).
実装は、パラメーターに関連する機能をサポートしていなくても、すべてのメディアタイプパラメーター(すべてのオプションのメディアタイプパラメーターを含む)を理解できる必要があります。これは、実装における適切なアプリケーションロジックと組み合わせて、オファーを受け取った後、実装を実装を作成することができます。これにより、最も基本的な相互作用ポイントを超える相互運用性の可能性が高くなります(上記のように、オプションのパラメーターは必要ありません)。
Informative note: In implementations of various H.26x video coding payload formats including those for [AVC] and [HEVC], it was occasionally observed that implementations were incapable of parsing most (or all) of the optional parameters and hence rejected offers other than the most basic offers. As a result, the Offer/Answer exchange resulted in a baseline performance (using the default values for the optional parameters) with the resulting suboptimal user experience. However, there are valid reasons to forego the implementation complexity of implementing the parsing of some or all of the optional parameters, for example, when there is predetermined knowledge, not negotiated by an SDP-based Offer/Answer process, of the capabilities of the involved systems (walled gardens, baseline requirements defined in application standards higher up in the stack, and similar).
有益なメモ:[AVC]および[HEVC]を含むさまざまなH.26Xビデオコーディングペイロードフォーマットの実装では、実装がオプションのパラメーターのほとんど(またはすべて)を解析できないため、したがって拒否されたオファーを解析できないことが時々観察されました。最も基本的なオファー。その結果、オファー/回答の交換により、結果として得られたユーザーエクスペリエンスでベースラインパフォーマンス(オプションのパラメーターのデフォルト値を使用)が得られました。ただし、たとえば、SDPベースのオファー/回答プロセスによって交渉されない所定の知識がある場合、オプションのパラメーターの一部またはすべての解析を実装するという実装の複雑さを控える正当な理由があります。関係システム(壁に囲まれた庭園、アプリケーション標準で定義されたベースライン要件がスタック内で高く、同様)。
An Answerer MAY extend the offer with additional media format configurations. However, to enable their usage, in most cases, a second offer is required from the Offerer to provide the bitstream property parameters that the media sender will use. This also has the effect that the Offerer has to be able to receive this media format configuration, and not only to send it.
応答者は、追加のメディア形式の構成でオファーを拡張する場合があります。ただし、ほとんどの場合、使用を可能にするには、メディア送信者が使用するビットストリームプロパティパラメーターを提供するために、オファーから2回目のオファーが必要です。これには、オファーがこのメディア形式の構成を受信し、送信するだけでなく、その効果もあります。
For bitstreams being delivered over multicast, the following rules apply:
マルチキャストを介して配信されるビットストリームには、次のルールが適用されます。
* The media format configuration is identified by profile-id and level-id. These media format configuration parameters, including level-id, MUST be used symmetrically; that is, the Answerer MUST either maintain all configuration parameters or remove the media format (payload type) completely. Note that this implies that the level-id for Offer/Answer in multicast is not changeable.
* メディア形式の構成は、Profile-IDとレベルIDによって識別されます。レベルIDを含むこれらのメディア形式の構成パラメーターは、対称的に使用する必要があります。つまり、回答者はすべての構成パラメーターを維持するか、メディア形式(ペイロードタイプ)を完全に削除する必要があります。これは、マルチキャストの提供/回答のレベルIDが変更できないことを意味することに注意してください。
* To simplify the handling and matching of these configurations, the same RTP payload type number used in the offer SHOULD also be used in the answer, as specified in [RFC3264]. An answer MUST NOT contain a payload type number used in the offer unless the configuration is the same as in the offer.
* これらの構成の取り扱いと一致を簡素化するには、[RFC3264]で指定されているように、オファーで使用される同じRTPペイロードタイプ番号も回答で使用する必要があります。回答には、構成がオファーと同じでない限り、オファーで使用されるペイロードタイプ番号を含めてはなりません。
* Parameter sets received MUST be associated with the originating source and MUST only be used in decoding the incoming bitstream from the same source.
* 受信したパラメーターセットは、発信元のソースに関連付けられている必要があり、同じソースから着信ビットストリームのデコードにのみ使用する必要があります。
* The rules for other parameters are the same as above for unicast as long as the three above rules are obeyed.
* 他のパラメーターのルールは、上記の3つのルールが従っている限り、Unicastの上記と同じです。
When EVC over RTP is offered with SDP in a declarative style, as in the Real-Time Streaming Protocol (RTSP) [RFC7826] or Session Announcement Protocol (SAP) [RFC2974], the following considerations apply.
リアルタイムストリーミングプロトコル(RTSP)[RFC7826]またはセッションアナウンスプロトコル(SAP)[RFC2974]のように、宣言的なスタイルでSDPを介したEVCを超えるEVCが宣言的なスタイルで提供される場合、次の考慮事項が適用されます。
* All parameters capable of indicating both bitstream properties and receiver capabilities are used to indicate only bitstream properties. For example, in this case, the parameters profile-id and level-id declare the values used by the bitstream, not the capabilities for receiving bitstreams. As a result, the following interpretation of the parameters MUST be used:
* ビットストリームプロパティとレシーバー機能の両方を示すことができるすべてのパラメーターは、ビットストリームプロパティのみを示すために使用されます。たとえば、この場合、パラメータープロファイルIDおよびレベルIDは、ビットストリームを受信する機能ではなく、ビットストリームで使用される値を宣言します。その結果、パラメーターの次の解釈を使用する必要があります。
- Declaring actual configuration or bitstream properties:
- 実際の構成またはビットストリームプロパティの宣言:
o profile-id
o Profile-id
o level-id
o レベルID
o sprop-sps
o SPROP-SPS
o sprop-pps
o Sprop-pps
o sprop-max-don-diff
o sprop-max-don-diff
o sprop-depack-buf-bytes
o sprop-depack-buf-bytes
o sprop-sei
o sprop-sei
- Not usable (when present, they MUST be ignored):
- 使用できません(存在する場合、それらは無視する必要があります):
o depack-buf-cap
o depack-buf-cap
o recv-sublayer-id
o recv-sublayer-id
- A receiver of the SDP is required to support all parameters and values of the parameters provided; otherwise, the receiver MUST reject (RTSP) or not participate in (SAP) the session. It falls on the creator of the session to use values that are expected to be supported by the receiving application.
- SDPの受信者は、提供されるパラメーターのすべてのパラメーターと値をサポートするために必要です。それ以外の場合、受信者はセッションに(SAP)に参加しないか(RTSP)拒否する必要があります。セッションの作成者に該当し、受信アプリケーションによってサポートされると予想される値を使用します。
When out-of-band transport of parameter sets is used, parameter sets MAY still be additionally transported in-band unless explicitly disallowed by an application, and some of these additional parameter sets may update some of the out-of-band transported parameter sets. An update of a parameter set refers to the sending of a parameter set of the same type using the same parameter set ID but with different values for at least one other parameter of the parameter set.
パラメーターセットの帯域外輸送を使用すると、アプリケーションによって明示的に許可されない限り、パラメーターセットがさらに輸送される場合があり、これらの追加のパラメーターセットの一部は、バンド外輸送されたパラメーターセットの一部を更新する場合があります。。パラメーターセットの更新とは、同じパラメーターセットIDを使用して同じタイプのパラメーターセットの送信を指しますが、パラメーターセットの少なくとも1つのパラメーターの値は異なります。
The following subsections define the use of the Picture Loss Indication (PLI) [RFC4585] and Full Intra Request (FIR) [RFC5104] feedback messages with [EVC].
次のサブセクションでは、[EVC]を使用した画像損失表示(PLI)[RFC4585]および完全なリクエスト(FIR)[RFC5104]フィードバックメッセージの使用を定義しています。
In accordance with this document, a sender MUST NOT send Slice Loss Indication (SLI) or Reference Picture Selection Indication (RPSI); and a receiver MUST ignore RPSI and MUST treat a received SLI as a received PLI, ignoring the "First", "Number", and "PictureID" fields of the PLI.
このドキュメントに従って、送信者はスライス損失表示(SLI)または参照画像選択表示(RPSI)を送信してはなりません。また、受信者はRPSIを無視し、受け取ったSLIを受け取ったPLIとして扱う必要があり、PLIの「最初」、「番号」、および「PictureId」フィールドを無視する必要があります。
As specified in Section 6.3.1 of [RFC4585], the reception of a PLI by a media sender indicates "the loss of an undefined amount of coded video data belonging to one or more pictures". Without having any specific knowledge of the setup of the bitstream (such as use and location of in-band parameter sets, IDR picture locations, picture structures, and so forth), a reaction to the reception of a PLI by an EVC sender SHOULD be to send an IDR picture and relevant parameter sets, potentially with sufficient redundancy so as to ensure correct reception. However, sometimes information about the bitstream structure is known. For example, such information can be parameter sets that have been conveyed out of band through mechanisms not defined in this document and that are known to stay static for the duration of the session. In that case, it is obviously unnecessary to send them in-band as a result of the reception of a PLI. Other examples could be devised based on a priori knowledge of different aspects of the bitstream structure. In all cases, the timing and congestion-control mechanisms of [RFC4585] MUST be observed.
[RFC4585]のセクション6.3.1で指定されているように、メディア送信者によるPLIの受信は、「1つ以上の写真に属するコード化されたビデオデータの未定義量の損失」を示しています。ビットストリームのセットアップに関する特定の知識がなければ(バンド内パラメーターセットの使用や場所、IDR画像の場所、画像構造など)、EVC送信者によるPLIの受信に対する反応は、IDR画像と関連するパラメーターセットを送信するには、正しい受信を確保するために十分な冗長性を伴う可能性があります。ただし、ビットストリーム構造に関する情報が知られている場合があります。たとえば、このような情報は、このドキュメントで定義されていないメカニズムを介してバンドから伝えられ、セッションの期間中は静的にとどまることが知られているパラメーターセットである可能性があります。その場合、PLIの受容の結果、それらを帯域内に送る必要は明らかに不要です。他の例は、ビットストリーム構造のさまざまな側面に関する先験的な知識に基づいて考案できます。すべての場合において、[RFC4585]のタイミングおよび輻輳制御メカニズムを観察する必要があります。
The purpose of the FIR message is to force an encoder to send an independent decoder refresh point as soon as possible while observing applicable congestion-control-related constraints, such as those set out in [RFC8082].
FIRメッセージの目的は、[RFC8082]に記載されているような、該当する混雑コントロール関連の制約を観察しながら、エンコーダーに独立したデコーダーリフレッシュポイントをできるだけ早く送信するように強制することです。
Upon reception of a FIR, a sender MUST send an IDR picture. Parameter sets MUST also be sent, except when there is a priori knowledge that the parameter sets have been correctly established. A typical example for that is an understanding between the sender and receiver, established by means outside this document, that parameter sets are exclusively sent out of band.
FIRを受信すると、送信者はIDR画像を送信する必要があります。パラメーターセットが正しく確立されているという先験的な知識がある場合を除き、パラメーターセットも送信する必要があります。その典型的な例は、このドキュメントの外側の手段によって確立された送信者とレシーバーの間の理解です。パラメーターセットはバンドのみから送信されます。
The scope of this section is limited to the payload format itself and to one feature of [EVC] that may pose a particularly serious security risk if implemented naively. The payload format, in isolation, does not form a complete system. Implementers are advised to read and understand relevant security-related documents, especially those pertaining to RTP (see the Security Considerations in Section 14 of [RFC3550]) and the security of the call-control stack chosen (that may make use of the media type registration of this document). Implementers should also consider known security vulnerabilities of video coding and decoding implementations in general and avoid those.
このセクションの範囲は、ペイロード形式自体と[EVC]の1つの機能に限定されています。ペイロード形式は、単独で完全なシステムを形成しません。実装者は、関連するセキュリティ関連のドキュメント、特にRTPに関連する文書([RFC3550]のセクション14のセキュリティに関する考慮事項を参照)と、選択されたコールコントロールスタックのセキュリティ(メディアタイプを使用する可能性のあるセキュリティを読むことをお勧めします。このドキュメントの登録)。また、実装者は、一般的なビデオコーディングとデコードの実装の既知のセキュリティの脆弱性を考慮し、それらを避ける必要があります。
Within this RTP payload format, and with the exception of the user data SEI message as described below, no security threats other than those common to RTP payload formats are known. In other words, neither the various media-plane-based mechanisms nor the signaling part of this document seem to pose a security risk beyond those common to all RTP-based systems.
このRTPペイロード形式内で、以下に説明するユーザーデータSEIメッセージを除き、RTPペイロード形式に共通するもの以外のセキュリティの脅威は既知ではありません。言い換えれば、さまざまなメディア面ベースのメカニズムも、このドキュメントのシグナル伝達部分も、すべてのRTPベースのシステムに共通するものを超えてセキュリティリスクをもたらすようには見えません。
RTP packets using the payload format defined in this specification are subject to the security considerations discussed in the RTP specification [RFC3550] and in any applicable RTP profile such as RTP/AVP [RFC3551], RTP/AVPF [RFC4585], RTP/SAVP [RFC3711], or RTP/ SAVPF [RFC5124]. However, as "Securing the RTP Framework: Why RTP Does Not Mandate a Single Media Security Solution" [RFC7202] discusses, it is not an RTP payload format's responsibility to discuss or mandate what solutions are used to meet the basic security goals like confidentiality, integrity, and source authenticity for RTP in general. This responsibility lies on anyone using RTP in an application. They can find guidance on available security mechanisms and important considerations in "Options for Securing RTP Sessions" [RFC7201]. Applications SHOULD use one or more appropriate strong security mechanisms. The rest of this section discusses the security impacting properties of the payload format itself.
この仕様で定義されたペイロード形式を使用したRTPパケットは、RTP仕様[RFC3550]およびRTP/AVP [RFC3551]、RTP/AVPF [RFC4585]、RTP/SAVP [ASAV [RTP] [RTP] [RFC3551]などの該当するRTPプロファイルで説明されているセキュリティ考慮事項の対象となります。RFC3711]、またはRTP/ SAVPF [RFC5124]。ただし、「RTPフレームワークの保護:RTPが単一のメディアセキュリティソリューションを義務付けていない理由」[RFC7202]は、RTPペイロード形式の責任ではなく、機密性などの基本的なセキュリティ目標を満たすために使用されるソリューションを議論または義務付けます。一般的にRTPの整合性、およびソースの信頼性。この責任は、アプリケーションでRTPを使用している人にはあります。彼らは、「RTPセッションを保護するためのオプション」[RFC7201]の利用可能なセキュリティメカニズムと重要な考慮事項に関するガイダンスを見つけることができます。アプリケーションは、1つ以上の適切な強力なセキュリティメカニズムを使用する必要があります。このセクションの残りの部分では、ペイロード形式自体のセキュリティに影響を与えるプロパティについて説明します。
Because the data compression used with this payload format is applied end to end, any encryption needs to be performed after compression. A potential denial-of-service threat exists for data encodings using compression techniques that have non-uniform receiver-end computational load. The attacker can inject pathological datagrams into the bitstream that are complex to decode and that cause the receiver to be overloaded.
このペイロード形式で使用されるデータ圧縮は端に適用されるため、暗号化は圧縮後に実行する必要があります。不均一なレシーバーエンドの計算負荷を備えた圧縮技術を使用したデータエンコーディングには、潜在的なサービス拒否脅威が存在します。攻撃者は、デコードするのが複雑で、レシーバーが過負荷になるため、病理学的データグラムをビットストリームに注入できます。
EVC is particularly vulnerable to such attacks, as it is extremely simple to generate datagrams containing NAL units that affect the decoding process of many future NAL units. Therefore, the usage of data origin authentication and data integrity protection of at least the RTP packet is RECOMMENDED based on [RFC7202].
EVCは、多くの将来のNALユニットのデコードプロセスに影響を与えるNALユニットを含むデータグラムを生成するのが非常に簡単であるため、このような攻撃に対して特に脆弱です。したがって、[RFC7202]に基づいて、データ起源の認証と少なくともRTPパケットのデータ整合性保護の使用法が推奨されます。
Like HEVC [RFC7798] and VVC [VVC], EVC [EVC] includes a user data Supplemental Enhancement Information (SEI) message. This SEI message allows inclusion of an arbitrary bitstring into the video bitstream. Such a bitstring could include JavaScript, machine code, and other active content.
HEVC [RFC7798]やVVC [VVC]と同様に、EVC [EVC]には、ユーザーデータ補足拡張情報(SEI)メッセージが含まれています。このSEIメッセージにより、ビデオビットストリームに任意のビットストリングを含めることができます。このようなビットストリングには、JavaScript、マシンコード、その他のアクティブコンテンツが含まれます。
EVC [EVC] leaves the handling of this SEI message to the receiving system. In order to avoid harmful side effects of the user data SEI message, decoder implementations cannot naively trust its content. For example, forwarding all received JavaScript code detected by a decoder implementation to a web browser unchecked would be a bad and insecure implementation practice. The safest way to deal with user data SEI messages is to simply discard them, but that can have negative side effects on the quality of experience by the user.
EVC [EVC]は、このSEIメッセージの処理を受信システムに残します。ユーザーデータSEIメッセージの有害な副作用を回避するために、デコーダーの実装はそのコンテンツを単純に信頼することはできません。たとえば、デコーダーの実装によって検出されたすべての受信したJavaScriptコードを、チェックされていないWebブラウザーに転送することは、悪い実装の練習に悪いことです。ユーザーデータSEIメッセージに対処する最も安全な方法は、単にそれらを破棄することですが、ユーザーによる経験の質にマイナスの副作用をもたらす可能性があります。
End-to-end security with authentication, integrity, or confidentiality protection will prevent a MANE from performing media-aware operations other than discarding complete packets. In the case of confidentiality protection, it will even be prevented from discarding packets in a media-aware way. To be allowed to perform such operations, a MANE is required to be a trusted entity that is included in the security context establishment.
認証、整合性、または機密保護を備えたエンドツーエンドのセキュリティは、完全なパケットを破棄する以外に、たてがみがメディアを認識している操作を実行することを防ぎます。機密保護の場合、メディアを認識している方法でパケットを破棄することさえ防止されます。そのような操作を実行するためには、たてがみがセキュリティコンテキストの確立に含まれる信頼できるエンティティである必要があります。
Congestion control for RTP SHALL be used in accordance with RTP [RFC3550] and with any applicable RTP profile, e.g., AVP [RFC3551] or AVPF [RFC4585]. If best-effort service is being used, an additional requirement is that users of this payload format MUST monitor packet loss to ensure that the packet loss rate is within an acceptable range. Packet loss is considered acceptable if a TCP flow across the same network path and experiencing the same network conditions would achieve an average throughput, measured on a reasonable timescale, that is not less than all RTP streams combined. This condition can be satisfied by implementing congestion-control mechanisms to adapt the transmission rate by implementing the number of layers subscribed for a layered multicast session or by arranging for a receiver to leave the session if the loss rate is unacceptably high.
RTPの輻輳制御は、RTP [RFC3550]および該当するRTPプロファイル、例えばAVP [RFC3551]またはAVPF [RFC4585]に従って使用するものとします。Best-Effortサービスが使用されている場合、追加の要件は、このペイロード形式のユーザーがパケットの損失を監視して、パケットの損失率が許容範囲内にあることを確認する必要があることです。同じネットワークパスを超えてTCPフローが同じネットワーク条件を体験すると、合理的なタイムスケールで測定された平均的なスループットが得られる場合、パケットの損失は許容できると見なされます。この条件は、レイヤードマルチキャストセッションにサブスクライブするレイヤーの数を実装するか、損失率が容認できないほど高い場合にセッションを去るレシーバーを手配することにより、渋滞制御メカニズムを実装して伝送速度を適応させることにより、満たすことができます。
The bitrate adaptation necessary for obeying the congestion control principle is easily achievable when real-time encoding is used, for example, by adequately tuning the quantization parameter. However, when pre-encoded content is being transmitted, bandwidth adaptation requires the pre-coded bitstream to be tailored for such adaptivity.
たとえば、量子化パラメーターを適切に調整することにより、リアルタイムエンコーディングが使用される場合、混雑制御原則に従うために必要なビットレートの適応は簡単に達成できます。ただし、事前にエンコードされたコンテンツが送信されている場合、帯域幅の適応では、事前にコードされたビットストリームをそのような適応に合わせて調整する必要があります。
The key mechanism available in [EVC] is temporal scalability. A media sender can remove NAL units belonging to higher temporal sub-layers (i.e., those NAL units with a large value of TID) until the sending bitrate drops to an acceptable range.
[EVC]で利用可能な重要なメカニズムは、時間的スケーラビリティです。メディア送信者は、送信ビットレートが許容範囲に低下するまで、より高い時間サブ層(つまり、TIDの大きな値を持つこれらのNALユニット)に属するNALユニットを削除できます。
The mechanisms mentioned above generally work within a defined profile and level; therefore, no renegotiation of the channel is required. Only when non-downgradable parameters (such as the profile) are required to be changed does it become necessary to terminate and restart the RTP streams. This may be accomplished by using different RTP payload types.
上記のメカニズムは一般に、定義されたプロファイルとレベル内で機能します。したがって、チャネルの再交渉は必要ありません。非ダウングレード可能なパラメーター(プロファイルなど)を変更する必要がある場合にのみ、RTPストリームを終了して再起動する必要があります。これは、異なるRTPペイロードタイプを使用することで実現できます。
MANEs MAY remove certain unusable packets from the RTP stream when that RTP stream was damaged due to previous packet losses. This can help reduce the network load in certain special cases. For example, MANEs can remove those FUs where the leading FUs belonging to the same NAL unit have been lost, because the trailing FUs are meaningless to most decoders. MANE can also remove higher temporal scalable layers if the outbound transmission (from the MANE's viewpoint) experiences congestion.
Manesは、以前のパケット損失によりそのRTPストリームが損傷した場合、RTPストリームから特定の使用不可能なパケットを削除する場合があります。これは、特定の特別なケースでネットワークの負荷を減らすのに役立ちます。たとえば、たてがみは、同じNALユニットに属する先行FUSが失われたFUSを除去できます。たてがみは、(たてがみの視点から)アウトバウンド伝送が渋滞を経験した場合、より高い時間的スケーラブル層を除去することもできます。
The media type specified in Section 7.1 has been registered with IANA.
セクション7.1で指定されたメディアタイプは、IANAに登録されています。
[EVC] "Information technology -- General video coding -- Part 1: Essential video coding", ISO/IEC 23094-1:2020, October 2020, <https://www.iso.org/standard/57797.html>.
[RFC2119] Bradner, S., "Key words for use in RFCs to Indicate Requirement Levels", BCP 14, RFC 2119, DOI 10.17487/RFC2119, March 1997, <https://www.rfc-editor.org/info/rfc2119>.
[RFC3264] Rosenberg, J. and H. Schulzrinne, "An Offer/Answer Model with Session Description Protocol (SDP)", RFC 3264, DOI 10.17487/RFC3264, June 2002, <https://www.rfc-editor.org/info/rfc3264>.
[RFC3550] Schulzrinne, H., Casner, S., Frederick, R., and V. Jacobson, "RTP: A Transport Protocol for Real-Time Applications", STD 64, RFC 3550, DOI 10.17487/RFC3550, July 2003, <https://www.rfc-editor.org/info/rfc3550>.
[RFC3551] Schulzrinne, H. and S. Casner, "RTP Profile for Audio and Video Conferences with Minimal Control", STD 65, RFC 3551, DOI 10.17487/RFC3551, July 2003, <https://www.rfc-editor.org/info/rfc3551>.
[RFC3711] Baugher, M., McGrew, D., Naslund, M., Carrara, E., and K. Norrman, "The Secure Real-time Transport Protocol (SRTP)", RFC 3711, DOI 10.17487/RFC3711, March 2004, <https://www.rfc-editor.org/info/rfc3711>.
[RFC4585] Ott, J., Wenger, S., Sato, N., Burmeister, C., and J. Rey, "Extended RTP Profile for Real-time Transport Control Protocol (RTCP)-Based Feedback (RTP/AVPF)", RFC 4585, DOI 10.17487/RFC4585, July 2006, <https://www.rfc-editor.org/info/rfc4585>.
[RFC4648] Josefsson, S., "The Base16, Base32, and Base64 Data Encodings", RFC 4648, DOI 10.17487/RFC4648, October 2006, <https://www.rfc-editor.org/info/rfc4648>.
[RFC5104] Wenger, S., Chandra, U., Westerlund, M., and B. Burman, "Codec Control Messages in the RTP Audio-Visual Profile with Feedback (AVPF)", RFC 5104, DOI 10.17487/RFC5104, February 2008, <https://www.rfc-editor.org/info/rfc5104>.
[RFC5124] Ott, J. and E. Carrara, "Extended Secure RTP Profile for Real-time Transport Control Protocol (RTCP)-Based Feedback (RTP/SAVPF)", RFC 5124, DOI 10.17487/RFC5124, February 2008, <https://www.rfc-editor.org/info/rfc5124>.
[RFC5576] Lennox, J., Ott, J., and T. Schierl, "Source-Specific Media Attributes in the Session Description Protocol (SDP)", RFC 5576, DOI 10.17487/RFC5576, June 2009, <https://www.rfc-editor.org/info/rfc5576>.
[RFC7826] Schulzrinne, H., Rao, A., Lanphier, R., Westerlund, M., and M. Stiemerling, Ed., "Real-Time Streaming Protocol Version 2.0", RFC 7826, DOI 10.17487/RFC7826, December 2016, <https://www.rfc-editor.org/info/rfc7826>.
[RFC8082] Wenger, S., Lennox, J., Burman, B., and M. Westerlund, "Using Codec Control Messages in the RTP Audio-Visual Profile with Feedback with Layered Codecs", RFC 8082, DOI 10.17487/RFC8082, March 2017, <https://www.rfc-editor.org/info/rfc8082>.
[RFC8174] Leiba, B., "Ambiguity of Uppercase vs Lowercase in RFC 2119 Key Words", BCP 14, RFC 8174, DOI 10.17487/RFC8174, May 2017, <https://www.rfc-editor.org/info/rfc8174>.
[RFC8866] Begen, A., Kyzivat, P., Perkins, C., and M. Handley, "SDP: Session Description Protocol", RFC 8866, DOI 10.17487/RFC8866, January 2021, <https://www.rfc-editor.org/info/rfc8866>.
[RFC9328] Zhao, S., Wenger, S., Sanchez, Y., Wang, Y.-K., and M. M. Hannuksela, "RTP Payload Format for Versatile Video Coding (VVC)", RFC 9328, DOI 10.17487/RFC9328, December 2022, <https://www.rfc-editor.org/info/rfc9328>.
[VSEI] ITU-T, "Versatile supplemental enhancement information messages for coded video bitstreams", ITU-T Recommendation H.274, March 2024, <https://www.itu.int/rec/T-REC-H.274>.
[AVC] ITU-T, "Part 10: Advanced video coding", ITU-T Recommendation H.264, October 2014, <https://www.iso.org/standard/66069.html>.
[HEVC] ITU-T, "High efficiency video coding", ITU-T Recommendation H.265, November 2019, <https://www.itu.int/rec/T-REC-H.265>.
[MPEG2S] IS0/IEC, "Information technology - Generic coding of moving pictures and associated audio information - Part 1: Systems", ISO/IEC 13818-1:2013, June 2013.
[RFC2974] Handley, M., Perkins, C., and E. Whelan, "Session Announcement Protocol", RFC 2974, DOI 10.17487/RFC2974, October 2000, <https://www.rfc-editor.org/info/rfc2974>.
[RFC6184] Wang, Y.-K., Even, R., Kristensen, T., and R. Jesup, "RTP Payload Format for H.264 Video", RFC 6184, DOI 10.17487/RFC6184, May 2011, <https://www.rfc-editor.org/info/rfc6184>.
[RFC6190] Wenger, S., Wang, Y.-K., Schierl, T., and A. Eleftheriadis, "RTP Payload Format for Scalable Video Coding", RFC 6190, DOI 10.17487/RFC6190, May 2011, <https://www.rfc-editor.org/info/rfc6190>.
[RFC7201] Westerlund, M. and C. Perkins, "Options for Securing RTP Sessions", RFC 7201, DOI 10.17487/RFC7201, April 2014, <https://www.rfc-editor.org/info/rfc7201>.
[RFC7202] Perkins, C. and M. Westerlund, "Securing the RTP Framework: Why RTP Does Not Mandate a Single Media Security Solution", RFC 7202, DOI 10.17487/RFC7202, April 2014, <https://www.rfc-editor.org/info/rfc7202>.
[RFC7656] Lennox, J., Gross, K., Nandakumar, S., Salgueiro, G., and B. Burman, Ed., "A Taxonomy of Semantics and Mechanisms for Real-Time Transport Protocol (RTP) Sources", RFC 7656, DOI 10.17487/RFC7656, November 2015, <https://www.rfc-editor.org/info/rfc7656>.
[RFC7667] Westerlund, M. and S. Wenger, "RTP Topologies", RFC 7667, DOI 10.17487/RFC7667, November 2015, <https://www.rfc-editor.org/info/rfc7667>.
[RFC7798] Wang, Y.-K., Sanchez, Y., Schierl, T., Wenger, S., and M. M. Hannuksela, "RTP Payload Format for High Efficiency Video Coding (HEVC)", RFC 7798, DOI 10.17487/RFC7798, March 2016, <https://www.rfc-editor.org/info/rfc7798>.
[VIDEO-CODING] ITU-T, "Video coding for low bit rate communication", ITU-T Recommendation H.263, January 2005, <https://www.itu.int/rec/T-REC-H.263>.
[VVC] ITU-T, "Versatile video coding", ITU-T Recommendation H.266, August 2020, <http://www.itu.int/rec/T-REC-H.266>.
Large parts of this specification share text with the RTP payload format for VVC [RFC9328]. Roman Chernyak is thanked for his valuable review comments. We thank the authors of that specification for their excellent work.
この仕様の大部分は、VVC [RFC9328]のRTPペイロード形式とテキストを共有します。ロマン・チェルニャックは、彼の貴重なレビューのコメントに感謝しています。その仕様の著者に、彼らの優れた作品に感謝します。
Shuai Zhao Intel 2200 Mission College Blvd Santa Clara, California 95054 United States of America Email: shuai.zhao@ieee.org
Stephan Wenger Tencent 2747 Park Blvd Palo Alto, California 94588 United States of America Email: stewe@stewe.org
Youngkwon Lim Samsung Electronics 6625 Excellence Way Plano, Texas 75013 United States of America Email: yklwhite@gmail.com