[要約] RFC 8204は、OPNFVでの仮想スイッチのベンチマークを評価するためのガイドラインです。その目的は、ネットワーク機能仮想化（NFV）環境での仮想スイッチの性能評価を標準化し、比較可能な結果を提供することです。
Internet Engineering Task Force (IETF) M. Tahhan
Request for Comments: 8204 B. O'Mahony
Category: Informational Intel
ISSN: 2070-1721 A. Morton
AT&T Labs
September 2017
Benchmarking Virtual Switches in the Open Platform for NFV (OPNFV)
Open Platform for NFV（OPNFV）での仮想スイッチのベンチマーク
Abstract
概要
This memo describes the contributions of the Open Platform for NFV (OPNFV) project on Virtual Switch Performance (VSPERF), particularly in the areas of test setups and configuration parameters for the system under test. This project has extended the current and completed work of the Benchmarking Methodology Working Group in the IETF and references existing literature. The Benchmarking Methodology Working Group has traditionally conducted laboratory characterization of dedicated physical implementations of internetworking functions. Therefore, this memo describes the additional considerations when virtual switches are implemented on general-purpose hardware. The expanded tests and benchmarks are also influenced by the OPNFV mission to support virtualization of the "telco" infrastructure.
このメモは、仮想スイッチパフォーマンス（VSPERF）に関するOpen Platform for NFV（OPNFV）プロジェクトの貢献、特にテストシステムのテストセットアップと構成パラメーターの領域について説明しています。このプロジェクトは、IETFのベンチマーク手法ワーキンググループの現在および完了した作業を拡張し、既存の文献を参照しています。 Benchmarking Methodology Working Groupは伝統的に、インターネットワーキング機能の専用の物理的実装の実験室特性評価を実施してきました。したがって、このメモでは、仮想スイッチが汎用ハードウェアに実装されている場合の追加の考慮事項について説明します。拡張されたテストとベンチマークは、「電話会社」インフラストラクチャの仮想化をサポートするOPNFVミッションの影響も受けます。
Status of This Memo
本文書の状態
This document is not an Internet Standards Track specification; it is published for informational purposes.
このドキュメントはInternet Standards Trackの仕様ではありません。情報提供を目的として公開されています。
This document is a product of the Internet Engineering Task Force (IETF). It represents the consensus of the IETF community. It has received public review and has been approved for publication by the Internet Engineering Steering Group (IESG). Not all documents approved by the IESG are a candidate for any level of Internet Standard; see Section 2 of RFC 7841.
このドキュメントは、IETF（Internet Engineering Task Force）の製品です。これは、IETFコミュニティのコンセンサスを表しています。公開レビューを受け、インターネットエンジニアリングステアリンググループ（IESG）による公開が承認されました。 IESGによって承認されたすべてのドキュメントが、あらゆるレベルのインターネット標準の候補になるわけではありません。 RFC 7841のセクション2をご覧ください。
Information about the current status of this document, any errata, and how to provide feedback on it may be obtained at https://www.rfc-editor.org/info/rfc8204.
このドキュメントの現在のステータス、エラータ、およびフィードバックの提供方法に関する情報は、https：//www.rfc-editor.org/info/rfc8204で入手できます。
Copyright Notice
著作権表示
Copyright (c) 2017 IETF Trust and the persons identified as the document authors. All rights reserved.
Copyright（c）2017 IETF Trustおよびドキュメントの作成者として識別された人物。全著作権所有。
This document is subject to BCP 78 and the IETF Trust's Legal Provisions Relating to IETF Documents (https://trustee.ietf.org/license-info) in effect on the date of publication of this document. Please review these documents carefully, as they describe your rights and restrictions with respect to this document. Code Components extracted from this document must include Simplified BSD License text as described in Section 4.e of the Trust Legal Provisions and are provided without warranty as described in the Simplified BSD License.
この文書は、BCP 78およびIETF文書に関するIETFトラストの法的規定（https://trustee.ietf.org/license-info）の対象であり、この文書の発行日に有効です。これらのドキュメントは、このドキュメントに関するあなたの権利と制限を説明しているため、注意深く確認してください。このドキュメントから抽出されたコードコンポーネントには、Trust Legal Provisionsのセクション4.eに記載されているSimplified BSD Licenseのテキストが含まれている必要があり、Simplified BSD Licenseに記載されているように保証なしで提供されます。
Table of Contents
目次
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . 3
1.1. Requirements Language . . . . . . . . . . . . . . . . . . 4
1.2. Abbreviations . . . . . . . . . . . . . . . . . . . . . . 4
2. Scope . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
3. Benchmarking Considerations . . . . . . . . . . . . . . . . . 5
3.1. Comparison with Physical Network Functions . . . . . . . 5
3.2. Continued Emphasis on Black-Box Benchmarks . . . . . . . 6
3.3. New Configuration Parameters . . . . . . . . . . . . . . 6
3.4. Flow Classification . . . . . . . . . . . . . . . . . . . 8
3.5. Benchmarks Using Baselines with Resource Isolation . . . 9
4. VSPERF Specification Summary . . . . . . . . . . . . . . . . 11
5. 3x3 Matrix Coverage . . . . . . . . . . . . . . . . . . . . . 18
5.1. Speed of Activation . . . . . . . . . . . . . . . . . . . 19
5.2. Accuracy of Activation . . . . . . . . . . . . . . . . . 19
5.3. Reliability of Activation . . . . . . . . . . . . . . . . 19
5.4. Scale of Activation . . . . . . . . . . . . . . . . . . . 19
5.5. Speed of Operation . . . . . . . . . . . . . . . . . . . 19
5.6. Accuracy of Operation . . . . . . . . . . . . . . . . . . 19
5.7. Reliability of Operation . . . . . . . . . . . . . . . . 20
5.8. Scalability of Operation . . . . . . . . . . . . . . . . 20
5.9. Summary . . . . . . . . . . . . . . . . . . . . . . . . . 20
6. Security Considerations . . . . . . . . . . . . . . . . . . . 21
7. References . . . . . . . . . . . . . . . . . . . . . . . . . 21
7.1. Normative References . . . . . . . . . . . . . . . . . . 21
7.2. Informative References . . . . . . . . . . . . . . . . . 22
Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . 23
Authors' Addresses . . . . . . . . . . . . . . . . . . . . . . . 24
The Benchmarking Methodology Working Group (BMWG) has traditionally conducted laboratory characterization of dedicated physical implementations of internetworking functions. The black-box benchmarks of throughput, latency, forwarding rates, and others have served our industry for many years. Now, Network Function Virtualization (NFV) has the goal of transforming how internetwork functions are implemented and therefore has garnered much attention.
Benchmarking Methodology Working Group（BMWG）は伝統的に、インターネットワーキング機能の専用の物理的実装の実験室特性評価を実施してきました。スループット、レイテンシ、転送速度などのブラックボックスベンチマークは、長年にわたって私たちの業界に貢献してきました。現在、ネットワーク機能仮想化（NFV）は、インターネットワーク機能の実装方法を変革することを目的としているため、多くの注目を集めています。
A virtual switch (vSwitch) is an important aspect of the NFV infrastructure; it provides connectivity between and among physical network functions and virtual network functions. As a result, there are many vSwitch benchmarking efforts but few specifications to guide the many new test design choices. This is a complex problem and an industry-wide work in progress. In the future, several of BMWG's fundamental specifications will likely be updated as more testing experience helps to form consensus around new methodologies, and BMWG should continue to collaborate with all organizations that share the same goal.
仮想スイッチ（vSwitch）は、NFVインフラストラクチャの重要な側面です。物理ネットワーク機能と仮想ネットワーク機能の間の接続を提供します。その結果、vSwitchベンチマークの取り組みは多数ありますが、多くの新しいテスト設計の選択肢を導くための仕様はほとんどありません。これは複雑な問題であり、業界全体で進行中の作業です。将来的には、より多くのテスト経験が新しい方法論に関する合意形成に役立つため、BMWGのいくつかの基本仕様が更新される可能性があり、BMWGは同じ目標を共有するすべての組織と引き続き協力する必要があります。
This memo describes the contributions of the Open Platform for NFV (OPNFV) project on Virtual Switch Performance (VSPERF) characterization through the Danube 3.0 (fourth) release [DanubeRel] to the chartered work of the BMWG (with stable references to their test descriptions). This project has extended the current and completed work of the BMWG IETF and references existing literature. For example, the most often referenced RFC is [RFC2544] (which depends on [RFC1242]), so the foundation of the benchmarking work in OPNFV is common and strong. The recommended extensions are specifically in the areas of test setups and configuration parameters for the system under test.
このメモは、ドナウ3.0（4番目）リリース[DanubeRel]による仮想スイッチパフォーマンス（VSPERF）特性評価に関するOpen Platform for NFV（OPNFV）プロジェクトの貢献を、BMWGのチャーターされた作業（テストの説明への安定した参照付き）に提供することについて説明します。このプロジェクトは、現在完了しているBMWG IETFの作業を拡張し、既存の文献を参照しています。たとえば、最も頻繁に参照されるRFCは[RFC2544]（[RFC1242]に依存）であるため、OPNFVのベンチマーク作業の基盤は一般的で強力です。推奨される拡張機能は、特に、テスト対象のシステムのテストセットアップと構成パラメーターの領域にあります。
See [VSPERFhome] for more background and the OPNFV website for general information [OPNFV].
詳細については[VSPERFhome]を、一般情報についてはOPNFV Webサイトをご覧ください[OPNFV]。
The authors note that OPNFV distinguishes itself from other open source compute and networking projects through its emphasis on existing "telco" services as opposed to cloud computing. There are many ways in which telco requirements have different emphasis on performance dimensions when compared to cloud computing: support for and transfer of isochronous media streams is one example.
著者は、OPNFVは、クラウドコンピューティングではなく、既存の「電話会社」サービスに重点を置いているため、他のオープンソースコンピューティングおよびネットワーキングプロジェクトとは異なる点に注目しています。クラウドコンピューティングと比較すると、通信事業者の要件がパフォーマンスの側面に異なる重点を置く多くの方法があります。アイソクロナスメディアストリームのサポートと転送はその1つの例です。
The key words "MUST", "MUST NOT", "REQUIRED", "SHALL", "SHALL NOT", "SHOULD", "SHOULD NOT", "RECOMMENDED", "NOT RECOMMENDED", "MAY", and "OPTIONAL" in this document are to be interpreted as described in BCP 14 [RFC2119] [RFC8174] when, and only when, they appear in all capitals, as shown here.
キーワード「MUST」、「MUST NOT」、「REQUIRED」、「SHALL」、「SHALL NOT」、「SHOULD」、「SHOULD NOT」、「RECOMMENDED」、「NOT RECOMMENDED」、「MAY」、「OPTIONALこのドキュメントの「」は、BCP 14 [RFC2119] [RFC8174]で説明されているように解釈されます。
For the purposes of this document, the following abbreviations apply:
このドキュメントでは、次の略語が適用されます。
ACK Acknowledge ACPI Advanced Configuration and Power Interface BIOS Basic Input Output System BMWG Benchmarking Methodology Working Group CPDP Control Plane Data Plane CPU Central Processing Unit DIMM Dual In-line Memory Module DPDK Data Plane Development Kit DUT Device Under Test GRUB Grand Unified Bootloader ID Identification IMIX Internet Mix IP Internet Protocol IPPM IP Performance Metrics LAN Local Area Network LTD Level Test Design NFV Network Functions Virtualization NIC Network Interface Card NUMA Non-uniform Memory Access OPNFV Open Platform for NFV OS Operating System PCI Peripheral Component Interconnect PDV Packet Delay Variation SR/IOV Single Root / Input Output Virtualization SUT System Under Test TCP Transmission Control Protocol TSO TCP Segment Offload UDP User Datagram Protocol VM Virtual Machine VNF Virtualised Network Function VSPERF OPNFV vSwitch Performance Project
ACK確認ACPI Advanced Configuration and Power Interface BIOS Basic Input Output System BMWG Benchmarking Methodology Working Group CPDP Control Plane Data Plane CPU Central Processing Unit DIMM Dual In-line Memory Module DPDK Data Plane Development Kit DUT Device Under Test GRUB Grand Unified Bootloader ID Identification IMIXインターネットミックスIPインターネットプロトコルIPPM IPパフォーマンスメトリックLANローカルエリアネットワークLTDレベルテスト設計NFVネットワーク機能仮想化NICネットワークインターフェイスカードNUMA非均一メモリアクセスOPNFVオープンプラットフォームNFV OSオペレーティングシステムPCI周辺機器コンポーネント相互接続PDVパケット遅延変動SR / IOVシングルルート/入出力仮想化SUTテスト対象システムTCP伝送制御プロトコルTSO TCPセグメントオフロードUDPユーザーデータグラムプロトコルVM仮想マシンVNF仮想化ネットワーク機能VSPERF OPNFV vSwitchパフォーマンスプロジェクト
The primary purpose and scope of the memo is to describe key aspects of vSwitch benchmarking, particularly in the areas of test setups and configuration parameters for the system under test, and extend the body of extensive BMWG literature and experience. Initial feedback indicates that many of these extensions may be applicable beyond this memo's current scope (to hardware switches in the NFV infrastructure and to virtual routers, for example). Additionally, this memo serves as a vehicle to include more detail and relevant commentary from BMWG and other open source communities under BMWG's chartered work to characterize the NFV infrastructure.
メモの主な目的と範囲は、vSwitchベンチマークの主要な側面、特にテスト対象のシステムのテストセットアップと構成パラメーターの領域について説明し、広範なBMWGの文献と経験の本文を拡張することです。最初のフィードバックは、これらの拡張機能の多くがこのメモの現在の範囲を超えて適用できる可能性があることを示しています（NFVインフラストラクチャのハードウェアスイッチや仮想ルーターなど）。さらに、このメモは、NFVインフラストラクチャを特徴付けるBMWGのチャーターされた作業に基づいて、BMWGおよびその他のオープンソースコミュニティからの詳細および関連するコメントを含める手段として機能します。
The benchmarking covered in this memo should be applicable to many types of vSwitches and remain vSwitch agnostic to a great degree. There has been no attempt to track and test all features of any specific vSwitch implementation.
このメモで説明されているベンチマークは、多くのタイプのvSwitchに適用可能であり、vSwitchに大きくとらわれません。特定のvSwitch実装のすべての機能を追跡およびテストする試みはありません。
This section highlights some specific considerations (from [RFC8172]) related to benchmarks for virtual switches. The OPNFV project is sharing its present view on these areas as they develop their specifications in the Level Test Design (LTD) document as defined by [IEEE829].
このセクションでは、仮想スイッチのベンチマークに関連するいくつかの特定の考慮事項（[RFC8172]から）を強調します。 OPNFVプロジェクトは、[IEEE829]で定義されているレベルテスト設計（LTD）ドキュメントで仕様を開発する際に、これらの領域に関する現在の見解を共有しています。
To compare the performance of virtual designs and implementations with their physical counterparts, identical benchmarks are needed. BMWG has developed specifications for many physical network functions. The BMWG has recommended reusing existing benchmarks and methods in [RFC8172], and the OPNFV LTD expands on them as described here. A key configuration aspect for vSwitches is the number of parallel CPU cores required to achieve comparable performance with a given physical device or whether some limit of scale will be reached before the vSwitch can achieve the comparable performance level.
仮想設計と実装のパフォーマンスを対応する物理モデルと比較するには、同一のベンチマークが必要です。 BMWGは、多くの物理ネットワーク機能の仕様を開発しました。 BMWGは[RFC8172]の既存のベンチマークと方法を再利用することを推奨しており、OPNFV LTDはここで説明するようにそれらを拡張します。 vSwitchの主要な構成の側面は、特定の物理デバイスで同等のパフォーマンスを実現するために必要な並列CPUコアの数、またはvSwitchが同等のパフォーマンスレベルを達成する前にスケールの制限に達するかどうかです。
It's unlikely that the virtual switch will be the only application running on the SUT, so CPU utilization, cache utilization, and memory footprint should also be recorded for the virtual implementations of internetworking functions. However, internally measured metrics such as these are not benchmarks; they may be useful for the audience (e.g., operations) to know and may also be useful if there is a problem encountered during testing.
仮想スイッチがSUTで実行される唯一のアプリケーションになる可能性は低いため、CPU使用率、キャッシュ使用率、およびメモリフットプリントも、インターネットワーキング機能の仮想実装について記録する必要があります。ただし、これらのような内部で測定されたメトリックはベンチマークではありません。これらは、オーディエンス（操作など）が知るのに役立ち、テスト中に問題が発生した場合にも役立ちます。
Benchmark comparability between virtual and physical/hardware implementations of equivalent functions will likely place more detailed and exact requirements on the "testing systems" (in terms of stream generation, algorithms to search for maximum values, and their configurations). This is another area for standards development to appreciate; however, this is a topic for a future document.
同等の機能の仮想実装と物理/ハードウェア実装の間のベンチマークの比較可能性は、「テストシステム」（ストリーム生成、最大値を検索するアルゴリズム、およびそれらの構成に関して）により詳細で正確な要件を課す可能性があります。これは、標準の開発が評価すべきもう1つの領域です。ただし、これは将来のドキュメントのトピックです。
External observations remain essential as the basis for benchmarks. Internal observations with a fixed specification and interpretation will be provided in parallel to assist the development of operations procedures when the technology is deployed.
ベンチマークの基礎として、外部からの観察が不可欠です。技術が展開されたときに運用手順の開発を支援するために、固定された仕様と解釈を伴う内部観察が並行して提供されます。
A key consideration when conducting any sort of benchmark is trying to ensure the consistency and repeatability of test results. When benchmarking the performance of a vSwitch, there are many factors that can affect the consistency of results; one key factor is matching the various hardware and software details of the SUT. This section lists some of the many new parameters that this project believes are critical to report in order to achieve repeatability.
あらゆる種類のベンチマークを実施する際の重要な考慮事項は、テスト結果の一貫性と再現性を確保することです。 vSwitchのパフォーマンスをベンチマークする場合、結果の一貫性に影響を与える可能性のある多くの要因があります。重要な要素の1つは、SUTのさまざまなハードウェアおよびソフトウェアの詳細を照合することです。このセクションでは、再現性を達成するためにこのプロジェクトがレポートすることが重要であると信じている多くの新しいパラメーターのいくつかをリストします。
It has been the goal of the project to produce repeatable results, and a large set of the parameters believed to be critical is provided so that the benchmarking community can better appreciate the increase in configuration complexity inherent in this work. The parameter set below is assumed sufficient for the infrastructure in use by the VSPERF project to obtain repeatable results from test to test.
繰り返し可能な結果を生成することがプロジェクトの目標であり、ベンチマークコミュニティがこの作業に固有の構成の複雑さの増加をよりよく理解できるように、重要であると思われるパラメーターの大規模なセットが提供されています。以下のパラメータセットは、VSPERFプロジェクトが使用しているインフラストラクチャがテスト間で再現可能な結果を得るために十分であると想定されています。
Hardware details (platform, processor, memory, and network) including:
以下を含むハードウェアの詳細（プラットフォーム、プロセッサ、メモリ、およびネットワーク）：
o BIOS version, release date, and any configurations that were modified
o BIOSバージョン、リリース日、および変更された構成
o Power management at all levels (ACPI sleep states, processor package, OS, etc.)
o すべてのレベルでの電源管理（ACPIスリープ状態、プロセッサパッケージ、OSなど）
o CPU microcode level
o CPUマイクロコードレベル
o Number of enabled cores
o 有効なコアの数
o Number of cores used for the test
o テストに使用されたコアの数
o Memory information (type and size) o Memory DIMM configurations (quad rank performance may not be the same as dual rank) in size, frequency, and slot locations
oサイズ、周波数、およびスロットの位置に関するメモリDIMM構成のメモリ情報（タイプおよびサイズ）（クアッドランクパフォーマンスはデュアルランクと同じでない場合があります）
o Number of physical NICs and their details (manufacturer, versions, type, and the PCI slot they are plugged into)
o 物理NICの数とその詳細（製造元、バージョン、タイプ、およびそれらが接続されているPCIスロット）
o NIC interrupt configuration (and any special features in use)
o NIC割り込み構成（および使用中の特別な機能）
o PCI configuration parameters (payload size, early ACK option, etc.)
o PCI構成パラメーター（ペイロードサイズ、早期ACKオプションなど）
Software details including:
以下を含むソフトウェアの詳細：
o OS RunLevel
o OSランレベル
o OS version (for host and VNF)
o OSバージョン（ホストおよびVNF用）
o Kernel version (for host and VNF)
o カーネルバージョン（ホストおよびVNF用）
o GRUB boot parameters (for host and VNF)
o GRUBブートパラメータ（ホストおよびVNF用）
o Hypervisor details (type and version)
o ハイパーバイザーの詳細（タイプとバージョン）
o Selected vSwitch, version number, or commit ID used
o 選択したvSwitch、バージョン番号、またはコミットIDを使用
o vSwitch launch command line if it has been parameterized
o パラメーター化されている場合、vSwitch起動コマンドライン
o Memory allocation to the vSwitch
o vSwitchへのメモリ割り当て
o Which NUMA node it is using and how many memory channels
o 使用しているNUMAノードとメモリチャネルの数
o DPDK or any other software dependency version number or commit ID used
o 使用されているDPDKまたはその他のソフトウェア依存バージョン番号またはコミットID
o Memory allocation to a VM - if it's from Hugepages/elsewhere
o VMへのメモリ割り当て-Hugepages /その他からの場合
o VM storage type - snapshot, independent persistent, independent non-persistent
o VMストレージタイプ-スナップショット、独立永続、独立非永続
o Number of VMs
o VMの数
o Number of virtual NICs (vNICs) - versions, type, and driver
o 仮想NIC（vNIC）の数-バージョン、タイプ、およびドライバー
o Number of virtual CPUs and their core affinity on the host
o ホスト上の仮想CPUの数とそのコアアフィニティ
o Number of vNICs and their interrupt configurations o Thread affinitization for the applications (including the vSwitch itself) on the host
o vNICの数とその割り込み構成oホスト上のアプリケーション（vSwitch自体を含む）のスレッドアフィニティ化
o Details of resource isolation, such as CPUs designated for Host/ Kernel (isolcpu) and CPUs designated for specific processes (taskset).
o ホスト/カーネル（isolcpu）に指定されたCPUや特定のプロセス（タスクセット）に指定されたCPUなどのリソース分離の詳細。
Test traffic information:
テスト交通情報：
o Test duration
o テスト期間
o Number of flows
o フローの数
o Traffic type - UDP, TCP, and others
o トラフィックの種類-UDP、TCP、その他
o Frame Sizes - fixed or IMIX [RFC6985] (note that with [IEEE802.1ac], frames may be longer than 1500 bytes and up to 2000 bytes)
o フレームサイズ-固定またはIMIX [RFC6985]（[IEEE802.1ac]では、フレームが1500バイトより長く、最大2000バイトになる場合があることに注意してください）
o Deployment Scenario - defines the communications path in the SUT
o 配備シナリオ-SUTの通信パスを定義します
Virtual switches group packets into flows by processing and matching particular packet or frame header information, or by matching packets based on the input ports. Thus, a flow can be thought of as a sequence of packets that have the same set of header field values or have arrived on the same physical or logical port. Performance results can vary based on the parameters the vSwitch uses to match for a flow. The recommended flow classification parameters for any vSwitch performance tests are: the input port (physical or logical), the source MAC address, the destination MAC address, the source IP address, the destination IP address, and the Ethernet protocol type field (although classification may take place on other fields, such as source and destination transport port numbers). It is essential to increase the flow timeout time on a vSwitch before conducting any performance tests that do not intend to measure the flow setup time (see Section 3 of [RFC2889]). Normally, the first packet of a particular stream will install the flow in the virtual switch, which introduces additional latency; subsequent packets of the same flow are not subject to this latency if the flow is already installed on the vSwitch.
仮想スイッチは、特定のパケットまたはフレームヘッダー情報を処理して照合するか、入力ポートに基づいてパケットを照合することにより、パケットをフローにグループ化します。したがって、フローは、同じヘッダーフィールド値のセットを持つか、同じ物理ポートまたは論理ポートに到着した一連のパケットと考えることができます。パフォーマンスの結果は、vSwitchがフローの照合に使用するパラメーターに基づいて異なる場合があります。 vSwitchパフォーマンステストで推奨されるフロー分類パラメーターは、入力ポート（物理または論理）、送信元MACアドレス、宛先MACアドレス、送信元IPアドレス、宛先IPアドレス、およびイーサネットプロトコルタイプフィールド（分類はありますが）です。送信元と宛先のトランスポートポート番号など、他のフィールドで発生する場合があります）。フローのセットアップ時間を測定するつもりのないパフォーマンステストを実行する前に、vSwitchのフロータイムアウト時間を増やすことが不可欠です（[RFC2889]のセクション3を参照）。通常、特定のストリームの最初のパケットによって仮想スイッチにフローがインストールされ、追加のレイテンシが発生します。フローがすでにvSwitchにインストールされている場合、同じフローの後続のパケットはこの遅延の影響を受けません。
This outline describes the measurement of baselines with isolated resources at a high level, which is the intended approach at this time.
この概要では、分離されたリソースを使用したベースラインの高レベルでの測定について説明します。これは、現時点で意図されているアプローチです。
1. Baselines:
1. ベースライン：
* Optional: Benchmark platform forwarding capability without a vSwitch or VNF for at least 72 hours (serves as a means of platform validation and a means to obtain the base performance for the platform in terms of its maximum forwarding rate and latency).
* オプション：vSwitchまたはVNFを使用せずに少なくとも72時間ベンチマークプラットフォーム転送機能（プラットフォーム検証の手段として、および最大転送レートとレイテンシの観点からプラットフォームの基本パフォーマンスを取得する手段として機能します）。
__
+--------------------------------------------------+ |
| +------------------------------------------+ | |
| | | | |
| | Simple Forwarding App | | Host
| | | | |
| +------------------------------------------+ | |
| | NIC | | |
+---+------------------------------------------+---+ __|
^ :
| |
: v
+--------------------------------------------------+
| |
| Traffic Generator |
| |
+--------------------------------------------------+
Figure 1: Benchmark Platform Forwarding Capability
図1：ベンチマークプラットフォームの転送機能
* Benchmark VNF forwarding capability with direct connectivity (vSwitch bypass, e.g., SR/IOV) for at least 72 hours (serves as a means of VNF validation and a means to obtain the base performance for the VNF in terms of its maximum forwarding rate and latency). The metrics gathered from this test will serve as a key comparison point for vSwitch bypass technologies performance and vSwitch performance.
* 少なくとも72時間の直接接続（vSwitchバイパス、SR / IOVなど）を備えたVNF転送機能のベンチマーク（VNF検証の手段、および最大転送速度とレイテンシに関してVNFの基本パフォーマンスを取得する手段として機能） ）。このテストから収集されたメトリックは、vSwitchバイパステクノロジーのパフォーマンスとvSwitchのパフォーマンスの主要な比較ポイントとして機能します。
__
+--------------------------------------------------+ __ |
| +------------------------------------------+ | | |
| | | | Host/ |
| | VNF | | Guest |
| | | | | |
| +------------------------------------------+ | __| |
| | Passthrough/SR-IOV | | Host
| +------------------------------------------+ | |
| | NIC | | |
+---+------------------------------------------+---+ __|
^ :
| |
: v
+--------------------------------------------------+
| |
| Traffic Generator |
| |
+--------------------------------------------------+
Figure 2: Benchmark VNF Forwarding Capability
図2：ベンチマークVNF転送機能
* Benchmarking with isolated resources alone and with other resources (both hardware and software) disabled; for example, vSwitch and VM are SUT.
* 分離されたリソースのみと他のリソース（ハードウェアとソフトウェアの両方）を無効にしたベンチマーク。たとえば、vSwitchとVMはSUTです。
* Benchmarking with isolated resources alone, thus leaving some resources unused.
* 分離されたリソースのみでベンチマークを行い、一部のリソースを未使用のままにします。
* Benchmarking with isolated resources and all resources occupied.
* 孤立したリソースと占有されているすべてのリソースを使用したベンチマーク。
2. Next Steps:
2. 次のステップ：
* Limited sharing
* 限定的な共有
* Production scenarios
* 生産シナリオ
* Stressful scenarios
* ストレスの多いシナリオ
The overall specification in preparation is referred to as a Level Test Design (LTD) document, which will contain a suite of performance tests. The base performance tests in the LTD are based on the pre-existing specifications developed by the BMWG to test the performance of physical switches. These specifications include:
準備中の全体的な仕様はレベルテスト設計（LTD）ドキュメントと呼ばれ、一連のパフォーマンステストが含まれます。 LTDの基本的なパフォーマンステストは、物理スイッチのパフォーマンスをテストするためにBMWGが開発した既存の仕様に基づいています。これらの仕様は次のとおりです。
o Benchmarking Methodology for Network Interconnect Devices [RFC2544]
o ネットワーク相互接続デバイスのベンチマーク手法[RFC2544]
o Benchmarking Methodology for LAN Switching [RFC2889]
o LANスイッチングのベンチマーク手法[RFC2889]
o Device Reset Characterization [RFC6201]
o デバイスリセットの特性評価[RFC6201]
o Packet Delay Variation Applicability Statement [RFC5481]
o パケット遅延変動適用ステートメント[RFC5481]
The two most recent RFCs above ([RFC6201] and [RFC5481]) are being applied in benchmarking for the first time and represent a development challenge for test equipment developers. Fortunately, many members of the testing system community have engaged on the VSPERF project, including an open source test system.
上記の最新の2つのRFC（[RFC6201]と[RFC5481]）は初めてベンチマークに適用されており、テスト機器開発者の開発課題を表しています。幸い、テストシステムコミュニティの多くのメンバーが、オープンソーステストシステムを含むVSPERFプロジェクトに携わっています。
In addition to this, the LTD also reuses the terminology defined by:
これに加えて、LTDは以下によって定義される用語を再利用します。
o Benchmarking Terminology for LAN Switching Devices [RFC2285]
o LANスイッチングデバイスのベンチマーク用語[RFC2285]
It is recommended that these references be included in future benchmarking specifications:
これらのリファレンスを将来のベンチマーク仕様に含めることをお勧めします。
o Methodology for IP Multicast Benchmarking [RFC3918]
o IPマルチキャストベンチマークの方法[RFC3918]
o Packet Reordering Metrics [RFC4737]
o パケットの並べ替えメトリック[RFC4737]
As one might expect, the most fundamental internetworking characteristics of throughput and latency remain important when the switch is virtualized, and these benchmarks figure prominently in the specification.
ご想像のとおり、スイッチが仮想化された場合でも、スループットとレイテンシの最も基本的なインターネットワーキング特性は重要であり、これらのベンチマークは仕様で際立って示されています。
When considering characteristics important to "telco" network functions, additional performance metrics are needed. In this case, the project specifications have referenced metrics from the IETF IP Performance Metrics (IPPM) literature. This means that the latency test described in [RFC2544] is replaced by measurement of a metric derived from IPPM's [RFC7679], where a set of statistical summaries will be provided (mean, max, min, and percentiles). Further metrics planned to be benchmarked include packet delay variation as defined by [RFC5481], reordering, burst behaviour, DUT availability, DUT capacity, and packet loss in long-term testing at the throughput level, where some low level of background loss may be present and characterized.
「電話会社」ネットワーク機能にとって重要な特性を検討する場合、追加のパフォーマンスメトリックが必要です。この場合、プロジェクト仕様はIETF IPパフォーマンスメトリック（IPPM）の文献からのメトリックを参照しています。これは、[RFC2544]で説明されているレイテンシテストが、IPPMの[RFC7679]から導出されたメトリックの測定に置き換えられ、一連の統計サマリー（平均、最大、最小、およびパーセンタイル）が提供されることを意味します。ベンチマークの対象となる追加のメトリックには、[RFC5481]で定義されたパケット遅延変動、並べ替え、バースト動作、DUT可用性、DUT容量、およびスループットレベルでの長期テストにおけるパケット損失が含まれます。存在し、特徴付けられています。
Tests have been designed to collect the metrics below:
テストは、以下のメトリックを収集するように設計されています。
o Throughput tests are designed to measure the maximum forwarding rate (in frames per second, fps) and bit rate (in Mbps) for a constant load (as defined by [RFC1242]) without traffic loss.
o スループットテストは、トラフィック損失なしで一定の負荷（[RFC1242]で定義）の最大転送速度（フレーム/秒、fps）およびビットレート（Mbps）を測定するように設計されています。
o Packet and frame-delay distribution tests are designed to measure the average minimum and maximum packet (and/or frame) delay for constant loads.
o パケットおよびフレーム遅延分散テストは、一定の負荷に対する平均最小および最大パケット（またはフレーム）遅延を測定するように設計されています。
o Packet delay tests are designed to understand latency distribution for different packet sizes and to uncover outliers over an extended test run.
o パケット遅延テストは、さまざまなパケットサイズのレイテンシ分布を理解し、拡張されたテスト実行で異常値を明らかにするように設計されています。
o Scalability tests are designed to understand how the virtual switch performs with an increasing number of flows, number of active ports, configuration complexity of the forwarding logic, etc.
o スケーラビリティテストは、フローの数、アクティブポートの数、転送ロジックの構成の複雑さなどが増加した場合の仮想スイッチの動作を理解するように設計されています。
o Stream performance tests (with TCP or UDP) are designed to measure bulk data transfer performance, i.e., how fast systems can send and receive data through the switch.
o ストリームパフォーマンステスト（TCPまたはUDPを使用）は、バルクデータ転送パフォーマンス、つまりシステムがスイッチを介してデータを送受信する速度を測定するように設計されています。
o Control-path and data-path coupling tests are designed to understand how closely the data path and the control path are coupled, as well as the effect of this coupling on the performance of the DUT (for example, delay of the initial packet of a flow).
o 制御パスとデータパスの結合テストは、データパスと制御パスがどの程度密接に結合されているか、およびこの結合がDUTのパフォーマンスに及ぼす影響（たとえば、最初のパケットの遅延）を理解するように設計されていますフロー）。
o CPU and memory consumption tests are designed to understand the virtual switch's footprint on the system and are conducted as auxiliary measurements with the benchmarks above. They include CPU utilization, cache utilization, and memory footprint.
o CPUとメモリの消費テストは、システム上の仮想スイッチのフットプリントを理解するように設計されており、上記のベンチマークを使用して補助測定として実施されます。これには、CPU使用率、キャッシュ使用率、メモリフットプリントが含まれます。
o The so-called "soak" tests, where the selected test is conducted over a long period of time (with an ideal duration of 24 hours but only long enough to determine that stability issues exist when found; there is no requirement to continue a test when a DUT exhibits instability over time). The key performance characteristics and benchmarks for a DUT are determined (using short duration tests) prior to conducting soak tests. The purpose of soak tests is to capture transient changes in performance, which may occur due to infrequent processes, memory leaks, or the low-probability coincidence of two or more processes. The stability of the DUT is the paramount consideration, so performance must be evaluated periodically during continuous testing, and this results in use of frame rate metrics [RFC2889] instead of throughput [RFC2544] (which requires stopping traffic to allow time for all traffic to exit internal queues), for example.
oいわゆる「ソーク」テスト。選択したテストが長期間にわたって実行されます（理想的な期間は24時間ですが、検出されたときに安定性の問題が存在すると判断するのに十分な長さです。継続する必要はありません） DUTが時間の経過とともに不安定になる場合のテスト）。 DUTの主要なパフォーマンス特性とベンチマークは、ソークテストを実行する前に（短時間のテストを使用して）決定されます。ソークテストの目的は、パフォーマンスの一時的な変化をキャプチャすることです。これは、まれなプロセス、メモリリーク、または2つ以上のプロセスの低確率の一致が原因で発生する可能性があります。 DUTの安定性が最も重要な考慮事項であるため、継続的なテスト中にパフォーマンスを定期的に評価する必要があります。これにより、スループット[RFC2544]ではなくフレームレートメトリック[RFC2889]が使用されます（すべてのトラフィックがたとえば、内部キューを終了します）。
Additional test specification development should include:
追加のテスト仕様の開発には、以下を含める必要があります。
o Request/response performance tests (with TCP or UDP), which measure the transaction rate through the switch.
o リクエスト/レスポンスパフォーマンステスト（TCPまたはUDPを使用）。スイッチを介したトランザクションレートを測定します。
o Noisy neighbor tests, in order to understand the effects of resource sharing on the performance of a virtual switch.
o 仮想スイッチのパフォーマンスに対するリソース共有の影響を理解するための、ノイズの多いネイバーテスト。
o Tests derived from examination of ETSI NFV Draft GS IFA003 requirements [IFA003] on characterization of acceleration technologies applied to vSwitches.
o vSwitchに適用されるアクセラレーションテクノロジーの特性化に関するETSI NFVドラフトGS IFA003要件[IFA003]の調査から派生したテスト。
The flexibility of deployment of a virtual switch within a network means that it is necessary to characterize the performance of a vSwitch in various deployment scenarios. The deployment scenarios under consideration are shown in the following figures:
ネットワーク内での仮想スイッチの導入の柔軟性は、さまざまな導入シナリオでvSwitchのパフォーマンスを特徴付ける必要があることを意味します。検討中の展開シナリオを次の図に示します。
__
+--------------------------------------------------+ |
| +--------------------+ | |
| | | | |
| | v | | Host
| +--------------+ +--------------+ | |
| | PHY Port | vSwitch | PHY Port | | |
+---+--------------+------------+--------------+---+ __|
^ :
| |
: v
+--------------------------------------------------+
| |
| Traffic Generator |
| |
+--------------------------------------------------+
Figure 3: Physical Port to Virtual Switch to Physical Port
図3：物理ポートから仮想スイッチ、物理ポートへ
__
+---------------------------------------------------+ |
| | |
| +-------------------------------------------+ | |
| | Application | | |
| +-------------------------------------------+ | |
| ^ : | |
| | | | | Guest
| : v | |
| +---------------+ +---------------+ | |
| | Logical Port 0| | Logical Port 1| | |
+---+---------------+-----------+---------------+---+ __|
^ :
| |
: v __
+---+---------------+----------+---------------+---+ |
| | Logical Port 0| | Logical Port 1| | |
| +---------------+ +---------------+ | |
| ^ : | |
| | | | | Host
| : v | |
| +--------------+ +--------------+ | |
| | PHY Port | vSwitch | PHY Port | | |
+---+--------------+------------+--------------+---+ __|
^ :
| |
: v
+--------------------------------------------------+
| |
| Traffic Generator |
| |
+--------------------------------------------------+
Figure 4: Physical Port to Virtual Switch to VNF to Virtual Switch to Physical Port
図4：物理ポートから仮想スイッチ、VNFから仮想スイッチ、物理ポート
__
+----------------------+ +----------------------+ |
| Guest 1 | | Guest 2 | |
| +---------------+ | | +---------------+ | |
| | Application | | | | Application | | |
| +---------------+ | | +---------------+ | |
| ^ | | | ^ | | |
| | v | | | v | | Guests
| +---------------+ | | +---------------+ | |
| | Logical Ports | | | | Logical Ports | | |
| | 0 1 | | | | 0 1 | | |
+---+---------------+--+ +---+---------------+--+__|
^ : ^ :
| | | |
: v : v _
+---+---------------+---------+---------------+--+ |
| | 0 1 | | 3 4 | | |
| | Logical Ports | | Logical Ports | | |
| +---------------+ +---------------+ | |
| ^ | ^ | | | Host
| | \-----------------/ v | |
| +--------------+ +--------------+ | |
| | PHY Ports | vSwitch | PHY Ports | | |
+---+--------------+----------+--------------+---+_|
^ :
| |
: v
+--------------------------------------------------+
| |
| Traffic Generator |
| |
+--------------------------------------------------+
Figure 5: Physical Port to Virtual Switch to VNF to Virtual Switch to VNF to Virtual Switch to Physical Port
図5：物理ポートから仮想スイッチ、VNF、仮想スイッチ、VNF、仮想スイッチ、物理ポート
__
+---------------------------------------------------+ |
| | |
| +-------------------------------------------+ | |
| | Application | | |
| +-------------------------------------------+ | |
| ^ | |
| | | | Guest
| : | |
| +---------------+ | |
| | Logical Port 0| | |
+---+---------------+-------------------------------+ __|
^
|
: __
+---+---------------+------------------------------+ |
| | Logical Port 0| | |
| +---------------+ | |
| ^ | |
| | | | Host
| : | |
| +--------------+ | |
| | PHY Port | vSwitch | |
+---+--------------+------------ -------------- ---+ __|
^
|
:
+--------------------------------------------------+
| |
| Traffic Generator |
| |
+--------------------------------------------------+
Figure 6: Physical Port to Virtual Switch to VNF
図6：VNFへの仮想スイッチから物理スイッチへ
__
+---------------------------------------------------+ |
| | |
| +-------------------------------------------+ | |
| | Application | | |
| +-------------------------------------------+ | |
| : | |
| | | | Guest
| v | |
| +---------------+ | |
| | Logical Port | | |
+-------------------------------+---------------+---+ __|
:
|
v __
+------------------------------+---------------+---+ |
| | Logical Port | | |
| +---------------+ | |
| : | |
| | | | Host
| v | |
| +--------------+ | |
| vSwitch | PHY Port | | |
+-------------------------------+--------------+---+ __|
:
|
v
+--------------------------------------------------+
| |
| Traffic Generator |
| |
+--------------------------------------------------+
Figure 7: VNF to Virtual Switch to Physical Port
図7：物理ポートへのVNFから仮想スイッチへ
__
+----------------------+ +----------------------+ |
| Guest 1 | | Guest 2 | |
| +---------------+ | | +---------------+ | |
| | Application | | | | Application | | |
| +---------------+ | | +---------------+ | |
| | | | ^ | |
| v | | | | | Guests
| +---------------+ | | +---------------+ | |
| | Logical Ports | | | | Logical Ports | | |
| | 0 | | | | 0 | | |
+---+---------------+--+ +---+---------------+--+__|
: ^
| |
v : _
+---+---------------+---------+---------------+--+ |
| | 1 | | 1 | | |
| | Logical Ports | | Logical Ports | | |
| +---------------+ +---------------+ | |
| | ^ | | Host
| \-----------------/ | |
| | |
| vSwitch | |
+------------------------------------------------+_|
Figure 8: VNF to Virtual Switch to VNF
図8：VNFからVNFへの仮想スイッチ
A set of deployment scenario figures is available on the VSPERF "Test Methodology" wiki page [TestTopo].
VSPERF "Test Methodology" wikiページ[TestTopo]で、一連の展開シナリオの図を入手できます。
This section organizes the many existing test specifications into the "3x3" matrix (introduced in [RFC8172]). Because the LTD specification ID names are quite long, this section is organized into lists for each occupied cell of the matrix (not all are occupied; also, the matrix has grown to 3x4 to accommodate scale metrics when displaying the coverage of many metrics/benchmarks). The current version of the LTD specification is available; see [LTD].
このセクションでは、多くの既存のテスト仕様を「3x3」マトリックス（[RFC8172]で導入）に編成します。 LTD仕様ID名は非常に長いため、このセクションは、マトリックスの各占有セルのリストに編成されています（すべてが占有されているわけではありません。また、多くのメトリック/ベンチマークのカバレッジを表示するときに、マトリックスが3x4に拡大されてスケールメトリックに対応しています。 ）。 LTD仕様の現在のバージョンが利用可能です。 [LTD]を参照してください。
The tests listed below assess the activation of paths in the data plane rather than the control plane.
以下に示すテストでは、コントロールプレーンではなく、データプレーンでのパスのアクティブ化を評価します。
A complete list of tests with short summaries is available on the VSPERF "LTD Test Spec Overview" wiki page [LTDoverV].
短い要約を含むテストの完全なリストは、VSPERF "LTD Test Spec Overview" wikiページ[LTDoverV]で入手できます。
o Activation.RFC2889.AddressLearningRate
o Activation.RFC2889.AddressLearningRate
o PacketLatency.InitialPacketProcessingLatency
o PacketLatency.InitialPacketProcessingLatency
o CPDP.Coupling.Flow.Addition
o CPDP.Coupling.Flow.Addition
o Throughput.RFC2544.SystemRecoveryTime
o Throughput.RFC2544.SystemRecoveryTime
o Throughput.RFC2544.ResetTime
o Throughput.RFC2544.ResetTime
o Activation.RFC2889.AddressCachingCapacity
o Activation.RFC2889.AddressCachingCapacity
o Throughput.RFC2544.PacketLossRate
o Throughput.RFC2544.PacketLossRate
o Stress.RFC2544.0PacketLoss
o Stress.RFC2544.0PacketLoss
o Throughput.RFC2544.PacketLossRateFrameModification
o Throughput.RFC2544.PacketLossRateFrameModification
o Throughput.RFC2544.BackToBackFrames
o Throughput.RFC2544.BackToBackFrames
o Throughput.RFC2889.MaxForwardingRate
o Throughput.RFC2889.MaxForwardingRate
o Throughput.RFC2889.ForwardPressure
o スループット.RFC2889.ForwardPressure
o Throughput.RFC2889.BroadcastFrameForwarding
o Throughput.RFC2889.BroadcastFrameForwarding
o Throughput.RFC2544.WorstN-BestN
o スループット.RFC 2544.最悪
o Throughput.Overlay.Network.<tech>.RFC2544.PacketLossRatio
o Throughput.Overlay.Network。<tech> .RFC2544.PacketLossRatio
o Throughput.RFC2889.ErrorFramesFiltering
o Throughput.RFC2889.ErrorFramesFiltering
o Throughput.RFC2544.Profile
o スループット.RFC2544。プロファイル
o Throughput.RFC2889.Soak
o スループット.RFC2889.Soak
o Throughput.RFC2889.SoakFrameModification
o Throughput.RFC2889.SoakFrameModification
o PacketDelayVariation.RFC3393.Soak
o PacketDelayVariation.RFC3393.Soak
o Scalability.RFC2544.0PacketLoss
o Scalability.RFC2544.0PacketLoss
o MemoryBandwidth.RFC2544.0PacketLoss.Scalability
o MemoryBandwidth.RFC2544.0PacketLoss.Scalability
o Scalability.VNF.RFC2544.PacketLossProfile
o Scalability.VNF.RFC2544.PacketLossProfile
o Scalability.VNF.RFC2544.PacketLossRatio
o Scalability.VNF.RFC2544.PacketLossRatio
|---------------------------------------------------------------------|
| | | | | |
| | SPEED | ACCURACY | RELIABILITY | SCALE |
| | | | | |
|---------------------------------------------------------------------|
| | | | | |
| Activation | X | X | X | X |
| | | | | |
|---------------------------------------------------------------------|
| | | | | |
| Operation | X | X | X | X |
| | | | | |
|---------------------------------------------------------------------|
| | | | | |
| De-activation| | | | |
| | | | | |
|---------------------------------------------------------------------|
Benchmarking activities as described in this memo are limited to technology characterization of a Device Under Test/System Under Test (DUT/SUT) using controlled stimuli in a laboratory environment with dedicated address space and the constraints specified in the sections above.
このメモに記載されているベンチマークアクティビティは、専用アドレススペースと上記のセクションで指定された制約がある実験室環境で制御された刺激を使用した、被試験デバイス/被試験システム（DUT / SUT）の技術特性評価に限定されます。
The benchmarking network topology will be an independent test setup and MUST NOT be connected to devices that may forward the test traffic into a production network or misroute traffic to the test management network.
ベンチマークネットワークトポロジは独立したテストセットアップであり、テストトラフィックを実稼働ネットワークに転送したり、トラフィックをテスト管理ネットワークに誤ってルーティングする可能性のあるデバイスに接続してはなりません。
Further, benchmarking is performed on a "black-box" basis and relies solely on measurements observable external to the DUT/SUT.
さらに、ベンチマークは「ブラックボックス」ベースで実行され、DUT / SUTの外部で観測可能な測定のみに依存します。
Special capabilities SHOULD NOT exist in the DUT/SUT specifically for benchmarking purposes. Any implications for network security arising from the DUT/SUT SHOULD be identical in the lab and in production networks.
特別な機能は、特にベンチマークの目的でDUT / SUTに存在すべきではありません。 DUT / SUTから生じるネットワークセキュリティへの影響は、ラボと実稼働ネットワークで同じである必要があります。
[RFC2119] Bradner, S., "Key words for use in RFCs to Indicate Requirement Levels", BCP 14, RFC 2119, DOI 10.17487/RFC2119, March 1997, <https://www.rfc-editor.org/info/rfc2119>.
[RFC2119] Bradner、S。、「要件レベルを示すためにRFCで使用するキーワード」、BCP 14、RFC 2119、DOI 10.17487 / RFC2119、1997年3月、<https://www.rfc-editor.org/info/ rfc2119>。
[RFC2285] Mandeville, R., "Benchmarking Terminology for LAN Switching Devices", RFC 2285, DOI 10.17487/RFC2285, February 1998, <https://www.rfc-editor.org/info/rfc2285>.
[RFC2285] Mandeville、R。、「Benchmarking Terminology for LAN Switching Devices」、RFC 2285、DOI 10.17487 / RFC2285、February 1998、<https://www.rfc-editor.org/info/rfc2285>。
[RFC2544] Bradner, S. and J. McQuaid, "Benchmarking Methodology for Network Interconnect Devices", RFC 2544, DOI 10.17487/RFC2544, March 1999, <https://www.rfc-editor.org/info/rfc2544>.
[RFC2544] Bradner、S。およびJ. McQuaid、「ネットワーク相互接続デバイスのベンチマーク手法」、RFC 2544、DOI 10.17487 / RFC2544、1999年3月、<https://www.rfc-editor.org/info/rfc2544>。
[RFC2889] Mandeville, R. and J. Perser, "Benchmarking Methodology for LAN Switching Devices", RFC 2889, DOI 10.17487/RFC2889, August 2000, <https://www.rfc-editor.org/info/rfc2889>.
[RFC2889] Mandeville、R。およびJ. Perser、「LANスイッチングデバイスのベンチマーク手法」、RFC 2889、DOI 10.17487 / RFC2889、2000年8月、<https://www.rfc-editor.org/info/rfc2889>。
[RFC3918] Stopp, D. and B. Hickman, "Methodology for IP Multicast Benchmarking", RFC 3918, DOI 10.17487/RFC3918, October 2004, <https://www.rfc-editor.org/info/rfc3918>.
[RFC3918] Stopp、D。およびB. Hickman、「Methodology for IP Multicast Benchmarking」、RFC 3918、DOI 10.17487 / RFC3918、2004年10月、<https://www.rfc-editor.org/info/rfc3918>。
[RFC4737] Morton, A., Ciavattone, L., Ramachandran, G., Shalunov, S., and J. Perser, "Packet Reordering Metrics", RFC 4737, DOI 10.17487/RFC4737, November 2006, <https://www.rfc-editor.org/info/rfc4737>.
[RFC4737] Morton、A.、Ciavattone、L.、Ramachandran、G.、Shalunov、S。、およびJ. Perser、「Packet Reordering Metrics」、RFC 4737、DOI 10.17487 / RFC4737、2006年11月、<https：// www.rfc-editor.org/info/rfc4737>。
[RFC6201] Asati, R., Pignataro, C., Calabria, F., and C. Olvera, "Device Reset Characterization", RFC 6201, DOI 10.17487/RFC6201, March 2011, <https://www.rfc-editor.org/info/rfc6201>.
[RFC6201]アサティ、R。、ピグナタロ、C。、カラブリア、F。、およびC.オルベラ、「デバイスリセットの特性」、RFC 6201、DOI 10.17487 / RFC6201、2011年3月、<https：//www.rfc-editor .org / info / rfc6201>。
[RFC6985] Morton, A., "IMIX Genome: Specification of Variable Packet Sizes for Additional Testing", RFC 6985, DOI 10.17487/RFC6985, July 2013, <https://www.rfc-editor.org/info/rfc6985>.
[RFC6985] Morton、A。、「IMIX Genome：Specification of Variable Packet Sizes for Additional Testing」、RFC 6985、DOI 10.17487 / RFC6985、2013年7月、<https://www.rfc-editor.org/info/rfc6985> 。
[RFC7679] Almes, G., Kalidindi, S., Zekauskas, M., and A. Morton, Ed., "A One-Way Delay Metric for IP Performance Metrics (IPPM)", STD 81, RFC 7679, DOI 10.17487/RFC7679, January 2016, <https://www.rfc-editor.org/info/rfc7679>.
[RFC7679] Almes、G.、Kalidindi、S.、Zekauskas、M。、およびA. Morton、編、「IPパフォーマンスメトリック（IPPM）の片方向遅延メトリック」、STD 81、RFC 7679、DOI 10.17487 / RFC7679、2016年1月、<https://www.rfc-editor.org/info/rfc7679>。
[RFC8174] Leiba, B., "Ambiguity of Uppercase vs Lowercase in RFC 2119 Key Words", BCP 14, RFC 8174, DOI 10.17487/RFC8174, May 2017, <https://www.rfc-editor.org/info/rfc8174>.
[RFC8174] Leiba、B。、「RFC 2119キーワードの大文字と小文字のあいまいさ」、BCP 14、RFC 8174、DOI 10.17487 / RFC8174、2017年5月、<https://www.rfc-editor.org/info/ rfc8174>。
[BENCHMARK-METHOD] Huang, L., Ed., Rong, G., Ed., Mandeville, B., and B. Hickman, "Benchmarking Methodology for Virtualization Network Performance", Work in Progress, draft-huang-bmwg-virtual-network-performance-03, July 2017.
[ベンチマークの方法] Huang、L.、Ed。、Rong、G.、Ed。、Mandeville、B.、and B. Hickman、 "Benchmarking Methodology for Virtualization Network Performance"、Work in Progress、draft-huang-bmwg- virtual-network-performance-03、2017年7月。
[DanubeRel] OPNFV, "Danube", <https://wiki.opnfv.org/display/SWREL/Danube>.
[DanubeRel] OPNFV、「Danube」、<https://wiki.opnfv.org/display/SWREL/Danube>。
[IEEE802.1ac] IEEE, "IEEE Standard for Local and metropolitan area networks -- Media Access Control (MAC) Service Definition", IEEE 802.1AC-2016, DOI 10.1109/IEEESTD.2017.7875381, 2016, <https://standards.ieee.org/findstds/ standard/802.1AC-2016.html>.
[IEEE802.1ac] IEEE、「IEEE Standard for Local and Metropolitan Area Networks-Media Access Control（MAC）Service Definition」、IEEE 802.1AC-2016、DOI 10.1109 / IEEESTD.2017.7875381、2016、<https：// standards。 ieee.org/findstds/ standard / 802.1AC-2016.html>。
[IEEE829] IEEE, "IEEE Standard for Software and System Test Documentation", IEEE 829-2008, DOI 10.1109/IEEESTD.2008.4578383, <http://ieeexplore.ieee.org/document/4578383/>.
[IEEE829] IEEE、「IEEE Standard for Software and System Test Documentation」、IEEE 829-2008、DOI 10.1109 / IEEESTD.2008.4578383、<http://ieeexplore.ieee.org/document/4578383/>。
[IFA003] ETSI, "Network Functions Virtualisation (NFV); Acceleration Technologies; vSwitch Benchmarking and Acceleration Specification", ETSI GS NFV-IFA 003 V2.1.1, April 2016, <http://www.etsi.org/deliver/etsi_gs/ NFV-IFA/001_099/003/02.01.01_60/ gs_NFV-IFA003v020101p.pdf>.
[IFA003] ETSI、「Network Functions Virtualization（NFV）; Acceleration Technologies; vSwitch Benchmarking and Acceleration Specification」、ETSI GS NFV-IFA 003 V2.1.1、2016年4月、<http://www.etsi.org/deliver/etsi_gs / NFV-IFA / 001_099 / 003 / 02.01.01_60 / gs_NFV-IFA003v020101p.pdf>。
[LTD] Tahhan, M., "VSPERF Level Test Design (LTD)", <http://docs.opnfv.org/en/stable-danube/ submodules/vswitchperf/docs/testing/developer/ requirements/vswitchperf_ltd.html#>.
[LTD] Tahhan、M。、「VSPERFレベルテストデザイン（LTD）」、<http://docs.opnfv.org/en/stable-danube/ submodules / vswitchperf / docs / testing / developer / requirements / vswitchperf_ltd.html ＃>。
[LTDoverV] Morton, A., "LTD Test Spec Overview", <https://wiki.opnfv.org/display/vsperf/ LTD+Test+Spec+Overview>.
[LTDoverV] Morton、A。、「LTD Test Spec Overview」、<https://wiki.opnfv.org/display/vsperf/ LTD + Test + Spec + Overview>。
[OPNFV] OPNFV, "OPNFV", <https://www.opnfv.org/>.
[OPNFV] OPNFV、「OPNFV」、<https://www.opnfv.org/>。
[RFC1242] Bradner, S., "Benchmarking Terminology for Network Interconnection Devices", RFC 1242, DOI 10.17487/RFC1242, July 1991, <https://www.rfc-editor.org/info/rfc1242>.
[RFC1242] Bradner、S。、「ネットワーク相互接続デバイスのベンチマーク用語」、RFC 1242、DOI 10.17487 / RFC1242、1991年7月、<https://www.rfc-editor.org/info/rfc1242>。
[RFC5481] Morton, A. and B. Claise, "Packet Delay Variation Applicability Statement", RFC 5481, DOI 10.17487/RFC5481, March 2009, <https://www.rfc-editor.org/info/rfc5481>.
[RFC5481] Morton、A。およびB. Claise、「Packet Delay Variation Applicability Statement」、RFC 5481、DOI 10.17487 / RFC5481、2009年3月、<https://www.rfc-editor.org/info/rfc5481>。
[RFC8172] Morton, A., "Considerations for Benchmarking Virtual Network Functions and Their Infrastructure", RFC 8172, DOI 10.17487/RFC8172, July 2017, <https://www.rfc-editor.org/info/rfc8172>.
[RFC8172] Morton、A。、「仮想ネットワーク機能とそのインフラストラクチャのベンチマークに関する考慮事項」、RFC 8172、DOI 10.17487 / RFC8172、2017年7月、<https://www.rfc-editor.org/info/rfc8172>。
[TestTopo] Snyder, E., "Test Methodology", <https://wiki.opnfv.org/display/vsperf/Test+Methodology>.
[TestTopo] Snyder、E。、「Test Methodology」、<https://wiki.opnfv.org/display/vsperf/Test+Methodology>。
[VSPERFhome] Tahhan, M., "VSPERF Home", <https://wiki.opnfv.org/display/vsperf/VSperf+Home>.
[VSPERFhome] Tahhan、M。、「VSPERFホーム」、<https://wiki.opnfv.org/display/vsperf/VSperf+Home>。
Acknowledgements
謝辞
The authors appreciate and acknowledge comments from Scott Bradner, Marius Georgescu, Ramki Krishnan, Doug Montgomery, Martin Klozik, Christian Trautman, Benoit Claise, and others for their reviews.
著者は、スコットブラドナー、マリウスジョルジェスク、ラムキクリシュナン、ダグモンゴメリー、マーティンクロジック、クリスチャントラウトマン、ブノワクレイズなどのレビューに対するコメントを高く評価し、認めています。
We also acknowledge the early work in [BENCHMARK-METHOD] and useful discussion with the authors.
また、[BENCHMARK-METHOD]の初期の作業と著者との有益な議論を認めます。
Authors' Addresses
著者のアドレス
Maryam Tahhan Intel
マリアム・ミーリング・インテル
Email: maryam.tahhan@intel.com
Billy O'Mahony Intel
びっｌｙ お’まほｎｙ いんてｌ
Email: billy.o.mahony@intel.com
Al Morton AT&T Labs 200 Laurel Avenue South Middletown, NJ 07748 United States of America
Al Morton AT＆T Labs 200 Laurel Avenue South Middletown、NJ 07748アメリカ合衆国
Phone: +1 732 420 1571
Fax: +1 732 368 1192
Email: acmorton@att.com