[要約] 要約：RFC 7938は、大規模データセンターでのルーティングにBGPを使用する方法についてのガイドラインです。 目的：このRFCの目的は、BGPを使用して大規模データセンター内のルーティングを効果的に管理するためのベストプラクティスを提供することです。
Internet Engineering Task Force (IETF) P. Lapukhov
Request for Comments: 7938 Facebook
Category: Informational A. Premji
ISSN: 2070-1721 Arista Networks
J. Mitchell, Ed.
August 2016
Use of BGP for Routing in Large-Scale Data Centers
大規模データセンターでのルーティングのためのBGPの使用
Abstract
概要
Some network operators build and operate data centers that support over one hundred thousand servers. In this document, such data centers are referred to as "large-scale" to differentiate them from smaller infrastructures. Environments of this scale have a unique set of network requirements with an emphasis on operational simplicity and network stability. This document summarizes operational experience in designing and operating large-scale data centers using BGP as the only routing protocol. The intent is to report on a proven and stable routing design that could be leveraged by others in the industry.
一部のネットワークオペレーターは、10万台を超えるサーバーをサポートするデータセンターを構築および運用しています。このドキュメントでは、このようなデータセンターを「大規模」と呼び、小規模なインフラストラクチャと区別します。この規模の環境には、運用のシンプルさとネットワークの安定性に重点を置いた独自のネットワーク要件があります。このドキュメントでは、BGPを唯一のルーティングプロトコルとして使用した大規模データセンターの設計と運用における運用経験をまとめています。その目的は、業界の他のユーザーが活用できる、実績のある安定したルーティング設計について報告することです。
Status of This Memo
本文書の状態
This document is not an Internet Standards Track specification; it is published for informational purposes.
このドキュメントはInternet Standards Trackの仕様ではありません。情報提供を目的として公開されています。
This document is a product of the Internet Engineering Task Force (IETF). It represents the consensus of the IETF community. It has received public review and has been approved for publication by the Internet Engineering Steering Group (IESG). Not all documents approved by the IESG are a candidate for any level of Internet Standard; see Section 2 of RFC 7841.
このドキュメントは、IETF（Internet Engineering Task Force）の製品です。これは、IETFコミュニティのコンセンサスを表しています。公開レビューを受け、インターネットエンジニアリングステアリンググループ（IESG）による公開が承認されました。 IESGによって承認されたすべてのドキュメントが、あらゆるレベルのインターネット標準の候補になるわけではありません。 RFC 7841のセクション2をご覧ください。
Information about the current status of this document, any errata, and how to provide feedback on it may be obtained at http://www.rfc-editor.org/info/rfc7938.
このドキュメントの現在のステータス、エラータ、およびフィードバックの提供方法に関する情報は、http：//www.rfc-editor.org/info/rfc7938で入手できます。
Copyright Notice
著作権表示
Copyright (c) 2016 IETF Trust and the persons identified as the document authors. All rights reserved.
Copyright（c）2016 IETF Trustおよびドキュメントの作成者として識別された人物。全著作権所有。
This document is subject to BCP 78 and the IETF Trust's Legal Provisions Relating to IETF Documents (http://trustee.ietf.org/license-info) in effect on the date of publication of this document. Please review these documents carefully, as they describe your rights and restrictions with respect to this document. Code Components extracted from this document must include Simplified BSD License text as described in Section 4.e of the Trust Legal Provisions and are provided without warranty as described in the Simplified BSD License.
この文書は、BCP 78およびIETF文書に関するIETFトラストの法的規定（http://trustee.ietf.org/license-info）の対象であり、この文書の発行日に有効です。これらのドキュメントは、このドキュメントに関するあなたの権利と制限を説明しているため、注意深く確認してください。このドキュメントから抽出されたコードコンポーネントには、Trust Legal Provisionsのセクション4.eに記載されているSimplified BSD Licenseのテキストが含まれている必要があり、Simplified BSD Licenseに記載されているように保証なしで提供されます。
Table of Contents
目次
1. Introduction . . . . . . . . . . . . . . . . . . . . . . . . 3
2. Network Design Requirements . . . . . . . . . . . . . . . . . 4
2.1. Bandwidth and Traffic Patterns . . . . . . . . . . . . . 4
2.2. CAPEX Minimization . . . . . . . . . . . . . . . . . . . 4
2.3. OPEX Minimization . . . . . . . . . . . . . . . . . . . . 5
2.4. Traffic Engineering . . . . . . . . . . . . . . . . . . . 5
2.5. Summarized Requirements . . . . . . . . . . . . . . . . . 6
3. Data Center Topologies Overview . . . . . . . . . . . . . . . 6
3.1. Traditional DC Topology . . . . . . . . . . . . . . . . . 6
3.2. Clos Network Topology . . . . . . . . . . . . . . . . . . 7
3.2.1. Overview . . . . . . . . . . . . . . . . . . . . . . 7
3.2.2. Clos Topology Properties . . . . . . . . . . . . . . 8
3.2.3. Scaling the Clos Topology . . . . . . . . . . . . . . 9
3.2.4. Managing the Size of Clos Topology Tiers . . . . . . 10
4. Data Center Routing Overview . . . . . . . . . . . . . . . . 11
4.1. L2-Only Designs . . . . . . . . . . . . . . . . . . . . . 11
4.2. Hybrid L2/L3 Designs . . . . . . . . . . . . . . . . . . 12
4.3. L3-Only Designs . . . . . . . . . . . . . . . . . . . . . 12
5. Routing Protocol Design . . . . . . . . . . . . . . . . . . . 13
5.1. Choosing EBGP as the Routing Protocol . . . . . . . . . . 13
5.2. EBGP Configuration for Clos Topology . . . . . . . . . . 15
5.2.1. EBGP Configuration Guidelines and Example ASN Scheme 15
5.2.2. Private Use ASNs . . . . . . . . . . . . . . . . . . 16
5.2.3. Prefix Advertisement . . . . . . . . . . . . . . . . 17
5.2.4. External Connectivity . . . . . . . . . . . . . . . . 18
5.2.5. Route Summarization at the Edge . . . . . . . . . . . 19
6. ECMP Considerations . . . . . . . . . . . . . . . . . . . . . 20
6.1. Basic ECMP . . . . . . . . . . . . . . . . . . . . . . . 20
6.2. BGP ECMP over Multiple ASNs . . . . . . . . . . . . . . . 21
6.3. Weighted ECMP . . . . . . . . . . . . . . . . . . . . . . 21
6.4. Consistent Hashing . . . . . . . . . . . . . . . . . . . 22
7. Routing Convergence Properties . . . . . . . . . . . . . . . 22
7.1. Fault Detection Timing . . . . . . . . . . . . . . . . . 22
7.2. Event Propagation Timing . . . . . . . . . . . . . . . . 23
7.3. Impact of Clos Topology Fan-Outs . . . . . . . . . . . . 24
7.4. Failure Impact Scope . . . . . . . . . . . . . . . . . . 24
7.5. Routing Micro-Loops . . . . . . . . . . . . . . . . . . . 26
8. Additional Options for Design . . . . . . . . . . . . . . . . 26
8.1. Third-Party Route Injection . . . . . . . . . . . . . . . 26
8.2. Route Summarization within Clos Topology . . . . . . . . 27
8.2.1. Collapsing Tier 1 Devices Layer . . . . . . . . . . . 27
8.2.2. Simple Virtual Aggregation . . . . . . . . . . . . . 29
8.3. ICMP Unreachable Message Masquerading . . . . . . . . . . 29
9. Security Considerations . . . . . . . . . . . . . . . . . . . 30
10. References . . . . . . . . . . . . . . . . . . . . . . . . . 30
10.1. Normative References . . . . . . . . . . . . . . . . . . 30
10.2. Informative References . . . . . . . . . . . . . . . . . 31
Acknowledgements . . . . . . . . . . . . . . . . . . . . . . . . 35
Authors' Addresses . . . . . . . . . . . . . . . . . . . . . . . 35
This document describes a practical routing design that can be used in a large-scale data center (DC) design. Such data centers, also known as "hyper-scale" or "warehouse-scale" data centers, have a unique attribute of supporting over a hundred thousand servers. In order to accommodate networks of this scale, operators are revisiting networking designs and platforms to address this need.
このドキュメントでは、大規模なデータセンター（DC）設計で使用できる実用的なルーティング設計について説明します。 「ハイパースケール」または「ウェアハウススケール」のデータセンターとしても知られているこのようなデータセンターには、10万台を超えるサーバーをサポートするという独自の属性があります。この規模のネットワークに対応するために、事業者はこのニーズに対応するためにネットワーク設計とプラットフォームを再検討しています。
The design presented in this document is based on operational experience with data centers built to support large-scale distributed software infrastructure, such as a web search engine. The primary requirements in such an environment are operational simplicity and network stability so that a small group of people can effectively support a significantly sized network.
このドキュメントで紹介する設計は、Web検索エンジンなどの大規模な分散ソフトウェアインフラストラクチャをサポートするために構築されたデータセンターの運用経験に基づいています。このような環境での主な要件は、操作の単純さとネットワークの安定性であり、少数のグループがかなりの規模のネットワークを効果的にサポートできます。
Experimentation and extensive testing have shown that External BGP (EBGP) [RFC4271] is well suited as a stand-alone routing protocol for these types of data center applications. This is in contrast with more traditional DC designs, which may use simple tree topologies and rely on extending Layer 2 (L2) domains across multiple network devices. This document elaborates on the requirements that led to this design choice and presents details of the EBGP routing design as well as exploring ideas for further enhancements.
実験と広範なテストにより、External BGP（EBGP）[RFC4271]は、これらのタイプのデータセンターアプリケーションのスタンドアロンルーティングプロトコルとして適していることが示されています。これは、単純なツリートポロジを使用し、レイヤー2（L2）ドメインを複数のネットワークデバイスに拡張することに依存する可能性がある、より伝統的なDC設計とは対照的です。このドキュメントでは、この設計の選択につながった要件について詳しく説明し、EBGPルーティング設計の詳細を示し、さらに拡張するためのアイデアを探ります。
This document first presents an overview of network design requirements and considerations for large-scale data centers. Then, traditional hierarchical data center network topologies are contrasted with Clos networks [CLOS1953] that are horizontally scaled
このドキュメントでは、まず、大規模データセンターのネットワーク設計要件と考慮事項の概要を示します。次に、従来の階層型データセンターネットワークトポロジは、水平方向にスケーリングされたClosネットワーク[CLOS1953]と対照的です。
out. This is followed by arguments for selecting EBGP with a Clos topology as the most appropriate routing protocol to meet the requirements and the proposed design is described in detail. Finally, this document reviews some additional considerations and design options. A thorough understanding of BGP is assumed by a reader planning on deploying the design described within the document.
でる。これに続いて、要件を満たす最も適切なルーティングプロトコルとしてClosトポロジのEBGPを選択するための引数があり、提案された設計について詳しく説明します。最後に、このドキュメントでは、いくつかの追加の考慮事項と設計オプションについて説明します。 BGPの完全な理解は、ドキュメント内で説明されている設計の展開を計画している読者によって想定されています。
This section describes and summarizes network design requirements for large-scale data centers.
このセクションでは、大規模データセンターのネットワーク設計要件について説明し、要約します。
The primary requirement when building an interconnection network for a large number of servers is to accommodate application bandwidth and latency requirements. Until recently it was quite common to see the majority of traffic entering and leaving the data center, commonly referred to as "north-south" traffic. Traditional "tree" topologies were sufficient to accommodate such flows, even with high oversubscription ratios between the layers of the network. If more bandwidth was required, it was added by "scaling up" the network elements, e.g., by upgrading the device's linecards or fabrics or replacing the device with one with higher port density.
多数のサーバーの相互接続ネットワークを構築する場合の主な要件は、アプリケーションの帯域幅と遅延の要件に対応することです。最近まで、一般的に「南北」トラフィックと呼ばれる、データセンターに出入りするトラフィックの大部分を見るのはごく一般的でした。従来の「ツリー」トポロジーは、ネットワークのレイヤー間のオーバーサブスクリプション率が高くても、このようなフローに対応するには十分でした。より多くの帯域幅が必要な場合は、ネットワーク要素を「スケールアップ」することで追加されました。たとえば、デバイスのラインカードまたはファブリックをアップグレードしたり、デバイスをポート密度の高いものに交換したりしました。
Today many large-scale data centers host applications generating significant amounts of server-to-server traffic, which does not egress the DC, commonly referred to as "east-west" traffic. Examples of such applications could be computer clusters such as Hadoop [HADOOP], massive data replication between clusters needed by certain applications, or virtual machine migrations. Scaling traditional tree topologies to match these bandwidth demands becomes either too expensive or impossible due to physical limitations, e.g., port density in a switch.
今日、多くの大規模データセンターは、DCを出ない大量のサーバー間トラフィックを生成するアプリケーションをホストしています。これは、一般に「東西」トラフィックと呼ばれます。このようなアプリケーションの例としては、Hadoop [HADOOP]などのコンピュータークラスター、特定のアプリケーションに必要なクラスター間の大規模なデータレプリケーション、仮想マシンの移行などがあります。これらの帯域幅の需要に合わせて従来のツリートポロジをスケーリングすると、スイッチのポート密度などの物理的な制限により、高額になるか不可能になります。
The Capital Expenditures (CAPEX) associated with the network infrastructure alone constitutes about 10-15% of total data center expenditure (see [GREENBERG2009]). However, the absolute cost is significant, and hence there is a need to constantly drive down the cost of individual network elements. This can be accomplished in two ways:
ネットワークインフラストラクチャだけに関連する設備投資（CAPEX）は、データセンターの総支出の約10〜15％を占めます（[GREENBERG2009]を参照）。ただし、絶対的なコストは非常に大きいため、個々のネットワーク要素のコストを常に引き下げる必要があります。これは、次の2つの方法で実現できます。
o Unifying all network elements, preferably using the same hardware type or even the same device. This allows for volume pricing on bulk purchases and reduced maintenance and inventory costs.
o できれば同じハードウェアタイプまたは同じデバイスを使用して、すべてのネットワーク要素を統合します。これにより、一括購入のボリューム価格設定が可能になり、メンテナンスおよび在庫コストを削減できます。
o Driving costs down using competitive pressures, by introducing multiple network equipment vendors.
o 複数のネットワーク機器ベンダーを導入することにより、競争圧力を利用してコストを削減します。
In order to allow for good vendor diversity, it is important to minimize the software feature requirements for the network elements. This strategy provides maximum flexibility of vendor equipment choices while enforcing interoperability using open standards.
ベンダーの多様性を十分に考慮するには、ネットワーク要素のソフトウェア機能要件を最小限に抑えることが重要です。この戦略は、オープンスタンダードを使用して相互運用性を強化しながら、ベンダー機器の選択肢の最大の柔軟性を提供します。
Operating large-scale infrastructure can be expensive as a larger amount of elements will statistically fail more often. Having a simpler design and operating using a limited software feature set minimizes software issue-related failures.
大量の要素が統計的に頻繁に失敗するため、大規模なインフラストラクチャの運用にはコストがかかる可能性があります。制限されたソフトウェア機能セットを使用してシンプルな設計と操作を行うことで、ソフトウェアの問題に関連する障害を最小限に抑えます。
An important aspect of Operational Expenditure (OPEX) minimization is reducing the size of failure domains in the network. Ethernet networks are known to be susceptible to broadcast or unicast traffic storms that can have a dramatic impact on network performance and availability. The use of a fully routed design significantly reduces the size of the data-plane failure domains, i.e., limits them to the lowest level in the network hierarchy. However, such designs introduce the problem of distributed control-plane failures. This observation calls for simpler and less control-plane protocols to reduce protocol interaction issues, reducing the chance of a network meltdown. Minimizing software feature requirements as described in the CAPEX section above also reduces testing and training requirements.
運用経費（OPEX）の最小化の重要な側面は、ネットワーク内の障害ドメインのサイズを削減することです。イーサネットネットワークは、ネットワークパフォーマンスと可用性に劇的な影響を与える可能性があるブロードキャストまたはユニキャストトラフィックストームの影響を受けやすいことが知られています。完全にルーティングされた設計を使用すると、データプレーン障害ドメインのサイズが大幅に縮小されます。つまり、ドメインがネットワーク階層の最下位レベルに制限されます。ただし、このような設計では、分散型コントロールプレーン障害の問題が発生します。この観察では、プロトコルインタラクションの問題を減らし、ネットワークメルトダウンの可能性を減らすために、より単純で制御プレーンの少ないプロトコルが必要です。上記の「CAPEX」セクションで説明されているように、ソフトウェア機能要件を最小化すると、テストおよびトレーニング要件も削減されます。
In any data center, application load balancing is a critical function performed by network devices. Traditionally, load balancers are deployed as dedicated devices in the traffic forwarding path. The problem arises in scaling load balancers under growing traffic demand. A preferable solution would be able to scale the load-balancing layer horizontally, by adding more of the uniform nodes and distributing incoming traffic across these nodes. In situations like this, an ideal choice would be to use network infrastructure itself to distribute traffic across a group of load balancers. The combination of anycast prefix advertisement [RFC4786] and Equal Cost Multipath (ECMP) functionality can be used to accomplish this goal. To allow for more granular load distribution, it is beneficial for the network to support the ability to perform controlled per-hop traffic engineering. For example, it is beneficial to directly control the ECMP next-hop set for anycast prefixes at every level of the network hierarchy.
どのデータセンターでも、アプリケーションの負荷分散はネットワークデバイスが実行する重要な機能です。従来、ロードバランサーはトラフィック転送パスの専用デバイスとして配備されていました。問題は、増大するトラフィック需要の下でロードバランサーをスケーリングする際に発生します。望ましい解決策は、均一なノードをさらに追加し、着信トラフィックをこれらのノードに分散させることにより、負荷分散層を水平方向にスケーリングできることです。このような状況では、理想的な選択は、ネットワークインフラストラクチャ自体を使用して、ロードバランサーのグループ全体にトラフィックを分散することです。エニーキャストプレフィックスアドバタイズメント[RFC4786]とEqual Cost Multipath（ECMP）機能の組み合わせを使用して、この目標を達成できます。よりきめ細かな負荷分散を可能にするには、ネットワークが制御されたホップ単位のトラフィックエンジニアリングを実行する機能をサポートしていることが有益です。たとえば、ネットワーク階層のすべてのレベルでエニーキャストプレフィックスのECMPネクストホップセットを直接制御することは有益です。
This section summarizes the list of requirements outlined in the previous sections:
このセクションでは、前のセクションで概説した要件のリストを要約します。
o REQ1: Select a topology that can be scaled "horizontally" by adding more links and network devices of the same type without requiring upgrades to the network elements themselves.
o REQ1：ネットワーク要素自体のアップグレードを必要とせずに、同じタイプのリンクとネットワークデバイスをさらに追加することにより、「水平方向」にスケーリングできるトポロジを選択します。
o REQ2: Define a narrow set of software features/protocols supported by a multitude of networking equipment vendors.
o REQ2：多数のネットワーク機器ベンダーがサポートするソフトウェア機能/プロトコルの狭いセットを定義します。
o REQ3: Choose a routing protocol that has a simple implementation in terms of programming code complexity and ease of operational support.
o REQ3：プログラミングコードの複雑さと運用サポートの容易さの観点から、実装が単純なルーティングプロトコルを選択します。
o REQ4: Minimize the failure domain of equipment or protocol issues as much as possible.
o REQ4：機器の障害領域またはプロトコルの問題をできるだけ最小限に抑えます。
o REQ5: Allow for some traffic engineering, preferably via explicit control of the routing prefix next hop using built-in protocol mechanics.
o REQ5：できれば組み込みのプロトコルメカニズムを使用してルーティングプレフィックスのネクストホップを明示的に制御することにより、トラフィックエンジニアリングを可能にします。
This section provides an overview of two general types of data center designs -- hierarchical (also known as "tree-based") and Clos-based network designs.
このセクションでは、2種類の一般的なデータセンター設計の概要を説明します。階層型（「ツリーベース」とも呼ばれます）とClosベースのネットワーク設計です。
In the networking industry, a common design choice for data centers typically looks like an (upside down) tree with redundant uplinks and three layers of hierarchy namely; core, aggregation/distribution, and access layers (see Figure 1). To accommodate bandwidth demands, each higher layer, from the server towards DC egress or WAN, has higher port density and bandwidth capacity where the core functions as the "trunk" of the tree-based design. To keep terminology uniform and for comparison with other designs, in this document these layers will be referred to as Tier 1, Tier 2 and Tier 3 "tiers", instead of core, aggregation, or access layers.
ネットワーキング業界では、データセンターの一般的な設計選択は、通常、冗長アップリンクと3階層の階層を持つ（逆さまの）ツリーのように見えます。コア、アグリゲーション/ディストリビューション、アクセスレイヤー（図1参照）帯域幅の需要に対応するために、サーバーからDC出力またはWANに向かう各上位層は、コアがツリーベースの設計の「トランク」として機能する、より高いポート密度と帯域幅容量を備えています。用語を統一し、他の設計と比較するために、このドキュメントでは、これらのレイヤーをコア、アグリゲーション、またはアクセスレイヤーではなく、Tier 1、Tier 2、Tier 3の「層」と呼びます。
+------+ +------+
| | | |
| |--| | Tier 1
| | | |
+------+ +------+
| | | |
+---------+ | | +----------+
| +-------+--+------+--+-------+ |
| | | | | | | |
+----+ +----+ +----+ +----+
| | | | | | | |
| |-----| | | |-----| | Tier 2
| | | | | | | |
+----+ +----+ +----+ +----+
| | | |
| | | |
| +-----+ | | +-----+ |
+-| |-+ +-| |-+ Tier 3
+-----+ +-----+
| | | | | |
<- Servers -> <- Servers ->
Figure 1: Typical DC Network Topology
図1：一般的なDCネットワークトポロジ
Unfortunately, as noted previously, it is not possible to scale a tree-based design to a large enough degree for handling large-scale designs due to the inability to be able to acquire Tier 1 devices with a large enough port density to sufficiently scale Tier 2. Also, continuous upgrades or replacement of the upper-tier devices are required as deployment size or bandwidth requirements increase, which is operationally complex. For this reason, REQ1 is in place, eliminating this type of design from consideration.
残念ながら、前述のように、Tier 1を十分に拡張するのに十分な大きさのポート密度を持つTier 1デバイスを取得できないため、大規模設計を処理するのに十分な程度にツリーベースの設計を拡張することはできません。 2.また、運用サイズが複雑になる展開サイズや帯域幅の要件が増えると、上位層デバイスの継続的なアップグレードまたは交換が必要になります。このため、REQ1が導入されており、このタイプの設計は考慮されていません。
This section describes a common design for horizontally scalable topology in large-scale data centers in order to meet REQ1.
このセクションでは、REQ1を満たすために大規模なデータセンターで水平方向にスケーラブルなトポロジを構成する一般的な設計について説明します。
A common choice for a horizontally scalable topology is a folded Clos topology, sometimes called "fat-tree" (for example, [INTERCON] and [ALFARES2008]). This topology features an odd number of stages (sometimes known as "dimensions") and is commonly made of uniform elements, e.g., network switches with the same port count. Therefore, the choice of folded Clos topology satisfies REQ1 and facilitates REQ2. See Figure 2 below for an example of a folded 3-stage Clos topology (3 stages counting Tier 2 stage twice, when tracing a packet flow):
水平方向にスケーラブルなトポロジの一般的な選択は、「ファットツリー」と呼ばれることもある折りたたまれたClosトポロジです（たとえば、[INTERCON]および[ALFARES2008]）。このトポロジーは奇数のステージ（「ディメンション」と呼ばれることもあります）を備えており、通常、同じポート数のネットワークスイッチなどの均一な要素で構成されています。したがって、折りたたまれたClosトポロジーの選択はREQ1を満たし、REQ2を容易にします。折りたたみ3ステージClosトポロジの例については、下の図2を参照してください（パケットフローをトレースする場合、3ステージはTier 2ステージを2回カウントします）。
+-------+
| |----------------------------+
| |------------------+ |
| |--------+ | |
+-------+ | | |
+-------+ | | |
| |--------+---------+-------+ |
| |--------+-------+ | | |
| |------+ | | | | |
+-------+ | | | | | |
+-------+ | | | | | |
| |------+-+-------+-+-----+ | |
| |------+-+-----+ | | | | |
| |----+ | | | | | | | |
+-------+ | | | | | | ---------> M links
Tier 1 | | | | | | | | |
+-------+ +-------+ +-------+
| | | | | |
| | | | | | Tier 2
| | | | | |
+-------+ +-------+ +-------+
| | | | | | | | |
| | | | | | ---------> N Links
| | | | | | | | |
O O O O O O O O O Servers
Figure 2: 3-Stage Folded Clos Topology
図2：3段階折りたたみClosトポロジ
This topology is often also referred to as a "Leaf and Spine" network, where "Spine" is the name given to the middle stage of the Clos topology (Tier 1) and "Leaf" is the name of input/output stage (Tier 2). For uniformity, this document will refer to these layers using the "Tier n" notation.
このトポロジは、「リーフとスパイン」ネットワークとも呼ばれます。「スパイン」はClosトポロジの中間ステージ（ティア1）に付けられた名前で、「リーフ」は入出力ステージ（ティア）の名前です。 2）。統一のため、このドキュメントでは「Tier n」表記を使用してこれらのレイヤーを参照します。
The following are some key properties of the Clos topology:
以下は、Closトポロジのいくつかの重要なプロパティです。
o The topology is fully non-blocking, or more accurately non-interfering, if M >= N and oversubscribed by a factor of N/M otherwise. Here M and N is the uplink and downlink port count respectively, for a Tier 2 switch as shown in Figure 2.
o M> = Nの場合、トポロジは完全に非ブロッキング、またはより正確には干渉せず、それ以外の場合はN / Mの係数でオーバーサブスクライブされます。ここで、MおよびNは、図2に示すように、Tier 2スイッチのアップリンクおよびダウンリンクのポート数です。
o Utilizing this topology requires control and data-plane support for ECMP with a fan-out of M or more.
o このトポロジを利用するには、ファンアウトがM以上のECMPの制御とデータプレーンのサポートが必要です。
o Tier 1 switches have exactly one path to every server in this topology. This is an important property that makes route summarization dangerous in this topology (see Section 8.2 below).
o Tier 1スイッチには、このトポロジーのすべてのサーバーへのパスが1つだけあります。これは、このトポロジでルートの集約を危険にする重要なプロパティです（以下のセクション8.2を参照）。
o Traffic flowing from server to server is load balanced over all available paths using ECMP.
o サーバー間を流れるトラフィックは、ECMPを使用して、利用可能なすべてのパスで負荷分散されます。
A Clos topology can be scaled either by increasing network element port density or by adding more stages, e.g., moving to a 5-stage Clos, as illustrated in Figure 3 below:
下の図3に示すように、ネットワーク要素のポート密度を増やすか、ステージを追加して（たとえば、5ステージのClosに移動する）、Closトポロジをスケーリングできます。
Tier 1
+-----+
Cluster | |
+----------------------------+ +--| |--+
| | | +-----+ |
| Tier 2 | | | Tier 2
| +-----+ | | +-----+ | +-----+
| +-------------| DEV |------+--| |--+--| |-------------+
| | +-----| C |------+ | | +--| |-----+ |
| | | +-----+ | +-----+ +-----+ | |
| | | | | |
| | | +-----+ | +-----+ +-----+ | |
| | +-----------| DEV |------+ | | +--| |-----------+ |
| | | | +---| D |------+--| |--+--| |---+ | | |
| | | | | +-----+ | | +-----+ | +-----+ | | | |
| | | | | | | | | | | |
| +-----+ +-----+ | | +-----+ | +-----+ +-----+
| | DEV | | DEV | | +--| |--+ | | | |
| | A | | B | Tier 3 | | | Tier 3 | | | |
| +-----+ +-----+ | +-----+ +-----+ +-----+
| | | | | | | | | |
| O O O O | O O O O
| Servers | Servers
+----------------------------+
Figure 3: 5-Stage Clos Topology
図3：5段階のClosトポロジ
The small example of topology in Figure 3 is built from devices with a port count of 4. In this document, one set of directly connected Tier 2 and Tier 3 devices along with their attached servers will be referred to as a "cluster". For example, DEV A, B, C, D, and the servers that connect to DEV A and B, on Figure 3 form a cluster. The concept of a cluster may also be a useful concept as a single deployment or maintenance unit that can be operated on at a different frequency than the entire topology.
図3のトポロジの小さな例は、ポート数が4のデバイスから構築されています。このドキュメントでは、直接接続されたTier 2およびTier 3デバイスのセットと、それらに接続されたサーバーを「クラスター」と呼びます。たとえば、図3のDEV A、B、C、D、およびDEV AとBに接続するサーバーは、クラスターを形成します。クラスターの概念は、トポロジ全体とは異なる頻度で操作できる単一のデプロイメントユニットまたはメンテナンスユニットとしても有用な概念です。
In practice, Tier 3 of the network, which is typically Top-of-Rack switches (ToRs), is where oversubscription is introduced to allow for packaging of more servers in the data center while meeting the bandwidth requirements for different types of applications. The main reason to limit oversubscription at a single layer of the network is to simplify application development that would otherwise need to account for multiple bandwidth pools: within rack (Tier 3), between racks (Tier 2), and between clusters (Tier 1). Since oversubscription does not have a direct relationship to the routing design, it is not discussed further in this document.
実際には、通常はトップオブラックスイッチ（ToR）であるネットワークのティア3は、オーバーサブスクリプションが導入され、さまざまなタイプのアプリケーションの帯域幅要件を満たしながら、データセンターでより多くのサーバーをパッケージ化できるようにします。ネットワークの単一レイヤーでのオーバーサブスクリプションを制限する主な理由は、そうでなければ複数の帯域幅プールを考慮する必要があるアプリケーション開発を簡素化することです：ラック内（Tier 3）、ラック間（Tier 2）、およびクラスター間（Tier 1）。 。オーバーサブスクリプションはルーティング設計と直接関係がないため、このドキュメントではこれについては説明しません。
If a data center network size is small, it is possible to reduce the number of switches in Tier 1 or Tier 2 of a Clos topology by a factor of two. To understand how this could be done, take Tier 1 as an example. Every Tier 2 device connects to a single group of Tier 1 devices. If half of the ports on each of the Tier 1 devices are not being used, then it is possible to reduce the number of Tier 1 devices by half and simply map two uplinks from a Tier 2 device to the same Tier 1 device that were previously mapped to different Tier 1 devices. This technique maintains the same bandwidth while reducing the number of elements in Tier 1, thus saving on CAPEX. The tradeoff, in this example, is the reduction of maximum DC size in terms of overall server count by half.
データセンターのネットワークサイズが小さい場合、ClosトポロジのTier 1またはTier 2のスイッチ数を2分の1に減らすことができます。これがどのように行われるかを理解するために、例としてTier 1を取り上げます。すべてのTier 2デバイスは、Tier 1デバイスの単一グループに接続します。各Tier 1デバイスのポートの半分が使用されていない場合は、Tier 1デバイスの数を半分に減らし、以前に使用されていたTier 2デバイスから同じTier 1デバイスに2つのアップリンクを単純にマッピングできます。異なるTier 1デバイスにマッピングされます。この手法は、同じ帯域幅を維持しながら、Tier 1の要素数を減らし、CAPEXを節約します。この例のトレードオフは、サーバー全体の数の観点から最大DCサイズが半分に減少することです。
In this example, Tier 2 devices will be using two parallel links to connect to each Tier 1 device. If one of these links fails, the other will pick up all traffic of the failed link, possibly resulting in heavy congestion and quality of service degradation if the path determination procedure does not take bandwidth amount into account, since the number of upstream Tier 1 devices is likely wider than two. To avoid this situation, parallel links can be grouped in link aggregation groups (LAGs), e.g., [IEEE8023AD], with widely available implementation settings that take the whole "bundle" down upon a single link failure. Equivalent techniques that enforce "fate sharing" on the parallel links can be used in place of LAGs to achieve the same effect. As a result of such fate-sharing, traffic from two or more failed links will be rebalanced over the multitude of remaining paths that equals the number of Tier 1 devices. This example is using two links for simplicity, having more links in a bundle will have less impact on capacity upon a member-link failure.
この例では、Tier 2デバイスは2つのパラレルリンクを使用して各Tier 1デバイスに接続します。これらのリンクの1つに障害が発生すると、もう1つが障害のあるリンクのすべてのトラフィックを拾い、パス決定手順で帯域幅の量が考慮されない場合、アップストリームのTier 1デバイスの数が多いため、輻輳が大きくなり、サービス品質が低下する可能性があります。おそらく2つより広いです。この状況を回避するには、並列リンクをリンク集約グループ（LAG）（[IEEE8023AD]など）にグループ化し、単一のリンク障害が発生すると「バンドル」全体がダウンする、広く利用可能な実装設定を使用できます。 LAGの代わりに、並列リンクで「運命の共有」を実施する同等の手法を使用して、同じ効果を得ることができます。このような運命共有の結果として、2つ以上の障害が発生したリンクからのトラフィックは、Tier 1デバイスの数に等しい残りの多数のパスで再調整されます。この例では、簡単にするために2つのリンクを使用しています。バンドル内のリンクが多いほど、メンバーリンク障害時の容量への影響が少なくなります。
This section provides an overview of three general types of data center protocol designs -- Layer 2 only, Hybrid Layer L2/L3, and Layer 3 only.
このセクションでは、データセンタープロトコル設計の3つの一般的なタイプの概要について説明します-レイヤー2のみ、ハイブリッドレイヤーL2 / L3、およびレイヤー3のみ。
Originally, most data center designs used Spanning Tree Protocol (STP) originally defined in [IEEE8021D-1990] for loop-free topology creation, typically utilizing variants of the traditional DC topology described in Section 3.1. At the time, many DC switches either did not support Layer 3 routing protocols or supported them with additional licensing fees, which played a part in the design choice. Although many enhancements have been made through the introduction of Rapid Spanning Tree Protocol (RSTP) in the latest revision of [IEEE8021D-2004] and Multiple Spanning Tree Protocol (MST) specified in [IEEE8021Q] that increase convergence, stability, and load-balancing in larger topologies, many of the fundamentals of the protocol limit its applicability in large-scale DCs. STP and its newer variants use an active/standby approach to path selection, and are therefore hard to deploy in horizontally scaled topologies as described in Section 3.2. Further, operators have had many experiences with large failures due to issues caused by improper cabling, misconfiguration, or flawed software on a single device. These failures regularly affected the entire spanning-tree domain and were very hard to troubleshoot due to the nature of the protocol. For these reasons, and since almost all DC traffic is now IP, therefore requiring a Layer 3 routing protocol at the network edge for external connectivity, designs utilizing STP usually fail all of the requirements of large-scale DC operators. Various enhancements to link-aggregation protocols such as [IEEE8023AD], generally known as Multi-Chassis Link-Aggregation (M-LAG) made it possible to use Layer 2 designs with active-active network paths while relying on STP as the backup for loop prevention. The major downsides of this approach are the lack of ability to scale linearly past two in most implementations, lack of standards-based implementations, and the added failure domain risk of syncing state between the devices.
元々、ほとんどのデータセンターの設計では、[IEEE8021D-1990]で最初に定義されたスパニングツリープロトコル（STP）を使用して、ループのないトポロジを作成しました。通常、セクション3.1で説明した従来のDCトポロジのバリアントを利用します。当時、多くのDCスイッチは、レイヤー3ルーティングプロトコルをサポートしていないか、追加のライセンス料でサポートしていたため、設計の選択に関与していました。 [IEEE8021D-2004]の最新リビジョンでのラピッドスパニングツリープロトコル（RSTP）の導入と、[IEEE8021Q]で指定されたマルチスパニングツリープロトコル（MST）により、収束、安定性、および負荷分散を強化する多くの拡張が行われています。より大きなトポロジでは、プロトコルの基本の多くが大規模DCでの適用性を制限します。 STPとその新しいバリアントは、パスの選択にアクティブ/スタンバイアプローチを使用しているため、セクション3.2で説明されているように、水平方向にスケーリングされたトポロジに展開することは困難です。さらに、オペレーターは、不適切なケーブル接続、構成の誤り、または単一のデバイス上のソフトウェアの欠陥が原因で発生する問題が原因で、大規模な障害を経験してきました。これらの障害は定期的にスパニングツリードメイン全体に影響し、プロトコルの性質上、トラブルシューティングが非常に困難でした。これらの理由から、そしてほとんどすべてのDCトラフィックがIPになり、外部接続のためにネットワークエッジでレイヤー3ルーティングプロトコルが必要になるため、STPを使用する設計は通常、大規模DCオペレーターのすべての要件を満たしません。 [シャーシリンク集約（M-LAG）として一般に知られている[IEEE8023AD]などのリンク集約プロトコルに対するさまざまな拡張機能により、STPをループのバックアップとして利用しながら、アクティブ-アクティブネットワークパスでレイヤー2設計を使用できるようになりました。防止。このアプローチの主な欠点は、ほとんどの実装で2つを超えて直線的に拡張する機能がないこと、標準ベースの実装がないこと、およびデバイス間で状態を同期するという追加の障害ドメインリスクです。
It should be noted that building large, horizontally scalable, L2-only networks without STP is possible recently through the introduction of the Transparent Interconnection of Lots of Links (TRILL) protocol in [RFC6325]. TRILL resolves many of the issues STP has for large-scale DC design however, due to the limited number of implementations, and often the requirement for specific equipment that supports it, this has limited its applicability and increased the cost of such designs.
[RFC6325]のリンクの透過的相互接続（TRILL）プロトコルの導入により、STPなしで水平方向にスケーラブルなL2のみの大規模ネットワークを構築することが最近可能になったことに注意してください。 TRILLは、STPが大規模なDC設計に対して抱えている問題の多くを解決しますが、実装の数が限られていること、および多くの場合、それをサポートする特定の機器の要件により、その適用性が制限され、そのような設計のコストが増加しています。
Finally, neither the base TRILL specification nor the M-LAG approach totally eliminate the problem of the shared broadcast domain that is so detrimental to the operations of any Layer 2, Ethernet-based solution. Later TRILL extensions have been proposed to solve the this problem statement, primarily based on the approaches outlined in [RFC7067], but this even further limits the number of available interoperable implementations that can be used to build a fabric. Therefore, TRILL-based designs have issues meeting REQ2, REQ3, and REQ4.
最後に、基本のTRILL仕様もM-LAGアプローチも、レイヤー2イーサネットベースのソリューションの運用に悪影響を与える共有ブロードキャストドメインの問題を完全に排除しません。この問題ステートメントを解決するために、主に[RFC7067]で概説されているアプローチに基づいて、後でTRILL拡張が提案されましたが、これにより、ファブリックの構築に使用できる相互運用可能な実装の数がさらに制限されます。したがって、TRILLベースのデザインには、REQ2、REQ3、およびREQ4を満たす問題があります。
Operators have sought to limit the impact of data-plane faults and build large-scale topologies through implementing routing protocols in either the Tier 1 or Tier 2 parts of the network and dividing the Layer 2 domain into numerous, smaller domains. This design has allowed data centers to scale up, but at the cost of complexity in managing multiple network protocols. For the following reasons, operators have retained Layer 2 in either the access (Tier 3) or both access and aggregation (Tier 3 and Tier 2) parts of the network:
オペレーターは、ネットワークの層1または層2のいずれかにルーティングプロトコルを実装し、レイヤー2ドメインを多数の小さなドメインに分割することにより、データプレーンの障害の影響を制限し、大規模なトポロジーを構築しようと努めてきました。この設計により、データセンターのスケールアップが可能になりましたが、複数のネットワークプロトコルの管理が複雑になります。次の理由により、事業者はネットワークのアクセス（層3）またはアクセスとアグリゲーション（層3および層2）の両方の部分でレイヤー2を保持しています。
o Supporting legacy applications that may require direct Layer 2 adjacency or use non-IP protocols.
o 直接のレイヤー2隣接関係を必要とする、または非IPプロトコルを使用する可能性があるレガシーアプリケーションのサポート。
o Seamless mobility for virtual machines that require the preservation of IP addresses when a virtual machine moves to a different Tier 3 switch.
o 仮想マシンが別のティア3スイッチに移動するときにIPアドレスの保持を必要とする仮想マシンのシームレスなモビリティ。
o Simplified IP addressing = less IP subnets are required for the data center.
o 簡素化されたIPアドレッシング=データセンターに必要なIPサブネットが少なくなります。
o Application load balancing may require direct Layer 2 reachability to perform certain functions such as Layer 2 Direct Server Return (DSR). See [L3DSR].
o アプリケーションのロードバランシングでは、レイヤー2ダイレクトサーバーリターン（DSR）などの特定の機能を実行するために、レイヤー2に直接到達できる必要があります。 [L3DSR]を参照してください。
o Continued CAPEX differences between L2- and L3-capable switches.
o L2およびL3対応スイッチ間の継続的なCAPEXの違い。
Network designs that leverage IP routing down to Tier 3 of the network have gained popularity as well. The main benefit of these designs is improved network stability and scalability, as a result of confining L2 broadcast domains. Commonly, an Interior Gateway Protocol (IGP) such as Open Shortest Path First (OSPF) [RFC2328] is used as the primary routing protocol in such a design. As data centers grow in scale, and server count exceeds tens of thousands, such fully routed designs have become more attractive.
ネットワークの階層3までのIPルーティングを活用するネットワーク設計も人気を博しています。これらの設計の主な利点は、L2ブロードキャストドメインを限定した結果、ネットワークの安定性とスケーラビリティが向上することです。一般に、Open Shortest Path First（OSPF）[RFC2328]などのInterior Gateway Protocol（IGP）は、このような設計の主要なルーティングプロトコルとして使用されます。データセンターの規模が拡大し、サーバー数が数万を超えると、このような完全にルーティングされた設計はより魅力的になります。
Choosing a L3-only design greatly simplifies the network, facilitating the meeting of REQ1 and REQ2, and has widespread adoption in networks where large Layer 2 adjacency and larger size Layer 3 subnets are not as critical compared to network scalability and stability. Application providers and network operators continue to develop new solutions to meet some of the requirements that previously had driven large Layer 2 domains by using various overlay or tunneling techniques.
L3のみの設計を選択すると、ネットワークが大幅に簡素化され、REQ1とREQ2の会議が容易になります。また、ネットワークのスケーラビリティと安定性と比較して、大きなレイヤ2隣接と大きなサイズのレイヤ3サブネットがそれほど重要ではないネットワークで広く採用されています。アプリケーションプロバイダーとネットワークオペレーターは、さまざまなオーバーレイまたはトンネリング技術を使用して、以前は大規模なレイヤー2ドメインを駆動していたいくつかの要件を満たす新しいソリューションを開発し続けています。
In this section, the motivations for using External BGP (EBGP) as the single routing protocol for data center networks having a Layer 3 protocol design and Clos topology are reviewed. Then, a practical approach for designing an EBGP-based network is provided.
このセクションでは、外部BGP（EBGP）を、レイヤー3プロトコル設計とClosトポロジーを備えたデータセンターネットワークの単一ルーティングプロトコルとして使用する動機について説明します。次に、EBGPベースのネットワークを設計するための実用的なアプローチを示します。
REQ2 would give preference to the selection of a single routing protocol to reduce complexity and interdependencies. While it is common to rely on an IGP in this situation, sometimes with either the addition of EBGP at the device bordering the WAN or Internal BGP (IBGP) throughout, this document proposes the use of an EBGP-only design.
REQ2は、複雑さと相互依存性を減らすために、単一のルーティングプロトコルの選択を優先します。この状況ではIGPに依存するのが一般的ですが、WANに隣接するデバイスにEBGPを追加するか、全体を通して内部BGP（IBGP）を使用することもありますが、このドキュメントではEBGPのみの設計の使用を提案しています。
Although EBGP is the protocol used for almost all Inter-Domain Routing in the Internet and has wide support from both vendor and service provider communities, it is not generally deployed as the primary routing protocol within the data center for a number of reasons (some of which are interrelated):
EBGPは、インターネットのほとんどすべてのドメイン間ルーティングに使用されるプロトコルであり、ベンダーとサービスプロバイダーの両方のコミュニティから幅広いサポートを受けていますが、一般に、データセンター内のプライマリルーティングプロトコルとしていくつかの理由で展開されていません（相互に関連しています）：
o BGP is perceived as a "WAN-only, protocol-only" and not often considered for enterprise or data center applications.
o BGPは「WANのみ、プロトコルのみ」として認識され、エンタープライズまたはデータセンターアプリケーションでは考慮されないことがよくあります。
o BGP is believed to have a "much slower" routing convergence compared to IGPs.
o BGPは、IGPと比較して「はるかに遅い」ルーティングコンバージェンスを持っていると考えられています。
o Large-scale BGP deployments typically utilize an IGP for BGP next-hop resolution as all nodes in the IBGP topology are not directly connected.
o IBGPトポロジー内のすべてのノードが直接接続されていないため、大規模なBGP展開では通常、BGPネクストホップ解決にIGPを利用します。
o BGP is perceived to require significant configuration overhead and does not support neighbor auto-discovery.
o BGPは、かなりの構成オーバーヘッドを必要とすると認識されており、ネイバーの自動検出をサポートしていません。
This document discusses some of these perceptions, especially as applicable to the proposed design, and highlights some of the advantages of using the protocol such as:
このドキュメントでは、特に提案された設計に適用できるこれらの認識の一部について説明し、次のようなプロトコルを使用する利点のいくつかを強調します。
o BGP has less complexity in parts of its protocol design -- internal data structures and state machine are simpler as compared to most link-state IGPs such as OSPF. For example, instead of implementing adjacency formation, adjacency maintenance and/or flow-control, BGP simply relies on TCP as the underlying transport. This fulfills REQ2 and REQ3.
o BGPは、プロトコル設計の一部の複雑さが少なく、OSPFなどのほとんどのリンクステートIGPと比較して、内部データ構造とステートマシンが単純です。たとえば、BGPは隣接関係の形成、隣接関係のメンテナンス、フロー制御を実装する代わりに、基になるトランスポートとして単にTCPに依存しています。これにより、REQ2およびREQ3が満たされます。
o BGP information flooding overhead is less when compared to link-state IGPs. Since every BGP router calculates and propagates only the best-path selected, a network failure is masked as soon as the BGP speaker finds an alternate path, which exists when highly symmetric topologies, such as Clos, are coupled with an EBGP-only design. In contrast, the event propagation scope of a link-state IGP is an entire area, regardless of the failure type. In this way, BGP better meets REQ3 and REQ4. It is also worth mentioning that all widely deployed link-state IGPs feature periodic refreshes of routing information while BGP does not expire routing state, although this rarely impacts modern router control planes.
o BGP情報フラッディングのオーバーヘッドは、リンクステートIGPと比較すると少なくなります。すべてのBGPルーターは選択された最適なパスのみを計算して伝達するため、BGPスピーカーが代替パスを見つけるとすぐにネットワーク障害がマスクされます。これは、Closなどの対称性の高いトポロジがEBGPのみの設計と結合されている場合に存在します。対照的に、リンクステートIGPのイベント伝播スコープは、障害のタイプに関係なく、全体の領域です。このようにして、BGPはREQ3およびREQ4をより適切に満たします。また、広く導入されているすべてのリンクステートIGPはルーティング情報の定期的な更新を特徴としていますが、BGPがルーティング状態を期限切れにすることはありませんが、最新のルーターコントロールプレーンにはほとんど影響しません。
o BGP supports third-party (recursively resolved) next hops. This allows for manipulating multipath to be non-ECMP-based or forwarding-based on application-defined paths, through establishment of a peering session with an application "controller" that can inject routing information into the system, satisfying REQ5. OSPF provides similar functionality using concepts such as "Forwarding Address", but with more difficulty in implementation and far less control of information propagation scope.
o BGPはサードパーティ（再帰的に解決）のネクストホップをサポートします。これにより、ルーティング情報をシステムに挿入できるREQ5を満たすアプリケーション「コントローラー」とのピアリングセッションを確立することにより、アプリケーション定義のパスに基づいてマルチパスを非ECMPベースまたは転送ベースに操作できます。 OSPFは、「Forwarding Address」などの概念を使用して同様の機能を提供しますが、実装がより困難になり、情報伝播スコープの制御がはるかに少なくなります。
o Using a well-defined Autonomous System Number (ASN) allocation scheme and standard AS_PATH loop detection, "BGP path hunting" (see [JAKMA2008]) can be controlled and complex unwanted paths will be ignored. See Section 5.2 for an example of a working ASN allocation scheme. In a link-state IGP, accomplishing the same goal would require multi-(instance/topology/process) support, typically not available in all DC devices and quite complex to configure and troubleshoot. Using a traditional single flooding domain, which most DC designs utilize, under certain failure conditions may pick up unwanted lengthy paths, e.g., traversing multiple Tier 2 devices.
o 明確に定義された自律システム番号（ASN）割り当てスキームと標準のAS_PATHループ検出を使用して、「BGPパスハンティング」（[JAKMA2008]を参照）を制御でき、複雑な不要なパスは無視されます。有効なASN割り当てスキームの例については、セクション5.2を参照してください。リンクステートIGPで同じ目標を達成するには、マルチ（インスタンス/トポロジ/プロセス）サポートが必要になります。これは通常、すべてのDCデバイスで利用できるわけではなく、設定とトラブルシューティングが非常に複雑です。ほとんどのDC設計で利用されている従来の単一フラッディングドメインを使用すると、特定の障害状態で、複数のTier 2デバイスを通過するなど、不要な長いパスを拾う可能性があります。
o EBGP configuration that is implemented with minimal routing policy is easier to troubleshoot for network reachability issues. In most implementations, it is straightforward to view contents of the BGP Loc-RIB and compare it to the router's Routing Information Base (RIB). Also, in most implementations, an operator can view every BGP neighbors Adj-RIB-In and Adj-RIB-Out structures, and therefore incoming and outgoing Network Layer Reachability Information (NLRI) information can be easily correlated on both sides of a BGP session. Thus, BGP satisfies REQ3.
o 最小限のルーティングポリシーで実装されたEBGP構成は、ネットワークの到達可能性の問題のトラブルシューティングが簡単です。ほとんどの実装では、BGP Loc-RIBの内容を表示して、ルーターのルーティング情報ベース（RIB）と比較するのは簡単です。また、ほとんどの実装では、オペレーターはすべてのBGPネイバーのAdj-RIB-InおよびAdj-RIB-Out構造を表示できるため、着信および発信のネットワーク層到達可能性情報（NLRI）情報をBGPセッションの両側で簡単に関連付けることができます。 。したがって、BGPはREQ3を満たします。
Clos topologies that have more than 5 stages are very uncommon due to the large numbers of interconnects required by such a design. Therefore, the examples below are made with reference to the 5-stage Clos topology (in unfolded state).
5段を超えるClosトポロジは、そのような設計に必要な相互接続の数が多いため、非常にまれです。したがって、以下の例は、5段階のClosトポロジ（展開状態）を参照して作成されています。
The diagram below illustrates an example of an ASN allocation scheme. The following is a list of guidelines that can be used:
次の図は、ASN割り当てスキームの例を示しています。以下は、使用できるガイドラインのリストです。
o EBGP single-hop sessions are established over direct point-to-point links interconnecting the network nodes, no multi-hop or loopback sessions are used, even in the case of multiple links between the same pair of nodes.
o EBGPシングルホップセッションは、ネットワークノードを相互接続する直接ポイントツーポイントリンク上で確立されます。同じノードペア間に複数のリンクがある場合でも、マルチホップセッションやループバックセッションは使用されません。
o Private Use ASNs from the range 64512-65534 are used to avoid ASN conflicts.
o 64512〜65534の範囲の私用ASNは、ASNの競合を回避するために使用されます。
o A single ASN is allocated to all of the Clos topology's Tier 1 devices.
o 単一のASNがClosトポロジのすべてのTier 1デバイスに割り当てられます。
o A unique ASN is allocated to each set of Tier 2 devices in the same cluster.
o 同じクラスター内のTier 2デバイスの各セットに一意のASNが割り当てられます。
o A unique ASN is allocated to every Tier 3 device (e.g., ToR) in this topology.
o このトポロジのすべてのTier 3デバイス（ToRなど）に一意のASNが割り当てられます。
ASN 65534
+---------+
| +-----+ |
| | | |
+-|-| |-|-+
| | +-----+ | |
ASN 646XX | | | | ASN 646XX
+---------+ | | | | +---------+
| +-----+ | | | +-----+ | | | +-----+ |
+-----------|-| |-|-+-|-| |-|-+-|-| |-|-----------+
| +---|-| |-|-+ | | | | +-|-| |-|---+ |
| | | +-----+ | | +-----+ | | +-----+ | | |
| | | | | | | | | |
| | | | | | | | | |
| | | +-----+ | | +-----+ | | +-----+ | | |
| +-----+---|-| |-|-+ | | | | +-|-| |-|---+-----+ |
| | | +-|-| |-|-+-|-| |-|-+-|-| |-|-+ | | |
| | | | | +-----+ | | | +-----+ | | | +-----+ | | | | |
| | | | +---------+ | | | | +---------+ | | | |
| | | | | | | | | | | |
+-----+ +-----+ | | +-----+ | | +-----+ +-----+
| ASN | | | +-|-| |-|-+ | | | |
|65YYY| | ... | | | | | | ... | | ... |
+-----+ +-----+ | +-----+ | +-----+ +-----+
| | | | +---------+ | | | |
O O O O <- Servers -> O O O O
Figure 4: BGP ASN Layout for 5-Stage Clos
図4：5段階ClosのBGP ASNレイアウト
The original range of Private Use ASNs [RFC6996] limited operators to 1023 unique ASNs. Since it is quite likely that the number of network devices may exceed this number, a workaround is required. One approach is to re-use the ASNs assigned to the Tier 3 devices across different clusters. For example, Private Use ASNs 65001, 65002 ... 65032 could be used within every individual cluster and assigned to Tier 3 devices.
私的使用ASN [RFC6996]の元の範囲は、オペレーターを1023個の固有のASNに制限していました。ネットワークデバイスの数がこの数を超える可能性が非常に高いため、回避策が必要です。 1つのアプローチは、異なるクラスター間でTier 3デバイスに割り当てられたASNを再利用することです。たとえば、プライベートユースASN 65001、65002 ... 65032を個々のクラスター内で使用し、Tier 3デバイスに割り当てることができます。
To avoid route suppression due to the AS_PATH loop detection mechanism in BGP, upstream EBGP sessions on Tier 3 devices must be configured with the "Allowas-in" feature [ALLOWASIN] that allows accepting a device's own ASN in received route advertisements. Although this feature is not standardized, it is widely available across multiple vendors implementations. Introducing this feature does not make routing loops more likely in the design since the AS_PATH is being added to by routers at each of the topology tiers and AS_PATH length is an early tie breaker in the BGP path selection process. Further loop protection is still in place at the Tier 1 device, which will not accept routes with a path including its own ASN. Tier 2 devices do not have direct connectivity with each other.
BGPのAS_PATHループ検出メカニズムによるルート抑制を回避するには、Tier 3デバイスのアップストリームEBGPセッションを、受信したルートアドバタイズメントでデバイス自身のASNを受け入れることができる「Allowas-in」機能[ALLOWASIN]で構成する必要があります。この機能は標準化されていませんが、複数のベンダーの実装で広く利用できます。 AS_PATHは各トポロジー層のルーターによって追加され、AS_PATHの長さはBGPパス選択プロセスの初期のタイブレーカーであるため、この機能を導入してもルーティングループが発生する可能性は高くありません。 Tier 1デバイスにはさらにループ保護があり、独自のASNを含むパスを持つルートを受け入れません。 Tier 2デバイスは互いに直接接続できません。
Another solution to this problem would be to use Four-Octet ASNs ([RFC6793]), where there are additional Private Use ASNs available, see [IANA.AS]. Use of Four-Octet ASNs puts additional protocol complexity in the BGP implementation and should be balanced against the complexity of re-use when considering REQ3 and REQ4. Perhaps more importantly, they are not yet supported by all BGP implementations, which may limit vendor selection of DC equipment. When supported, ensure that deployed implementations are able to remove the Private Use ASNs when external connectivity (Section 5.2.4) to these ASNs is required.
この問題の別の解決策は、4オクテットASN（[RFC6793]）を使用することです。この場合、追加のプライベート使用ASNが利用可能です。[IANA.AS]を参照してください。 4オクテットASNを使用すると、BGP実装のプロトコルがさらに複雑になるため、REQ3とREQ4を検討する場合は、再利用の複雑さとバランスを取る必要があります。おそらくより重要なのは、それらがすべてのBGP実装でまだサポートされていないため、DC機器のベンダー選択が制限される可能性があることです。サポートされている場合、これらのASNへの外部接続（セクション5.2.4）が必要な場合、デプロイされた実装が私用ASNを削除できることを確認してください。
A Clos topology features a large number of point-to-point links and associated prefixes. Advertising all of these routes into BGP may create Forwarding Information Base (FIB) overload in the network devices. Advertising these links also puts additional path computation stress on the BGP control plane for little benefit. There are two possible solutions:
Closトポロジは、多数のポイントツーポイントリンクと関連するプレフィックスを備えています。これらすべてのルートをBGPにアドバタイズすると、ネットワークデバイスに転送情報ベース（FIB）の過負荷が発生する可能性があります。これらのリンクをアドバタイズすると、BGPコントロールプレーンに追加のパス計算ストレスがかかり、ほとんどメリットがありません。 2つの可能な解決策があります。
o Do not advertise any of the point-to-point links into BGP. Since the EBGP-based design changes the next-hop address at every device, distant networks will automatically be reachable via the advertising EBGP peer and do not require reachability to these prefixes. However, this may complicate operations or monitoring: e.g., using the popular "traceroute" tool will display IP addresses that are not reachable.
o ポイントツーポイントリンクをBGPにアドバタイズしないでください。 EBGPベースの設計はすべてのデバイスでネクストホップアドレスを変更するため、遠方のネットワークはアドバタイジングEBGPピアを介して自動的に到達可能になり、これらのプレフィックスへの到達可能性を必要としません。ただし、これにより操作や監視が複雑になる可能性があります。たとえば、一般的な「traceroute」ツールを使用すると、到達できないIPアドレスが表示されます。
o Advertise point-to-point links, but summarize them on every device. This requires an address allocation scheme such as allocating a consecutive block of IP addresses per Tier 1 and Tier 2 device to be used for point-to-point interface addressing to the lower layers (Tier 2 uplinks will be allocated from Tier 1 address blocks and so forth).
o ポイントツーポイントリンクをアドバタイズしますが、すべてのデバイスでそれらをまとめます。これには、下位層へのポイントツーポイントインターフェイスのアドレッシングに使用される、Tier 1およびTier 2デバイスごとにIPアドレスの連続ブロックを割り当てるなどのアドレス割り当て方式が必要です（Tier 2アップリンクはTier 1アドレスブロックから割り当てられ、など）。
Server subnets on Tier 3 devices must be announced into BGP without using route summarization on Tier 2 and Tier 1 devices. Summarizing subnets in a Clos topology results in route black-holing under a single link failure (e.g., between Tier 2 and Tier 3 devices), and hence must be avoided. The use of peer links within the same tier to resolve the black-holing problem by providing "bypass paths" is undesirable due to O(N^2) complexity of the peering-mesh and waste of ports on the devices. An alternative to the full mesh of peer links would be to use a simpler bypass topology, e.g., a "ring" as described in [FB4POST], but such a topology adds extra hops and has limited bandwidth. It may require special tweaks to make BGP routing work, e.g., splitting every device into an ASN of its own. Later in this document, Section 8.2 introduces a less intrusive method for performing a limited form of route summarization in Clos networks and discusses its associated tradeoffs.
Tier 3デバイス上のサーバーサブネットは、Tier 2およびTier 1デバイス上のルート集約を使用せずにBGPにアナウンスされる必要があります。 Closトポロジでサブネットを要約すると、単一のリンク障害（たとえば、Tier 2とTier 3デバイスの間）でルートのブラックホールが発生するため、回避する必要があります。ピアリングメッシュのO（N ^ 2）の複雑さとデバイス上のポートの無駄のため、同じ層内でピアリンクを使用して「バイパスパス」を提供することによりブラックホールの問題を解決することは望ましくありません。ピアリンクのフルメッシュの代わりに、[FB4POST]で説明されている「リング」などのより単純なバイパストポロジを使用することもできますが、このようなトポロジではホップが追加され、帯域幅が制限されます。すべてのデバイスを独自のASNに分割するなど、BGPルーティングを機能させるために特別な調整が必要になる場合があります。このドキュメントの後の方で、セクション8.2はClosネットワークで限定された形式のルート集約を実行するためのそれほど煩わしくない方法を紹介し、それに関連するトレードオフについて説明します。
A dedicated cluster (or clusters) in the Clos topology could be used for the purpose of connecting to the Wide Area Network (WAN) edge devices, or WAN Routers. Tier 3 devices in such a cluster would be replaced with WAN routers, and EBGP peering would be used again, though WAN routers are likely to belong to a public ASN if Internet connectivity is required in the design. The Tier 2 devices in such a dedicated cluster will be referred to as "Border Routers" in this document. These devices have to perform a few special functions:
Closトポロジーの専用クラスター（またはクラスター）は、ワイドエリアネットワーク（WAN）エッジデバイス、またはWANルーターに接続する目的で使用できます。そのようなクラスター内の層3デバイスはWANルーターに置き換えられ、EBGPピアリングが再び使用されますが、設計でインターネット接続が必要な場合、WANルーターはパブリックASNに属している可能性があります。このような専用クラスター内のTier 2デバイスは、このドキュメントでは「ボーダールーター」と呼ばれます。これらのデバイスは、いくつかの特別な機能を実行する必要があります。
o Hide network topology information when advertising paths to WAN routers, i.e., remove Private Use ASNs [RFC6996] from the AS_PATH attribute. This is typically done to avoid ASN number collisions between different data centers and also to provide a uniform AS_PATH length to the WAN for purposes of WAN ECMP to anycast prefixes originated in the topology. An implementation-specific BGP feature typically called "Remove Private AS" is commonly used to accomplish this. Depending on implementation, the feature should strip a contiguous sequence of Private Use ASNs found in an AS_PATH attribute prior to advertising the path to a neighbor. This assumes that all ASNs used for intra data center numbering are from the Private Use ranges. The process for stripping the Private Use ASNs is not currently standardized, see [REMOVAL]. However, most implementations at least follow the logic described in this vendor's document [VENDOR-REMOVE-PRIVATE-AS], which is enough for the design specified.
o WANルーターへのパスをアドバタイズするときにネットワークトポロジ情報を非表示にします。つまり、AS_PATH属性からPrivate Use ASN [RFC6996]を削除します。これは通常、異なるデータセンター間でのASN番号の衝突を回避し、トポロジで発信されたエニーキャストプレフィックスへのWAN ECMPのために、WANにAS_PATHの長さを均一にするために行われます。通常、「プライベートASの削除」と呼ばれる実装固有のBGP機能は、これを実現するために一般的に使用されます。実装によっては、ネイバーへのパスをアドバタイズする前に、AS_PATH属性にあるプライベート使用ASNの連続したシーケンスを削除する必要があります。これは、データセンター内の番号付けに使用されるすべてのASNが私的使用範囲からのものであることを前提としています。 Private Use ASNを取り除くプロセスは現在標準化されていません。[REMOVAL]を参照してください。ただし、ほとんどの実装は、少なくともこのベンダーのドキュメント[VENDOR-REMOVE-PRIVATE-AS]で説明されているロジックに従います。これは、指定された設計には十分です。
o Originate a default route to the data center devices. This is the only place where a default route can be originated, as route summarization is risky for the unmodified Clos topology. Alternatively, Border Routers may simply relay the default route learned from WAN routers. Advertising the default route from Border Routers requires that all Border Routers be fully connected to the WAN Routers upstream, to provide resistance to a single-link failure causing the black-holing of traffic. To prevent black-holing in the situation when all of the EBGP sessions to the WAN routers fail simultaneously on a given device, it is more desirable to readvertise the default route rather than originating the default route via complicated conditional route origination schemes provided by some implementations [CONDITIONALROUTE].
o データセンターデバイスへのデフォルトルートを作成します。変更されていないClosトポロジではルートの要約が危険なため、これがデフォルトルートを発信できる唯一の場所です。または、境界ルーターは、WANルーターから学習したデフォルトルートを単に中継することもできます。ボーダールーターからデフォルトルートをアドバタイズするには、すべてのボーダールーターがアップストリームのWANルーターに完全に接続されている必要があります。これにより、トラフィックのブラックホール化を引き起こす単一リンク障害への耐性が提供されます。特定のデバイスでWANルーターへのすべてのEBGPセッションが同時に失敗する状況でブラックホールが発生しないようにするには、一部の実装によって提供される複雑な条件付きルート生成スキームを介してデフォルトルートを生成するのではなく、デフォルトルートを再アドバタイズする方が望ましい[CONDITIONALROUTE]。
It is often desirable to summarize network reachability information prior to advertising it to the WAN network due to the high amount of IP prefixes originated from within the data center in a fully routed network design. For example, a network with 2000 Tier 3 devices will have at least 2000 servers subnets advertised into BGP, along with the infrastructure prefixes. However, as discussed in Section 5.2.3, the proposed network design does not allow for route summarization due to the lack of peer links inside every tier.
完全にルーティングされたネットワーク設計では、データセンター内から発信される大量のIPプレフィックスが原因で、WANネットワークにアドバタイズする前にネットワーク到達可能性情報を要約することが望ましい場合があります。たとえば、2000のTier 3デバイスを持つネットワークには、インフラストラクチャのプレフィックスとともに、少なくとも2000のサーバーサブネットがBGPにアドバタイズされます。ただし、セクション5.2.3で説明したように、提案されているネットワーク設計では、すべての層の内部にピアリンクがないため、ルートの集約はできません。
However, it is possible to lift this restriction for the Border Routers by devising a different connectivity model for these devices. There are two options possible:
ただし、これらのデバイスに対して異なる接続モデルを考案することにより、ボーダールーターに対するこの制限を解除することが可能です。可能な2つのオプションがあります。
o Interconnect the Border Routers using a full-mesh of physical links or using any other "peer-mesh" topology, such as ring or hub-and-spoke. Configure BGP accordingly on all Border Leafs to exchange network reachability information, e.g., by adding a mesh of IBGP sessions. The interconnecting peer links need to be appropriately sized for traffic that will be present in the case of a device or link failure in the mesh connecting the Border Routers.
o 物理リンクのフルメッシュを使用するか、リングやハブアンドスポークなどの他の「ピアメッシュ」トポロジを使用して、ボーダールーターを相互接続します。 IBGPセッションのメッシュを追加するなどして、ネットワークの到達可能性情報を交換するために、すべてのボーダーリーフでBGPを適宜設定します。相互接続するピアリンクは、ボーダールーターを接続するメッシュでデバイスまたはリンクに障害が発生した場合に存在するトラフィックに合わせて適切なサイズにする必要があります。
o Tier 1 devices may have additional physical links provisioned toward the Border Routers (which are Tier 2 devices from the perspective of Tier 1). Specifically, if protection from a single link or node failure is desired, each Tier 1 device would have to connect to at least two Border Routers. This puts additional requirements on the port count for Tier 1 devices and Border Routers, potentially making it a nonuniform, larger port count, device compared with the other devices in the Clos. This also reduces the number of ports available to "regular" Tier 2 switches, and hence the number of clusters that could be interconnected via Tier 1.
o Tier 1デバイスには、ボーダールーター（Tier 1から見たTier 2デバイス）に対してプロビジョニングされた追加の物理リンクがある場合があります。具体的には、単一のリンクまたはノードの障害からの保護が必要な場合、各Tier 1デバイスは少なくとも2つのボーダールーターに接続する必要があります。これにより、Tier 1デバイスとボーダールーターのポート数に追加の要件が課され、Closの他のデバイスと比較して、ポート数が不均一で大きなデバイスになる可能性があります。これにより、「通常の」Tier 2スイッチが使用できるポートの数も減少し、Tier 1を介して相互接続できるクラスターの数も減少します。
If any of the above options are implemented, it is possible to perform route summarization at the Border Routers toward the WAN network core without risking a routing black-hole condition under a single link failure. Both of the options would result in nonuniform topology as additional links have to be provisioned on some network devices.
上記のオプションのいずれかが実装されている場合、単一のリンク障害でルーティングブラックホール状態のリスクを冒すことなく、ボーダールータでWANネットワークコアに向かうルート集約を実行できます。一部のネットワークデバイスで追加のリンクをプロビジョニングする必要があるため、どちらのオプションでもトポロジが不均一になります。
This section covers the Equal Cost Multipath (ECMP) functionality for Clos topology and discusses a few special requirements.
このセクションでは、Closトポロジの等コストマルチパス（ECMP）機能について説明し、いくつかの特別な要件について説明します。
ECMP is the fundamental load-sharing mechanism used by a Clos topology. Effectively, every lower-tier device will use all of its directly attached upper-tier devices to load-share traffic destined to the same IP prefix. The number of ECMP paths between any two Tier 3 devices in Clos topology is equal to the number of the devices in the middle stage (Tier 1). For example, Figure 5 illustrates a topology where Tier 3 device A has four paths to reach servers X and Y, via Tier 2 devices B and C and then Tier 1 devices 1, 2, 3, and 4, respectively.
ECMPは、Closトポロジで使用される基本的な負荷共有メカニズムです。事実上、すべての下位層デバイスは、直接接続されているすべての上位層デバイスを使用して、同じIPプレフィックス宛てのトラフィックを負荷分散します。 Closトポロジの2つのTier 3デバイス間のECMPパスの数は、中間ステージ（Tier 1）のデバイスの数と同じです。たとえば、図5は、Tier 3のデバイスAが、Tier 2のデバイスBとC、次にTier 1のデバイス1、2、3、4をそれぞれ経由してサーバーXとYに到達する4つのパスを持つトポロジを示しています。
Tier 1
+-----+
| DEV |
+->| 1 |--+
| +-----+ |
Tier 2 | | Tier 2
+-----+ | +-----+ | +-----+
+------------>| DEV |--+->| DEV |--+--| |-------------+
| +-----| B |--+ | 2 | +--| |-----+ |
| | +-----+ +-----+ +-----+ | |
| | | |
| | +-----+ +-----+ +-----+ | |
| +-----+---->| DEV |--+ | DEV | +--| |-----+-----+ |
| | | +---| C |--+->| 3 |--+--| |---+ | | |
| | | | +-----+ | +-----+ | +-----+ | | | |
| | | | | | | | | |
+-----+ +-----+ | +-----+ | +-----+ +-----+
| DEV | | | Tier 3 +->| DEV |--+ Tier 3 | | | |
| A | | | | 4 | | | | |
+-----+ +-----+ +-----+ +-----+ +-----+
| | | | | | | |
O O O O <- Servers -> X Y O O
Figure 5: ECMP Fan-Out Tree from A to X and Y
図5：AからXおよびYへのECMPファンアウトツリー
The ECMP requirement implies that the BGP implementation must support multipath fan-out for up to the maximum number of devices directly attached at any point in the topology in the upstream or downstream direction. Normally, this number does not exceed half of the ports found on a device in the topology. For example, an ECMP fan-out of 32 would be required when building a Clos network using 64-port devices. The Border Routers may need to have wider fan-out to be able to connect to a multitude of Tier 1 devices if route summarization at Border Router level is implemented as described in Section 5.2.5. If a device's hardware does not support wider ECMP, logical link-grouping (link-aggregation at Layer 2) could be used to provide "hierarchical" ECMP (Layer 3 ECMP coupled with Layer 2 ECMP) to compensate for fan-out limitations. However, this approach increases the risk of flow polarization, as less entropy will be available at the second stage of ECMP.
ECMP要件は、BGP実装がアップストリームまたはダウンストリーム方向のトポロジーの任意のポイントで直接接続されたデバイスの最大数までのマルチパスファンアウトをサポートする必要があることを意味します。通常、この数はトポロジー内のデバイスにあるポートの半分を超えません。たとえば、64ポートデバイスを使用してClosネットワークを構築する場合、32のECMPファンアウトが必要になります。セクション5.2.5で説明されているようにボーダールーターレベルでルート集約が実装されている場合、ボーダールーターは、多数のTier 1デバイスに接続できるように、より広いファンアウトが必要になる場合があります。デバイスのハードウェアがより広いECMPをサポートしていない場合、論理リンクグループ（レイヤー2でのリンク集約）を使用して、「階層的な」ECMP（レイヤー2 ECMPと結合されたレイヤー3 ECMP）を提供し、ファンアウト制限を補正できます。ただし、ECMPの第2段階で利用できるエントロピーが少なくなるため、このアプローチではフローの分極化のリスクが高まります。
Most BGP implementations declare paths to be equal from an ECMP perspective if they match up to and including step (e) in Section 9.1.2.2 of [RFC4271]. In the proposed network design there is no underlying IGP, so all IGP costs are assumed to be zero or otherwise the same value across all paths and policies may be applied as necessary to equalize BGP attributes that vary in vendor defaults, such as the MULTI_EXIT_DISC (MED) attribute and origin code. For historical reasons, it is also useful to not use 0 as the equalized MED value; this and some other useful BGP information is available in [RFC4277]. Routing loops are unlikely due to the BGP best-path selection process (which prefers shorter AS_PATH length), and longer paths through the Tier 1 devices (which don't allow their own ASN in the path) are not possible.
ほとんどのBGP実装は、[RFC4271]のセクション9.1.2.2の手順（e）までと一致する場合、ECMPの観点からパスが等しいと宣言します。提案されたネットワーク設計では、基盤となるIGPがないため、すべてのIGPコストはゼロであると想定されます。そうでない場合は、すべてのパスに同じ値が適用され、必要に応じてポリシーが適用され、MULTI_EXIT_DISC（ MED）属性と生成元コード。歴史的な理由から、イコライズされたMED値として0を使用しないことも役立ちます。これと他のいくつかの有用なBGP情報は[RFC4277]で利用できます。 BGPの最適パス選択プロセス（AS_PATHの長さが短い方が望ましい）が原因でルーティングループが発生する可能性は低く、Tier 1デバイスを通る長いパス（パスで独自のASNを許可しない）は不可能です。
For application load-balancing purposes, it is desirable to have the same prefix advertised from multiple Tier 3 devices. From the perspective of other devices, such a prefix would have BGP paths with different AS_PATH attribute values, while having the same AS_PATH attribute lengths. Therefore, BGP implementations must support load-sharing over the above-mentioned paths. This feature is sometimes known as "multipath relax" or "multipath multiple-AS" and effectively allows for ECMP to be done across different neighboring ASNs if all other attributes are equal as already described in the previous section.
アプリケーションのロードバランシングのために、複数のTier 3デバイスから同じプレフィックスをアドバタイズすることが望ましいです。他のデバイスから見ると、このようなプレフィックスには、AS_PATH属性の長さが同じである一方で、異なるAS_PATH属性値を持つBGPパスが含まれます。したがって、BGP実装は、上記のパスを介した負荷共有をサポートする必要があります。この機能は「マルチパスリラックス」または「マルチパスマルチAS」と呼ばれることもあり、前のセクションですでに説明したように他のすべての属性が等しい場合、異なる隣接ASN間でECMPを効果的に実行できます。
It may be desirable for the network devices to implement "weighted" ECMP, to be able to send more traffic over some paths in ECMP fan-out. This could be helpful to compensate for failures in the network and send more traffic over paths that have more capacity. The prefixes that require weighted ECMP would have to be injected using remote BGP speaker (central agent) over a multi-hop session as described further in Section 8.1. If support in implementations is available, weight distribution for multiple BGP paths could be signaled using the technique described in [LINK].
ネットワークデバイスが「加重」ECMPを実装して、ECMPファンアウトの一部のパスでより多くのトラフィックを送信できることが望ましい場合があります。これは、ネットワークの障害を補い、より容量のあるパスを介してより多くのトラフィックを送信するのに役立ちます。セクション8.1でさらに説明するように、加重ECMPを必要とするプレフィックスは、マルチホップセッションを介してリモートBGPスピーカー（セントラルエージェント）を使用して挿入する必要があります。実装でのサポートが利用可能な場合、[リンク]で説明されている手法を使用して、複数のBGPパスの重み分散を通知できます。
It is often desirable to have the hashing function used for ECMP to be consistent (see [CONS-HASH]), to minimize the impact on flow to next-hop affinity changes when a next hop is added or removed to an ECMP group. This could be used if the network device is used as a load balancer, mapping flows toward multiple destinations -- in this case, losing or adding a destination will not have a detrimental effect on currently established flows. One particular recommendation on implementing consistent hashing is provided in [RFC2992], though other implementations are possible. This functionality could be naturally combined with weighted ECMP, with the impact of the next hop changes being proportional to the weight of the given next hop. The downside of consistent hashing is increased load on hardware resource utilization, as typically more resources (e.g., Ternary Content-Addressable Memory (TCAM) space) are required to implement a consistent-hashing function.
ECMPにハッシュ関数を使用して一貫性を持たせることが望ましい場合が多く（[CONS-HASH]を参照）、ネクストホップがECMPグループに追加または削除されたときに、ネクストホップアフィニティの変更に対するフローへの影響を最小限に抑えます。これは、ネットワークデバイスをロードバランサーとして使用し、フローを複数の宛先にマッピングする場合に使用できます。この場合、宛先を失ったり追加したりしても、現在確立されているフローに悪影響はありません。他の実装も可能ですが、一貫したハッシュの実装に関する1つの特定の推奨事項が[RFC2992]で提供されています。この機能は、加重ECMPと自然に組み合わせることができ、ネクストホップの変更による影響は、特定のネクストホップのウェイトに比例します。一貫性のあるハッシュ関数を実装するには通常、より多くのリソース（Ternary Content-Addressable Memory（TCAM）スペースなど）が必要になるため、一貫性のあるハッシュの欠点は、ハードウェアリソースの使用に対する負荷が増えることです。
This section reviews routing convergence properties in the proposed design. A case is made that sub-second convergence is achievable if the implementation supports fast EBGP peering session deactivation and timely RIB and FIB updates upon failure of the associated link.
このセクションでは、提案された設計のルーティング収束プロパティを確認します。関連するリンクの障害時に実装が高速EBGPピアリングセッションの非アクティブ化とタイムリーなRIBおよびFIB更新をサポートしている場合、1秒未満の収束が実現可能であるというケースが作成されます。
BGP typically relies on an IGP to route around link/node failures inside an AS, and implements either a polling-based or an event-driven mechanism to obtain updates on IGP state changes. The proposed routing design does not use an IGP, so the remaining mechanisms that could be used for fault detection are BGP keep-alive time-out (or any other type of keep-alive mechanism) and link-failure triggers.
BGPは通常、AS内のリンク/ノード障害を迂回するためにIGPに依存し、ポーリングベースまたはイベント駆動型のメカニズムを実装して、IGPの状態変化に関する更新を取得します。提案されたルーティング設計はIGPを使用しないため、障害検出に使用できる残りのメカニズムは、BGPキープアライブタイムアウト（または他のタイプのキープアライブメカニズム）とリンク障害トリガーです。
Relying solely on BGP keep-alive packets may result in high convergence delays, on the order of multiple seconds (on many BGP implementations the minimum configurable BGP hold timer value is three seconds). However, many BGP implementations can shut down local EBGP peering sessions in response to the "link down" event for the outgoing interface used for BGP peering. This feature is sometimes called "fast fallover". Since links in modern data centers are predominantly point-to-point fiber connections, a physical interface failure is often detected in milliseconds and subsequently triggers a BGP reconvergence.
BGPキープアライブパケットのみに依存すると、数秒程度の高いコンバージェンス遅延が発生する可能性があります（多くのBGP実装では、構成可能な最小BGPホールドタイマー値は3秒です）。ただし、多くのBGP実装では、BGPピアリングに使用される発信インターフェイスの「リンクダウン」イベントに応答して、ローカルEBGPピアリングセッションをシャットダウンできます。この機能は「高速フォールオーバー」と呼ばれることもあります。最新のデータセンターのリンクは主にポイントツーポイントのファイバー接続であるため、物理インターフェイスの障害はミリ秒単位で検出され、その後BGP再コンバージェンスがトリガーされます。
Ethernet links may support failure signaling or detection standards such as Connectivity Fault Management (CFM) as described in [IEEE8021Q]; this may make failure detection more robust. Alternatively, some platforms may support Bidirectional Forwarding Detection (BFD) [RFC5880] to allow for sub-second failure detection and fault signaling to the BGP process. However, the use of either of these presents additional requirements to vendor software and possibly hardware, and may contradict REQ1. Until recently with [RFC7130], BFD also did not allow detection of a single member link failure on a LAG, which would have limited its usefulness in some designs.
イーサネットリンクは、[IEEE8021Q]で説明されているように、接続障害管理（CFM）などの障害信号または検出の標準をサポートする場合があります。これにより、障害検出がより堅牢になります。あるいは、一部のプラットフォームでは、BGPプロセスへの1秒未満の障害検出と障害シグナリングを可能にする双方向転送検出（BFD）[RFC5880]がサポートされている場合があります。ただし、これらのいずれかを使用すると、ベンダーソフトウェアおよび場合によってはハードウェアに追加の要件が提示され、REQ1と矛盾する可能性があります。最近まで[RFC7130]を使用していたBFDでは、LAGでの単一メンバーのリンク障害の検出も許可されていなかったため、一部の設計ではその有用性が制限されていました。
In the proposed design, the impact of the BGP MinRouteAdvertisementIntervalTimer (MRAI timer), as specified in Section 9.2.1.1 of [RFC4271], should be considered. Per the standard, it is required for BGP implementations to space out consecutive BGP UPDATE messages by at least MRAI seconds, which is often a configurable value. The initial BGP UPDATE messages after an event carrying withdrawn routes are commonly not affected by this timer. The MRAI timer may present significant convergence delays when a BGP speaker "waits" for the new path to be learned from its peers and has no local backup path information.
提案された設計では、[RFC4271]のセクション9.2.1.1で指定されているBGP MinRouteAdvertisementIntervalTimer（MRAIタイマー）の影響を考慮する必要があります。標準により、BGP実装では、連続するBGP UPDATEメッセージを少なくともMRAI秒だけ間隔を空ける必要があります。これは、多くの場合、構成可能な値です。イベントが撤回された後の最初のBGP UPDATEメッセージは、通常、このタイマーの影響を受けません。 MRAIタイマーは、BGPスピーカーが新しいパスがピアから学習されるのを「待機」し、ローカルバックアップパス情報がない場合に、大幅な収束遅延を示すことがあります。
In a Clos topology, each EBGP speaker typically has either one path (Tier 2 devices don't accept paths from other Tier 2 in the same cluster due to same ASN) or N paths for the same prefix, where N is a significantly large number, e.g., N=32 (the ECMP fan-out to the next tier). Therefore, if a link fails to another device from which a path is received there is either no backup path at all (e.g., from the perspective of a Tier 2 switch losing the link to a Tier 3 device), or the backup is readily available in BGP Loc-RIB (e.g., from the perspective of a Tier 2 device losing the link to a Tier 1 switch). In the former case, the BGP withdrawal announcement will propagate without delay and trigger reconvergence on affected devices. In the latter case, the best path will be re-evaluated, and the local ECMP group corresponding to the new next-hop set will be changed. If the BGP path was the best path selected previously, an "implicit withdraw" will be sent via a BGP UPDATE message as described as Option b in Section 3.1 of [RFC4271] due to the BGP AS_PATH attribute changing.
Closトポロジでは、通常、各EBGPスピーカーにパスが1つ（Tier 2デバイスは、同じASNが原因で同じクラスター内の他のTier 2からのパスを受け入れません）、または同じプレフィックスのNパスのいずれかを持ちます（Nは非常に大きな数です）。 、例えば、N = 32（次の層へのECMPファンアウト）。したがって、パスの受信元である別のデバイスへのリンクに障害が発生した場合、バックアップパスがまったくない（たとえば、Tier 2スイッチがTier 3デバイスへのリンクを失うという観点から）か、バックアップがすぐに利用可能になります。 BGP Loc-RIB（たとえば、Tier 2スイッチがTier 1スイッチへのリンクを失うという観点から）。前者の場合、BGP撤回のアナウンスは遅延なく伝播し、影響を受けるデバイスで再コンバージェンスをトリガーします。後者の場合、最適なパスが再評価され、新しいネクストホップセットに対応するローカルECMPグループが変更されます。 BGPパスが以前に選択された最良のパスであった場合、BGP AS_PATH属性が変更されるため、[暗黙的な撤回]が[RFC4271]のセクション3.1のオプションbに記載されているようにBGP UPDATEメッセージを介して送信されます。
Clos topology has large fan-outs, which may impact the "Up->Down" convergence in some cases, as described in this section. In a situation when a link between Tier 3 and Tier 2 device fails, the Tier 2 device will send BGP UPDATE messages to all upstream Tier 1 devices, withdrawing the affected prefixes. The Tier 1 devices, in turn, will relay these messages to all downstream Tier 2 devices (except for the originator). Tier 2 devices other than the one originating the UPDATE should then wait for ALL upstream Tier 1 devices to send an UPDATE message before removing the affected prefixes and sending corresponding UPDATE downstream to connected Tier 3 devices. If the original Tier 2 device or the relaying Tier 1 devices introduce some delay into their UPDATE message announcements, the result could be UPDATE message "dispersion", that could be as long as multiple seconds. In order to avoid such a behavior, BGP implementations must support "update groups". The "update group" is defined as a collection of neighbors sharing the same outbound policy -- the local speaker will send BGP updates to the members of the group synchronously.
Closトポロジには大きなファンアウトがあり、このセクションで説明するように、場合によっては「アップ→ダウン」の収束に影響を与える可能性があります。 Tier 3とTier 2デバイス間のリンクに障害が発生した場合、Tier 2デバイスはすべての上流のTier 1デバイスにBGP UPDATEメッセージを送信し、影響を受けるプレフィックスを取り消します。次に、Tier 1デバイスは、これらのメッセージをすべてのダウンストリームのTier 2デバイス（発信元を除く）に中継します。 UPDATEを生成したデバイス以外のTier 2デバイスは、影響を受けるプレフィックスを削除し、対応するUPDATEを接続されたTier 3デバイスに送信する前に、すべてのアップストリームTier 1デバイスがUPDATEメッセージを送信するのを待ちます。元のTier 2デバイスまたは中継しているTier 1デバイスがUPDATEメッセージのアナウンスに遅延を導入した場合、結果はUPDATEメッセージの「分散」になる可能性があり、それは数秒にも及ぶ可能性があります。このような動作を回避するために、BGP実装は「更新グループ」をサポートする必要があります。 「アップデートグループ」は、同じ送信ポリシーを共有するネイバーのコレクションとして定義されます。ローカルスピーカーは、BGPアップデートをグループのメンバーに同期的に送信します。
The impact of such "dispersion" grows with the size of topology fan-out and could also grow under network convergence churn. Some operators may be tempted to introduce "route flap dampening" type features that vendors include to reduce the control-plane impact of rapidly flapping prefixes. However, due to issues described with false positives in these implementations especially under such "dispersion" events, it is not recommended to enable this feature in this design. More background and issues with "route flap dampening" and possible implementation changes that could affect this are well described in [RFC7196].
このような「分散」の影響は、トポロジーのファンアウトのサイズとともに増大し、ネットワーク収束のチャーンの下でも増大する可能性があります。一部の事業者は、プレフィックスが急速にフラッピングすることによるコントロールプレーンへの影響を低減するためにベンダーが含む「ルートフラップダンプニング」タイプの機能を導入したくなるかもしれません。ただし、これらの実装で特にこのような「分散」イベントでの誤検知で説明されている問題のため、この設計でこの機能を有効にすることは推奨されません。 「ルートフラップダンプニング」の背景と問題、およびこれに影響を与える可能性のある実装の変更については、[RFC7196]で詳しく説明されています。
A network is declared to converge in response to a failure once all devices within the failure impact scope are notified of the event and have recalculated their RIBs and consequently updated their FIBs. Larger failure impact scope typically means slower convergence since more devices have to be notified, and results in a less stable network. In this section, we describe BGP's advantages over link-state routing protocols in reducing failure impact scope for a Clos topology.
障害影響範囲内のすべてのデバイスにイベントが通知され、RIBが再計算され、結果としてFIBが更新されると、障害に応答して収束するようにネットワークが宣言されます。障害の影響範囲が大きいほど、通知する必要のあるデバイスが増えるため、収束が遅くなり、ネットワークの安定性が低下します。このセクションでは、Closトポロジの障害影響範囲を削減する際の、リンクステートルーティングプロトコルに対するBGPの利点について説明します。
BGP behaves like a distance-vector protocol in the sense that only the best path from the point of view of the local router is sent to neighbors. As such, some failures are masked if the local node can immediately find a backup path and does not have to send any updates further. Notice that in the worst case, all devices in a data center topology have to either withdraw a prefix completely or update the ECMP groups in their FIBs. However, many failures will not result in such a wide impact. There are two main failure types where impact scope is reduced:
BGPは、ローカルルータの視点からの最良のパスのみがネイバーに送信されるという意味で、ディスタンスベクタプロトコルのように動作します。そのため、ローカルノードがすぐにバックアップパスを見つけることができ、さらに更新を送信する必要がない場合、一部の障害はマスクされます。最悪の場合、データセンタートポロジのすべてのデバイスは、プレフィックスを完全に撤回するか、FIBのECMPグループを更新する必要があることに注意してください。ただし、多くの障害が発生しても、それほど大きな影響はありません。影響範囲が縮小される2つの主な障害タイプがあります。
o Failure of a link between Tier 2 and Tier 1 devices: In this case, a Tier 2 device will update the affected ECMP groups, removing the failed link. There is no need to send new information to downstream Tier 3 devices, unless the path was selected as best by the BGP process, in which case only an "implicit withdraw" needs to be sent and this should not affect forwarding. The affected Tier 1 device will lose the only path available to reach a particular cluster and will have to withdraw the associated prefixes. Such a prefix withdrawal process will only affect Tier 2 devices directly connected to the affected Tier 1 device. The Tier 2 devices receiving the BGP UPDATE messages withdrawing prefixes will simply have to update their ECMP groups. The Tier 3 devices are not involved in the reconvergence process.
o Tier 2とTier 1デバイス間のリンクの失敗：この場合、Tier 2デバイスは影響を受けるECMPグループを更新し、失敗したリンクを削除します。 BGPプロセスによってパスが最良として選択された場合を除き、新しい情報をダウンストリームのTier 3デバイスに送信する必要はありません。その場合、「暗黙の撤回」のみを送信する必要があり、これは転送に影響を与えません。影響を受けるTier 1デバイスは、特定のクラスターに到達するために使用できる唯一のパスを失い、関連するプレフィックスを撤回する必要があります。このようなプレフィックスの撤回プロセスは、影響を受けるTier 1デバイスに直接接続されているTier 2デバイスにのみ影響します。接頭辞を撤回するBGP UPDATEメッセージを受信するTier 2デバイスは、ECMPグループを更新するだけで済みます。 Tier 3デバイスは再コンバージェンスプロセスには関与しません。
o Failure of a Tier 1 device: In this case, all Tier 2 devices directly attached to the failed node will have to update their ECMP groups for all IP prefixes from a non-local cluster. The Tier 3 devices are once again not involved in the reconvergence process, but may receive "implicit withdraws" as described above.
o Tier 1デバイスの障害：この場合、障害が発生したノードに直接接続されているすべてのTier 2デバイスは、非ローカルクラスターからのすべてのIPプレフィックスのECMPグループを更新する必要があります。 Tier 3デバイスは再び再コンバージェンスプロセスには関与しませんが、上記のように「暗黙の撤回」を受け取る可能性があります。
Even in the case of such failures where multiple IP prefixes will have to be reprogrammed in the FIB, it is worth noting that all of these prefixes share a single ECMP group on a Tier 2 device. Therefore, in the case of implementations with a hierarchical FIB, only a single change has to be made to the FIB. "Hierarchical FIB" here means FIB structure where the next-hop forwarding information is stored separately from the prefix lookup table, and the latter only stores pointers to the respective forwarding information. See [BGP-PIC] for discussion of FIB hierarchies and fast convergence.
複数のIPプレフィックスをFIBで再プログラムする必要があるような障害が発生した場合でも、これらのすべてのプレフィックスがTier 2デバイス上の単一のECMPグループを共有することは注目に値します。したがって、階層型FIBを使用した実装の場合、FIBに加える必要がある変更は1つだけです。ここでの「階層型FIB」とは、ネクストホップ転送情報がプレフィックスルックアップテーブルとは別に格納され、後者がそれぞれの転送情報へのポインタのみを格納するFIB構造を意味します。 FIB階層と高速コンバージェンスの説明については、[BGP-PIC]を参照してください。
Even though BGP offers reduced failure scope for some cases, further reduction of the fault domain using summarization is not always possible with the proposed design, since using this technique may create routing black-holes as mentioned previously. Therefore, the worst failure impact scope on the control plane is the network as a whole -- for instance, in the case of a link failure between Tier 2 and Tier 3 devices. The amount of impacted prefixes in this case would be much less than in the case of a failure in the upper layers of a Clos network topology. The property of having such large failure scope is not a result of choosing EBGP in the design but rather a result of using the Clos topology.
BGPでは一部のケースで障害範囲が削減されますが、この手法を使用すると前述のようにルーティングブラックホールが作成される可能性があるため、提案された設計では要約を使用してフォールトドメインをさらに削減できるとは限りません。したがって、コントロールプレーンでの最悪の障害影響範囲はネットワーク全体です。たとえば、Tier 2とTier 3デバイス間のリンク障害の場合です。この場合、影響を受けるプレフィックスの量は、Closネットワークトポロジの上位層で障害が発生した場合よりもはるかに少なくなります。このような大きな障害範囲を持つ特性は、設計でEBGPを選択した結果ではなく、Closトポロジを使用した結果です。
When a downstream device, e.g., Tier 2 device, loses all paths for a prefix, it normally has the default route pointing toward the upstream device -- in this case, the Tier 1 device. As a result, it is possible to get in the situation where a Tier 2 switch loses a prefix, but a Tier 1 switch still has the path pointing to the Tier 2 device; this results in a transient micro-loop, since the Tier 1 switch will keep passing packets to the affected prefix back to the Tier 2 device, and the Tier 2 will bounce them back again using the default route. This micro-loop will last for the time it takes the upstream device to fully update its forwarding tables.
ダウンストリームデバイス（Tier 2デバイスなど）がプレフィックスのすべてのパスを失うと、通常、アップストリームデバイス（この場合は、Tier 1デバイス）を指すデフォルトルートが存在します。その結果、Tier 2スイッチがプレフィックスを失う状況が発生する可能性がありますが、Tier 1スイッチは引き続きTier 2デバイスを指すパスを持っています。これにより、一時的なマイクロループが発生します。これは、Tier 1スイッチが影響を受けるプレフィックスへのパケットをTier 2デバイスに戻し続け、Tier 2がデフォルトルートを使用してそれらを再びバウンスするためです。このマイクロループは、アップストリームデバイスが転送テーブルを完全に更新するのにかかる時間続きます。
To minimize impact of such micro-loops, Tier 2 and Tier 1 switches can be configured with static "discard" or "null" routes that will be more specific than the default route for prefixes missing during network convergence. For Tier 2 switches, the discard route should be a summary route, covering all server subnets of the underlying Tier 3 devices. For Tier 1 devices, the discard route should be a summary covering the server IP address subnets allocated for the whole data center. Those discard routes will only take precedence for the duration of network convergence, until the device learns a more specific prefix via a new path.
このようなマイクロループの影響を最小限に抑えるために、Tier 2およびTier 1スイッチは、ネットワークのコンバージェンス中に失われたプレフィックスのデフォルトルートよりも具体的な静的な「破棄」または「null」ルートで構成できます。 Tier 2スイッチの場合、破棄ルートは、基礎となるTier 3デバイスのすべてのサーバーサブネットをカバーするサマリールートである必要があります。 Tier 1デバイスの場合、破棄ルートは、データセンター全体に割り当てられたサーバーのIPアドレスサブネットをカバーする要約である必要があります。これらの破棄ルートは、デバイスが新しいパスを介してより具体的なプレフィックスを学習するまで、ネットワーク収束の期間中のみ優先されます。
BGP allows for a "third-party", i.e., a directly attached BGP speaker, to inject routes anywhere in the network topology, meeting REQ5. This can be achieved by peering via a multi-hop BGP session with some or even all devices in the topology. Furthermore, BGP diverse path distribution [RFC6774] could be used to inject multiple BGP next hops for the same prefix to facilitate load balancing, or using the BGP ADD-PATH capability [RFC7911] if supported by the implementation. Unfortunately, in many implementations, ADD-PATH has been found to only support IBGP properly in the use cases for which it was originally optimized; this limits the "third-party" peering to IBGP only.
BGPを使用すると、「サードパーティ」、つまり直接接続されたBGPスピーカーが、ネットワークトポロジの任意の場所にルートを挿入し、REQ5を満たすことができます。これは、トポロジ内の一部またはすべてのデバイスとのマルチホップBGPセッションを介したピアリングによって実現できます。さらに、BGPダイバーシティパス配布[RFC6774]を使用して、同じプレフィックスに複数のBGPネクストホップを挿入してロードバランシングを促進したり、実装でサポートされている場合はBGP ADD-PATH機能[RFC7911]を使用したりできます。残念ながら、多くの実装では、ADD-PATHは、最初に最適化されたユースケースでのみIBGPを適切にサポートすることがわかっています。これにより、「サードパーティ」ピアリングがIBGPのみに制限されます。
To implement route injection in the proposed design, a third-party BGP speaker may peer with Tier 3 and Tier 1 switches, injecting the same prefix, but using a special set of BGP next hops for Tier 1 devices. Those next hops are assumed to resolve recursively via BGP, and could be, for example, IP addresses on Tier 3 devices. The resulting forwarding table programming could provide desired traffic proportion distribution among different clusters.
提案された設計でルートインジェクションを実装するために、サードパーティのBGPスピーカーがTier 3およびTier 1スイッチとピアリングし、同じプレフィックスを注入しますが、Tier 1デバイスにBGPネクストホップの特別なセットを使用します。これらのネクストホップは、BGPを介して再帰的に解決すると想定されており、たとえば、Tier 3デバイスのIPアドレスである可能性があります。結果として生じる転送テーブルのプログラミングは、異なるクラスター間で望ましいトラフィック比率の分配を提供できます。
As mentioned previously, route summarization is not possible within the proposed Clos topology since it makes the network susceptible to route black-holing under single link failures. The main problem is the limited number of redundant paths between network elements, e.g., there is only a single path between any pair of Tier 1 and Tier 3 devices. However, some operators may find route aggregation desirable to improve control-plane stability.
前述のように、提案されたClosトポロジ内ではルート集約は不可能です。これは、ネットワークが単一のリンク障害のもとでブラックホールをルーティングしやすくなるためです。主な問題は、ネットワーク要素間の冗長パスの数が限られていることです。たとえば、Tier 1デバイスとTier 3デバイスのペア間には1つのパスしかありません。ただし、一部のオペレーターは、ルート集約がコントロールプレーンの安定性を改善するために望ましいと考える場合があります。
If any technique to summarize within the topology is planned, modeling of the routing behavior and potential for black-holing should be done not only for single or multiple link failures, but also for fiber pathway failures or optical domain failures when the topology extends beyond a physical location. Simple modeling can be done by checking the reachability on devices doing summarization under the condition of a link or pathway failure between a set of devices in every tier as well as to the WAN routers when external connectivity is present.
トポロジー内で要約する手法が計画されている場合、ルーティング動作とブラックホールの可能性のモデリングは、単一または複数のリンク障害だけでなく、トポロジーがトポロジーを超えて拡張する場合のファイバー経路障害または光ドメイン障害についても行う必要があります物理的な位置。単純なモデリングは、外部接続が存在する場合に、すべての層のデバイスのセット間およびWANルーターへのリンクまたはパス障害の条件下で要約を行うデバイスの到達可能性をチェックすることで実行できます。
Route summarization would be possible with a small modification to the network topology, though the tradeoff would be reduction of the total size of the network as well as network congestion under specific failures. This approach is very similar to the technique described above, which allows Border Routers to summarize the entire data center address space.
ルートサマリーは、ネットワークトポロジを少し変更するだけで可能になりますが、特定の障害が発生した場合のネットワークの合計サイズの縮小とネットワークの輻輳のトレードオフになります。このアプローチは、ボーダールーターがデータセンターのアドレス空間全体を要約できるようにする、上記の手法と非常に似ています。
In order to add more paths between Tier 1 and Tier 3 devices, group Tier 2 devices into pairs, and then connect the pairs to the same group of Tier 1 devices. This is logically equivalent to "collapsing" Tier 1 devices into a group of half the size, merging the links on the "collapsed" devices. The result is illustrated in Figure 6. For example, in this topology DEV C and DEV D connect to the same set of Tier 1 devices (DEV 1 and DEV 2), whereas before they were connecting to different groups of Tier 1 devices.
Tier 1とTier 3デバイス間のパスをさらに追加するには、Tier 2デバイスをペアにグループ化し、ペアを同じグループのTier 1デバイスに接続します。これは、論理的には、Tier 1デバイスを半分のサイズのグループに「折りたたむ」ことと同等であり、「折りたたまれた」デバイス上のリンクをマージします。結果を図6に示します。たとえば、このトポロジでは、DEV CとDEV Dは同じセットのTier 1デバイス（DEV 1とDEV 2）に接続しますが、以前はTier 1デバイスの異なるグループに接続していました。
Tier 2 Tier 1 Tier 2
+-----+ +-----+ +-----+
+-------------| DEV |------| DEV |------| |-------------+
| +-----| C |--++--| 1 |--++--| |-----+ |
| | +-----+ || +-----+ || +-----+ | |
| | || || | |
| | +-----+ || +-----+ || +-----+ | |
| +-----+-----| DEV |--++--| DEV |--++--| |-----+-----+ |
| | | +---| D |------| 2 |------| |---+ | | |
| | | | +-----+ +-----+ +-----+ | | | |
| | | | | | | |
+-----+ +-----+ +-----+ +-----+
| DEV | | DEV | | | | |
| A | | B | Tier 3 Tier 3 | | | |
+-----+ +-----+ +-----+ +-----+
| | | | | | | |
O O O O <- Servers -> O O O O
Figure 6: 5-Stage Clos Topology
図6：5段階のClosトポロジ
Having this design in place, Tier 2 devices may be configured to advertise only a default route down to Tier 3 devices. If a link between Tier 2 and Tier 3 fails, the traffic will be re-routed via the second available path known to a Tier 2 switch. It is still not possible to advertise a summary route covering prefixes for a single cluster from Tier 2 devices since each of them has only a single path down to this prefix. It would require dual-homed servers to accomplish that. Also note that this design is only resilient to single link failures. It is possible for a double link failure to isolate a Tier 2 device from all paths toward a specific Tier 3 device, thus causing a routing black-hole.
この設計が整ったら、Tier 2デバイスは、デフォルトルートのみをTier 3デバイスにアドバタイズするように構成できます。 Tier 2とTier 3の間のリンクに障害が発生した場合、トラフィックは、Tier 2スイッチが認識している2番目の使用可能なパスを介して再ルーティングされます。 Tier 2デバイスからの単一クラスターのプレフィックスをカバーするサマリールートをアドバタイズすることは依然として不可能です。これは、それらのプレフィックスへのパスがそれぞれ1つしかないためです。そのためには、デュアルホームサーバーが必要です。また、この設計は単一リンクの障害に対してのみ回復力があることに注意してください。ダブルリンク障害により、Tier 2デバイスが特定のTier 3デバイスへのすべてのパスから分離され、ルーティングのブラックホールが発生する可能性があります。
A result of the proposed topology modification would be a reduction of the port capacity of Tier 1 devices. This limits the maximum number of attached Tier 2 devices, and therefore will limit the maximum DC network size. A larger network would require different Tier 1 devices that have higher port density to implement this change.
提案されたトポロジ変更の結果、Tier 1デバイスのポート容量が減少します。これにより、接続されているTier 2デバイスの最大数が制限されるため、DCネットワークの最大サイズが制限されます。大規模なネットワークでは、この変更を実装するために、より高いポート密度を持つさまざまなTier 1デバイスが必要になります。
Another problem is traffic rebalancing under link failures. Since there are two paths from Tier 1 to Tier 3, a failure of the link between Tier 1 and Tier 2 switch would result in all traffic that was taking the failed link to switch to the remaining path. This will result in doubling the link utilization on the remaining link.
もう1つの問題は、リンク障害でのトラフィックのリバランスです。 Tier 1からTier 3へのパスは2つあるため、Tier 1とTier 2スイッチ間のリンクに障害が発生すると、障害のあるリンクを使用していたすべてのトラフィックが残りのパスに切り替わります。これにより、残りのリンクのリンク使用率が2倍になります。
A completely different approach to route summarization is possible, provided that the main goal is to reduce the FIB size, while allowing the control plane to disseminate full routing information. Firstly, it could be easily noted that in many cases multiple prefixes, some of which are less specific, share the same set of the next hops (same ECMP group). For example, from the perspective of Tier 3 devices, all routes learned from upstream Tier 2 devices, including the default route, will share the same set of BGP next hops, provided that there are no failures in the network. This makes it possible to use the technique similar to that described in [RFC6769] and only install the least specific route in the FIB, ignoring more specific routes if they share the same next-hop set. For example, under normal network conditions, only the default route needs to be programmed into the FIB.
コントロールプレーンが完全なルーティング情報を配布できるようにしながら、FIBサイズを縮小することを主な目的とする場合は、ルートを要約するまったく異なるアプローチが可能です。第1に、多くの場合、複数のプレフィックス（一部はそれほど限定的ではない）がネクストホップの同じセット（同じECMPグループ）を共有することは簡単にわかるでしょう。たとえば、Tier 3デバイスの観点から見ると、デフォルトルートを含むアップストリームのTier 2デバイスから学習されたすべてのルートは、ネットワークに障害がない限り、同じBGPネクストホップのセットを共有します。これにより、[RFC6769]で説明されている手法と同様の手法を使用して、FIBに最も固有性の低いルートのみをインストールし、同じネクストホップセットを共有する場合、より具体的なルートを無視することができます。たとえば、通常のネットワーク状態では、デフォルトルートのみをFIBにプログラムする必要があります。
Furthermore, if the Tier 2 devices are configured with summary prefixes covering all of their attached Tier 3 device's prefixes, the same logic could be applied in Tier 1 devices as well and, by induction to Tier 2/Tier 3 switches in different clusters. These summary routes should still allow for more specific prefixes to leak to Tier 1 devices, to enable detection of mismatches in the next-hop sets if a particular link fails, thus changing the next-hop set for a specific prefix.
さらに、Tier 2デバイスが、接続されているすべてのTier 3デバイスのプレフィックスをカバーするサマリープレフィックスで構成されている場合、同じロジックがTier 1デバイスにも適用され、異なるクラスターのTier 2 / Tier 3スイッチに誘導されます。これらのサマリールートは、特定のプレフィックスがTier 1デバイスにリークすることを許可し、特定のリンクに障害が発生した場合にネクストホップセットの不一致を検出できるようにし、特定のプレフィックスのネクストホップセットを変更します。
Restating once again, this technique does not reduce the amount of control-plane state (i.e., BGP UPDATEs, BGP Loc-RIB size), but only allows for more efficient FIB utilization, by detecting more specific prefixes that share their next-hop set with a subsuming less specific prefix.
もう一度繰り返しますが、この手法では、コントロールプレーンの状態（つまり、BGP UPDATE、BGP Loc-RIBサイズ）の量は減りませんが、ネクストホップセットを共有するより具体的なプレフィックスを検出することで、より効率的なFIB使用を可能にします。より具体的でないプレフィックスを含む。
This section discusses some operational aspects of not advertising point-to-point link subnets into BGP, as previously identified as an option in Section 5.2.3. The operational impact of this decision could be seen when using the well-known "traceroute" tool. Specifically, IP addresses displayed by the tool will be the link's point-to-point addresses, and hence will be unreachable for management connectivity. This makes some troubleshooting more complicated.
このセクションでは、以前にセクション5.2.3でオプションとして識別された、ポイントツーポイントリンクサブネットをBGPにアドバタイズしない運用面について説明します。この決定による運用上の影響は、よく知られた「traceroute」ツールを使用したときに確認できます。具体的には、ツールによって表示されるIPアドレスは、リンクのポイントツーポイントアドレスになるため、管理接続には到達できません。これにより、トラブルシューティングがさらに複雑になります。
One way to overcome this limitation is by using the DNS subsystem to create the "reverse" entries for these point-to-point IP addresses pointing to the same name as the loopback address. The connectivity then can be made by resolving this name to the "primary" IP address of the device, e.g., its Loopback interface, which is always advertised into BGP. However, this creates a dependency on the DNS subsystem, which may be unavailable during an outage.
この制限を克服する1つの方法は、DNSサブシステムを使用して、ループバックアドレスと同じ名前を指すこれらのポイントツーポイントIPアドレスの「リバース」エントリを作成することです。次に、この名前をデバイスの「プライマリ」IPアドレス（たとえば、常にBGPにアドバタイズされるそのループバックインターフェイス）に解決することにより、接続を確立できます。ただし、これにより、DNSサブシステムへの依存関係が作成されます。これは、停止中は使用できない場合があります。
Another option is to make the network device perform IP address masquerading, that is, rewriting the source IP addresses of the appropriate ICMP messages sent by the device with the "primary" IP address of the device. Specifically, the ICMP Destination Unreachable Message (type 3) code 3 (port unreachable) and ICMP Time Exceeded (type 11) code 0 are required for correct operation of the "traceroute" tool. With this modification, the "traceroute" probes sent to the devices will always be sent back with the "primary" IP address as the source, allowing the operator to discover the "reachable" IP address of the box. This has the downside of hiding the address of the "entry point" into the device. If the devices support [RFC5837], this may allow the best of both worlds by providing the information about the incoming interface even if the return address is the "primary" IP address.
別のオプションは、ネットワークデバイスにIPアドレスマスカレードを実行させることです。つまり、デバイスによって送信された適切なICMPメッセージのソースIPアドレスを、デバイスの「プライマリ」IPアドレスで書き換えます。具体的には、「traceroute」ツールを正しく動作させるには、ICMP宛先到達不能メッセージ（タイプ3）コード3（ポート到達不能）およびICMP時間超過（タイプ11）コード0が必要です。この変更により、デバイスに送信された「traceroute」プローブは常に「プライマリ」IPアドレスをソースとして返送されるため、オペレーターはボックスの「到達可能な」IPアドレスを検出できます。これには、「エントリポイント」のアドレスをデバイスに隠すという欠点があります。デバイスが[RFC5837]をサポートしている場合、リターンアドレスが「プライマリ」IPアドレスであっても、着信インターフェイスに関する情報を提供することにより、両方の利点を実現できます。
The design does not introduce any additional security concerns. General BGP security considerations are discussed in [RFC4271] and [RFC4272]. Since a DC is a single-operator domain, this document assumes that edge filtering is in place to prevent attacks against the BGP sessions themselves from outside the perimeter of the DC. This may be a more feasible option for most deployments than having to deal with key management for TCP MD5 as described in [RFC2385] or dealing with the lack of implementations of the TCP Authentication Option [RFC5925] available at the time of publication of this document. The Generalized TTL Security Mechanism [RFC5082] could also be used to further reduce the risk of BGP session spoofing.
この設計では、追加のセキュリティ上の懸念はありません。 BGPのセキュリティに関する一般的な考慮事項は、[RFC4271]および[RFC4272]で説明されています。 DCは単一オペレータードメインであるため、このドキュメントでは、DCの境界の外側からのBGPセッション自体に対する攻撃を防ぐためにエッジフィルターが適用されていることを前提としています。これは、[RFC2385]で説明されているようにTCP MD5のキー管理を処理したり、このドキュメントの公開時に利用可能なTCP認証オプション[RFC5925]の実装の欠如を処理したりするよりも、ほとんどの展開で実現可能なオプションです。 。一般化されたTTLセキュリティメカニズム[RFC5082]を使用して、BGPセッションスプーフィングのリスクをさらに減らすこともできます。
[RFC4271] Rekhter, Y., Ed., Li, T., Ed., and S. Hares, Ed., "A Border Gateway Protocol 4 (BGP-4)", RFC 4271, DOI 10.17487/RFC4271, January 2006, <http://www.rfc-editor.org/info/rfc4271>.
[RFC4271] Rekhter、Y。、編、Li、T。、編、S。Hares、編、「A Border Gateway Protocol 4（BGP-4）」、RFC 4271、DOI 10.17487 / RFC4271、2006年1月、<http://www.rfc-editor.org/info/rfc4271>。
[RFC6996] Mitchell, J., "Autonomous System (AS) Reservation for Private Use", BCP 6, RFC 6996, DOI 10.17487/RFC6996, July 2013, <http://www.rfc-editor.org/info/rfc6996>.
[RFC6996] Mitchell、J。、「プライベート使用のための自律システム（AS）予約」、BCP 6、RFC 6996、DOI 10.17487 / RFC6996、2013年7月、<http://www.rfc-editor.org/info/rfc6996 >。
[ALFARES2008] Al-Fares, M., Loukissas, A., and A. Vahdat, "A Scalable, Commodity Data Center Network Architecture", DOI 10.1145/1402958.1402967, August 2008, <http://dl.acm.org/citation.cfm?id=1402967>.
[ALFARES2008] Al-Fares、M.、Loukissas、A。、およびA. Vahdat、「A Scalable、Commodity Data Center Network Architecture」、DOI 10.1145 / 1402958.1402967、2008年8月、<http://dl.acm.org/ citation.cfm？id = 1402967>。
[ALLOWASIN] Cisco Systems, "Allowas-in Feature in BGP Configuration Example", February 2015, <http://www.cisco.com/c/en/us/support/docs/ip/ border-gateway-protocol-bgp/112236-allowas-in-bgp-config-example.html>.
[ALLOWASIN]シスコシステムズ、「BGP構成例のAllowas-in機能」、2015年2月、<http://www.cisco.com/c/en/us/support/docs/ip/ border-gateway-protocol-bgp /112236-allowas-in-bgp-config-example.html>。
[BGP-PIC] Bashandy, A., Ed., Filsfils, C., and P. Mohapatra, "BGP Prefix Independent Convergence", Work in Progress, draft-ietf-rtgwg-bgp-pic-02, August 2016.
[BGP-PIC] Bashandy、A.、Ed。、Filsfils、C。、およびP. Mohapatra、「BGP Prefix Independent Convergence」、Work in Progress、draft-ietf-rtgwg-bgp-pic-02、2016年8月。
[CLOS1953] Clos, C., "A Study of Non-Blocking Switching Networks", The Bell System Technical Journal, Vol. 32(2), DOI 10.1002/j.1538-7305.1953.tb01433.x, March 1953.
[CLOS1953] Clos、C。、「非ブロッキングスイッチングネットワークの研究」、Bell System Technical Journal、Vol。 32（2）、DOI 10.1002 / j.1538-7305.1953.tb01433.x、1953年3月。
[CONDITIONALROUTE] Cisco Systems, "Configuring and Verifying the BGP Conditional Advertisement Feature", August 2005, <http://www.cisco.com/c/en/us/support/docs/ip/ border-gateway-protocol-bgp/16137-cond-adv.html>.
[CONDITIONALROUTE]シスコシステムズ、「BGP条件付きアドバタイズメント機能の設定と確認」、2005年8月、<http://www.cisco.com/c/en/us/support/docs/ip/ border-gateway-protocol-bgp /16137-cond-adv.html>。
[CONS-HASH] Wikipedia, "Consistent Hashing", July 2016, <https://en.wikipedia.org/w/ index.php?title=Consistent_hashing&oldid=728825684>.
[CONS-HASH] Wikipedia、「Consistent Hashing」、2016年7月、<https://en.wikipedia.org/w/ index.php？title = Consistent_hashing＆oldid = 728825684>。
[FB4POST] Farrington, N. and A. Andreyev, "Facebook's Data Center Network Architecture", May 2013, <http://nathanfarrington.com/papers/facebook-oic13.pdf>.
[FB4POST] Farrington、N。およびA. Andreyev、「Facebookのデータセンターネットワークアーキテクチャ」、2013年5月、<http://nathanfarrington.com/papers/facebook-oic13.pdf>。
[GREENBERG2009] Greenberg, A., Hamilton, J., and D. Maltz, "The Cost of a Cloud: Research Problems in Data Center Networks", DOI 10.1145/1496091.1496103, January 2009, <http://dl.acm.org/citation.cfm?id=1496103>.
[GREENBERG2009] Greenberg、A.、Hamilton、J。、およびD. Maltz、「The Cost of a Cloud：Research Problems in Data Center Networks」、DOI 10.1145 / 1496091.1496103、2009年1月、<http：//dl.acm。 org / citation.cfm？id = 1496103>。
[HADOOP] Apache, "Apache Hadoop", April 2016, <https://hadoop.apache.org/>.
[HADOOP] Apache、「Apache Hadoop」、2016年4月、<https://hadoop.apache.org/>。
[IANA.AS] IANA, "Autonomous System (AS) Numbers", <http://www.iana.org/assignments/as-numbers>.
[IANA.AS] IANA、「Autonomous System（AS）Numbers」、<http://www.iana.org/assignments/as-numbers>。
[IEEE8021D-1990] IEEE, "IEEE Standard for Local and Metropolitan Area Networks: Media Access Control (MAC) Bridges", IEEE Std 802.1D, DOI 10.1109/IEEESTD.1991.101050, 1991, <http://ieeexplore.ieee.org/servlet/opac?punumber=2255>.
[IEEE8021D-1990] IEEE、「IEEE Standard for Local and Metropolitan Area Networks：Media Access Control（MAC）Bridges」、IEEE Std 802.1D、DOI 10.1109 / IEEESTD.1991.101050、1991、<http://ieeexplore.ieee.org / servlet / opac？punumber = 2255>。
[IEEE8021D-2004] IEEE, "IEEE Standard for Local and Metropolitan Area Networks: Media Access Control (MAC) Bridges", IEEE Std 802.1D, DOI 10.1109/IEEESTD.2004.94569, June 2004, <http://ieeexplore.ieee.org/servlet/opac?punumber=9155>.
[IEEE8021D-2004] IEEE、「IEEE Standard for Local and Metropolitan Area Networks：Media Access Control（MAC）Bridges」、IEEE Std 802.1D、DOI 10.1109 / IEEESTD.2004.94569、June 2004、<http://ieeexplore.ieee。 org / servlet / opac？punumber = 9155>。
[IEEE8021Q] IEEE, "IEEE Standard for Local and Metropolitan Area Networks: Bridges and Bridged Networks", IEEE Std 802.1Q, DOI 10.1109/IEEESTD.2014.6991462, <http://ieeexplore.ieee.org/servlet/ opac?punumber=6991460>.
[IEEE8021Q] IEEE、「IEEE Standard for Local and Metropolitan Area Networks：Bridges and Bridged Networks」、IEEE Std 802.1Q、DOI 10.1109 / IEEESTD.2014.6991462、<http://ieeexplore.ieee.org/servlet/ opac？punumber = 6991460>。
[IEEE8023AD] IEEE, "Amendment to Carrier Sense Multiple Access With Collision Detection (CSMA/CD) Access Method and Physical Layer Specifications - Aggregation of Multiple Link Segments", IEEE Std 802.3ad, DOI 10.1109/IEEESTD.2000.91610, October 2000, <http://ieeexplore.ieee.org/servlet/opac?punumber=6867>.
[IEEE8023AD] IEEE、「衝突検出（CSMA / CD）アクセス方式によるキャリアセンスマルチアクセスへの修正と物理層仕様-複数のリンクセグメントの集約」、IEEE Std 802.3ad、DOI 10.1109 / IEEESTD.2000.91610、2000年10月、< http://ieeexplore.ieee.org/servlet/opac?punumber=6867>。
[INTERCON] Dally, W. and B. Towles, "Principles and Practices of Interconnection Networks", ISBN 978-0122007514, January 2004, <http://dl.acm.org/citation.cfm?id=995703>.
[インターコン] Dally、W。およびB. Towles、「相互接続ネットワークの原則と実践」、ISBN 978-0122007514、2004年1月、<http://dl.acm.org/citation.cfm?id=995703>。
[JAKMA2008] Jakma, P., "BGP Path Hunting", 2008, <https://blogs.oracle.com/paulj/entry/bgp_path_hunting>.
[JAKMA2008] Jakma、P。、「BGPパスハンティング」、2008、<https://blogs.oracle.com/paulj/entry/bgp_path_hunting>。
[L3DSR] Schaumann, J., "L3DSR - Overcoming Layer 2 Limitations of Direct Server Return Load Balancing", 2011, <https://www.nanog.org/meetings/nanog51/presentations/ Monday/NANOG51.Talk45.nanog51-Schaumann.pdf>.
[L3DSR]シャウマン、J。、「L3DSR-ダイレクトサーバーリターンロードバランシングのレイヤ2制限の克服」、2011年、<https://www.nanog.org/meetings/nanog51/presentations/Monday/NANOG51.Talk45.nanog51- Schaumann.pdf>。
[LINK] Mohapatra, P. and R. Fernando, "BGP Link Bandwidth Extended Community", Work in Progress, draft-ietf-idr-link-bandwidth-06, January 2013.
[リンク] Mohapatra、P。およびR.フェルナンド、「BGPリンク帯域幅拡張コミュニティ」、作業中、draft-ietf-idr-link-bandwidth-06、2013年1月。
[REMOVAL] Mitchell, J., Rao, D., and R. Raszuk, "Private Autonomous System (AS) Removal Requirements", Work in Progress, draft-mitchell-grow-remove-private-as-04, April 2015.
[削除] Mitchell、J.、Rao、D。、およびR. Raszuk、「プライベート自律システム（AS）削除要件」、作業中、draft-mitchell-grow-remove-private-as-04、2015年4月。
[RFC2328] Moy, J., "OSPF Version 2", STD 54, RFC 2328, DOI 10.17487/RFC2328, April 1998, <http://www.rfc-editor.org/info/rfc2328>.
[RFC2328] Moy、J。、「OSPFバージョン2」、STD 54、RFC 2328、DOI 10.17487 / RFC2328、1998年4月、<http://www.rfc-editor.org/info/rfc2328>。
[RFC2385] Heffernan, A., "Protection of BGP Sessions via the TCP MD5 Signature Option", RFC 2385, DOI 10.17487/RFC2385, August 1998, <http://www.rfc-editor.org/info/rfc2385>.
[RFC2385] Heffernan、A。、「TCP MD5署名オプションによるBGPセッションの保護」、RFC 2385、DOI 10.17487 / RFC2385、1998年8月、<http://www.rfc-editor.org/info/rfc2385>。
[RFC2992] Hopps, C., "Analysis of an Equal-Cost Multi-Path Algorithm", RFC 2992, DOI 10.17487/RFC2992, November 2000, <http://www.rfc-editor.org/info/rfc2992>.
[RFC2992] Hopps、C。、「Analysis of an Equal-Cost Multi-Path Algorithm」、RFC 2992、DOI 10.17487 / RFC2992、2000年11月、<http://www.rfc-editor.org/info/rfc2992>。
[RFC4272] Murphy, S., "BGP Security Vulnerabilities Analysis", RFC 4272, DOI 10.17487/RFC4272, January 2006, <http://www.rfc-editor.org/info/rfc4272>.
[RFC4272] Murphy、S。、「BGP Security Vulnerabilities Analysis」、RFC 4272、DOI 10.17487 / RFC4272、2006年1月、<http://www.rfc-editor.org/info/rfc4272>。
[RFC4277] McPherson, D. and K. Patel, "Experience with the BGP-4 Protocol", RFC 4277, DOI 10.17487/RFC4277, January 2006, <http://www.rfc-editor.org/info/rfc4277>.
[RFC4277]マクファーソン、D。、およびK.パテル、「BGP-4プロトコルの経験」、RFC 4277、DOI 10.17487 / RFC4277、2006年1月、<http://www.rfc-editor.org/info/rfc4277> 。
[RFC4786] Abley, J. and K. Lindqvist, "Operation of Anycast Services", BCP 126, RFC 4786, DOI 10.17487/RFC4786, December 2006, <http://www.rfc-editor.org/info/rfc4786>.
[RFC4786] Abley、J。およびK. Lindqvist、「Operation of Anycast Services」、BCP 126、RFC 4786、DOI 10.17487 / RFC4786、2006年12月、<http://www.rfc-editor.org/info/rfc4786> 。
[RFC5082] Gill, V., Heasley, J., Meyer, D., Savola, P., Ed., and C. Pignataro, "The Generalized TTL Security Mechanism (GTSM)", RFC 5082, DOI 10.17487/RFC5082, October 2007, <http://www.rfc-editor.org/info/rfc5082>.
[RFC5082] Gill、V.、Heasley、J.、Meyer、D.、Savola、P.、Ed。、およびC. Pignataro、「一般化されたTTLセキュリティメカニズム（GTSM）」、RFC 5082、DOI 10.17487 / RFC5082、 2007年10月、<http://www.rfc-editor.org/info/rfc5082>。
[RFC5837] Atlas, A., Ed., Bonica, R., Ed., Pignataro, C., Ed., Shen, N., and JR. Rivers, "Extending ICMP for Interface and Next-Hop Identification", RFC 5837, DOI 10.17487/RFC5837, April 2010, <http://www.rfc-editor.org/info/rfc5837>.
[RFC5837] Atlas、A.、Ed。、Bonica、R.、Ed。、Pignataro、C.、Ed。、Shen、N.、and JR。 Rivers、「Extending ICMP for Interface and Next-Hop Identification」、RFC 5837、DOI 10.17487 / RFC5837、2010年4月、<http://www.rfc-editor.org/info/rfc5837>。
[RFC5880] Katz, D. and D. Ward, "Bidirectional Forwarding Detection (BFD)", RFC 5880, DOI 10.17487/RFC5880, June 2010, <http://www.rfc-editor.org/info/rfc5880>.
[RFC5880] Katz、D。およびD. Ward、「Bidirectional Forwarding Detection（BFD）」、RFC 5880、DOI 10.17487 / RFC5880、2010年6月、<http://www.rfc-editor.org/info/rfc5880>。
[RFC5925] Touch, J., Mankin, A., and R. Bonica, "The TCP Authentication Option", RFC 5925, DOI 10.17487/RFC5925, June 2010, <http://www.rfc-editor.org/info/rfc5925>.
[RFC5925] Touch、J.、Mankin、A。、およびR. Bonica、「The TCP Authentication Option」、RFC 5925、DOI 10.17487 / RFC5925、2010年6月、<http://www.rfc-editor.org/info / rfc5925>。
[RFC6325] Perlman, R., Eastlake 3rd, D., Dutt, D., Gai, S., and A. Ghanwani, "Routing Bridges (RBridges): Base Protocol Specification", RFC 6325, DOI 10.17487/RFC6325, July 2011, <http://www.rfc-editor.org/info/rfc6325>.
[RFC6325] Perlman、R.、Eastlake 3rd、D.、Dutt、D.、Gai、S。、およびA. Ghanwani、「Routing Bridges（RBridges）：Base Protocol Specification」、RFC 6325、DOI 10.17487 / RFC6325、7月2011、<http://www.rfc-editor.org/info/rfc6325>。
[RFC6769] Raszuk, R., Heitz, J., Lo, A., Zhang, L., and X. Xu, "Simple Virtual Aggregation (S-VA)", RFC 6769, DOI 10.17487/RFC6769, October 2012, <http://www.rfc-editor.org/info/rfc6769>.
[RFC6769] Raszuk、R.、Heitz、J.、Lo、A.、Zhang、L。、およびX. Xu、「Simple Virtual Aggregation（S-VA）」、RFC 6769、DOI 10.17487 / RFC6769、2012年10月、 <http://www.rfc-editor.org/info/rfc6769>。
[RFC6774] Raszuk, R., Ed., Fernando, R., Patel, K., McPherson, D., and K. Kumaki, "Distribution of Diverse BGP Paths", RFC 6774, DOI 10.17487/RFC6774, November 2012, <http://www.rfc-editor.org/info/rfc6774>.
[RFC6774] Raszuk、R。、編、Fernando、R.、Patel、K.、McPherson、D。、およびK. Kumaki、「Distribution of Diverse BGP Paths」、RFC 6774、DOI 10.17487 / RFC6774、2012年11月、 <http://www.rfc-editor.org/info/rfc6774>。
[RFC6793] Vohra, Q. and E. Chen, "BGP Support for Four-Octet Autonomous System (AS) Number Space", RFC 6793, DOI 10.17487/RFC6793, December 2012, <http://www.rfc-editor.org/info/rfc6793>.
[RFC6793] Vohra、Q。およびE. Chen、「BGP Support for Four-Octet Autonomous System（AS）Number Space」、RFC 6793、DOI 10.17487 / RFC6793、2012年12月、<http：//www.rfc-editor。 org / info / rfc6793>。
[RFC7067] Dunbar, L., Eastlake 3rd, D., Perlman, R., and I. Gashinsky, "Directory Assistance Problem and High-Level Design Proposal", RFC 7067, DOI 10.17487/RFC7067, November 2013, <http://www.rfc-editor.org/info/rfc7067>.
[RFC7067] Dunbar、L.、Eastlake 3rd、D.、Perlman、R。、およびI. Gashinsky、「Directory Assistance Problem and High-Level Design Proposal」、RFC 7067、DOI 10.17487 / RFC7067、2013年11月、<http： //www.rfc-editor.org/info/rfc7067>。
[RFC7130] Bhatia, M., Ed., Chen, M., Ed., Boutros, S., Ed., Binderberger, M., Ed., and J. Haas, Ed., "Bidirectional Forwarding Detection (BFD) on Link Aggregation Group (LAG) Interfaces", RFC 7130, DOI 10.17487/RFC7130, February 2014, <http://www.rfc-editor.org/info/rfc7130>.
[RFC7130] Bhatia、M.、Ed。、Chen、M.、Ed。、Boutros、S.、Ed。、Binderberger、M.、Ed。、and J. Haas、Ed。、 "Bidirectional Forwarding Detection（BFD） on Link Aggregation Group（LAG）Interfaces」、RFC 7130、DOI 10.17487 / RFC7130、2014年2月、<http://www.rfc-editor.org/info/rfc7130>。
[RFC7196] Pelsser, C., Bush, R., Patel, K., Mohapatra, P., and O. Maennel, "Making Route Flap Damping Usable", RFC 7196, DOI 10.17487/RFC7196, May 2014, <http://www.rfc-editor.org/info/rfc7196>.
[RFC7196] Pelsser、C.、Bush、R.、Patel、K.、Mohapatra、P。、およびO. Maennel、「Making Route Flap Damping Usable」、RFC 7196、DOI 10.17487 / RFC7196、2014年5月、<http： //www.rfc-editor.org/info/rfc7196>。
[RFC7911] Walton, D., Retana, A., Chen, E., and J. Scudder, "Advertisement of Multiple Paths in BGP", RFC 7911, DOI 10.17487/RFC7911, July 2016, <http://www.rfc-editor.org/info/rfc7911>.
[RFC7911] Walton、D.、Retana、A.、Chen、E。、およびJ. Scudder、「Advertisement of Multiple Paths in BGP」、RFC 7911、DOI 10.17487 / RFC7911、2016年7月、<http：// www。 rfc-editor.org/info/rfc7911>。
[VENDOR-REMOVE-PRIVATE-AS] Cisco Systems, "Removing Private Autonomous System Numbers in BGP", August 2005, <http://www.cisco.com/en/US/tech/tk365/ technologies_tech_note09186a0080093f27.shtml>.
[VENDOR-REMOVE-PRIVATE-AS] Cisco Systems、「Removing Private Autonomous System Numbers in BGP」、2005年8月、<http://www.cisco.com/en/US/tech/tk365/technology_tech_note09186a0080093f27.shtml>。
Acknowledgements
謝辞
This publication summarizes the work of many people who participated in developing, testing, and deploying the proposed network design, some of whom were George Chen, Parantap Lahiri, Dave Maltz, Edet Nkposong, Robert Toomey, and Lihua Yuan. The authors would also like to thank Linda Dunbar, Anoop Ghanwani, Susan Hares, Danny McPherson, Robert Raszuk, and Russ White for reviewing this document and providing valuable feedback, and Mary Mitchell for initial grammar and style suggestions.
この出版物は、提案されたネットワーク設計の開発、テスト、および展開に参加した多くの人々の活動をまとめたもので、ジョージチェン、パランタップラヒリ、デイブマルツ、エデットヌクポソン、ロバートトゥーメイ、リフアユアンなどがいました。また、このドキュメントをレビューして貴重なフィードバックを提供してくれたLinda Dunbar、Anoop Ghanwani、Susan Hares、Danny McPherson、Robert Raszuk、Russ White、および最初の文法とスタイルの提案にMary Mitchellにも感謝します。
Authors' Addresses
著者のアドレス
Petr Lapukhov Facebook 1 Hacker Way Menlo Park, CA 94025 United States of America
Petr Lapukhov Facebook 1 Hacker Way Menlo Park、CA 94025アメリカ合衆国
Email: petr@fb.com
Ariff Premji Arista Networks 5453 Great America Parkway Santa Clara, CA 95054 United States of America
Ariff Premji Arista Networks 5453 Great America Parkway Santa Clara、CA 95054アメリカ合衆国
Email: ariff@arista.com
URI: http://arista.com/
Jon Mitchell (editor)
ジョン・ミッチェル（編集者）
Email: jrmitche@puck.nether.net