目次

NIST IR 8241 日本語訳

英語タイトル : Organizational Views of NIST Cryptographic Standards and Testing and Validation Programs
日本語タイトル : NIST 暗号標準と試験・検証プログラムに対する組織の見方
公開日 : 2018-12-17
原文URL : https://csrc.nist.gov/pubs/ir/8241/final
翻訳編集 : 自動生成(有志による非公式の日本語訳), 原文取得日 : 2026-10-31, 訳文 : 303 / 304 ブロック

[要約] NIST IR 8241 は、組織が暗号製品の開発と試験で用いるプロセスとリソースについての定性的調査のうち、NIST の暗号標準と試験・検証プログラムに特有の調査結果を整理した報告書です。調査は、NIST 情報技術研究所の Visualization and Usability Group が率いる研究チームが実施し、暗号製品を開発する組織を代表する 29 人の参加者に対して 21 件の詳細なインタビューを行いました。本報告書は研究論文の補足資料にあたり、NIST の暗号関連刊行物と試験・検証プログラムに特有の参加者の発言を分類して列挙しています。この分野に取り組む NIST その他の標準化団体の今後の意思決定に情報を提供することを目的としています。

NISTIR 8241

NISTIR 8241

Organizational Views of NIST Cryptographic Standards and Testing and Validation Programs

NIST 暗号標準と試験・検証プログラムに対する組織の見方

Julie Haney
Mary Theofanos
Yasemin Acar
Sandra Spickard Prettyman

Julie Haney
Mary Theofanos
Yasemin Acar
Sandra Spickard Prettyman

This publication is available free of charge from: https://doi.org/10.6028/NIST.IR.8241

本刊行物は次の場所から無料で入手できます。https://doi.org/10.6028/NIST.IR.8241

図表
[NIST logo — not reproduced on this unofficial site]

[NIST のロゴ。公的な標章のため、この非公式サイトには掲載していません。原本 PDF を参照してください。]

NISTIR 8241

NISTIR 8241

Organizational Views of NIST Cryptographic Standards and Testing and Validation Programs

NIST 暗号標準と試験・検証プログラムに対する組織の見方

Julie Haney
Information Technology Laboratory

Julie Haney
Information Technology Laboratory

Mary Theofanos
Material Measurement Laboratory

Mary Theofanos
Material Measurement Laboratory

Yasemin Acar
Leibniz University Hannover

Yasemin Acar
Leibniz University Hannover

Sandra Spickard Prettyman
Culture Catalyst, LLC

Sandra Spickard Prettyman
Culture Catalyst, LLC

This publication is available free of charge from: https://doi.org/10.6028/NIST.IR.8241

本刊行物は次の場所から無料で入手できます。https://doi.org/10.6028/NIST.IR.8241

December 2018

2018 年 12 月

U.S. Department of Commerce Wilbur L. Ross, Jr., Secretary

米国商務省 Wilbur L. Ross, Jr. 長官

National Institute of Standards and Technology

米国国立標準技術研究所

Walter Copan, NIST Director and Undersecretary of Commerce for Standards and Technology

Walter Copan、NIST 所長兼商務次官(標準・技術担当)

Abstract

要旨

Cryptography is an essential component of modern computing. Unfortunately, implementing cryptography correctly is a non-trivial undertaking. Past research studies have supported this observation by revealing a multitude of errors and pitfalls in the cryptographic implementations of software products. However, the emphasis of these studies was on the practices of less-experienced, individual developers. Therefore, there is little understanding of the cryptographic development practices of organizations, including the benefits and challenges of using cryptographic resources such as standards specifications and libraries. To address this gap, a research team led by the National Institute of Standards and Technology (NIST) Information Technology Laboratory Visualization and Usability Group conducted a qualitative investigation into the processes and resources that organizations employ in the development and testing of cryptographic products. The study involved 21 in-depth interviews of 29 participants representing organizations that develop either a security product that uses cryptography or a non-security product that heavily relies on cryptography. This report categorizes and enumerates a subset of findings that document participant comments specific to NIST cryptographic publications and testing/validation programs, with a goal of informing future decisions of NIST and other standards bodies working in this space.

暗号技術は、現代のコンピューティングに不可欠な要素です。しかし残念ながら、暗号技術を正しく実装することは容易ではありません。過去の研究は、ソフトウェア製品の暗号実装に数多くの誤りや落とし穴があることを明らかにして、この見方を裏づけてきました。しかし、これらの研究は、経験の浅い個々の開発者の慣行に重点を置いていました。そのため、標準仕様やライブラリといった暗号リソースを使うことの利点と課題を含め、組織における暗号開発の慣行についてはほとんど理解されていません。この空白に対処するため、米国国立標準技術研究所(NIST)情報技術研究所の Visualization and Usability Group が率いる研究チームは、組織が暗号製品の開発と試験で用いるプロセスとリソースについて、定性的な調査を実施しました。この研究では、暗号技術を使うセキュリティ製品、または暗号技術に大きく依存する非セキュリティ製品のいずれかを開発している組織を代表する 29 人の参加者に対し、21 件の詳細なインタビューを行いました。本報告書は、NIST の暗号関連刊行物と試験・検証プログラムに特有の参加者の発言を記録した調査結果の一部を分類して列挙したものであり、この分野に取り組む NIST その他の標準化団体の今後の意思決定に情報を提供することを目的としています。

Key words

キーワード

cryptography; development; standards; testing; validation

cryptography; development; standards; testing; validation

Table of Contents

目次

List of Tables

表の一覧

1. Introduction

1. はじめに

Cryptography is an essential component of modern computing. Unfortunately, implementing cryptography correctly is a non-trivial undertaking. Past research studies have supported this observation by revealing a multitude of errors and developer pitfalls in the cryptographic implementations of software products [1-5]. However, these studies focused on the practices of less-experienced, individual developers. Therefore, there was little understanding of the cryptographic development practices of organizations, including the benefits and challenges of using cryptographic resources such as standards specifications and libraries.

暗号技術は、現代のコンピューティングに不可欠な要素です。しかし残念ながら、暗号技術を正しく実装することは容易ではありません。過去の研究は、ソフトウェア製品の暗号実装に数多くの誤りや開発者の落とし穴があることを明らかにして、この見方を裏づけてきました [1-5]。しかし、これらの研究は、経験の浅い個々の開発者の慣行に焦点を当てていました。そのため、標準仕様やライブラリといった暗号リソースを使うことの利点と課題を含め、組織における暗号開発の慣行についてはほとんど理解されていませんでした。

To address this gap, between January and September 2017, a four-person research team led by the National Institute of Standards and Technology (NIST) Information Technology Laboratory Visualization and Usability Group conducted a qualitative investigation into the processes and resources that organizations employ in the development and testing of cryptographic products. The study involved in-depth interviews of participants representing organizations that develop either a security product that uses cryptography or a non-security product that heavily relies on cryptography. The study aimed to answer the following research questions:

この空白に対処するため、2017 年 1 月から 9 月にかけて、米国国立標準技術研究所(NIST)情報技術研究所の Visualization and Usability Group が率いる 4 人の研究チームは、組織が暗号製品の開発と試験で用いるプロセスとリソースについて、定性的な調査を実施しました。この研究では、暗号技術を使うセキュリティ製品、または暗号技術に大きく依存する非セキュリティ製品のいずれかを開発している組織を代表する参加者に、詳細なインタビューを行いました。この研究は、次の研究課題に答えることを目指しました。

•What are the cryptographic development and testing practices of organizations?

•組織の暗号開発と試験の慣行はどのようなものか。

•What challenges, if any, do organizations encounter while developing and testing these products?

•これらの製品の開発と試験の際に、組織はどのような課題に直面しますか(直面する場合)。

•What cryptographic resources do these organizations use, and what are their reasons for choosing them?

•これらの組織はどのような暗号リソースを使っており、それを選ぶ理由は何か。

This NIST Internal Report (NISTIR) is a companion to the research paper “We make it a big deal in the company”: Security Mindsets in Organizations that Develop Cryptographic Products [6]. The paper explored one theme identified in the study (security mindsets) while describing findings related to the use, benefits, and challenges of cryptographic resources. Although descriptions of methodology and demographics are pulled from the research paper, this NISTIR is not meant to duplicate the findings and analysis previously presented. Instead, this report is more narrowly focused on enumerating (not interpreting) comments made specifically about NIST cryptographic products and testing/validation resources and programs, most frequently those associated with the Federal Information Processing Standards Publication (FIPS) 140-2 [7]. The target audience consists of those working on NIST cryptographic standards and testing/validation programs, but the results may also be useful to others outside of NIST that are developing related standards and programs. The purpose of this NISTIR is to inform the audience of the feedback and perceptions of NIST cryptographic standards and testing/validation programs from companies that develop cryptographic products. The feedback offers a lens into the organizational needs of consumers of NIST cryptographic standards and testing and validation programs and may help to inform future decisions concerning documentation and cryptographic efforts.

この NIST Internal Report(NISTIR)は、研究論文「We make it a big deal in the company」: Security Mindsets in Organizations that Develop Cryptographic Products [6] の補足資料です。この論文は、研究で特定された 1 つのテーマ(セキュリティに対する考え方)を探るとともに、暗号リソースの利用、利点、課題に関連する調査結果を記述しています。方法論と属性についての記述は研究論文から引いていますが、本 NISTIR は、すでに示された調査結果と分析を重複させることを意図していません。むしろ本報告書は、NIST の暗号製品と試験・検証のリソースおよびプログラムについて、特に述べられた発言(最も多いのは、Federal Information Processing Standards Publication(FIPS)140-2 [7] に関するもの)を、解釈することなく列挙することに、より絞って焦点を当てています。想定する読者は NIST の暗号標準と試験・検証プログラムに携わる人々ですが、関連する標準やプログラムを策定している NIST 外の人々にとっても、この結果が役立つ可能性があります。本 NISTIR の目的は、暗号製品を開発する企業から寄せられた、NIST の暗号標準と試験・検証プログラムに対するフィードバックと認識を、読者に知らせることです。このフィードバックは、NIST の暗号標準と試験・検証プログラムの利用者の組織的なニーズを知る手がかりとなり、文書化や暗号に関する取り組みについての今後の意思決定に役立つ場合があります。

2. Background: NIST Cryptographic Standards and Testing/Validation Programs

2. 背景: NIST の暗号標準と試験・検証プログラム

Cryptographic algorithm standards are developed by consensus of community stakeholders (e.g. vendors, researchers, governments) to foster compatibility, interoperability, and minimum levels of security. These standards can be found in formal documents from organizations such as the Internet Engineering Task Force (IETF) [8], International Organization for Standardization (ISO) [9], and NIST [10]. Likely due to the U.S. locations of most of the study organizations, the participants most often mentioned cryptographic requirements issued by NIST. As perhaps the best known government standard, the Federal Information Processing Standards Publication (FIPS) 140-2 “specifies the security requirements that will be satisfied by a cryptographic module utilized within a security system protecting sensitive but unclassified information" [7]. These requirements are mandatory for cryptographic products purchased by the U.S. Government, but also are used voluntarily outside the government.

暗号アルゴリズムの標準は、互換性、相互運用性、最低限のセキュリティ水準を促進するために、コミュニティの関係者(たとえば、ベンダー、研究者、政府)の合意によって策定されます。これらの標準は、Internet Engineering Task Force(IETF)[8]、International Organization for Standardization(ISO)[9]、NIST [10] などの組織の正式な文書で見ることができます。研究対象の組織の大半が米国にあることが理由と思われますが、参加者が最も多く言及したのは、NIST が発行する暗号要件でした。おそらく最もよく知られた政府標準である Federal Information Processing Standards Publication(FIPS)140-2 は、「機微だが未分類の情報を保護するセキュリティシステム内で利用される暗号モジュールが満たすべきセキュリティ要件を規定する」 [7] ものです。これらの要件は、米国政府が購入する暗号製品には必須ですが、政府の外でも任意で使われています。

There are two testing and validation programs associated with FIPS 140-2. The NIST Cryptographic Algorithm Validation Program (CAVP) provides guidelines that support conformance testing of FIPS-approved and other NIST-recommended cryptographic algorithms specified in special publications (SPs) [11]. CAVP is a prerequisite of the Cryptographic Module Validation Program (CMVP) which provides the validation of cryptographic modules [12]. Under these programs, vendors may submit algorithm and module implementations to any testing laboratory accredited under the National Voluntary Laboratory Accreditation Program (NVLAP) [13]. Labs perform certification testing, and NIST validates lab results.

FIPS 140-2 に関連する試験・検証プログラムは 2 つあります。NIST の Cryptographic Algorithm Validation Program(CAVP)は、特別刊行物(SP)[11] に規定された、FIPS 承認の暗号アルゴリズムやその他の NIST 推奨の暗号アルゴリズムの適合性試験を支えるガイドラインを提供します。CAVP は、暗号モジュールの検証を提供する Cryptographic Module Validation Program(CMVP)[12] の前提条件です。これらのプログラムの下で、ベンダーは、National Voluntary Laboratory Accreditation Program(NVLAP)[13] に基づいて認定された任意の試験所に、アルゴリズムやモジュールの実装を提出できます。試験所は認証試験を行い、NIST は試験所の結果を検証します。

3. Study Methodology

3. 調査方法

The research team conducted in-depth interviews of individuals working in organizations that develop products that use cryptography. The study was approved by the NIST institutional review board. Prior to the interviews, participants were informed of the purpose of the study and how their data would be used and protected. Interview data were collected and recorded without personal identifiers and not linked back to the participants or organizations. Interviews were assigned an identifier (e.g., C08) used for all associated data in the study. The majority of this Methodology section is taken from the previously mentioned research paper [6].

研究チームは、暗号技術を使う製品を開発する組織で働く個人に対して、詳細なインタビューを行いました。この研究は、NIST の施設内審査委員会(institutional review board)の承認を受けています。インタビューに先立ち、参加者には、研究の目的と、データがどのように使われ保護されるかを知らせました。インタビューのデータは、個人を特定する情報なしで収集・記録され、参加者や組織には結びつけられていません。各インタビューには識別子(たとえば C08)が割り当てられ、研究における関連するすべてのデータに使われました。本「調査方法」の節の大部分は、前述の研究論文 [6] から引いています。

3.1. Recruitment

3.1. 参加者の募集

To enable the exploration of different perspectives within the cryptographic product space, the sampling frame consisted of individuals who had organizational experience designing, developing, or testing products that use cryptography or who were knowledgeable about and had played a key role in these activities (e.g., managers of teams that performed these tasks). The research team utilized a combination of purposeful and convenience sampling strategies, which are widely employed in exploratory qualitative research [14]. Purposeful sampling was used to select organizations of different sizes and to select participants from those organizations who had knowledge and experience within this specialized topic area. This was combined with convenience sampling, where participants were sought based on their willingness to participate in the study and their ease of accessibility by the researchers.

暗号製品の領域におけるさまざまな視点を探れるように、標本抽出枠は、暗号技術を使う製品の設計、開発、試験に関する組織での経験を持つ人、またはこれらの活動に詳しく、重要な役割を果たした人(たとえば、これらの作業を行ったチームの管理者)で構成しました。研究チームは、探索的な定性研究で広く用いられている、目的的標本抽出と便宜的標本抽出を組み合わせた戦略を用いました [14]。目的的標本抽出は、規模の異なる組織を選び、それらの組織からこの専門的なトピック領域に関する知識と経験を持つ参加者を選ぶために用いました。これに、便宜的標本抽出を組み合わせました。これは、研究への参加意思と、研究者にとっての近づきやすさに基づいて参加者を探す方法です。

Nine organizations were recruited from prior researcher contacts. Additional organizations were recruited from among vendors at the RSA conference [15], a large industry Information Technology (IT) security conference that also hosts an exhibition floor with security-focused vendors. A list of 54 potential organizations was compiled after in-person researcher contact on the exhibition floor. After the conference, the research team identified organizations that provided organizational diversity for the sample and that were accessible by the researchers. Seventeen of these organizations were invited to participate in the study via email. Eleven organizations agreed to participate. One additional organization was recruited based on the recommendation of a participant.

9 つの組織は、研究者のこれまでの連絡先から募集しました。そのほかの組織は、RSA カンファレンス [15] のベンダーの中から募集しました。これは、セキュリティに焦点を当てたベンダーが出展する展示会場も併設した、大規模な情報技術(IT)セキュリティの業界カンファレンスです。展示会場で研究者が直接接触した結果、54 の潜在的な組織の一覧ができました。カンファレンスの後、研究チームは、標本に組織としての多様性をもたらし、研究者が接触できる組織を特定しました。これらの組織のうち 17 が、電子メールで研究への参加を依頼されました。11 の組織が参加に同意しました。さらに 1 つの組織は、参加者の推薦に基づいて募集しました。

The high acceptance rate among solicited organizations is potentially due to the research being conducted by NIST. Many organizations were openly enthusiastic about the opportunity to provide NIST with feedback about their organizations’ successes and challenges with cryptographic standards and testing/validation.

依頼した組織の受諾率が高かったのは、研究が NIST によって行われたことが一因と考えられます。多くの組織は、暗号標準と試験・検証に関する自組織の成功と課題について NIST にフィードバックを提供する機会を、率直に歓迎していました。

3.2. Data Collection

3.2. データ収集

Data was collected via semi-structured interviews. Interviews were conducted by two of the researchers and ranged from 30 to 64 minutes, lasting an average of 44 minutes. The 21 interviews had 1-3 participants per interview, and a total of 29 participants. Five organizations opted to have more than one participant in the interview: three organizations had three participants, and two organizations had two participants. Face-to-face interviews were conducted if feasible. Otherwise, participants were given the choice of a phone or video conference interview. Five interviews were conducted face-to-face, ten by phone, and six via video. Interviews were audio recorded and transcribed by a third-party transcription service.

データは、半構造化インタビューによって収集しました。インタビューは研究者 2 人が行い、所要時間は 30 分から 64 分で、平均は 44 分でした。21 件のインタビューの参加者は 1 件あたり 1〜3 人で、参加者は合計 29 人でした。5 つの組織は、インタビューに複数の参加者を出すことを選びました。3 つの組織は参加者が 3 人、2 つの組織は参加者が 2 人でした。可能な場合は対面でインタビューを行いました。そうでない場合、参加者は、電話またはビデオ会議によるインタビューを選べました。5 件のインタビューは対面、10 件は電話、6 件はビデオで行われました。インタビューは録音され、第三者の文字起こしサービスによって文字起こしされました。

After the first nine interviews, the research team performed a preliminary analysis and chose to make minor revisions to the interview protocol in accordance with the qualitative research practice of theoretical sampling. Theoretical sampling involves adjusting data collection while the study is in-progress to better explore themes as they arise [16]. Following rigorous, commonly accepted qualitative research methods, the researchers continued interviewing until they reached theoretical saturation, the point at which no new themes or ideas emerged from the data [17].

最初の 9 件のインタビューの後、研究チームは予備的な分析を行い、理論的サンプリングという定性研究の慣行に従って、インタビューのプロトコルを部分的に見直すことにしました。理論的サンプリングとは、研究の進行中にデータ収集を調整して、現れてくるテーマをよりよく探ることです [16]。厳密で広く受け入れられている定性研究の手法に従い、研究者は、理論的飽和、すなわちデータから新しいテーマや考えが現れなくなる時点 [17] に達するまで、インタビューを続けました。

The interviews began with demographic questions about the organization (e.g., size, products) and the individual participants (e.g., role within the organization, professional background). Subsequently, participants were asked to describe their organizations’ development and testing practices and associated challenges for their cryptographic products. Questions then transitioned into exploring the cryptographic resources used by the organizations and how the participants thought those resources might be improved, if at all. The complete interview protocol is included in the appendix.

インタビューは、組織(たとえば、規模、製品)と個々の参加者(たとえば、組織内での役割、職歴)に関する属性の質問から始まりました。続いて、参加者は、自組織の暗号製品の開発と試験の慣行と、それに伴う課題について説明するよう求められました。その後の質問は、組織が使っている暗号リソースと、それらのリソースをどのように改善できると参加者が考えているか(あれば)の探究に移りました。インタビューのプロトコル全体は付録に掲載しています。

3.3. Data Analysis

3.3. データ分析

The research team utilized both deductive and inductive coding practices. Coding is an analytical process in which data are categorized to facilitate analysis. In the case of interview data, snippets of text are labeled based on their main topic or idea, with these labels being called “codes.” Snippets may consist of a phrase, sentence, or multiple sentences. For example, the snippet “I've used standards from three-letter organizations. I use NIST. I've used ANSI. I've used ISO” was assigned the code “Standards.” Related codes were later grouped into higher-level categories, called axial codes. For example, the codes “Standards,” “Certifications,” and “Industry/Third-party Resources” were clustered into an overarching “Resources” code.

研究チームは、演繹的なコーディングと帰納的なコーディングの両方を用いました。コーディングとは、分析を容易にするためにデータを分類する分析プロセスです。インタビューデータの場合、テキストの断片を主要なトピックや考えに基づいてラベル付けし、そのラベルを「コード」と呼びます。断片は、句、1 つの文、または複数の文で構成されることがあります。たとえば、断片「I've used standards from three-letter organizations. I use NIST. I've used ANSI. I've used ISO」(3 文字の組織の標準を使ってきました。NIST を使っています。ANSI を使ったこともあります。ISO を使ったこともあります)には、コード「Standards」が割り当てられました。関連するコードは、後に軸足コードと呼ばれるより上位のカテゴリにまとめられました。たとえば、コード「Standards」「Certifications」「Industry/Third-party Resources」は、包括的なコード「Resources」にまとめられました。

Initially the team constructed an a priori list of codes based on the research questions and literature in the field to provide direction in the analysis. As the researchers performed multiple rounds of coding, they also discovered emergent codes in the data. This iterative, recursive process helped identify additional codes and categories until saturation was reached [18].

当初、チームは、分析の方向性を示すために、研究課題と当該分野の文献に基づいて、事前のコードの一覧を作成しました。研究者は複数回のコーディングを行う中で、データから新たに現れるコードも見つけました。この反復的かつ再帰的なプロセスは、飽和に達するまで、追加のコードとカテゴリを特定するのに役立ちました [18]。

Five interviews (almost 24%) were first coded individually, then discussed as a group to develop a codebook. After coding of this initial subset of data, the remaining 16 interviews were coded by two coders each. Once each pair completed their coding, they discussed the data to address areas of divergence about their use and application of the codes and come to a final coding determination. New codes that were identified during these discussions were added to the codebook, with previously coded interviews then re-examined to account for additions.

5 件のインタビュー(約 24%)は、まず個別にコーディングし、その後グループで議論してコードブックを作成しました。このデータの最初の部分集合のコーディングの後、残りの 16 件のインタビューは、それぞれ 2 人のコーダーがコーディングしました。各ペアはコーディングを終えると、データについて議論し、コードの使い方と適用に関する相違点に対処して、最終的なコーディングの判断に至りました。これらの議論で特定された新しいコードはコードブックに追加され、以前にコーディングされたインタビューは、追加分を反映させるために再検討されました。

During the coding phase, the team also engaged in writing analytic memos to capture thoughts about emerging themes [16]. For example, one memo captured thoughts on cryptography complexity. Once coding was complete, the research team reorganized and reassembled data, discussed patterns and categories, drew models, discussed relationships in codes and data, and began to move from codes to themes [19]. The team met regularly to discuss emergent ideas and refine interpretations

コーディングの段階では、チームは、現れてくるテーマについての考えを記録するために、分析メモの作成も行いました [16]。たとえば、あるメモは、暗号技術の複雑さについての考えを記録していました。コーディングが完了すると、研究チームは、データを並べ替えて組み直し、パターンとカテゴリについて議論し、モデルを描き、コードとデータの関係について議論して、コードからテーマへの移行を始めました [19]。チームは定期的に会合を開き、現れてきた考えについて議論し、解釈を洗練させました

4. Participant and Organization Demographics

4. 参加者と組織の属性

Table 1 provides an overview of the organizations and participants in the study. To protect confidentiality, product types and participant roles have been generalized.

表 1 は、研究に参加した組織と参加者の概要を示しています。機密性を保護するため、製品の種類と参加者の役割は一般化してあります。

The represented organizations were of different sizes, with six being very large (10 000 or more employees), six large (1 000 - 9 999 employees), three medium (100 - 999 employees), three small (10 - 99 employees), and three very small/micro (1 - 9 employees) [20][21]. All organizations developed a security product that uses cryptography (e.g., end user security software, hardware security module) or a non-security product that heavily relies upon cryptography to protect it (e.g., Internet of Things devices, storage devices, operating systems). Types of customers varied and included consumers, other parts of the organization, and organizations and businesses in multiple sectors such as government, technology, health, finance, automotive, and retail. Of the 15 organizations that reported how long their companies had been implementing cryptography in their products, 12 had 10 or more years of experience, with six of those having at least 20 years of experience. The remaining three organizations were startup companies that had been doing cryptographic development since their inception.

代表された組織の規模はさまざまで、非常に大規模(従業員 10 000 人以上)が 6 組織、大規模(従業員 1 000〜9 999 人)が 6 組織、中規模(従業員 100〜999 人)が 3 組織、小規模(従業員 10〜99 人)が 3 組織、非常に小規模・零細(従業員 1〜9 人)が 3 組織でした [20][21]。すべての組織が、暗号技術を使うセキュリティ製品(たとえば、エンドユーザー向けセキュリティソフトウェア、ハードウェアセキュリティモジュール)、または暗号技術に大きく依存してその製品を保護する非セキュリティ製品(たとえば、モノのインターネット機器、ストレージ機器、オペレーティングシステム)を開発していました。顧客の種類はさまざまで、消費者、組織内の他の部門、政府、技術、医療、金融、自動車、小売といった複数の分野の組織や企業が含まれていました。自社の製品に暗号技術を実装してきた期間を報告した 15 組織のうち、12 組織は 10 年以上の経験があり、そのうち 6 組織は少なくとも 20 年の経験がありました。残りの 3 組織は、創業時から暗号の開発を行っているスタートアップ企業でした。

Table 1. Participant and Organization Demographics.

表 1. 参加者と組織の属性

IDOrg SizeProduct TypeParticipant Roles
C01VLHWLead crypto architect*
C02VLCOMLead cryptographer
C03VLHW, SWSystems architect*
C04VLHWCrypto design reviewer*
C05VLHWCrypto architect*
C06VSSWSystems analyst
C07VSCOMFounder & researcher
C08VSIOTFounder & developer
C09VLIOTResearcher
C10LSWFounder & engineering lead
C11LHW, SWProduct manager
C12SSW1) CTO
2) Marketing engineer
3) Business manager
C13SSW1) Chief Evangelist
2) Strategy Officer
C14MSW1) Marketing lead
2) Developer
3) Quality assurance
C15LSWPrincipal engineer
C16LSWCISO
C17MSW1) CTO
2) Security engineer
C18LSWCrypto engineer
C19LSWCTO
C20SCOM1) Founder & architect
2) Compliance lead
3) Marketing director
C21MSWCrypto specialist
ID組織の規模製品の種類参加者の役割
C01VLHW暗号アーキテクトの責任者*
C02VLCOM暗号研究者の責任者
C03VLHW, SWシステムアーキテクト*
C04VLHW暗号設計レビュー担当*
C05VLHW暗号アーキテクト*
C06VSSWシステムアナリスト
C07VSCOM創業者兼研究者
C08VSIOT創業者兼開発者
C09VLIOT研究者
C10LSW創業者兼エンジニアリング責任者
C11LHW, SWプロダクトマネージャー
C12SSW1) CTO
2) マーケティングエンジニア
3) 事業部長
C13SSW1) チーフエバンジェリスト
2) 戦略責任者
C14MSW1) マーケティング責任者
2) 開発者
3) 品質保証
C15LSWプリンシパルエンジニア
C16LSWCISO
C17MSW1) CTO
2) セキュリティエンジニア
C18LSW暗号エンジニア
C19LSWCTO
C20SCOM1) 創業者兼アーキテクト
2) コンプライアンス責任者
3) マーケティング部長
C21MSW暗号の専門家

OrgSize: VL=Very Large, M=Medium,S=Small, VS=Very Small/Micro
Product Type: HW=Hardware, SW=Software, COM=Communications Security, IOT=Internet of Things
* indicates a participant who had previous experience working in a cryptographic standards group

組織の規模: VL=非常に大規模、L=大規模、M=中規模、S=小規模、VS=非常に小規模・零細
製品の種類: HW=ハードウェア、SW=ソフトウェア、COM=通信セキュリティ、IOT=モノのインターネット
* は、以前に暗号標準のグループで働いた経験がある参加者を示します

The 29 participants were a highly experienced group with several having made major contributions to the cryptographic field (e.g., contributing to standards, developing innovative cryptographic applications, or identifying serious flaws in standards). All participants had technical careers spanning 10 or more years, with several having been in a technical field for 30 or more years. At least one individual from each of the interviews either currently worked on cryptography and security as a major component of their jobs (19 participants), or had worked on cryptography extensively in the past (3 participants). The other participants were marketing or product leads, but all had a technical background.

29 人の参加者は経験豊富な集団で、暗号分野に大きく貢献した人も何人かいました(たとえば、標準への貢献、革新的な暗号アプリケーションの開発、標準の重大な欠陥の特定)。全参加者の技術職としての経歴は 10 年以上にわたり、何人かは技術分野に 30 年以上いました。各インタビューの少なくとも 1 人は、現在、暗号とセキュリティを仕事の主要な部分として扱っているか(19 人)、過去に暗号に広く携わっていました(3 人)。ほかの参加者はマーケティングまたは製品の責任者でしたが、全員が技術的な背景を持っていました。

Most of the participants had learned cryptography “on-the-job” as opposed to having formal training in the field. Five had an education in mathematics, but only two of those had studied cryptography as part of their formal study. Three had an engineering education, one had a physics degree, and the rest were educated in a computer-related discipline.

参加者の大半は、この分野の正式な訓練を受けたのではなく、暗号を「実務を通じて」学んでいました。5 人は数学の教育を受けていましたが、そのうち正式な学習の一環として暗号を学んだのは 2 人だけでした。3 人は工学の教育を受け、1 人は物理学の学位を持ち、残りはコンピューター関連の分野で教育を受けていました。

5. NIST-Specific Findings

5. NIST に特有の調査結果

This section categorizes participant comments1 specific to NIST standards and certifications. Given the technical expertise of this NISTIR’s target audience, and because some of the examples were quite specific, longer quotes are included throughout the paper to ensure that the participants’ exact words were not misinterpreted by the authors. The referenced quotes are examples that illustrate the point; not all quotes associated with each topic are included.

本節では、NIST の標準と認証に特有の参加者の発言1を分類します。本 NISTIR の想定読者が持つ技術的な専門性を踏まえ、また一部の例がかなり具体的であったため、参加者の言葉を著者が誤解しないよう、本稿全体を通じて長めの引用を含めています。参照した引用は論点を例示するものであり、各トピックに関連するすべての引用を含めているわけではありません。

It should be noted that the answers to some of the interview questions reflected participants’ perceptions, which may or may not reflect reality. Given that the researchers who conducted the interviews represented NIST, self-report bias [22] may have influenced participant responses. However, in general, the researchers observed that the participants did not hold back constructive criticism and were eager to share their insights as part of a community feedback effort.

インタビューの質問の一部への回答は参加者の認識を反映したものであり、現実を反映している場合とそうでない場合があることに注意すべきです。インタビューを行った研究者が NIST を代表していたことを踏まえると、自己申告バイアス [22] が参加者の回答に影響した可能性があります。しかし、全般に、研究者は、参加者が建設的な批判を控えることなく、コミュニティによるフィードバックの取り組みの一環として、見識を進んで共有しようとしていたと観察しました。

5.1. Standards

5.1. 標準

All but one interview involved organizations using NIST cryptographic standards publications and test vectors, with FIPS 140-2 publications being the most commonly mentioned. The following describes participant comments specific to NIST standards, including benefits and challenges. Observations about the associated testing/validation programs and certifications are included in the next section.

1 件を除くすべてのインタビューで、組織は NIST の暗号標準の刊行物とテストベクターを使っており、最も多く言及されたのは FIPS 140-2 の刊行物でした。以下では、利点と課題を含め、NIST の標準に特有の参加者の発言を記述します。関連する試験・検証プログラムと認証に関する所見は、次の節に含めています。

5.1.1. Benefits
5.1.1. 利点

NIST standards were often used as a foundation for cryptographic development. Obviously, companies that sell to the U.S. Federal Government were required to use NIST standards like FIPS 140-2, but other companies voluntarily chose to reference them because of their robustness and public vetting and acceptance.

NIST の標準は、暗号開発の基盤としてしばしば使われていました。米国連邦政府に販売する企業が FIPS 140-2 のような NIST の標準を使うことを求められたのは当然ですが、ほかの企業も、その堅牢性と、公開での精査および受容があることから、自発的に参照することを選びました。

5.1.1.1. Solid Implementation Basis
5.1.1.1. 確かな実装の基盤

NIST publications were often mentioned as a credible point of reference and a basis for cryptographic implementations:

NIST の刊行物は、信頼できる参照点であり、暗号実装の基盤であるとしてしばしば言及されました。

“Technically, we would start with NIST. The standard is the standard, and we would attempt to follow it the best we could. The fact that there’s been reference implementations of the exact standard was very, very helpful to us in the beginning when we were trying to do things that hadn't been done before, like AES [Advanced Encryption Standard] and JavaScript or the fact that you had pseudocode or a C code. One reference implementation right in the spec [specification] or correctly connected to the spec was extremely helpful. The test suites that NIST would release were very helpful, is what we would start with. We ultimately would end up augmenting them with our own test. But I think those were very helpful in the beginning.” (C10)

「技術的には、NIST から始めます。標準は標準であり、できる限りそれに従おうとします。標準そのものの参照実装があったことは、AES [Advanced Encryption Standard] や JavaScript のように、これまでなかったことに取り組んでいた初期のころ、私たちにとって非常に大きな助けになりました。擬似コードや C のコードがあったこともそうです。仕様 [specification] の中に参照実装が 1 つあること、あるいは仕様に正しく対応付けられた参照実装があることは、極めて大きな助けになりました。NIST が公開するテストスイートも非常に役立ち、私たちはそこから始めました。最終的には、それらに独自のテストを追加することになります。しかし、初期にはそれらが非常に役に立ったと思います。」(C10)

1 Within the participant comments, certain commercial companies or products may be identified to foster understanding. Such identification does not imply recommendation or endorsement by the National Institute of Standards and Technology, nor does it imply that the companies or products identified are necessarily the best available for the purpose.
1 参加者の発言の中では、理解を促すために、特定の商業企業や製品が示される場合があります。こうした記載は、米国国立標準技術研究所による推奨や支持を意味するものではなく、示された企業や製品が当該目的にとって必ずしも最良であることを意味するものでもありません。

“I think, generally, our thinking is we should never be creating any of this stuff ourselves and that we should be always following the NIST standard for mostly assurance that we can and have done it correctly. Inventing it on your own is just a different level of complexity that we knew enough to know we did not want to be involved in that. And the fact that NIST has a review period, many people are involved, it gave us enough comfort that we could use the standards that had been followed, that we knew we weren't making a bad decision. So it gave us a lot of comfort knowing how AES evolved, all the steps, being able to see all the steps, having that all happen out in the open and why and how it happened. Very helpful to us making the decision for what we're going to use and why we're going to use it. I think it's been very helpful to be able to point at somebody and say, ‘Look. This is how we do it. You can see exactly what choices we made, why we made them, why other people make them, why they are standards for the government.’ ” (C10)

「一般に、私たちの考えは、こうしたものを自分たちで作るべきではなく、自分たちが正しく実装できている、あるいは実装したという保証を得るために、常に NIST の標準に従うべきだ、というものだと思います。自前で考案するのは、まったく別の次元の複雑さであり、私たちはそれに関わりたくないと理解できる程度には知っていました。また、NIST にはレビュー期間があり、多くの人が関わっているという事実から、これまで従われてきた標準を使っても、悪い判断をしていないと分かるだけの安心感が得られました。ですから、AES がどのように進化したか、そのすべての段階を知り、すべての段階を見られ、それがすべて公開の場で、なぜ、どのように行われたかを知ることで、大きな安心感が得られました。何を使うのか、なぜそれを使うのかを決める際に、非常に助けになりました。誰かを指して、『見てください。これが私たちのやり方です。私たちがどんな選択をしたのか、なぜそうしたのか、なぜ他の人々も同じ選択をするのか、なぜそれが政府の標準なのかが、正確に分かります』と言えるのは、とても助けになってきたと思います。」(C10)

5.1.1.2. Quality
5.1.1.2. 品質

Several participants remarked on the quality of NIST publications as a reason to use them:

複数の参加者が、NIST の刊行物を使う理由として、その品質に言及しました。

“I love your documents. I read them more to kind of just make sure I understand what kind of potential best practices look like and that kind of thing.” (C14)

「皆さんの文書が好きです。潜在的なベストプラクティスがどのようなものかを確実に理解するために、読んでいるようなところがあります。」(C14)

“NIST has really decent, what I would call, documentation. Now what's interesting is, once you get into it and you understand how it's laid out and you know the basics, there's a wealth of information to be found.” (C07)

「NIST には、私が言うところの本当にきちんとした文書があります。面白いのは、いったん中に入って、構成を理解し、基本を知れば、見つかる情報が豊富にあるということです。」(C07)

“I found the algorithm descriptions and standards produced by NIST could be pretty good. I don't really have any suggestions for improvement there. I think they are clear and good.” (C20)

「NIST が作成するアルゴリズムの記述や標準は、かなり良いものになりうると感じました。そこについて、改善の提案は特にありません。明確で良いものだと思います。」(C20)

“I do very much appreciate the work you all do. I mean, I burned a lot of trips to [office supply store] printing out NIST documents… So, thank you for the effort, the very high standards that you guys have.” (C08)

「皆さんの仕事には本当に感謝しています。[office supply store] で NIST の文書を何度も印刷しに通いました……。ですから、皆さんの努力と、皆さんが掲げる非常に高い水準に感謝します。」(C08)

“A lot of standards are notoriously difficult to read. Unless you're an expert in the field, a lot of them don't make sense. The NIST standards I think are actually probably better than most.” (C12)

「多くの標準は、読みにくいことで悪名高いものです。その分野の専門家でなければ、多くは意味が分かりません。NIST の標準は、実際にはおそらくたいていのものより優れていると思います。」(C12)

5.1.2. Challenges
5.1.2. 課題

In addition to the benefits of using NIST standards, participants voiced challenges and frustrations as consumers of the specifications.

NIST の標準を使う利点に加えて、参加者は、仕様の利用者として感じる課題や不満も述べました。

5.1.2.1. Complexity
5.1.2.1. 複雑さ

Given their years of experience, the study participants were generally knowledgeable enough to understand and use cryptographic standards. However, they remarked that, as is the case with most cryptographic standards, many find NIST standards to be complex.

長年の経験があるため、研究の参加者は、一般に、暗号標準を理解して使うのに十分な知識を持っていました。しかし、参加者は、ほとんどの暗号標準がそうであるように、NIST の標準も複雑だと感じる人が多いと述べました。

Three people discussed the challenges that novice developers and those not expert in cryptography face when trying to understand cryptographic standards:

3 人は、初心者の開発者や暗号の専門家ではない人が、暗号標準を理解しようとするときに直面する課題について論じました。

“And I think the standards, whether written by NIST, or by the IETF, or by W3C [World Wide Web Consortium], or whomever, the people writing them do the best they can, but until people have grappled with the crypto issues, they won't realize the importance of this two or three little words right here or those over there.” (C04)

「標準は、NIST が書いたものであれ、IETF や W3C [World Wide Web Consortium] などが書いたものであれ、書く人たちは最善を尽くしていますが、暗号の問題に実際に取り組んだことがなければ、ここにある 2、3 語の短い言葉や、あちらにある言葉がどれほど重要かには気づかないでしょう。」(C04)

“We also found out that sometimes you kind of get a fresh contractor or maybe a fresh employee, and they'll look at these documents, and you can almost see people getting kind of overwhelmed by it. Part of the challenge is -- and maybe I'm biased a little bit -- not every person should be performing brain surgery on another person. I also don't believe every software engineer should really go write crypto code. Unfortunately, every large company, as you have seen, they have decided to go write their own crypto. Whether that's good or bad, it depends. But you have seen cases of how people get hacked left and right, and we can do it as well. So it's kind of a tough call because I think the NIST documents were meant for people who claim expertise in the area. And these are more helping them to kind of keep up with the latest developments, and then they kind of go do their job, and then there's certain vectors. They run those, and they're probably knowledgeable enough to build their own.” (C07)

「また、新しい契約社員や新入社員がこれらの文書を見て、圧倒されているのがほとんど見て取れることがある、とも分かりました。課題の一部は──少し偏った見方かもしれませんが──誰もが他人の脳外科手術をすべきというわけではない、ということです。すべてのソフトウェアエンジニアが暗号コードを書くべきだとも思いません。残念ながら、ご覧のとおり、大企業はどこも自前の暗号を書くことにしました。それが良いか悪いかは場合によります。しかし、人々があちこちでハッキングされている事例を目にしており、私たちも同じことになりかねません。ですから、難しい判断です。NIST の文書は、その分野の専門知識があると自認する人々のために作られたのだと思うからです。これらの文書は、そうした人々が最新の動向についていくのを助けるためのもので、そのうえで彼らは仕事に取りかかり、特定のベクターがあって、それを実行します。そして、自前で構築できるだけの知識もおそらく持っているのです。」(C07)

One participant remarked on the importance of “translating” highly technical information into a language that the standards consumer can understand:

1 人の参加者は、高度に技術的な情報を、標準の利用者が理解できる言葉に「翻訳する」ことの重要性を述べました。

“You need to find somebody who can translate industry terms and cryptographic terms to the vernacular because most of the people who do development and have to implement or use cryptography in their software, don't have necessarily the same training I have, which is a degree in mathematics focusing on cryptology. There is a fairly complex language you have to learn, and there are some very basic concepts that you have to grasp to not mess it up.” (C15)

「業界用語や暗号の用語を日常の言葉に翻訳できる人を見つける必要があります。ソフトウェアに暗号を実装したり使ったりする開発者のほとんどは、暗号学を中心とした数学の学位を持つ私と同じ訓練を、必ずしも受けていないからです。学ばなければならない、かなり複雑な言語があり、失敗しないためには押さえておかなければならない、ごく基本的な概念がいくつかあります。」(C15)

Others commented generally on the complexity:

ほかの参加者は、複雑さについて全般的に述べました。

“Well, I think that some of the standards are a little bit too broad perhaps…I think simplicity is always a very good thing when it comes to implementing a piece of crypto functionality. And sometimes there are too many options that create more code, more complication, more potential for bugs or misunderstandings..I think yeah, so clarity, simplicity are the most important quality.” (C21)

「そうですね、標準の中には、少し広すぎるものがあるかもしれないと思います……。暗号機能を実装する際には、シンプルさが常に非常に良いことだと思います。そして、選択肢が多すぎて、コードが増え、複雑さが増し、バグや誤解の可能性が高まることがあります……。ええ、ですから、明確さとシンプルさが最も重要な品質だと思います。」(C21)

“I think some of the specifications of algorithms are pretty good. Some of them are a little bit confusing. So I'll give an example of the standard for key agreement schemes Diffie-Hellman, elliptic Diffie-Hellman. It seems to not quite know whether it's specifying the algorithm or a protocol or a series of protocols…And when it comes to talking about FIPS 140-2 itself, I think that is pretty confusing in places in terms of what its actual requirements are.” (C21)

「アルゴリズムの仕様には、かなり良いものもあると思います。少し分かりにくいものもあります。例を挙げましょう。鍵合意方式である Diffie-Hellman、楕円曲線 Diffie-Hellman の標準です。アルゴリズムを規定しているのか、プロトコルか一連のプロトコルを規定しているのか、よく分かっていないように見えます……。FIPS 140-2 自体について言えば、実際の要件が何なのかという点で、分かりにくい箇所がかなりあると思います。」(C21)

5.1.2.2. Context
5.1.2.2. 背景事情

Several interviewees commented on their perceptions of contextual issues with NIST standards publications, including a disconnect from real-world applications, a lack of transparency about the reason behind choices, and confusion about how to handle innovative applications.

複数のインタビュー対象者が、NIST の標準刊行物の背景事情に関する問題についての認識を述べました。これには、実世界のアプリケーションとの乖離、選択の背後にある理由についての透明性の欠如、革新的なアプリケーションの扱い方に関する混乱が含まれます。

Some participants thought that NIST crypto standards developers did not understand operational concerns, leading to a disparity in what they publish versus what the consumers of these publications experience and need. When a participant discussed his perception that NIST standards are not immediately testable, he conjectured about the reason for this:

一部の参加者は、NIST の暗号標準の策定者が運用上の懸念を理解しておらず、その結果、策定者が公表するものと、刊行物の利用者が経験し必要とするものとの間に隔たりが生じていると考えていました。ある参加者は、NIST の標準はすぐには試験できないという認識を論じた際、その理由について次のように推測しました。

“And that's, I think because NIST don't build products so they don't understand that process. So they don't write well for it.” (C05)

「それは、NIST が製品を作らないので、そのプロセスを理解していないからだと思います。だから、それに向けてうまく書けないのです。」(C05)

Two other participants felt that the standards developers were disconnected from those engaged in real-world implementation:

ほかの 2 人の参加者は、標準の策定者が、実世界での実装に携わる人々と乖離していると感じていました。

“I can tell you from my personal experience understanding the fundamentals of these things, still the standards were a challenge to use because they were very divorced from the implementation day-to-day details that I encounter while I’m trying to plug all the pieces together.” (C15)

「個人的な経験から言えますが、これらの基本を理解していても、標準は使いにくいものでした。すべての部品を組み合わせようとするときに私が直面する、日々の実装の細部から、あまりにもかけ離れていたからです。」(C15)

“NIST has written things about the best way to do key management, and it all tends to be a bit too academic and not actually related to what's done in the real world.” (C19)

「NIST は鍵管理の最善の方法についてさまざまな文書を書いていますが、どれも少し学術的すぎて、実世界で行われていることとは実際には関係がない傾向があります。」(C19)

“Software sort of randomly grows into meeting functionality. You think it's ordered but it isn't. And having to be backwards compatible, and having to quickly meet those requirements. So you tweak this. You tweak that. And jam this is in. And it works because nobody ever uses this feature which is really broken, and it sort of grows organically. And most of the guides I get from NIST doesn't take into effect that organic growth.” (C19)

「ソフトウェアは、機能を満たすために、いわばでたらめに成長します。整然としていると思っても、そうではありません。後方互換性を保たなければならず、要件を素早く満たさなければなりません。そこで、ここを調整し、あそこを調整し、これを無理やり押し込みます。そして、誰もその機能を使わないので動いていますが、実は本当は壊れていて、有機的に成長していくのです。NIST から得るガイドの大半は、その有機的な成長を考慮に入れていません。」(C19)

One participant felt that standards requirements don’t allow for innovative approaches:

1 人の参加者は、標準の要件が革新的なアプローチを許容していないと感じていました。

“The question…is, when you get something really new and innovative, how do you take that and then start to say, ‘How do I get to that base jumping off point where you can say, okay. We're going to take this idea. What's the process?’ …It might be out there and I just haven't seen it…But what's that jumping off point for you guys to say, ‘This is the starting off of a new standard?’ ” (C13)

「問題は……本当に新しくて革新的なものが出てきたときに、それをどう取り上げて、『どうすれば、「よし、このアイデアを取り上げよう。プロセスはどうなっているのか」と言える出発点に到達できるのか』と問い始めるのか、ということです……。どこかにあるのかもしれませんが、私が見ていないだけかもしれません……。しかし、皆さんが『これは新しい標準の出発点だ』と言うための出発点は何なのでしょうか。」(C13)

One participant requested that NIST more clearly communicate the reasons behind standards decisions, which may motivate developers to implement them correctly:

1 人の参加者は、NIST が標準に関する判断の背後にある理由をより明確に伝えることを求めました。それによって、開発者がそれらを正しく実装しようという意欲を持つ可能性があります。

“Whereas other standards are, ‘You shall do this, this, this, this, and this.’ And, by the way, it's not as much in NIST as it is in some other standards of organizations that hate the ‘teachy’ part of standards. They don't like teachy. They don't want that in. To me, even in the hard core standards, it should always be-- it should always be the language which helps you put things in perspective. So you're thinking big picture, ‘I'm doing this for this reason,’ because otherwise, you just get in the cookbook approach of, ‘Do I meet this? Yes, yes, yes. Check, check, check. I can now fly the plane. Oh! But nobody ever taught me how to fly. But I did the checklist.’ ” (C19)

「ほかの標準では、『これとこれとこれとこれとこれを行わなければならない』というものです。ところで、これは NIST よりも、標準における『教える』部分を嫌う他の標準化団体の方に当てはまります。彼らは教えることを好みません。それを入れたくないのです。私に言わせれば、本格的な標準であっても、物事を大局的に捉えるのに役立つ言葉であるべきです。つまり、『こういう理由でこれをしている』と大きな視点で考えるべきです。そうでなければ、『これを満たしていますか。はい、はい、はい。チェック、チェック、チェック。これで飛行機を操縦できます。ああ、でも誰も飛び方を教えてくれませんでした。でもチェックリストはこなしました』という、レシピ本のようなアプローチに陥るだけだからです。」(C19)

5.1.2.3.Updates
5.1.2.3.更新

Participants were asked how updates to standards impacted their product lifecycle. Sometimes, updates to standards specifications can be disruptive:

参加者は、標準の更新が自社の製品ライフサイクルにどのような影響を与えたかを尋ねられました。標準の仕様の更新は、混乱をもたらす場合があります。

“From the outside standpoint, making sure that we're still up to date and we understand what are the external factors that may change things. So, for example, NIST, a year and a half, two years ago, upped the key size requirements, right? And so I think the industry, in general…if you were looking, you knew about it. It's not like it was a secret from NIST. It was well-advertised, but maybe we, as an industry, we didn't realize the impact…I mean, I think the industry is still in the midst of that transition and you can see it from the waivers that NIST or GSA [General Services Administration] is providing to the government customers. Well, I guess we, as an industry, we could have been a little better going a little bit faster, but I guess those kinds of transitions can be disruptive and can be long-winded … I think on top of it there was also a purchasing cycle in the government. A purchasing cycle that also ended at the wrong time for the industry. It was just a perfect storm.” (C11)

「外部の視点から言えば、私たちが常に最新の状態にあり、状況を変えかねない外部要因が何かを理解していることを確実にする必要があります。たとえば、NIST は 1 年半か 2 年前に、鍵長の要件を引き上げましたよね。業界全体としては……注意して見ていれば、知っていました。NIST が秘密にしていたわけではありません。十分に周知されていましたが、おそらく私たち業界は、その影響に気づいていませんでした……。つまり、業界はいまだにその移行の最中にあると思いますし、NIST や GSA [General Services Administration] が政府の顧客に出している免除措置からも、それが分かります。私たち業界は、もう少し速やかに対応できたはずだと思いますが、この種の移行は混乱をもたらし、長引く場合があるのでしょう……。そのうえ、政府の調達サイクルもあったと思います。業界にとって、間の悪い時期に終わる調達サイクルでした。まさに最悪の重なりでした。」(C11)

“…changes to specs that arise a couple of months before a transition is due, that's almost impossible for us to deal with and causes a fair amount of angst. I mean, I can understand from the point of view of a spec is set up and then some problems are found and so they should be fixed. I don't know that there is a solution to the problem. But arriving a month or two before the transition is fully complete it can be really difficult. And I guess sometimes the requirements are a little bit confusing.” (C18)

「……移行期限の数か月前になって出てくる仕様の変更は、私たちにはほとんど対処不可能で、かなりの不安を引き起こします。仕様が定められた後で問題が見つかり、修正すべきだという立場は理解できます。この問題に解決策があるのかどうかは分かりません。しかし、移行が完全に終わる 1 か月か 2 か月前に届くと、本当に困難になりえます。それに、要件が少し分かりにくいこともあると思います。」(C18)

Two participants commented on interdependencies of standards, and that problems with updates to all applicable documents aren’t always closely coordinated:

2 人の参加者は、標準間の相互依存関係と、適用されるすべての文書の更新に伴う問題が、必ずしも緊密に調整されていないことについて述べました。

“So we were kind of in a loop where we need to get out FIPS 140, but the FIPS…was changing. Do we do it before it changes? After? And then at some point, the test tools are there, but it still needs some work. And then you can't do the whole FIPS... It's difficult.” (C11)

「つまり、FIPS 140 を出す必要があるのに、その FIPS が……変わりつつあるという、堂々巡りの状態でした。変わる前にやるのか、後にやるのか。そして、ある時点では試験ツールがそろっているものの、まだ手直しが必要です。そうなると、FIPS 全体を実施できません……。困難です。」(C11)

“I don't know if changing all the specs that are related all at the same time would help. It might. Yeah, actually, it would make it a bit clearer if they could at least try to land them all at the same time or at least close to each other.” (C18)

「関連する仕様をすべて同時に変更すれば助けになるかどうかは分かりません。助けになるかもしれません。ええ、実際、少なくともすべてを同時に、あるいは互いに近い時期に確定させようとしてもらえれば、もう少し明確になるでしょう。」(C18)

One participant discussed the long wait time for a standard to be finalized:

1 人の参加者は、標準が確定するまでの待ち時間の長さについて論じました。

“I think what is a bigger issue for us, is when we are developing a product with features to meet certain requirements of standards. For example, SP 800-90B [NIST Special Publication 800-90 B Recommendation for the Entropy Sources Used for Random Bit Generation] and C [NIST Special Publication 800-90C Recommendation for Random Bit Generator (RBG) Constructions]. We've been developing…to meet the requirements of those standards over our standards for three, four years now. And I don't want to be overly critical, but I think it deserves a little bit of criticism in this area as an organization. I've heard every time I've gone to a crypto module [conference] … ‘Yeah, they'll be published in six months’ time, still coming out in nine months’ time.’ … So from that point of view, I guess we don't mind changes as long as we've got a little bit of notice. But what hurts us more, I think, is the fact that there is a draft standard out there and it keeps on coming, but it never arrives.” (C12)

「私たちにとってより大きな問題は、標準の特定の要件を満たす機能を備えた製品を開発しているときだと思います。たとえば、SP 800-90B [NIST Special Publication 800-90 B Recommendation for the Entropy Sources Used for Random Bit Generation] と C [NIST Special Publication 800-90C Recommendation for Random Bit Generator (RBG) Constructions] です。私たちは、これらの標準の要件を満たすための開発を、もう3、4年続けています。過度に批判的になりたくはありませんが、組織として、この点では少し批判されても仕方がないと思います。暗号モジュールの[会議]に行くたびに、『ええ、6か月後には公開されます』『まだ9か月後に出る予定です』と聞かされてきました……。ですから、その観点では、少し予告があれば変更は構わないと思います。しかし、私たちにとってより痛いのは、ドラフト標準が出ていて、出ると言われ続けているのに、いつまでも公開されないことだと思います。」(C12)

“So we're waiting for the SP 800-90B and C standards to be published and then we're waiting for FIPS 140 to get updated to allow non-deterministic brands of bit generators and evaluation. When that occurs then we'll put aside some money in the budget to go through a proper FIPS validation.” (C12)

「ですから、私たちは SP 800-90B と C の標準が公開されるのを待ち、さらに FIPS 140 が更新されて、非決定論的なビット生成器とその評価が認められるのを待っています。それが実現したら、適切な FIPS 検証を受けるために、予算に少し資金を確保するつもりです。」(C12)

5.1.2.4. Consistency
5.1.2.4. 一貫性

Two participants noted an occasional lack of consistency among different standards. Unfortunately, no data was collected about the specific publications that participants thought were inconsistent.

2 人の参加者は、異なる標準の間で一貫性が欠けていることがあると述べました。残念ながら、参加者が一貫性がないと考えた具体的な刊行物については、データが収集されていません。

“I have seen that happen a few times, where one standard will say, ‘You shall do this,’ and another standard will say, ‘You shall not do that. You should do it this way.’ So I think there are certain errors, issues with that.” (C12)

「ある標準が『これをしなければなりません』と言い、別の標準が『それをしてはなりません。こうすべきです』と言うことが、何度かあったのを見ました。ですから、そのことには、ある種の誤りや問題があると思います。」(C12)

“I was at the ICMC [International Cryptographic Module Conference] last week. And one discussion I was at least partially able to attend was about how to get different standards to align across different geographies. You have one side saying, ‘Thou shall use AES,’ and everyone's saying, ‘No, you don't have to use AES.’ Trying to get some alignment so that we're not chasing too many different, probably comparable standards. That's important.” (C12)

「先週、ICMC [International Cryptographic Module Conference] に参加しました。少なくとも一部は聴講できた議論の1つは、異なる地域にまたがって、異なる標準をどう整合させるかについてでした。一方では『AESを使わなければなりません』と言い、みんなが『いや、AESを使う必要はありません』と言っています。あまりにも多くの、おそらく同等の標準を追いかけることがないように、何らかの整合を図ろうとしているのです。それは重要です。」(C12)

5.1.2.5. Testing
5.1.2.5. 試験

Five participants mentioned challenges with current standards’ testing resources and suggested additional testing support. When asked about testing challenges, one participant, remarked:

5 人の参加者は、現行の標準の試験リソースに関する課題に言及し、追加の試験支援を提案しました。試験に関する課題を尋ねられたある参加者は、次のように述べました。

“We often have trouble finding adequate, independently-produced test data that we can use to verify that something is working correctly. And it's gotten much better in recent years. A lot more standards recently are including that or have associated test data. But we've either found-- and we still find this a lot, that somebody says, ‘Implement this thing,’ and you say, ‘How do I know if it's working right?’ and they say, ‘Well, we don't know.’ And so it's very difficult to figure out. Sometimes, maybe you would do some kind of interoperability testing with something somebody else has produced, but then they don't match. You have no way of proving who's right. We have found test data that does not test adequately.” (C01)

「正しく動作していることを検証するために使える、適切で独立して作られたテストデータを見つけるのに、しばしば苦労します。近年はずっと良くなりました。最近は、はるかに多くの標準がそれを含んでいたり、関連するテストデータを備えていたりします。しかし、今でもよくあるのですが、誰かが『これを実装してください』と言い、『正しく動いているかどうか、どうすれば分かりますか』と尋ねると、『さあ、分かりません』と言われることがあります。ですから、見極めるのは非常に困難です。ときには、他の誰かが作ったものと何らかの相互運用性試験を行うこともあるでしょうが、そうすると一致しません。どちらが正しいかを証明する手段がありません。十分な試験になっていないテストデータが見つかったこともあります。」(C01)

A cryptographic architect made several comments about his view of the inadequacy of current testing mechanisms:

ある暗号アーキテクトは、現行の試験の仕組みが不十分だという見解について、いくつかの発言をしました。

“… the standards-setting bodies, particularly in NIST have a role here [in cryptography testing]…They're not very good at writing standards that are immediately testable. So they'll write a bunch of English requirements. So how do I check that I've met that requirement? It's not clear. There's a lack of rigor in applying requirement to test and essentially creating those together so you know how you obtain that requirement. Other specs work that way. NIST specs certainly don't. ISO specs certainly don't. And that affects the test and validation because we can test to validate to our requirements, but we can't know we're testing and validating to government requirements.” (C05)

「……標準を策定する団体、特に NIST は、ここ[暗号の試験]で役割を担っています……。彼らは、すぐに試験できる標準を書くのがあまり得意ではありません。そこで、英語の要件をたくさん書きます。では、その要件を満たしたことをどう確認すればよいのでしょうか。明確ではありません。要件を試験に適用し、要件と試験を一緒に作り上げて、要件をどのように満たすのかが分かるようにすることについて、厳密さが欠けています。ほかの仕様はそのように作られています。NIST の仕様は、確かにそうではありません。ISO の仕様も、確かにそうではありません。そしてそれは試験と検証に影響します。私たちは自分たちの要件に照らして試験し、検証することはできますが、政府の要件に照らして試験し、検証しているのかどうかは分からないからです。」(C05)

“… it's essentially wrong the SP800-90 spec asking you for tests with a low false positive error rate. And that implies statistically you will have a high false negative error rate which is exactly the wrong thing for security. That means you're letting bad data through.” (C05)

「……偽陽性の誤り率が低い試験を求める SP800-90 の仕様は、本質的に間違っています。そしてそれは、統計的に偽陰性の誤り率が高くなることを意味します。これはセキュリティにとってまさに間違ったことです。つまり、不良なデータを通してしまうということです。」(C05)

One participant described the need for more test vectors to address corner cases and known cryptographic attacks:

1 人の参加者は、コーナーケースや既知の暗号攻撃に対処するために、さらに多くのテストベクターが必要だと述べました。

“One difficult area is what we call the corner cases. How algorithms behave if my input was zero. If something was missing, can those be used for side-channel attacks?... So even though maybe you and I know that if I run these 20 test vectors, things are great, right? But maybe there's actual value in having more vectors, so people can get a little bit more confidence on their implementation. Be also interesting for some, what I would call, a corner case analysis in this document. As an example, for certain constructs, there's requirements for padding, right? And there are multiple ways of padding the data, some of them are better than others, some of them are fine, right? But a lot of the times, testing will be implied. The person could actually do the wrong thing and still pass the test vectors…So I would venture to say that there might be value in cases where if they're known attacks or types of attacks that could be anticipated, providing a little bit more with those and then maybe providing an example of those. Because if NIST can figure it out, trust me, hackers have already figured it out as well, right? So publishing it isn't going to help them, but it's going to help an implementer now because those test vectors are no longer good. Because if you can run against them, you're not going to get caught against them. Those are not always that easy. And in some ways, if you think about it, if you thought generating a crypto library as a business and that's what you were kind of selling, you wouldn't want this to be out in the public. But the more you work on this, it doesn't appear that ‘generating a crypto library’ is an end business. As I mentioned, most organizations are doing their own and so forth. So we might as well actually get the right vectors out there and whatnot, to help everyone do the right thing.” (C07)

「難しい領域の1つは、私たちがコーナーケースと呼んでいるものです。入力がゼロだった場合に、アルゴリズムがどう動作しますか。何かが欠けていた場合に、それをサイドチャネル攻撃に使えるでしょうか……。ですから、この20個のテストベクターを実行すればすべて問題ない、とあなたや私には分かっているかもしれません。しかし、より多くのベクターがあれば、実装についてもう少し確信を持てるようになるという実際の価値があるかもしれません。この文書に、私がコーナーケース分析と呼ぶものがあるのも興味深いでしょう。例として、ある種の構成にはパディングの要件がありますよね。データをパディングする方法は複数あり、他より優れたものもあれば、問題ないものもあります。しかし、試験が暗黙のうちに行われることがよくあります。誤ったことをしても、テストベクターには合格できてしまう場合があります……。ですから、既知の攻撃や予想できる種類の攻撃がある場合には、それらに関する情報をもう少し提供し、できれば例も示すことに価値があるかもしれません。NIST が突き止められるなら、ハッカーもすでに突き止めているはずです。ですから、公開してもハッカーの助けにはなりませんが、実装者の助けになります。そうした攻撃を見つけるには、既存のテストベクターではもはや不十分だからです。これらのベクターで試験しても、攻撃を見つけられないでしょう。これは常に簡単とは限りません。ある意味で、暗号ライブラリを作ることが事業で、それを販売しているなら、こうした情報を公開したくはないでしょう。しかし、取り組めば取り組むほど、『暗号ライブラリを作ること』自体が最終製品なのではないように思えます。先ほど述べたとおり、ほとんどの組織は独自に作っています。ですから、正しいテストベクターを公開して、皆が正しく実装できるようにしたほうがよいでしょう。」(C07)

A lead cryptographer had several suggestions for additional test vectors:

ある主任暗号研究者は、追加のテストベクターについていくつかの提案をしました。

“I would say, perhaps, not in the sense of easier, but provide an extra layer of security if they provided some sort of formal verification process to follow. I also appreciate step-by-step or intermediate test values, those are helpful. I've had to use that several times. I know NIST does provide some intermediate values with some of their test vectors. So those are valuable. To make them easier, perhaps provide a unit test.” (C02)

「簡単にするという意味ではないかもしれませんが、従うべき何らかの形式検証プロセスを提供してもらえれば、セキュリティがさらに強化されると思います。段階的な、あるいは中間のテスト値もありがたいです。役に立ちます。私は何度か使う必要がありました。NIST が、一部のテストベクターに中間値を提供していることは知っています。ですから、それらは価値があります。もっと簡単にするには、単体テストを提供してもよいでしょう。」(C02)

“In standards, sometimes with cryptography you have a lot of math. It would be good to have test vectors or intermediate-- I guess you would say subtest vectors - I'll call it that for now, for lack of a better word - that help developers understand how the operation works. So, for instance…modPow. So that's used in-- it's used in a lot of the digital signature algorithms. If you had a mod pow test vector, I think that would be useful for each size of DSA [Digital Signature Algorithm] that you guys may have or ECDSA [Elliptic Curve Digital Signature Algorithm]. That would be huge. It kind of acts as a bridge for those getting into cryptography or into the standards, because it's, typically, I would say for most software developers, the non-standard operation that you would come across. However, it's a specialty for those in numerical applications and cryptography. I would say that's of use.” (C02)

「標準では、暗号に関して数学が多くなることがあります。開発者が演算の仕組みを理解するのに役立つテストベクターか、中間の……サブテストベクターと言えばよいでしょうか、ほかによい言葉がないので今はそう呼びますが……があるとよいでしょう。たとえば……modPow です。これは、多くのデジタル署名アルゴリズムで使われています。皆さんが扱う各サイズの DSA [Digital Signature Algorithm] や ECDSA [Elliptic Curve Digital Signature Algorithm] について、modPow のテストベクターがあれば役に立つと思います。それは非常に大きな助けになるでしょう。暗号や標準に取り組み始める人にとって、橋渡しのような役割を果たします。ほとんどのソフトウェア開発者にとって、これは通常、出会うことのない非標準の演算だからです。一方、数値計算や暗号の専門家にとっては専門的な演算です。役に立つと思います。」(C02)

“It would be nice to see how a standards organization could incorporate a formal verification into standards or even validation. I would like to see something about that.” (C02)

「標準化団体が形式検証を標準や、さらには検証にどのように取り入れられるのかを見てみたいです。それに関する何かを見てみたいと思います。」(C02)

One participant suggested more interoperability testing as NIST standards are being developed. He provided examples of successful examples of interoperability testing efforts:

1人の参加者は、NIST の標準が策定される際に、相互運用性試験をもっと行うことを提案しました。その参加者は、相互運用性試験の取り組みがうまくいった事例を挙げました。

“The USB [Universal Serial Bus] Consortium, the Bluetooth SIG [special interest group]. Bluetooth, when they develop new specs, they have what's called an UnPlugFest. USB has PlugFest where all the vendors get together with their new products implementing the new protocols and they try to get them to work together. And literally, everybody sits in the room and it's like speed-dating. You take your device, they take their device, plug it together and see what happens. And it's all very technical but the processes of writing the spec involves gathering data from the vendors by doing these kind of things. And, at the same time, the tests that are described are automated and that's how you can do this. In ITU [International Telecommunication Union] context you might have TTCN [Testing and Test Control Notation] as a test description language. There are other test description languages. Their software has test description languages. And the spec writes that and you can execute the test in an execution environment that can read the test out described in the spec. And it will then control how the product works and make it all happen. But that's a beautiful thing when it works together because everybody can get in the same room, run the same script, and their products work or don't work. When it doesn't, you feed that back into the spec-writing process. Because usually it comes from ambiguity in the spec and that's what you want to find. And the process of finding it and testing products for the spec is as much about finding errors in the spec as it is about finding errors in the product. The two have to both be right. So think of the process of developing the spec is as important as the process of what you end up with as the test spec for compliance to the spec. Those two things don't-- they're not ordered in time; they happen at the same time and there's an iterative process that feed on themselves. And, like I said, Bluetooth, USB do that really well. Ethernet does that really well. 802.11 does that well, but maybe not so well. FIPS certified devices, definitely not nearly as well. There's this working group in NIST where they're looking at automating tests, but the wall they're running up against is, how do you automate a test when the spec is so woolly? Then you have many degrees of freedom to implement to the spec and the test language can't accommodate all those degrees of freedom. There's too many millions of possible configurations. So, yeah. Take making standards seriously and include all people in it so that they can bring their expertise to how to do it right.” (C05)

「USB [Universal Serial Bus] Consortium と Bluetooth SIG [special interest group] です。Bluetooth では、新しい仕様を策定するとき、UnPlugFest と呼ばれる催しを行います。USB には PlugFest があり、すべてのベンダーが新しいプロトコルを実装した新製品を持ち寄って、それらを連携して動作させようとします。文字どおり、全員が部屋に集まり、スピードデートのようなことをします。自分の機器と相手の機器を持ち寄って接続し、何が起きるかを確かめます。非常に技術的ですが、仕様を書くプロセスには、こうした催しを通じてベンダーからデータを集めることが含まれています。同時に、記述される試験は自動実行できるものであり、こうして試験を行えます。ITU [International Telecommunication Union] の文脈では、試験記述言語として TTCN [Testing and Test Control Notation] を使うことがあります。ほかにも試験記述言語があります。各社のソフトウェアにも試験記述言語があります。仕様には試験が記述されており、仕様に書かれた試験を読み取れる実行環境で、その試験を実行できます。そうすると、その環境が製品の動作を制御し、試験を実行します。全員が同じ部屋に集まり、同じスクリプトを実行し、製品が動くかどうかが分かるのは、うまく機能したときには素晴らしいことです。動かなかった場合は、その結果を仕様策定プロセスにフィードバックします。通常は仕様の曖昧さが原因であり、それこそが見つけたいものだからです。そして、曖昧さを見つけ、仕様に対して製品を試験するプロセスは、製品の誤りを見つけるのと同じくらい、仕様の誤りを見つけることにも関わっています。両方とも正しくなければなりません。ですから、仕様を策定するプロセスは、仕様への適合性を試験するために最終的に得られる試験仕様と同じくらい重要だと考えてください。この2つのプロセスには時間的な先後関係はありません。同時に進み、互いにフィードバックし合う反復的なプロセスです。そして、先ほど述べたように、Bluetooth と USB はそれを非常にうまく行っています。Ethernet も非常にうまく行っています。802.11 もうまく行っていますが、そこまでではないかもしれません。FIPS 認証済みの機器では、そこまでうまく行われていません。NIST には試験の自動化を検討しているワーキンググループがありますが、直面している壁は、仕様がこれほど曖昧なときに、どうやって試験を自動化するのかということです。仕様に沿って実装する際の自由度が多く、試験言語はそのすべての自由度に対応できません。可能な構成が何百万もあります。ですから、標準づくりを真剣に捉え、正しく行うための専門知識を持ち寄れるよう、あらゆる人を参加させるべきです。」(C05)

5.2. Testing/Validation Programs and Certifications

5.2. 試験・検証プログラムと認証

Eighteen organizations mentioned FIPS 140-2 certifications and testing/validation, the Cryptographic Algoirithm Validation Program (CAVP) [12] or the Cryptographic Module Validation Program (CMVP) [13], and five mentioned Common Criteria [23] testing as something they undergo or reference when developing products that use cryptography. As noted in the Background section, NIST sets cryptographic standards through FIPS documents and Special Publications. The organization establishes guidelines for the conformance testing of cryptographic algorithms and modules through the CAVP and CMVP programs. NVLAP labs perform the actual testing, which NIST then validates. Once validated by NIST, an algorithm or cryptographic module is considered “certified.” Of note, despite these differentiations, in their responses participants often conflated FIPS 140-2 standards with CAVP/CMVP guidelines and the actual FIPS 140-2 certifications performed by NVLAP-accredited labs.

18の組織が、FIPS 140-2 の認証と試験・検証、Cryptographic Algorithm Validation Program(CAVP)[12] または Cryptographic Module Validation Program(CMVP)[13] に言及し、5つの組織が、暗号技術を使う製品を開発する際に受ける、または参照するものとして、Common Criteria [23] の試験に言及しました。「背景」の節で述べたとおり、NIST は FIPS 文書と特別刊行物を通じて暗号標準を定めています。同組織は、CAVP と CMVP のプログラムを通じて、暗号アルゴリズムとモジュールの適合性試験のガイドラインを定めています。NVLAP の試験所が実際の試験を行い、NIST がその結果を検証します。NIST によって検証されると、アルゴリズムや暗号モジュールは「認証済み」と見なされます。こうした区別があるにもかかわらず、参加者は回答の中で、FIPS 140-2 の標準、CAVP/CMVP のガイドライン、NVLAP 認定の試験所が実施する実際の FIPS 140-2 認証を、しばしば混同していました。

In this section, both the benefits and the challenges mentioned in the interviews are discussed. Unless specifically noted, the comments below refer to FIPS 140-2 testing and validation.

本節では、インタビューで言及された利点と課題の両方を論じます。特に断らない限り、以下の発言は FIPS 140-2 の試験と検証に関するものです。

5.2.1. Benefits
5.2.1. 利点

Participants noted several benefits to referencing NIST testing and validation programs, including that the certification criteria provided added assurance and were widely accepted by customers.

参加者は、NIST の試験・検証プログラムを参照することにはいくつかの利点があると述べました。認証の基準が追加の保証をもたらすこと、顧客に広く受け入れられていることなどです。

5.2.1.1. Added assurance/confidence
5.2.1.1. 追加の保証・信頼

Several participants remarked that certifications guided by NIST testing and validation programs provide an extra level of confidence in addition to the organization’s own testing:

複数の参加者が、NIST の試験・検証プログラムを指針とする認証は、組織自身の試験に加えて、もう一段階の確信をもたらすと述べました。

“I do think that there's some level of formalized testing, and certification is good to make sure it uses the proper algorithms and they, of course, are implemented, and so on.” (C20)

「ある程度、形式化された試験と認証があるのは、適切なアルゴリズムを使い、それらが実際に実装されていることなどを確認するうえで良いことだと思います。」(C20)

“So if the crypto primitives were already validated, for example, the FIPS 140-2 certification, we already have a baseline that we are comfortable with…The government can validate it. Then after we may build on top of that.” (C11)

「ですから、暗号プリミティブがすでに検証されていれば、たとえば FIPS 140-2 認証があれば、私たちが安心できるベースラインがすでにあることになります……。政府が検証できます。そのうえで、私たちがその上に構築するかもしれません。」(C11)

“…the more scrutiny and testing it goes through the better.” (C21)

「……精査や試験を受ける機会が多いほど、より良くなります。」(C21)

Six organizations noted that, even though they do not undergo the formal FIPS 140-2 certification process, they build to and test against the testing and validation specifications to gain added assurance.

6 つの組織は、正式な FIPS 140-2 認証プロセスを受けていなくても、追加の保証を得るために、試験・検証の仕様に合わせて構築し、それに対して試験していると述べました。

“And I would like to add that as a small company, I think it is actually extra important to make sure that we go through this battery of tests just to in a way reassure the people we're talking to that this is a robust product, and that allows you to then have the next conversations. So I think it helps prevent the door closing too soon in the discussion.” (C12)

「付け加えたいのですが、小さな会社としては、この一連の試験を通すことは、話をしている相手に、これは堅牢な製品だと安心してもらうという意味で、実はとりわけ重要だと思います。そうすれば、次の話に進めます。ですから、議論の早い段階で扉が閉ざされるのを防ぐのに役立つと思います。」(C12)

“I try to follow the FIPS 140-2 -- even though none of them I think have been certified --- FIPS 140-2 and try to follow best practices like doing the known answer tests on startup, implement, keeping that into the actual product.” (C08)

「私は FIPS 140-2 に基づいて製品を作り、試験するようにしています。いずれも認証を受けていないと思いますが、起動時に既知解テストを行うなどのベストプラクティスに従い、それを実際の製品に組み込むようにしています。」(C08)

“But they often ask us if we are NIST certified, so we say, ‘No. We are not.’ But I think the competition [in our market] is not really hard, so it's not a real issue for us today, but perhaps it will become one later. But yes, they ask us, end-users sometimes ask if we use NIST certified things. We answer that we use these NIST certified primitives.” (C17)

「しかし、NIST の認証を受けているのかとよく聞かれるので、『いいえ、受けていません』と答えます。ただ、[私たちの市場では]競争がそれほど厳しくないので、今のところ実際の問題にはなっていませんが、いずれ問題になるかもしれません。ええ、確かに、エンドユーザーが NIST の認証を受けたものを使っているかどうかを尋ねることがあります。私たちは、NIST の認証を受けたこれらのプリミティブを使っていると答えています。」(C17)

5.2.1.2. Customer acceptance and requirements
5.2.1.2. 顧客による受容と要件

For many participants, certifications are perceived as being more useful for supporting customer requirements than for bolstering their organizations’ confidence. Organizations most often obtain product certifications because these are widely recognized and required by customers in certain sectors (e.g., government, financial):

多くの参加者にとって、認証は、組織の信頼を高めることよりも、顧客の要件を満たすことに、より役立つものと受け止められています。組織が製品の認証を取得するのは、特定の分野(たとえば、政府、金融)で広く認知され、顧客から求められているからという場合が最も多くなっています。

“…when you go to the FIPS 140, that's well-established. People will know what this is about.” (C11)

「……FIPS 140 に取り組むとなると、それは確立されたものです。人々はそれが何についてのものか分かっています。」(C11)

“[Customers] want to do the something that they can go and see everybody in the world using.” (C03)

「[顧客は]世界中のみんなが使っているのを見に行けるものを使いたいのです。」(C03)

“[The certifications] are very critical in our ability to be able to sell to the US government. Of course, they're also important to provide a better solution to customers. So there's two aspects. Helps us make better solution for our customers, and it's also a checkmark…For some areas if you don't get the check-mark you don't get to play, so it's doubly important for us.” (C11)

「[認証は]米国政府に販売できるかどうかにとって、非常に重要です。もちろん、顧客により良いソリューションを提供するうえでも重要です。つまり、2 つの側面があります。顧客により良いソリューションを作る助けになり、同時にチェックマークにもなります……。分野によっては、チェックマークを得られなければ参加できないので、私たちにとって二重に重要なのです。」(C11)

5.2.2. Challenges
5.2.2. 課題

Much data was collected on participants’ views on challenges associated with certifications, including complexity, cost in time and money, lack of added value, and the disruption of updates to certification status.

認証に伴う課題について、参加者の見方に関する多くのデータが収集されました。複雑さ、時間と費用のコスト、付加価値の欠如、認証状態の更新による混乱などです。

5.2.2.1. Complexity
5.2.2.1. 複雑さ

Like the standards, developers sometimes have a difficult time wading through the complexity of testing and validation requirements for certifications:

標準と同様に、開発者は、認証のための試験・検証要件の複雑さを読み解くのに、苦労することがあります。

“It's amazing how poorly understood the requirement [for FIPS testing and validation] is, or that you never know is it fully understood. And it's just a risk decision of a business unit.” (C19)

「[FIPS の試験と検証の]要件がどれほど理解されていないか、あるいは完全に理解されているのかどうか決して分からないことには、驚かされます。そしてそれは、事業部門のリスク判断にすぎません。」(C19)

Several participants had to rely on the testing labs to help them interpret the certification requirements:

複数の参加者は、認証要件の解釈を助けてもらうために、試験所に頼らざるをえませんでした。

“So, sometimes the requirements were a little ambiguous. It's a standard that was written for a different time, and particularly as we were doing a software-based certification, some of the language was quite difficult to interpret. So, we had help from an external lab who advised us on how to meet the requirements and what sort of documentation was required. But, yeah, I think it would have been quite challenging without that.” (C21)

「ときには、要件が少し曖昧でした。これは別の時代のために書かれた標準で、特にソフトウェアベースの認証を行っていたので、表現のいくつかは非常に解釈しにくいものでした。そこで、外部の試験所から助けを得ました。要件をどう満たすか、どのような文書が必要かについて助言してもらいました。ええ、それがなければ、かなり困難だったと思います。」(C21)

“We have to rely fairly heavily on the labs, of course, because there is no direct communication [with the NIST validation programs]. And I'm not sure that it would be solved if there was. But it can lead us down the wrong path occasionally without proper clarification. We have to work fairly closely with the labs just to keep up with that…Here in this development center we have we work with two sets of labs just with different products going through different labs. And we may end up asking both sets of labs clarification of the same questions just to get some sort of variety of opinion about how things are going to be going. And there is also a variety of opinions at that level so in the end, we will I suppose just have to…keep asking clarification by our labs until we can understand exactly what we're supposed to be doing.” (C18)

「[NIST の検証プログラムとの]直接のやり取りがないので、もちろん、試験所にかなり頼らなければなりません。仮にやり取りがあったとしても、解決するかどうかは分かりません。しかし、適切な明確化がないと、ときどき間違った方向へ進みかねません。それに遅れないよう、試験所とかなり緊密に連携する必要があります……。この開発センターでは、製品によって別々の試験所を通すという形で、2 組の試験所と仕事をしています。そして、物事がどう進むかについてある程度いろいろな意見を得るために、両方の試験所に同じ質問の明確化を依頼することになる場合があります。そのレベルでも意見はさまざまですから、結局のところ、自分たちが何をすべきかを正確に理解できるまで、試験所に明確化を求め続けなければならないのだと思います。」(C18)

“The labs are incredibly important. We deal, as I said, with a couple of them. Sometimes though, it seems like the confusion that we have, they don't have immediate answers for either. So I don't know whether it's a matter of confusion all the way through. Often they'll say, ‘We'll have to refer back to CMVP.’ That's all part of the fun, but I guess it's something that happens reasonably often. Review comments from CMVP, when we go to finally validate, it's really variable. It seems to depend on the reviewer. Sometimes it'll be quite detailed and extensive comments and many things that we have to fix, and other times it seems to be quite okay just to say, ‘Yes. That's fine.’ I don't know what that means but sometimes it looks a little inconsistent.” (C18)

「試験所は非常に重要です。先ほど述べたとおり、いくつかの試験所とやり取りしています。ただ、私たちが抱えている混乱には、試験所もすぐに答えを持っていないように見えることがあります。ですから、最初から最後まで混乱なのかどうかは分かりません。よく『CMVP に問い合わせなければなりません』と言われます。それも楽しみの一部ですが、かなり頻繁に起こることだと思います。いよいよ検証する段階での CMVP のレビューコメントは、本当にばらつきがあります。レビューアによるようです。非常に詳細で広範なコメントがついて、直さなければならないことがたくさんある場合もあれば、『はい、結構です』で済む場合もあるようです。それが何を意味するのかは分かりませんが、少し一貫性がないように見えることがあります。」(C18)

5.2.2.2. Resource burden
5.2.2.2. リソースの負担

The most frequently mentioned challenge, as noted in 12 of 21 interviews, was that the certification process can be expensive in time and resources.

最も頻繁に言及された課題は、21 件中 12 件のインタビューで挙げられたとおり、認証プロセスが時間とリソースの面で高くつく場合があることでした。

“It's very cost-prohibitive to get our own stuff listed on the NIST site [for certified cryptographic algorithms and modules]. We did, once, a long time ago. But now, since there seems like OpenSSL, where we can just leverage what somebody else has done, that's kind of the direction that we've gone.” (C14)

「自社のものを NIST のサイト[認証済みの暗号アルゴリズムとモジュールのもの]に載せてもらうには、費用が高すぎます。ずっと前に一度やりました。しかし今では、OpenSSL のように、他の誰かが行ったことを活用できるものがあるようなので、そちらの方向へ進んできました。」(C14)

“…the FIPS thing is very expensive. And so, I think there could be an opportunity to make kind of certification for, if not a certification then some other-- so maybe it isn't certification. Basically, that's not as detailed as the FIPSs, but something that gives you a middle-of-the-road approach…But I do feel in the certifications is standard right now, there's basically steps or nothing which makes it kind of difficult. Like the incentive is not there for a lot of people to go through the full-step certification that they-- I think there could be benefits for getting some other kind of certification.” (C08)

「……FIPS は非常に高価です。ですから、認証ではないにしても、何か他の……認証ではないかもしれませんが、ある種の認証を作る機会があるかもしれません。基本的に、FIPS ほど詳細ではなく、中間的なアプローチを与えてくれるものです……。しかし、認証は現在、基本的に全か無かで、それが難しくしていると感じます。多くの人にとって、フルステップの認証を受けるインセンティブがありません。何か別の種類の認証を取得することには、メリットがあるかもしれないと思います。」(C08)

“I've always seen FIPS 140 as a challenge which has driven revenue because we would be selling a product. Now, I see FIPS 140 as a challenge that keeps me from selling a product because my own engineering group doesn't have the resources, the time. They have other things they think are more valuable to put their resources on than to meet this requirement.” (C19)

「FIPS 140 は、製品を販売することになるので、収益を生む課題だと、常に見てきました。今では、FIPS 140 は、製品を販売する妨げになる課題だと見ています。自社のエンジニアリング部門には、そのためのリソースも時間もないからです。彼らは、この要件を満たすことよりも、リソースを投入する価値があると考える別のことを抱えています。」(C19)

“We have examples of products which, or ranges of products which, achieve an effective certification regime. I can point to Ethernet, which has certification. I can point to cell phones, which have certifications. They're run by industry bodies, and their certification…tends to be tied to designs, so I could have a software stack certified and then deploy it. The certification tends to be testable, right? Very rigorously, they've defined the requirements of the certification along with the tests that establish those. So that the designers can check whether they comply before they've gone for certification. So getting the certification is turning up and showing you pass all the tests that you've already been able to run. That's not true of NIST and NSA [National Security Agency]. So, yeah, it's kind of test by surprise; that you don't have the same tools as the validation lab-- the certification lab has to test your designs before you take it in for certification, so this is part of this exhaustive iteration and cost.” (C05)

「効果的な認証体制を実現している製品、あるいは製品群の例があります。認証のある Ethernet を挙げられます。認証のある携帯電話も挙げられます。それらは業界団体によって運営されており、その認証は……設計に結びつく傾向があるので、ソフトウェアスタックを認証してもらってから展開できます。認証は試験可能である傾向があります。非常に厳密に、認証の要件と、それを確認する試験が一緒に定義されています。そのため、設計者は、認証を受けに行く前に、準拠しているかどうかを確認できます。つまり、認証を得るというのは、すでに実行できていたすべての試験に合格することを示しに行くことです。NIST と NSA [National Security Agency] ではそうではありません。ですから、ええ、いわば不意打ちの試験です。検証の試験所と同じツールを持っていないので、認証に出す前に認証の試験所に設計を試験してもらう必要があり、これが、この徹底した反復とコストの一因なのです。」(C05)

Participants also remarked that having to obtain certifications for multiple platforms can be cost-prohibitive:

参加者は、複数のプラットフォームについて認証を取得しなければならないことも、費用が高すぎる場合があると述べました。

“…but the testing process is -- it's, I'd say, onerous, especially for a startup, especially someone like us who covers every platform. So when we did the math on it, it was going to be over $100 000 per release. Because we have Windows, Mac, Linux. We have Chrome, Firefox, IE, Safari. Yeah. Every single one is separate. We have iOS, Android, Windows Phone. It just goes on and on and on…Even if I didn't change anything to do with the crypto, that's what made it kind of untenable. And there are companies that try to help solve this where they will just have their crypto piece certified and then you can license to them, but there wasn't anybody that covered all of the platforms. And we're doing stuff like in JavaScript only on the website, and so no plug-ins, no compiled code…I think when it [FIPS certification] was created, it didn't contemplate a company like ours…And I think the way the world is moving is many, many more releases. So certifying just becomes such a high bar that we just took the stance we're not going to sell to the government. They knock on our door all the time and we send them away.” (C10)

「……しかし、試験のプロセスは、負担が重いと言えます。特にスタートアップ、特に私たちのようにあらゆるプラットフォームを扱っているところにとってはそうです。計算してみると、リリースごとに 100 000 ドル超になるところでした。Windows、Mac、Linux があります。Chrome、Firefox、IE、Safari もあります。ええ、1 つ 1 つがすべて別です。iOS、Android、Windows Phone もあります。延々と続きます……。暗号に関わることを何も変えていなくても、そうなります。それが、それを成り立たなくしたのです。この問題の解決を手伝おうとする企業もあり、暗号部分だけを認証してもらって、それをライセンスで使わせてくれますが、すべてのプラットフォームをカバーしているところはありませんでした。しかも私たちは、ウェブサイト上の JavaScript だけで処理を行っているので、プラグインもコンパイル済みのコードもありません……。それ[FIPS 認証]が作られたとき、私たちのような企業は想定されていなかったのだと思います。そして、世の中はリリース回数がはるかに増える方向へ動いていると思います。ですから、認証は非常に高いハードルになるので、私たちは、政府には販売しないという立場をとることにしました。彼らはしょっちゅう私たちの扉を叩きますが、私たちは追い返しています。」(C10)

Smaller companies have difficulties in affording certifications:

小規模な企業は、認証の費用を負担するのに苦労しています。

“I'd say the biggest challenge is resourcing and cost. So it's one thing to develop products such that it conforms with all the past tests, it's another to actually go to a formal validation process.” (C12)

「最大の課題は、リソースとコストだと思います。過去のすべての試験に適合するように製品を開発することと、実際に正式な検証プロセスを受けることとは、別のことです。」(C12)

“It's a hard path. It's a long path. And for small companies, it's very resource-intensive in terms of both money and people's time to get it correct.” (C13)

「厳しい道のりです。長い道のりです。そして小さな企業にとっては、正しく進めるために、お金と人の時間の両方の面で、非常にリソースを要します。」(C13)

“You can't really have a customer, especially in the federal government space if you're using cryptography, if you're not FIPS140-2 certified…And then, from a money perspective, how do I tell my bosses we're going to basically spend half a million dollars to get FIPS-certified and…I don't have a government customer. It's a chicken and the egg that really takes small companies and really puts us behind the eight ball.” (C13)

「暗号を使っているなら、特に連邦政府の分野では、FIPS140-2 認証を受けていなければ、顧客を持つことは実際にはできません……。そして、お金の観点から、FIPS 認証を取るために基本的に 50 万ドルを使うのだと、上司にどう伝えればよいのでしょうか。しかも……政府の顧客はいません。これは鶏と卵の問題で、小さな企業をまさに追い込み、苦境に立たせます。」(C13)

“Well, that's a question of choices and resources we see with small companies...We probably intend to do [FIPS certification]…But it's just a question of maturity and style, and having the people to manage it, because it's quite resource-intensive if we go ahead with the certification.” (C17)

「それは、小さな企業に見られる、選択とリソースの問題です……。おそらく[FIPS 認証を]行うつもりです……。しかし、成熟度とやり方の問題であり、それを管理する人員を確保することの問題です。認証を進めるとなると、かなりリソースを要するからです。」(C17)

Several participants also mentioned the length of time involved in the certification process as a hindrance:

複数の参加者は、認証プロセスにかかる時間の長さも、障害として挙げました。

“The biggest challenge is time. It's a fairly extensive process. We have to dedicate at least one developer to review the paperwork every time we go through a certification, and one tester is dedicated purely to running the test cases, making sure they pass all the test cases, and submitting it to the lab…So it can take six to eight months to do this, and it prevents us from being able to use those people to do more innovation. We wouldn't be doing it if we didn't find value in it, but we don't find any value in going for any higher certification.” (C15)

「最大の課題は時間です。かなり大がかりなプロセスです。認証を受けるたびに、少なくとも 1 人の開発者に書類のレビューを専任させなければならず、テスターを 1 人、テストケースの実行、すべてのテストケースに合格していることの確認、試験所への提出に専念させます……。そのため、これには 6〜8 か月かかる場合があり、そうした人員をより革新的な仕事に使えなくなります。価値を見いだしていなければやりませんが、これ以上高い認証を目指すことには、何の価値も見いだしていません。」(C15)

“We've been doing this [FIPS certification] for a few years now, and there have been challenges reasonably often. I guess sometimes it comes down to the length of time it takes to validate software or get the certificates for the software. In particular, there was a release to the software we did a couple of years ago, where it was an exceedingly long time before we got our certificate. And I can understand there were changes happening in the departments that were doing the certification, but it was well over half a year, going on to a year before we got certificates back for the software. And at that time…we have to be supporting the customers and supplying the customers these changes and…that was a difficult period.” (C18)

「私たちは、数年前からこれ[FIPS 認証]を行っていますが、課題はかなり頻繁にありました。ときには、ソフトウェアを検証したり、そのソフトウェアの証明書を取得したりするのにかかる時間の長さに行き着くのだと思います。特に、数年前に行ったソフトウェアのリリースで、証明書を得るまでに非常に長い時間がかかったことがありました。認証を行っていた部署で変更が起きていたことは理解できますが、ソフトウェアの証明書が戻ってくるまでに、半年をはるかに超え、1 年近くかかりました。その間は……顧客を支援し、顧客にこうした変更を提供しなければならず……困難な時期でした。」(C18)

Three interviewees suggested creating a simplified, less expensive option for FIPS certification:

3 人のインタビュー対象者は、FIPS 認証について、簡素化された、より安価な選択肢を作ることを提案しました。

“That's one thing I would love, is if it somehow [FIPS certification] could be simplified where it would be cost-effective for us to do it. Because I get customers that…say, ‘Oh, I don't see you listed on the NIST site.’ And then we have to explain why we're not actually on the site.” (C14)

「私が望むことの 1 つは、それ[FIPS 認証]が何らかの形で簡素化されて、私たちが費用対効果よく行えるようになることです。顧客から……『NIST のサイトに載っていませんね』と言われることがあるからです。そして、なぜ実際にはサイトに載っていないのかを説明しなければなりません。」(C14)

“I would think one of the answers might be whether NIST would certify things that are open source. That if you guys took it upon yourselves to say, ‘This version is certified so long as you compile with X compiler options,’ or whatever, I think that would go a huge way to kind of alleviating a lot of the burden with it.” (C10)

「答えの 1 つは、NIST がオープンソースのものを認証してくれるかどうかではないかと思います。皆さんが自ら、『このバージョンは、X のコンパイラオプションでコンパイルする限り認証済みとする』などと言ってくれれば、その負担をかなり軽くする大きな一歩になると思います。」(C10)

“I think there could be an opportunity to make a kind of certification…that's not as detailed as the FIPSs, but something that gives you a middle-of-the-road approach.” (C08)

「FIPS ほど詳細ではなく、中間的なアプローチを与えてくれる、ある種の認証を作る機会があるかもしれないと思います。」(C08)

5.2.2.3. Lack of value added
5.2.2.3. 付加価値の欠如

Several interviews illuminated opinions that certifications did not provide significant value, even if they were required in some cases. Two participants expressed their belief that the certifications provided no assurance above and beyond what was provided by their own internal processes:

いくつかのインタビューから、認証は、場合によっては必須であったとしても、大きな価値をもたらさないという意見が明らかになりました。2 人の参加者は、認証が、自社の内部プロセスが提供する保証を超える保証をもたらさないと考えていると述べました。

“We always design and test ourselves to have confidence that [the product] meets all those requirements before we release it to the lab for their testing. So when they come back and say, ‘It passed this,’ we say, ‘Well, okay, we expected that. Thank you.’ So the surprise is if something fails, that we expected to pass. That doesn’t happen very often.” (C01)

「私たちは、試験所に試験のために製品を出す前に、[その製品が]すべての要件を満たしているという確信を持てるよう、常に自分たちで設計し、試験しています。ですから、試験所が戻ってきて『これに合格しました』と言ったとき、私たちは『ええ、予想どおりです。ありがとうございます』と言います。つまり、驚きがあるのは、合格するはずだったものが不合格になった場合です。それはあまり起こりません。」(C01)

“…it's a place where we've done enough testing ourselves. I know it's fine. I know we would pass.” (C10)

「……その領域については、私たち自身で十分な試験を行っています。問題ないと分かっています。合格するだろうと分かっています。」(C10)

Several participants also remarked that certifications may not be a significant contributor to the security of a product. Some expressed opinions that certifications, including FIPS 140-2, are more of a customer compliance checkbox than a security defense.

複数の参加者は、認証が製品のセキュリティに大きく寄与するとは限らないとも述べました。FIPS 140-2 を含む認証は、セキュリティ防御というよりも、顧客のコンプライアンス用のチェックボックスにすぎないという意見を述べた参加者もいました。

“…as nice as FIPS 140 is, it just becomes a checklist piece that people try to work around, and that, sometimes, demands so many resources it actually gets in the way of achieving security.” (C19)

「……FIPS 140 は良いものですが、結局は人々が回避しようとするチェックリストの一部になり、ときにはあまりに多くのリソースを要求して、かえってセキュリティの達成を妨げます。」(C19)

“FIPS 140 is. . . not focused on how to use crypto securely. It’s focused on how to safely provide crypto functionality.” (C19)

「FIPS 140 は……暗号を安全に使う方法には焦点を当てていません。暗号機能を安全に提供する方法に焦点を当てているのです。」(C19)

“I don't feel confident at all with third-party [certification] testing…For instance, I have a FIPS- validated product, it's entirely possible to just get a validation without any additional benefit of security. For instance, they probably haven't done a binary static analysis on their software, and so what that means is we could not be able to give a full-fledged level of confidence that it would last very long in the field…So it would be easier to reverse engineer some FIPS-validated product than, say, our own, for that very reason. It's because the FIPS validation testing does not protect against reverse engineering whatsoever. It only protects against correctness. And some hardening techniques at the higher level, such as level three, level four FIPS validation. But it does not protect against the next binary reverse engineering, whatsoever.” (C02)

「第三者による[認証の]試験には、まったく自信が持てません……。たとえば、私が FIPS 検証済みの製品を持っているとして、セキュリティ上の追加の利点がまったくないまま、検証だけを得ることは十分にありえます。たとえば、おそらく、ソフトウェアのバイナリ静的解析は行われていないでしょう。つまり、その製品が現場で長く使えるという十分な確信を、私たちは持てないということです……。まさにその理由で、たとえば私たち自身の製品よりも、FIPS 検証済みの製品のほうがリバースエンジニアリングしやすいでしょう。FIPS 検証試験は、リバースエンジニアリングをまったく防がないからです。検証が保証するのは正しさだけです。また、レベル 3 やレベル 4 の FIPS 検証では、より上位のレベルでいくつかの堅牢化技術が用いられます。しかし、次の段階のバイナリのリバースエンジニアリングは、まったく防ぎません。」(C02)

“I know that FIPS validation, in terms of the business case, it could mean monetary value, but in the security sense, it doesn't really add any value. So it would be nice if FIPS validation had a business and security value together.” (C02)

「FIPS 検証は、事業上の観点では金銭的な価値を意味しうると分かっていますが、セキュリティの意味では、実際には何の価値も加えません。ですから、FIPS 検証が、事業上の価値とセキュリティ上の価値を併せ持っていればよいと思います。」(C02)

“…we're more focused on ensuring customer security…through product security than on compliance to government standards. So we'll aim at compliance to government standards as one thing, but it's not the primary focus.” (C05)

「……私たちは、政府標準への準拠よりも、製品のセキュリティを通じて顧客のセキュリティを確保することに、より重点を置いています。ですから、政府標準への準拠も目標の 1 つとして目指しますが、主眼ではありません。」(C05)

5.2.2.4. Product updates
5.2.2.4. 製品の更新

In addition, seven out of 21 organizations commented that maintaining FIPS certification may, in some cases, weaken security and erode confidence by discouraging updates throughout the lifecycle of the product. Once a product undergoes a significant update (for example, a planned product revision or a bug or security vulnerability fix), it may lose its certification. Organizations are then put in a difficult position or may experience resource burdens to remedy the situation.

さらに、21 組織のうち 7 組織は、FIPS 認証を維持することが、場合によっては、製品のライフサイクル全体にわたる更新を妨げることで、セキュリティを弱め、信頼を損なうことがあると述べました。製品に大きな更新(たとえば、計画された製品の改訂や、バグやセキュリティ脆弱性の修正)を行うと、認証を失う場合があります。そうなると、組織は困難な立場に置かれ、その状況を解消するためにリソースの負担が生じる場合があります。

“We haven't done any [certifications] yet, for two reasons. Because none of our stuff is at the fielding level, if you will. So getting into full blown production or field deployment, and stuff changes. So one of the biggest challenges of validating an algorithm is once you change it, you've got to validate it again. And the cost for us is relatively large. So sometimes for a large company, they'll get things validated to go market it and say, ‘Hey, our stuff is validated.’ And then if things change in six months, they have the funds to go do it again.” (C07)

「私たちは、まだ[認証を]何も受けていません。理由は 2 つあります。私たちの製品は、いわばまだ実戦配備の段階に達していないからです。本格的な製品化や現場への展開に入ると、状況が変わります。アルゴリズムを検証するうえでの最大の課題の 1 つは、変更すると、もう一度検証しなければならないことです。そして、私たちにとってコストは比較的大きいです。ですから、大企業の場合は、検証を済ませて市場に出し、『うちの製品は検証済みです』と言うことがあります。そして、6 か月後に状況が変わっても、もう一度検証する資金があります。」(C07)

“The vulnerability is inside of-- let's say it's inside the FIPS module. This is the case where FIPS 140 is horrible because literally the way the rules are written now, fixing that vulnerability takes the FIPS 140 validation away. And theoretically, you should not be able to sell to a company now. So instead of fixing it, we put it in a queue. And then there's six months to a year to a year and a half to two years before it comes out. So the right thing to do is you fix it. So literally, the right thing to do is they fix it. They don't have FIPS 140 anymore, so why do they worry about FIPS 140 at all? They just lost it. The right thing to do from a security standpoint. So this ability to address vulnerabilities and to patch validated code is a real problem. It sends the wrong message if you do what you should do, which is patch it and live without it. Just live without the compliance until you're able to go through the FIPS process. In fact, the FIPS process takes so long, at some point they go, ‘Why?’ … I was at the CMVP conference three or four weeks ago, and…three or four people that program OpenSSL said their code was more secure without FIPS than with FIPS. The FIPS made it less secure. And I think one of the main reasons is this inability to quickly and agilely address vulnerabilities. So that needs to be fixed. They need to find some process.” (C19)

「脆弱性が、たとえば FIPS モジュールの内部にあるとします。これは、FIPS 140 がひどい場合です。現在の規則の書き方では、文字どおり、その脆弱性を修正すると FIPS 140 の検証が失われるからです。そして理論上は、もう企業に販売できないはずです。ですから、修正する代わりに、待ち行列に入れます。そして、修正が提供されるまでに、6 か月から 1 年、1 年半から 2 年かかります。ですから、正しいのは修正することです。文字どおり、正しいのは彼らが修正することです。もう FIPS 140 はなくなるのだから、そもそも FIPS 140 を気にする必要があるのでしょうか。失ったばかりなのです。セキュリティの観点では、それが正しいことです。ですから、脆弱性に対処し、検証済みのコードにパッチを当てることができないのは、本当の問題です。やるべきこと、つまりパッチを当てて、それなしで過ごすことをすれば、誤ったメッセージを送ることになります。FIPS のプロセスを通過できるまで、コンプライアンスなしで過ごすのです。実際、FIPS のプロセスはあまりに時間がかかるので、ある時点で『なぜだ』となります……。3、4 週間前に CMVP のカンファレンスに行きましたが……OpenSSL をプログラミングしている 3、4 人が、自分たちのコードは、FIPS ありよりも FIPS なしのほうが安全だと言っていました。FIPS のせいで安全性が下がったのです。そして、主な理由の 1 つは、脆弱性に素早く機敏に対処できないことだと思います。ですから、それは直す必要があります。何らかのプロセスを見つける必要があります。」(C19)

“Now, certification is a problem there. It's the same for medical equipment and for security equipment, that you get your certification and you're not allowed to change it. If you change the product you lose the certification for that product. And so you can have a vulnerability baked into a product and you're not even allowed to fix it because you're not then allowed to use it if it loses its certification. And there was a discussion by ICMC 2016, the International Cryptographic Module Conference, which basically FIPS 140 vendors, and certification houses, and NIST get together. And there was a discussion about this and we had [someone] stand up and say, ‘Well, that's not true, the recommendation to the government departments is to put the patch in. If there's a patch and it's a vulnerability, put the patch in.’ Then everybody else stood up and said, ‘Yeah, but that's all right for you. We're not the government, we lose our certification. What do you think about that?’ He didn't respond. And I think that got to the core of frustration in the vendor space with the way that the government does its certifications with respect to how do we address vulnerabilities and updates. A certification probably should be a-- how do I say? A process of state where you get something into this program where it's a certified design, and then the process of rolling out updates is part of the certification. So we might have an update and you have a vulnerability, and we have a change or a bug fix and that would go to NIST, and that would be a fairly lightweight, or the certification house and there would be a fairly lightweight mechanism of getting that checked and stamped as a legitimate or necessary change in order to maintain certification. So the process is requiring updates instead of inhibiting updates.” (C05)

「さて、そこでは認証が問題です。医療機器でもセキュリティ機器でも同じで、認証を取得すると、製品を変更することが許されません。製品を変更すると、その製品の認証を失います。ですから、製品に脆弱性が組み込まれていても、修正することさえ許されません。認証を失うと、その製品を使うことが許されなくなるからです。そして、ICMC 2016、つまり International Cryptographic Module Conference で議論がありました。そこには、基本的に FIPS 140 のベンダー、認証機関、NIST が集まります。そこでこの問題について議論があり、[ある人]が立ち上がって『それは事実ではありません。政府機関への推奨は、パッチを当てることです。パッチがあり、それが脆弱性に関するものなら、パッチを当ててください』と言いました。すると、ほかの全員が立ち上がって、『ええ、でもそれはあなたたちなら構わないでしょう。私たちは政府ではないので、認証を失います。それについてどう思いますか』と言いました。その人は答えませんでした。そして、それが、政府が認証を行うやり方について、脆弱性と更新にどう対処するのかに関するベンダー側の不満の核心に触れたのだと思います。認証は、おそらく……どう言えばいいでしょうか。このプログラムに何かを入れると、それが認証済みの設計になり、更新を展開するプロセスが認証の一部になる、という状態のプロセスであるべきでしょう。つまり、更新があり、脆弱性があって変更やバグ修正をした場合、それを NIST、あるいは認証機関に送り、認証を維持するために正当または必要な変更であることを確認し、承認してもらう、比較的軽量な仕組みがある、ということです。つまり、更新を妨げるのではなく、更新を求めるプロセスです。」(C05)

“There's funny things that happen with the way it works today where someone can certify their own copy of something, and even though OpenSSL gets decertified because they find a bug, the copy isn't decertified because they didn't tell NIST that it is actually open to sell underneath the covers. And so the whole process seems broken, and who suffers? It's really people that require that certification. The government…pays more and people price it in. And it just wasn't my model to…We had [big tech company] and other people saying, ‘Well, if you 20 X your price of your products, then we'll partner with you and go through and do the certification and then you won't change it for two to three years.’ … I had a real hard time with that concept because software does have bugs. I don't want to make a cost-benefit analysis on is my bug worth the certification process.” (C10)

「現在の仕組みでは、おかしなことが起こります。誰かが何かの自分のコピーを認証してもらうことができます。バグが見つかって OpenSSL の認証が取り消されても、そのコピーは認証が取り消されません。そのコピーが実際には内部で OpenSSL を使っていることを NIST に伝えていなかったからです。ですから、プロセス全体が壊れているように見えますが、誰が困るのでしょうか。実際には、その認証を必要とする人々です。政府は……より多く支払い、人々はその費用を価格に織り込みます。そして、それは私のモデルではありませんでした……。[big tech company]やほかの人たちが『製品の価格を20倍にすれば、提携して認証を進めてあげる。その後、2、3年は変更しないことになる』と言っていました……。私には、その考え方がとても受け入れがたいものでした。ソフトウェアにはバグがあるからです。自分のバグに認証プロセスを経るだけの価値があるかどうか、費用対効果を分析したくありません。」(C10)

5.2.2.5. Certification status of third-party components
5.2.2.5. サードパーティ製コンポーネントの認証状況

Several participants noted challenges involving the certifications of third-party components used within their products:

複数の参加者は、自社製品の中で使っているサードパーティ製コンポーネントの認証に関わる課題について述べました。

“…we use wolfSSL as our cryptography, and they've got a version that is FIPS-certified and got a version that's not FIPS-certified. Now let's jump forward to our customers. Our customers are going to have to build the applications using our software, which uses wolfSSL. So now all of the sudden, we're in a really weird world in terms of FIPS.” (C13)

「……私たちは暗号ライブラリとして wolfSSL を使っていますが、FIPS 認証を受けたバージョンと、受けていないバージョンがあります。さて、顧客の側に話を移しましょう。顧客は、wolfSSL を使う私たちのソフトウェアを使ってアプリケーションを構築することになります。そうなると、突然、FIPS に関して、本当におかしな世界に入ってしまいます。」(C13)

“…programming languages often come with their own widely used, widely tested crypto libraries, but they typically aren't FIPS certified, especially not for the custom platform that might be used in IoT device for instance, or in a virtual appliance for high-security applications where you might not want to use a Java distribution for instance… So it's not just one library that you struggle to certify, it's multiple libraries written in different programming languages, some of them in the kernel. And in the R&D [research and development] process, you pretty much trust those libraries because they are widely used, and you can run test vectors against them easily. But you wouldn't implement them, you should use them. And if you have to spend $100 000 on five different libraries for every version, it becomes the showstopper pretty quickly.” (C20)

「……プログラミング言語には、広く使われ、広く試験された独自の暗号ライブラリがついてくることがよくありますが、通常、それらは FIPS 認証を受けていません。特に、たとえば IoT 機器で使われるかもしれないカスタムプラットフォームや、たとえば高セキュリティのアプリケーション向けの仮想アプライアンスでは、そうです。そこでは Java ディストリビューションを使いたくないかもしれません……。ですから、認証に苦労するのは 1 つのライブラリだけではなく、異なるプログラミング言語で書かれた複数のライブラリで、中にはカーネルの中にあるものもあります。そして、R&D[研究開発]のプロセスでは、それらのライブラリをほぼ信頼して使います。広く使われており、テストベクターを簡単に実行できるからです。しかし、それらを自分で実装するのではなく、使うべきです。そして、バージョンごとに 5 つの異なるライブラリに 100 000 ドルを使わなければならないとしたら、すぐに導入を断念する大きな要因になります。」(C20)

“I believe most people try to somehow meet the certification requirements, but kind of live or work around it in some way, so that they have the FIPS version of the FIPS library that they use. And I have experience in having to choose the sub-optimal crypto library just because it had been certified.” (C20)

「ほとんどの人は、何とかして認証要件を満たそうとしつつ、何らかの形でそれをやり過ごしたり回避したりして、使っているライブラリの FIPS 版を確保しているのだと思います。そして私は、認証されているというだけの理由で、最適とは言えない暗号ライブラリを選ばなければならなかった経験があります。」(C20)

One participant experienced the reverse situation in which his company’s products are included in another company’s product:

1 人の参加者は、自社の製品が他社の製品に組み込まれるという、逆の状況を経験しました。

“So the other problem there is who does the certification? There is an inheritance problem with the certification that if I'm a customer of [company 1] and I make a product with a [company] CPU [central processing unit], and I'm trying to get FIPS 140-2 certification, I want to be able to point to the SP 800-90 certification of the random number generator inside that product. But the certification of FIPS 140-2 requires you to show it as well, that you can do the test. And they can't do the test because it's locked up inside our silicon. They should be able to show SP 800-90 certification that that's good enough, that that was sufficient. The testing was done, and then you can just inherit that…You've met the random number generator requirement for your FIPS module. And so, thankfully, it's a small number of customers who have had that situation. But we've then had to go in and get involved in enabling that customer by working with their certification house and to get them raw data samples and the entropy source and things like that. And that's the test examples. I think this is a mess. The certification process is a mess. The way it's structured is a mess. It's counter to getting certified products out there in a widely-deployed way. And so it's a niche product to government markets, and it's one of the reasons that government products are expensive.” (C05)

「もう 1 つの問題は、誰が認証を行うのかということです。認証には継承の問題があります。たとえば、私が[会社 1]の顧客で、[会社]の CPU[中央処理装置]を使った製品を作り、FIPS 140-2 認証を取得しようとしているとします。その製品の内部にある乱数生成器について、SP 800-90 の認証を示したいと思います。しかし、FIPS 140-2 の認証では、試験も実施できることを示すよう求められます。そして、それは私たちのシリコンの内部に閉じ込められているので、彼らには試験ができません。SP 800-90 の認証を示せば、それで十分だと認められるはずです。試験は行われたのだから、それをそのまま継承できるはずです……。自分の FIPS モジュールの乱数生成器の要件は満たしています。幸い、そういう状況になった顧客は少数です。しかし、私たちは顧客側の認証機関と連携し、生データのサンプルやエントロピー源などを渡して、その顧客を支援しなければなりませんでした。それが試験の具体例です。これは混乱していると思います。認証のプロセスは混乱しています。その構成のされ方が混乱しています。認証済みの製品を広く展開することに逆行しています。その結果、政府市場向けのニッチな製品になり、それが政府向けの製品が高価になる理由の 1 つでもあります。」(C05)

5.3. Education and Awareness

5.3. 教育と意識向上

A number of participants commented on a need for greater education and awareness of cryptography basics and cryptographic standards for both consumers and developers of cryptographic products.

多くの参加者が、暗号製品の利用者と開発者の両方について、暗号の基礎と暗号標準に関する教育と意識向上をさらに進める必要があると述べました。

Several comments were focused on product customers:

いくつかの発言は、製品の顧客に焦点を当てていました。

“…the general public…is having to become more aware of security and their information. They have to have trust and confidence in any company or organization that they deal with, that their information is being protected. That social consciousness has risen over the past few years… Such things as movies have given us an indication that you can plug something in, run a quick program, and within 10 seconds you're in. Some of that's all smoke and mirrors. It's not reality. But then, at the same time, you cannot be casual that the information about you at your local dentist, that's in their computer, is being protected. So there has to be a level of education on a much larger scale of what is encryption, what is secure information security. And when I listen to news reports and hear a politician talk about there needs to be a golden key, I think that's just he doesn't understand and know what encryption is, and he's watched too many movies. So those who are in the know need to get out there and educate.” (C06)

「……一般の人々は……セキュリティと自分の情報について、より意識を高めざるをえなくなっています。自分の情報が保護されていると、取引のある企業や組織を信頼し、確信を持つ必要があります。その社会的な意識は、ここ数年で高まりました……。映画のようなものが、何かを差し込んで、簡単なプログラムを実行すれば、10 秒で侵入できるという印象を与えてきました。その一部は、すべて見せかけです。現実ではありません。しかし同時に、地元の歯科医のコンピューターにある自分の情報が保護されていることを、軽く考えてはいけません。ですから、暗号化とは何か、安全な情報セキュリティとは何かについて、はるかに大きな規模で教育する必要があります。そして、ニュース報道で、政治家が『ゴールデンキーが必要だ』と話すのを聞くと、それは政治家が暗号化とは何かを理解しておらず、映画を見すぎているだけだと思います。ですから、知っている人たちが外に出て、教育する必要があります。」(C06)

“Certainly, those in the industry who are developing products and certainly, clued-in users, are probably aware of your [NIST] standards. But perhaps you could do a bit more of a marketing activity to make your standards better known to I guess, I wouldn't say the general public, but at least the IT community. Because you do have good standards. And obviously, if they are readable, they make sense. And it might benefit the entire community if there was more awareness of those sorts of standards so that actual end users take that into account when choosing products, when evaluating products. I think that'd improve the quality of products that are being deployed and used, and we improve the posture of most organizations if they're actually more aware of what standards there are and what they can do for them.” (C12)

「確かに、製品を開発している業界の人々や、事情に通じた利用者は、[NIST の]標準を知っているでしょう。しかし、一般の人々とまでは言いませんが、少なくとも IT コミュニティには、皆さんの標準をもっと広く知ってもらうために、マーケティング活動をもう少し行ってもよいのではないでしょうか。皆さんには良い標準があるからです。そして当然ながら、読みやすければ、理解できます。そうした標準がもっと知られれば、実際のエンドユーザーが製品を選ぶとき、製品を評価するときに、それを考慮に入れるようになり、コミュニティ全体のためになるかもしれません。それによって、展開され使われる製品の品質が向上し、どのような標準があり、それが自分たちにどう役立つかを実際にもっと知れば、ほとんどの組織のセキュリティ態勢が改善されると思います。」(C12)

“…we have a lot of small businesses that are customers, small to medium size companies. With their limited IT resources, the documents you have are great, but they're very detailed… I don't know if maybe there could be some kind of higher level…” (C14)

「……私たちの顧客には、小規模から中規模の企業である小さな事業者がたくさんいます。IT リソースが限られている彼らにとって、皆さんの文書は素晴らしいのですが、非常に詳細です……。もう少し上位レベルのものがあってもよいのかもしれません……。」(C14)

“But really what our customers want is they ask for FIPS-compliant software, or they want their product to become FIPS compliant. They don't mention any particular profile which they're working. They just want to do FIPS. That's what their understanding is. And so when they say, ‘And we want to make a tierless connection,’ and then we have to tell them about all the constraints about what data they can use and all that sort of thing that they can actually use within a tierless connection that is still FIPS compliant, that's a major difficulty, I guess, educating our customers as well as being able to work a library that can sometimes work with FIPS restraints on it and sometimes without.” (C18)

「しかし、実際に顧客が求めているのは、FIPS 準拠のソフトウェア、あるいは自社製品を FIPS 準拠にすることです。顧客は、自分たちが取り組んでいる特定のプロファイルには触れません。ただ FIPS をやりたいのです。それが彼らの理解です。そして、顧客が『TLS 接続をしたい』と言うと、FIPS に準拠したままその接続で実際に使えるデータなどに関するあらゆる制約を説明しなければなりません。それは大きな困難です。顧客を教育することも、FIPS の制約がある場合とない場合の両方で動作しうるライブラリを扱えるようにすることも、そうです。」(C18)

Other participants offered suggestions on ways NIST could provide more education and additional instructional information for developers and engineers:

ほかの参加者は、NIST が開発者やエンジニアに対して、より多くの教育と追加の指導情報を提供するための方法を提案しました。

“…sometimes it's really difficult from a software engineering perspective… First of all, writing decent code is hard. Fulfilling…this requirement to get an algorithm to properly work, isn't that easy either. And a lot of the times, these [cryptographic] attacks are based on understanding all the math. Well, there are attacks as you know for analyzing the system, looking at memory bits, and this and that, and I'm not talking about those. So it's probably more valuable to have, I guess maybe tutorials for beginners, rather than trying to plug those into a special publication, if you will. And I'd rather see in a special publication…more advanced concepts in those. And maybe there is another mechanism, maybe either a tutorial series…Maybe there's a series of crypto for beginners…I bet NIST has a ton of experts, that they could either do this in slides on a video. And maybe then those beginner folks will say, ‘Huh, maybe I should go do something else, because this sounds a lot harder than I thought,’ or they would actually kind of get guided up, and then they'll figure out how to get to the next level.” (C07)

「……ソフトウェアエンジニアリングの観点では、本当に難しいことがあります……。まず、まともなコードを書くこと自体が難しいです。アルゴリズムが適切に動作するようにするための……この要件を満たすことも、簡単ではありません。そして多くの場合、[暗号に対する]これらの攻撃を理解するには、数学全体を理解する必要があります。ご存じのとおり、システムを分析したり、メモリのビットを調べたりといった攻撃もありますが、ここではそれらのことは言っていません。ですから、そうした内容を特別刊行物に詰め込もうとするよりも、おそらく初心者向けのチュートリアルを用意するほうが価値があるでしょう。そして、特別刊行物には……より高度な概念を載せたいです。さらに、別の仕組みもあるかもしれません。たとえば、チュートリアルのシリーズ……初心者向けの暗号のシリーズかもしれません……。NIST には大勢の専門家がいるはずなので、スライドや動画でこれを教えることもできるでしょう。そうすれば、初心者は『うーん、思ったよりずっと大変そうだから、ほかのことをしようかな』と思うかもしれませんし、あるいは実際に導かれて、次のレベルに進む方法を見つけるでしょう。」(C07)

“…sample code is sometimes very helpful.” (C20)

「……サンプルコードは、ときに非常に役立ちます。」(C20)

“It would be useful in some way to have more motivational text and more example.” (C04)

「何らかの形で、動機づけとなる説明や例がもっとあると役に立つでしょう。」(C04)

“I guess also other intermediary steps help too. The difference between integer division versus a not integer division… Identifying particular values in an algorithm and declaring their type. There's a lot of times you'll just say like, ‘Oh, hey, we were given a key K, X, Y, and Z.’ And you'll have intermediate values in an algorithm. You should say what those intermediate values are by their type, not just, ‘It's X divided by Y times Z,’ or something.” (C02)

「ほかにも、中間的なステップが役に立つと思います。整数除算と、整数ではない除算の違い……。アルゴリズムの中の特定の値を明示し、その型を宣言すること。『ああ、鍵 K と、X、Y、Z が与えられました』と言うだけのことがよくあります。そして、アルゴリズムには中間値があります。その中間値が何であるかを、『X を Y で割って Z を掛けたもの』などと言うだけでなく、データ型で示すべきです。」(C02)

“With FIPS 140, there were some implementation guidance documents. And I wonder if it might be a good experiment to have, for each of the standards, an implementation guidance document that had more examples, counter-examples, here are things that people tried that don't work, and that sort of thing. I was talking with somebody recently about SP 800 90-A, and this person didn't understand the purpose of the personalization string, the nonce, the additional data context. And so I had to explain what you can use these for because there's no guidance. Well, we have these things in there for good reasons.” (C04)

「FIPS 140 には、実装ガイダンス文書がいくつかありました。そこで、各標準に、より多くの例、反例、人々が試したがうまくいかなかったことなどを載せた実装ガイダンス文書を用意するのは、よい試みかもしれないと思います。最近、ある人と SP 800 90-A について話しましたが、その人は、パーソナライゼーション文字列、ナンス、追加データのコンテキストの目的を理解していませんでした。そこで、これらを何に使えるのかを説明しなければなりませんでした。ガイダンスがないからです。これらには、きちんとした理由があって入っているのですが。」(C04)

“I think it's one of those things where there almost needs to, once again, be sort of an annotated version of it with, perhaps, a hypothetical deployment. Maybe a few different hypothetical deployments like a secure site, a classified site, requires these things, like a non-classified site would require these things, and actually get down to nuts and bolts. As an example, maybe not an adherent guideline, but it helps the reader interpret the guidelines. I mean, I feel like I'm a fairly educated individual, but I don't have a degree in law, and [the FIPS document] almost reads like a brief.” (C15)

「これは、もう一度言いますが、注釈付きの版が、できれば仮想的な展開例とともにあるべきものの 1 つだと思います。セキュアなサイトや機密扱いのサイトではこれらが必要で、非機密のサイトではこれらが必要、というように、いくつかの異なる仮想的な展開例を挙げて、実際に細部まで落とし込むのもよいかもしれません。例として、ガイドラインに従うことを求めるものではなくても、読み手がガイドラインを解釈する助けになるものです。つまり、私はかなり教育を受けた人間だと思いますが、法律の学位は持っておらず、[FIPS の文書は]ほとんど準備書面のように読めるのです。」(C15)

Two participants recommended improvements to NIST cryptography-related websites to aid in finding relevant publications:

2 人の参加者は、関連する刊行物を見つけやすくするために、NIST の暗号関連のウェブサイトを改善することを提案しました。

“…if you could have someone with a little bit more focus on user experience, look at some of those websites to make them more usable and more navigable, that would not hurt. Yeah, I mean, if you really dig a little deeper into it, it is understandable and you can parse through this, but as I came across them the first time, somewhat unenlightened, it was not exactly very intuitive. And I see it in this day and age that a lot of my more junior staff could easily be very frustrated over that experience.” (C16)

「……ユーザーエクスペリエンスにもう少し重点を置く人に、それらのウェブサイトのいくつかを見てもらい、より使いやすく、サイト内を移動しやすくしてもらえれば、害はないでしょう。ええ、もう少し深く掘り下げれば、理解できますし、読み解けますが、最初に出会ったとき、よく知らないまま見ると、あまり直感的ではありませんでした。そして、今の時代、私の経験の浅いスタッフの多くが、その体験にひどくいら立つだろうと思います。」(C16)

“I found it difficult at times to find what I'm looking for on the NIST website when I've been there before and I know that the document's there. I don't quite remember what the number is or the title. So some revamping of the website to make it more capable, search capable.” (C14)

「以前に NIST のウェブサイトを訪れたことがあり、その文書があることは分かっているのに、探しているものを見つけるのに苦労したことがときどきありました。番号やタイトルが正確には思い出せないのです。ですから、ウェブサイトをもう少し刷新して、もっと検索しやすくしてほしいと思います。」(C14)

5.4. Trust of NIST and Governments

5.4. NIST と政府への信頼

As evidenced by the frequent usage of NIST standards and testing/validation programs, many participants respected and trusted NIST’s expertise in the cryptography domain:

NIST の標準と試験・検証プログラムが頻繁に利用されていることからも明らかなように、多くの参加者は、暗号分野における NIST の専門性を尊重し、信頼していました。

“I primarily trust NIST…” (C02)

「私は主に NIST を信頼しています……。」(C02)

“I'm repeatedly impressed by working with people at NIST how competent they are, and how easy it is to work with them compared to a lot of other organizations.” (C20)

「NIST の人々と仕事をして、彼らがどれほど有能か、他の多くの組織と比べてどれほど仕事がしやすいかに、繰り返し感銘を受けています。」(C20)

However, three participants commented on distrust of government standards because of allegations of government agencies purposely trying to weaken cryptographic algorithms. This allegation also damaged trust in NIST by association. One participant, who had a favorable view of NIST, but recognized the distrust of others, suggested:

しかし、3 人の参加者は、政府機関が意図的に暗号アルゴリズムを弱めようとしているという疑惑のために、政府標準への不信があると述べました。この疑惑は、関連づけられた NIST への信頼も損ないました。NIST に好意的な見方をしながらも、他の人々の不信を認識していた 1 人の参加者は、次のように提案しました。

“…seeing NIST taking a seat at the larger community table and leading with your expertise there, and making that available to a large variety of ombudsman, technology-research organizations, etc., could really foster a great collaboration, and then also essentially increase your reach as well into those organizations. I hate to say it. You guys lost a little bit of credibility over the past couple of years. So any kind of outreach to those organizations, I think, could repair some of those relationships.” (C16)

「……NIST がより広いコミュニティの席に着き、そこで専門性を発揮して主導し、それを多様なオンブズマン、技術研究機関などに提供することで、本当に素晴らしい連携を促進でき、さらにそれらの組織への働きかけの範囲も実質的に広がるでしょう。こんなことは言いたくないのですが、皆さんはここ数年で、少し信頼を失いました。ですから、それらの組織へのどのような働きかけも、そうした関係のいくつかを修復できると思います。」(C16)

Although one participant’s organization made extensive use of standards, he scrutinized these due to his perception that governments try to purposely weaken algorithms for their own gain:

ある参加者の組織は標準を幅広く使っていましたが、その参加者は、政府が自らの利益のために意図的にアルゴリズムを弱めようとしていると認識していたため、それらを入念に精査していました。

“The second problems are governments who with their consistent attempts to make bad standards-- to impact standards, break cryptography-- get bad cryptography into specs. They're very good at doing that and we have to be vigilant and work against that. And we do. And I encounter that on a regular basis.” (C05)

「2つ目の問題は政府です。政府は、一貫して悪い標準を作ろうとし、標準に影響を与え、暗号を破ろうとして、仕様に悪い暗号を入り込ませます。政府はそれがとても得意なので、私たちは警戒し、それに対抗しなければなりません。実際に対抗していますし、私は定期的にそうした事例に遭遇します。」(C05)

A consulting company participant observed that many of his customers distrusted government standards. This distrust, coupled with perceived usability problems with most cryptographic product interfaces, led his company to justify the development of their own crypto primitive:

コンサルティング会社の参加者は、自社の顧客の多くが政府標準を信頼していないことに気づきました。この不信感と、大半の暗号製品のインターフェースに使い勝手の問題があるという認識から、その会社は、独自の暗号プリミティブを開発することを正当化するに至りました。

“I think it comes from the Snowden revelations and news reports or exposés that say this standard may not be as secure as we think. In this post-Snowden world, there is a lot of doubt out there. And those individuals who have concerns over privacy, and over security of information, have to be convinced that maybe that the standard is not one that is exploitable, or somebody is reading their secrets. Of course, at the same time, in my opinion, you can never know what an adversary can do. You don't know what their level of technology is, and their capabilities, and the resources that they have, so there's never an answer to that. It's constant back and forth. That's why there has to be additional options and alternatives out there.” (C06)

「それは、Snowdenによる暴露や、この標準は私たちが考えているほど安全ではないかもしれないと伝えるニュース報道や暴露記事から来ているのだと思います。このSnowden以後の世界では、多くの疑念があります。プライバシーや情報のセキュリティを懸念する人々には、その標準が悪用可能なものではないか、あるいは誰かが自分たちの秘密を読んでいるのではないかという疑念を払拭してもらう必要があります。もちろん同時に、私の意見では、敵対者に何ができるかは決して分かりません。敵対者の技術水準や能力、保有するリソースは分からないので、それについて答えが出ることはありません。常にいたちごっこです。だから、追加の選択肢や代替案が必要なのです。」(C06)

6. Summary

6. まとめ

This report enumerates NIST-specific comments made by participants during an interview study of organizations that develop cryptographic products. Participants described the benefits of NIST standards and testing/validation programs as providing a quality implementation foundation, adding assurance, and being widely accepted by customers. Standards challenges included complexity, lack of incorporating real-world context, update disruption to product lifecycles, lack of consistency in some documents, and shortfalls in testing support. Testing and validation challenges included complexity and lack of understanding of the requirements, the large resource burden to undergo certification, a perception of the lack of security value, and confusion over certifications of third party crypto components. In addition to voicing the pros and cons of NIST cryptographic resources, participants also provided suggestions for improving cryptography education for customers and developers as well as insight into their trust of NIST and other government organizations within the cryptographic context.

本報告書は、暗号製品を開発する組織を対象としたインタビュー調査で、参加者が述べた NIST に特有の発言を列挙したものです。参加者は、NIST の標準と試験・検証プログラムの利点として、品質の高い実装の基盤を提供すること、保証を加えること、顧客に広く受け入れられていることを挙げました。標準の課題には、複雑さ、実世界の背景事情を取り込んでいないこと、更新による製品ライフサイクルへの混乱、一部の文書における一貫性の欠如、試験支援の不足が含まれていました。試験と検証の課題には、要件の複雑さと理解不足、認証を受けるための大きなリソース負担、セキュリティ上の価値が欠けているという認識、サードパーティ製の暗号コンポーネントの認証をめぐる混乱が含まれていました。参加者は、NIST の暗号リソースの長所と短所を述べることに加えて、顧客と開発者のための暗号教育を改善するための提案や、暗号の文脈における NIST その他の政府組織への信頼についての見解も提供しました。

References

参考文献

[1] Acar Y, Backes M, Fahl S, Kim D, Mazurek ML, Stransky C (2016) You get where you’re looking for: The impact of information sources on code security. Proceedings of the 37th IEEE Symposium on Security and Privacy, pp 289–305.

[1] Acar Y, Backes M, Fahl S, Kim D, Mazurek ML, Stransky C (2016) You get where you’re looking for: The impact of information sources on code security. Proceedings of the 37th IEEE Symposium on Security and Privacy, pp 289–305.

[2] Duong T, Rizzo J (2011) Cryptography in the web: The case of cryptographic design flaws in ASP.NET. Proceedings of the 31st IEEE Symposium on Security and Privacy, pp 481–489.

[2] Duong T, Rizzo J (2011) Cryptography in the web: The case of cryptographic design flaws in ASP.NET. Proceedings of the 31st IEEE Symposium on Security and Privacy, pp 481–489.

[3] Egele M, Brumley D, Fratantonio Y, Kruegel C (2013) An empirical study of cryptographic misuse in Android applications. Proceedings of the 2013 ACM SIGSAC Conference on Computer & Communications Security (CCS ’13), pp 73–84.

[3] Egele M, Brumley D, Fratantonio Y, Kruegel C (2013) An empirical study of cryptographic misuse in Android applications. Proceedings of the 2013 ACM SIGSAC Conference on Computer & Communications Security (CCS ’13), pp 73–84.

[4] Fahl S, Harbach M, Muders T, Baumgartner L, Freisleben B, Smith, M (2012) Why Eve and Mallory love Android: An analysis of Android SSL (in)security. Proceedings of the 2012 ACM Conference on Computer and Communications Security (CCS ’12), pp 50–61.

[4] Fahl S, Harbach M, Muders T, Baumgartner L, Freisleben B, Smith, M (2012) Why Eve and Mallory love Android: An analysis of Android SSL (in)security. Proceedings of the 2012 ACM Conference on Computer and Communications Security (CCS ’12), pp 50–61.

[5] Nadi S, Kruger S, Mezini M, Bodden E (2016) Jumping through hoops: Why do Java developers struggle with cryptography APIs? Proceedings of the 38th International Conference on Software Engineering (ICSE ’16), pp 935–946.

[5] Nadi S, Kruger S, Mezini M, Bodden E (2016) Jumping through hoops: Why do Java developers struggle with cryptography APIs? Proceedings of the 38th International Conference on Software Engineering (ICSE ’16), pp 935–946.

[6] Haney JM, Theofanos MF, Acar Y, Prettyman SS (2018) “We make it a big deal in the company”: Security mindsets in organizations that develop cryptographic products. Proceedings of the 14th Symposium on Usable Privacy and Security, pp 357-373.

[6] Haney JM, Theofanos MF, Acar Y, Prettyman SS (2018) “We make it a big deal in the company”: Security mindsets in organizations that develop cryptographic products. Proceedings of the 14th Symposium on Usable Privacy and Security, pp 357-373.

[7] National Institute of Standards and Technology (2001) Security requirements for cryptographic modules, Federal Information Processing Standard Publication 140-2, http://csrc.nist.gov/publications/ fips/fips140-2/fips1402.pdf [accessed 8/1/2018]

[7] National Institute of Standards and Technology (2001) Security requirements for cryptographic modules, Federal Information Processing Standard Publication 140-2, http://csrc.nist.gov/publications/ fips/fips140-2/fips1402.pdf [accessed 8/1/2018]

[8] Internet Engineering Task Force (2018). IETF. Online https://www.ietf.org/

[8] Internet Engineering Task Force (2018). IETF. Online https://www.ietf.org/

[9] International Organization for Standardization (2018). Standards [Web site], https://www.iso.org/standards.htmls

[9] International Organization for Standardization (2018). Standards [Web site], https://www.iso.org/standards.htmls

[10] National Institute of Standards and Technology (2018). Cryptographic standards and guidelines [Web site], https://csrc.nist.gov/Projects/Cryptographic-Standards-and-Guidelines [accessed on 11/15/18]

[10] National Institute of Standards and Technology (2018). Cryptographic standards and guidelines [Web site], https://csrc.nist.gov/Projects/Cryptographic-Standards-and-Guidelines [accessed on 11/15/18]

[11] National Institute of Standards and Technology (2018) Cryptographic Algorithm Validation Program [Web site], https://csrc.nist.gov/Projects/Cryptographic-Algorithm-Validation-Program [accessed on 11/15/18]

[11] National Institute of Standards and Technology (2018) Cryptographic Algorithm Validation Program [Web site], https://csrc.nist.gov/Projects/Cryptographic-Algorithm-Validation-Program [accessed on 11/15/18]

[12] National Institute of Standards and Technology (2018) Cryptographic Module Validation Program [Web site], https://csrc.nist.gov/projects/cryptographic-module-validation-program [accessed on 11/15/18]

[12] National Institute of Standards and Technology (2018) Cryptographic Module Validation Program [Web site], https://csrc.nist.gov/projects/cryptographic-module-validation-program [accessed on 11/15/18]

[13] National Institute of Standards and Technology (2018). National voluntary laboratory accreditation program (NVLAP) [Web site], https://www.nist.gov/nvlap [accessed on 11/15/18]

[13] National Institute of Standards and Technology (2018). National voluntary laboratory accreditation program (NVLAP) [Web site], https://www.nist.gov/nvlap [accessed on 11/15/18]

[14] Patton MQ (2005) Qualitative research (John Wiley & Sons, San Francisco, CA).

[14] Patton MQ (2005) Qualitative research (John Wiley & Sons, San Francisco, CA).

[15] Dell Incorporated (2018) RSA Conference: Where the world talks security. Online https://www.rsaconference.com/

[15] Dell Incorporated (2018) RSA Conference: Where the world talks security. Online https://www.rsaconference.com/

[16] Corbin J, Strauss A (2015) Basics of Qualitative Research: Techniques and Procedures for Developing Grounded Theory (Sage Publications, Thousand Oaks, CA) 4th Ed.

[16] Corbin J, Strauss A (2015) Basics of Qualitative Research: Techniques and Procedures for Developing Grounded Theory (Sage Publications, Thousand Oaks, CA) 4th Ed.

[17] Merriam S, Tisdell E (2016) Qualitative Research: A Guide to Design and Implementation (John Wiley & Sons, San Francisco, CA), 4th Ed.

[17] Merriam S, Tisdell E (2016) Qualitative Research: A Guide to Design and Implementation (John Wiley & Sons, San Francisco, CA), 4th Ed.

[18] Glaser BG, Strauss AL (2009) The Discovery of Grounded theory: Strategies for Qualitative Research (Transaction Publishers).

[18] Glaser BG, Strauss AL (2009) The Discovery of Grounded theory: Strategies for Qualitative Research (Transaction Publishers).

[19] Saldaña J (2015) The Coding Manual for Qualitative Researchers (Sage) 3rd Ed.

[19] Saldaña J (2015) The Coding Manual for Qualitative Researchers (Sage) 3rd Ed.

[20] Gartner (2018) IT glossary: Small and midsize business (SMB). Online http://www.gartner.com/it-glossary/smbs-small-and-midsize-businesses/ [accessed on 8/1/2018]

[20] Gartner (2018) IT glossary: Small and midsize business (SMB). Online http://www.gartner.com/it-glossary/smbs-small-and-midsize-businesses/ [accessed on 8/1/2018]

[21] Headd B (2015) The role of microbusinesses in the economy, https://www.sba.gov/sites/default/files/Microbusinesses_in_the_Economy.pdf [accessed on 8/1/18]

[21] Headd B (2015) The role of microbusinesses in the economy, https://www.sba.gov/sites/default/files/Microbusinesses_in_the_Economy.pdf [accessed on 8/1/18]

[22] Donaldson SI, Grant-Vallone EJ (2002) Understanding self-report bias in organizational behavior research. Journal of Business and Psychology, 17(2):245–260.

[22] Donaldson SI, Grant-Vallone EJ (2002) Understanding self-report bias in organizational behavior research. Journal of Business and Psychology, 17(2):245–260.

[23] Common Criteria (2018) The Common Criteria [Web site], https://www.commoncriteriaportal.org/ [accessed 8/1/2018]

[23] Common Criteria (2018) The Common Criteria [Web site], https://www.commoncriteriaportal.org/ [accessed 8/1/2018]

Appendix: Interview Questions

付録: インタビューの質問

1.Can you tell me about your organization - what it does, what it produces?

1.貴組織について、何をしていて、何を生み出しているのかを教えていただけますか。

2.What is your role within your organization with respect to cryptographic products?

2.暗号製品に関して、貴組織内でのあなたの役割は何ですか。

3.How did you get into this field?

3.この分野に入ったきっかけは何ですか。

(a)At what point and why did you become concerned with cryptography and secure development?

(a)どの時点で、なぜ、暗号技術とセキュアな開発に関心を持つようになりましたか。

(b)In which field(s) is your formal education?

(b)正規の教育を受けた分野は何ですか。

4.Do you work in a unit or department that is part of a larger organization?
If yes : What is the size of the unit or department?

4.より大きな組織の一部である部署や部門で働いていますか。
はいの場合: その部署や部門の規模はどれくらいですか。

(a)What is the size of your overall organization?

(a)組織全体の規模はどれくらいですか。

5.Can you tell me about the kinds of products that your organization develops, and specifically those that use cryptography?

5.貴組織が開発している製品の種類、特に暗号技術を使うものについて教えていただけますか。

6.Who are the typical customers for your products that use cryptography?

6.暗号技術を使う貴社の製品の典型的な顧客はどなたですか。

7.How long has your organization been working on products that use cryptography?

7.貴組織は、暗号技術を使う製品にどれくらいの期間取り組んできましたか。

8.Is cryptography your organization’s primary business focus, or is it an enabler within your products?

8.暗号技術は貴組織の主たる事業の焦点ですか。それとも、製品内の実現手段ですか。

9.For your products that use cryptography, what processes or techniques , if any, does your organization use to minimize bugs and errors in code during the development process?

9.暗号技術を使う貴社の製品について、開発の過程でコードのバグや誤りを最小限にするために、貴組織はどのようなプロセスや技法を使っていますか(あれば)。

(a)Why does your organization choose to use these methods? [only use if the participant has difficulty coming up with response:] for example, industry standard, customer demand, robustness and quality

(a)貴組織は、なぜこれらの方法を使うことにしましたか。[参加者が回答を思いつくのに苦労している場合にのみ使用:]たとえば、業界標準、顧客の要望、堅牢性と品質

10.What processes or techniques does your organization use to test and validate the cryptographic component in your products?

10.貴社の製品の暗号コンポーネントを試験し検証するために、貴組織はどのようなプロセスや技法を使っていますか。

(a)Why does your organization choose to use these methods? [only use if participant has difficulty coming up with response:] for example, industry standard, customer demand, robustness and quality

(a)貴組織は、なぜこれらの方法を使うことにしましたか。[参加者が回答を思いつくのに苦労している場合にのみ使用:]たとえば、業界標準、顧客の要望、堅牢性と品質

(b)What kind of end-user testing, if any, does your organization do to prevent customers from misconfiguring or misusing the cryptographic component in your products?

(b)顧客が貴社の製品の暗号コンポーネントを誤って設定したり誤用したりするのを防ぐために、貴組織は、どのようなエンドユーザー試験を行っていますか(あれば)。

11.Does your organization do any certifications or third-party testing?

11.貴組織は、何らかの認証を取得したり、第三者による試験を受けたりしていますか。

(a)What reasons led you to decide to use certifications or third-party testing?

(a)認証を取得したり第三者による試験を受けたりすることを決めた理由は何ですか。

(b)How do you establish confidence in the results of the certifications or third-party testing?

(b)認証や第三者による試験の結果に対する信頼を、どのように確立していますか。

(c)What are the challenges or issues your organization has experienced with certifications or third-party testing, if any?

(c)認証や第三者による試験について、貴組織が経験した課題や問題は何ですか(あれば)。

12.What, if any, are your organization’s biggest challenges with respect to developing and testing cryptography within your products?

12.貴社の製品内で暗号技術を開発し試験するうえでの、貴組織の最大の課題は何ですか(あれば)。

(a)How do you think these challenges can be overcome, if at all?

(a)これらの課題は、どうすれば克服できると思いますか(克服できるとすれば)。

(b)Has your organization experienced a tension between secure development and testing and getting a product to market? If so, how has that impacted your organization’s processes?

(b)貴組織は、セキュアな開発・試験と、製品を市場に出すこととの間の緊張を経験しましたか。経験した場合、それは貴組織のプロセスにどのような影響を与えましたか。

13.Do your customers have specific requirements regarding development and testing? If so, what are those requirements?

13.顧客は、開発と試験に関して特定の要件を持っていますか。持っている場合、その要件は何ですか。

14.How do updates impact your development and testing processes, if at all? (time-sensitive vs. deprecation)

14.更新は、貴組織の開発・試験プロセスにどのような影響を与えますか(あれば)。(時間的制約か廃止か)

15.What resources do you use to help you develop and test the cryptographic component of your products? [only use if participant has difficulty coming up with response:] for example, standards, industry specifications, books, academic papers, standard libraries, APIs

15.貴社の製品の暗号コンポーネントの開発と試験に役立てるために、どのようなリソースを使っていますか。[参加者が回答を思いつくのに苦労している場合にのみ使用:]たとえば、標準、業界仕様、書籍、学術論文、標準ライブラリ、API

(a)What are the reasons that your organization chooses to use those particular resources?
If the participant does NOT use standards: What are the reasons that your organization does not use standards?

(a)貴組織がそれらの特定のリソースを使うことにした理由は何ですか。
参加者が標準を使っていない場合: 貴組織が標準を使わない理由は何ですか。

16.[If the participant uses standards:] What kinds of standards do you use?

16.[参加者が標準を使っている場合:]どのような種類の標準を使っていますか。

(a)What is the role of standards in your organization’s development and testing processes?

(a)貴組織の開発・試験プロセスにおいて、標準はどのような役割を果たしていますか。

(b)What do you see as the value or benefit of using these standards, if any?

(b)これらの標準を使うことの価値や利点は何だと考えますか(あれば)。

17.How could standards or other cryptographic resources be improved to be more useful?

17.標準やその他の暗号リソースは、より役立つものにするために、どのように改善できますか。

(a)How could NIST standards and guidance be improved to be more useful?

(a)NIST の標準とガイダンスは、より役立つものにするために、どのように改善できますか。

18.Is there anything else you’d like to add about the topics we’ve discussed?

18.これまでに議論したトピックについて、ほかに付け加えたいことはありますか。