訓練の結果の見方：開封率・リスク行動率・報告率をどう評価するか

訓練の結果に出てくる3つの指標とは

標的型メール訓練を行うと、結果として「開封率」「リスク行動率（クリック率）」「報告率（通報率）」などの数字が出てきます。指標（KPI）とは、取り組みがうまくいっているかを測るための目安の数字のことです。

数字が出ると、つい「高いか低いか」だけを見てしまいがちです。しかし、それぞれの指標は測っているものが違い、同じ訓練でも文面の難しさや数え方によって大きく変わります。まずは、それぞれの意味を押さえましょう。

指標	何を測るか	見たい方向
開封率	訓練メールを開いた（本文を表示した）人の割合	参考として見る
リスク行動率	リンクのクリック・添付ファイルの開封・情報の入力など、被害につながる行動をした人の割合	下がっていくこと
報告率	不審なメールだと気づいて、決められた窓口に報告した人の割合	上がっていくこと

なお、「開封率」という言葉は、資料やサービスによって指すものが違います。総務省の実態調査では、添付ファイルの開封率とURLのクリック率をまとめて「開封率」と呼んでいます。結果を読むときは、まず定義を確認しましょう。

それぞれの指標の数え方

開封率

メールを開いたかどうかは、訓練サービスが記録のしくみを使って集計します。ただし、メールを開くこと自体は、中身を確かめるために必要な行動でもあります。開いただけで被害が出るとは限らないため、開封率は「どれくらいの人がメールを目にしたか」の参考として扱うとよいでしょう。

リスク行動率（クリック率・添付ファイル開封率）

リスク行動率は、次のように数えることをおすすめします。

• クリック率 ＝ リンクをクリックした人数 ÷ 訓練メールが届いた人数 × 100
• 添付ファイル開封率 ＝ 添付ファイルを開いた人数 ÷ 訓練メールが届いた人数 × 100

1人が何回クリックしても「1人」と数えること、分母は送った件数から届かなかった件数（送信エラー）を引いた数にすること、の2点を決めておくと、回ごとの比較がしやすくなります。

報告率（通報率）

報告率は、分母の取り方で意味が変わります。総務省行政評価局の実態調査（2021年）は、各府省庁の訓練を分析する中で、報告を確かめる方法を次の2つに分けています。

• 訓練メールを開封した人のうち、決められた報告先に報告した人数を把握する → 「失敗したあとに報告できたか」を見る
• 開封した人・しなかった人を含めた対象者全体のうち、報告した人数を把握する → 「気づいて知らせる習慣が広がっているか」を見る

同じ調査では、報告までを訓練の中に位置づけていたのは約4割にとどまり、多くは開封率やクリック率の把握が中心でした。どちらの分母を使うかを最初に決め、毎回同じ定義で集計しましょう。報告率の考え方は「報告率とは」で詳しく解説しています。

数字を見るときの注意点

記録の誤差がある

クリックや開封の記録には、本人の操作ではないものが混じることがあります。Microsoftの公式ドキュメントは、次のような例を挙げています。

• 訓練メールを転送・返信すると、転送先でのセキュリティ機能による自動チェックが、元の受信者のクリックとして記録されることがある
• メールソフトの追加機能、メールのセキュリティ製品、ウイルス対策ソフトなどが訓練メールを調べると、予期しないクリックが記録されることがある

同じドキュメントは、配信の数秒後に起きたクリックや、Microsoft・自社・利用者のいずれのものでもないアクセス元からのクリックは、別の仕組みによるものの可能性があるとしています。数字をそのまま受け取らず、明らかにおかしい記録を除いてから評価しましょう。

文面の難しさで数字は大きく変わる

Microsoftの訓練機能では、訓練メールの「複雑さ」を、攻撃の可能性を示す手がかり（スペルミスや緊急性など）の数で分けています。手がかりが少ない文面ほど見分けにくくなるため、難しい文面を使えばリスク行動率は上がりやすくなります。

そのため、回ごとに文面の難しさが違うと、数字の上下が社員の力の変化なのか、文面の違いなのかが区別できません。難しい文面で数字が悪くなっても、社員の力が落ちたとは限らない点に注意しましょう。

他社の平均と比べない

「業界平均と比べてどうか」を知りたくなりますが、文面・送り方・数え方が違う訓練どうしの数字は、そのままでは比べられません。当サイトでは、公的な調査による業界全体の平均値が見当たらないため、平均値は載せていません。比べる相手は、同じ条件で行った自社の過去の訓練です。

自社の前回と比べる評価のしかた

前回と比べるときは、次の点をそろえます。

• 指標の定義（分母・数え方）
• 文面の難しさ：毎回、難しさを固定した文面を1つ入れておくと比べやすくなります
• 対象者：部署・役職・新しく入った社員の扱い
• 時期と送り方：一斉に送るか、時間をずらすか。予告したかどうか

部署別・役職別に見る

全体の数字だけでなく、部署別・役職別に分けて見ると、教育を重点的に行うべきところがわかります。IPAの「サイバーセキュリティ経営ガイドライン Ver3.0実践のためのプラクティス集」には、教育や訓練の結果を部署ごとに分析している企業で、経営層の開封率がほかの従業員より高い傾向にあったことから、外部講師による経営層向けの研修会を行った事例が載っています。ただし、個人や部署を責めるための材料にしないことが前提です。

開封率と報告率をセットで見る

同じプラクティス集には、開封率だけでなく報告率も測った企業の例があります。部署ごとの結果では、開封率は高いが報告率も高い部署と、開封率は低いが報告率も低い部署がありました。この企業は、報告率が低い部署にも「適時に報告すること」を周知しています。開封率だけを見ていると、後者の部署の課題は見落とされます。

「報告までの時間」も見る

IPAは、訓練の目的の例として、然るべき部門や担当者が報告を受けるまでの時間を測ることを挙げています。プラクティス集の事例でも、報告率が低い、または報告が遅い傾向がある場合に、アンケートで原因を調べて個別にフォローしています。報告の早さは、被害を小さくできるかどうかに関わる指標です。

数字の目標の置き方

クリックや開封を「ゼロ」にすることを目標に掲げるより、リスク行動を少しずつ減らしながら、報告率と報告の早さを上げていくことを目標にすることをおすすめします。

IPAの資料「企業組織を狙う攻撃メールの手口とその対策」は、メールの自動チェックをすり抜けた攻撃メールを利用者が報告することも「検知の一環」と考えられるとし、訓練では不審なメールの報告を手順どおりに行うところまで練習するよう求めています。プラクティス集の事例でも、ふだんから「開封しない」ではなく「開封した場合は報告する」ことを周知しています。

結果を次の訓練につなげる

結果を見たら、次の3点を整理しておくと、次回の訓練と教育に生かせます。

1. 前回と比べて何が変わったか：定義と条件をそろえたうえでの変化
2. どこに課題があるか：部署・役職・行動の種類（クリック、添付ファイル、入力）ごと
3. 次に何をするか：教育の内容、報告の手順の見直し、文面の難しさの調整

訓練サービスによって、集計できる指標や部署別の表示のしかたは違います。どの指標を見られるかは比較表で確認してください。

まとめ

• 開封率・リスク行動率・報告率は、それぞれ測っているものが違う。同じ言葉でも定義が違うことがある
• 数え方（分母・1人1回）を決め、毎回同じ定義で集計する
• 転送や自動チェックによる誤った記録を除いてから評価する
• 文面の難しさで数字は大きく変わるため、他社の平均ではなく、条件をそろえた自社の前回と比べる
• クリック・開封「ゼロ」ではなく、リスク行動を減らしつつ報告率と報告の早さを高めることを目標にする