人工知能はセキュリティの夢を見るか？ 「セキュリティ関係者のためのAIハンドブック」が公開されました
前回の記事で触れたとおり、この１年間、私はIPAが実施する「第5期中核人材育成プログラム」に参加していました。
その最終段階として、グループごとに設定した課題*1の解決に取り組む「卒業プロジェクト」があり、その一部は成果物を一般公開しています。
前回の記事でご紹介した「セキュリティエンジニアのための English Reading」もそのひとつです。
第5期は以前の期と比べても多くのプロジェクトが一般公開を目標に活動していました。すでに歴代最多の 7個のプロジェクトの成果物が IPA のサイトで公開されています。
(しかもこれで全部ではないようです。順次公開されるものと思われますので↓のリンクからご確認ください)
そのうち私の関わったプロジェクトのひとつである「セキュリティ関係者のためのAIハンドブック」が先日公開されました。
本日はこちらをご紹介します。
もはや「今さら聞けない」存在になりつつある AI・機械学習とセキュリティの関わりについて、一通り押さえることができる一冊になっていると自負しています。
ぜひご一読いただければ幸いです。
「セキュリティ関係者のためのAIハンドブック」って何？
- 「セキュリティ」と「AI」の関わりを扱った 50 ページちょっとの無料 PDF
- 「AI をセキュリティに活用する」「AI のセキュリティを守る」の両方向から AI とセキュリティを扱う点に特色あり
- AI に詳しくないセキュリティ技術者・セキュリティに詳しくない AI 技術者の両方が利用できる内容
- あくまで第5期受講生の作成したもので、IPA の公式見解ではないのでご了承ください
プロジェクトの背景
※ 私の個人的解釈全開で、プロジェクトメンバーの総意でも何でもありません。
まして監修の先生方や IPA の見解とはまったく関係ありません。
近年、AI がブームです。
根拠レスで大変恐縮ですが、いちいち根拠を持ち出さずとも「AI がブームである」こと自体は多くの方に首肯いただけるのではないでしょうか。
IT 系・産業系のメディアでは毎日のように「AI を使った○○サービス提供開始」という文言が躍り、
本屋さんでは月に何冊も「はじめての AI・機械学習」のようなタイトルの本が新刊として並び、
セキュリティの世界に限ってさえ「AI を駆使した当社の○○ソリューションが未知の攻撃も防御します」というようなキャッチコピーがあふれています。
ちょっと身の回りを見渡せば、「みんな AI に夢中になってるんだな～」ということは嫌でも感じ取れます。
すなわち、セキュリティ業界に身を置く自分も、いつまでも無関心ではいられないということです。
セキュリティ技術者として気になる点は主に 2つあります。
- 自分の組織に AI を用いた製品やサービスを導入する際に気をつけるべきことは何か。従来の製品・サービスの導入と比較してどうか。
- 自社の事業などに AI を導入するにあたり、セキュリティ面で注意しなければいけないことはないか。従来のシステムとは違うリスクはないか。
1. は「AI を活用したサイバーセキュリティ対策」、2. は「AI そのものを守るセキュリティ」と言い換えられます。
つまり「AI →セキュリティ」「セキュリティ→ AI」と、逆向きの２つのベクトルからなります。
(もちろん、この両方を必要とするかどうかは人によります)
私たちが調べた限り、この両方を取り扱い、しかも AI に詳しくない人が一から読んで理解できるようになっているドキュメントは確認できませんでした。
「ないなら自分たちで作ればいい」
ということで作ったのが「セキュリティ関係者のためのAIハンドブック」です。
本ハンドブックの構成
本ハンドブックの、導入・総括部分を除いた内容は次の 4 要素です。
- セキュリティのための AI（機械学習）知識（第2章）
- AI を活用したサイバーセキュリティ対策（第3章）
- AI のセキュリティ（第4章）
- 関連事項（第5章）
セキュリティのための AI（機械学習）知識（第2章）
セキュリティを考える前にまず「AI (機械学習)*2 とは何なのか」を一通り説明します。
一言で「AI (機械学習) で何々ができる」と言っても機械学習にもいろいろありますし、一方で「学習プロセスと推論プロセスが必要である」「学習用データが必要で、その品質が推論の精度に影響する」といった共通する性質もあります。
これらを一通り押さえておくことが、後のセキュリティとの関わりを理解するうえで重要になります。
また、AI の活用事例についても家電から産業利用までいくつか紹介しています。
AI を活用したサイバーセキュリティ対策（第3章）
本ハンドブックの大きな柱の片方、「AI →セキュリティ」を扱うのが本章です。
AI がセキュリティ分野においてどのように活用されているか大まかに紹介した後、それらを企画・導入・運用するうえで気をつけることを５つの留意点としてまとめています。
これをどのようにまとめるかはメンバー間でも議論のあったところですが、最終的には５点に集約する運びとなりました。
これだけ AI を用いたセキュリティ製品が出回っているにも関わらず、「セキュリティのために AI を利用する」ためのガイドとなる文書はほとんどなく*3、本章は特に手探りでの作成となりました。
それだけに不備もあるかと思われますが、これを起点に、あるいはその批判の中から、より優れた指針が生まれることを著者の一人としては期待しています。
AI のセキュリティ（第4章）
本ハンドブックの大きな柱のもう一方、「セキュリティ→ AI」を扱います。
実のところ、現在特に AI への攻撃が活発になされているということはないのですが、今後どうなるかは何とも言えませんし、AI に限らずシステムを安全にするにはあらかじめそのつもりで設計・構築する方が良いので、やや時代を先取りして取りまとめています。
そのため、「セキュリティが本業の方」だけでなく、AI システム開発が本業の方にセキュリティを意識してもらうという面が大きいのが本章の特徴です。
執筆も実務でシステム開発に携わるメンバーを中心に行われました。
AI に対する脅威を理解するには、「開発ライフサイクルのどの段階を狙う攻撃なのか」「どのセキュリティの要素 (いわゆる CIA) を損なう攻撃なのか」などを考慮する必要があり、しかも肝心のライフサイクルのあり方が一様ではない*4のでなかなか難しいのですが、本ハンドブックでは「ポイズニング（汚染）攻撃」「回避攻撃」「神託攻撃」の３種類に分類しています。
詳細が気になる方はハンドブックに記載の参考文献のほか、次のサイトなどをご参照ください。
関連事項（第5章）
AIガバナンス、倫理、プライバシーなど関連する事項を簡潔に紹介しています。
最近では国内企業でも AI ガバナンスや AI 倫理を専門に扱う部署を設置したり、会議体を設けて議論したりといった動きが生まれています。
今後 AI の利用やそのセキュリティについて考えるうえで、これらの観点は欠かせないという考えから盛り込んでいます。
ただ、これらのそれぞれが奥の深い世界であり、真剣に扱おうとするとそれだけで一冊になってしまうので、本ハンドブックではあくまで簡単な紹介にとどめています。
その他
「中核人材育成プログラム」には、日本全国の様々な業種の企業から受講生が参加しています。
本プロジェクト「セキュリティ関係者のためのAIハンドブック」にも複数の業界のメンバーが参画しており、結果として多様な視点を盛り込むことができました。
とりわけ「IT = 情報技術よりも OT = 産業制御技術を本業とするメンバーがいる」ことが本ハンドブックの特色だと感じています。
その一端を表すのが、コラムとして掲載している「OT 分野における AI 活用とセキュリティ」です。
AI (機械学習) の利用は IT システムにとどまらず、工場やプラントのような物理的作用を持ち、社会インフラを支える領域にも広がりつつあります。
その現場を知るメンバーが書き下ろした貴重な１稿になっています。
ぜひご一読ください。
プロジェクトで苦労したこと
ここからはプロジェクト推進にまつわる話、というか個人的総括です。
おそらくどのプロジェクトもそうだと思いますが、実行に際しては様々な困難に見舞われました。
AI (機械学習) への理解の欠如
……と言えば何かすごいことみたいですが、要は「自分たちがよくわかってない」ということです。
集まったメンバーの多くは AI の専門家ではなく、それどころか AI について学んだこと自体ほとんどありませんでした。
(だからこそこの機会にいっちょやってみるか、というのが参加の主な動機だったりします。少なくとも私はそうでした)
そのためセキュリティについて考える以前にまず「AI・機械学習って何？」というところから学習を始める必要がありました。
その学習の過程で産業サイバーセキュリティセンターの講師の方々には大変お世話になりました。
見解の不一致
「AI とは何か」「AI 活用セキュリティ製品とは何か」などという定義の話*5。
「文献の読み込みに力を入れるか、ハンズオンを重視するか」といった進め方の話*6。
「ハンドブックに各種情報を豊富に盛り込むか、読みやすさを重視して削るか」といった粒度の話。
何かにつけて意見が一致せず、集団で何かを進めることの難しさを痛感しました。
共同執筆という難しさ
ある程度担当するパートを割り振って分担執筆していたのですが、これをガッチャンコすれば完成品ができるかというとそんなことはなく。
担当者によって書き方の粒度や体裁、記法が全然違ったり。
一旦執筆したパートが、全体の構成見直しにより必要なくなったり*7。
私自身は「本ハンドブックは事前知識に乏しい人を主な対象とするのだから、少しでも読みやすくした方がよい」との考えから、表記揺れを直したり難しい漢字をひらがなに開いたり１文を短くしたりすることにかなり気をつかいました。
その過程で他のメンバーの担当分に勝手に手を入れまくったのですが、それであまりトラブルにならずに済んだのはメンバーに恵まれたおかげだったと今となっては思います。
最後に
メンターの先生方や事務局の方、そのほか大勢の方々。
本プロジェクトが成果物の公開にまで至れたのは、皆様方のご尽力によるものです。
この場で御礼申し上げます。
同じ目標に向かって取り組んできたプロジェクトメンバーの受講生の皆様。
まずはお疲れさまでした。これからはそれぞれの舞台でセキュリティ向上に取り組んでいきましょう。
本プロジェクトの実現に際して決定的な役割を果たしたリーダーの S さん。
本プロジェクトが企画されなければ今でも私は「みんな AIAI って言ってるけどなんかよくわかんないな～～」という状態だったと思います。企画を立ち上げ、また私を誘っていただいたことに感謝しています。
相変わらずパワポ資料に悪戦苦闘されているようですがどうかご自愛ください。それこそ AI にやらせたら？
*1:課題を提起した人がリーダーとなってグループを統率しプロジェクトを推進します。課題は大まかに IT・OT セキュリティに関係していれば特に制限はなく (所属企業の意向に左右されることはあり得ますが)、自分たちで考えます。
*2:AIイコール機械学習ではないことは承知していますが、本ハンドブックでは機械学習を主な対象としています。
*3:具体的技術ではなく、それを製品として利用する立場のためのものとしては
*4:これ自体は AI システムに限った話ではありません。AI 特有の事情としては、例えば「運用段階で得たデータをもとに再学習することがあったりなかったりする」ことが挙げられます。
*5:同じ言葉を使っているのに思い浮かべているものが異なるために話が食い違う、という現象はこのプロジェクトに限らずよくあり、ちゃんと定義して認識を合わせることの大事さを痛感しました。私が主導したプロジェクト「セキュリティエンジニアのための English Reading」はほとんど終始一人で進めたのですが、その理由の一つはこのコミュニケーションコストがバカにならないからだったりします。まあ、それはそれで別の困難があったのですが……
*6:ハンドブックでは言及していませんが、プロジェクトメンバーの学習の過程でいくつかハンズオン演習を実施しています。
*7:「せっかく書いてもらったけど、やっぱりそのパートは全部ボツにします」とはたとえ必要でも言いにくいものなので、執筆担当者としては自分の担当分がそういう扱いになっても恨まないようにして、かつその姿勢を見せるように心がけていました。
