AIは、業務の効率化だけでなく、新規事業の創出、研究開発の高度化、製造プロセスの最適化など、企業の競争力に関わる領域へ活用が広がっている。しかし、それと同時に機密情報の外部流出、誤情報の発信、AIエージェントへの過剰な権限付与など、従来の情報セキュリティ対策だけでは捉えきれないリスクも生じている。
特に、技術情報や研究データ、営業秘密といった競争力に直結する情報をAIが扱う場合、インシデントは情報管理だけでなく事業継続や競争優位性にも影響し得る。AIの価値を引き出しながらリスクを抑えるには、導入段階からデータ、権限、システム構成、運用体制を一体で設計することが重要だ。
本記事では、AI活用に伴う主なセキュリティリスクと、企業が備えるべき対策を解説する。
AIセキュリティとは?
AIセキュリティとは、AIを安全に開発・提供・利用するために、AIシステムやAIが扱うデータ、接続先のシステムやサービスをさまざまな脅威から守る取り組みを指す。不正アクセスや情報漏洩、改ざん、破壊などから情報資産やシステムを守る従来の情報セキュリティに加え、AIの学習・推論・生成や外部ツール連携に起因する固有のリスクまで考慮する点が特徴である。
例えば、AIに関する外部からの攻撃には、学習データへ悪意ある情報を混入して挙動を変化させるデータポイズニングや、モデルへの入出力を手掛かりに学習データの情報を推測するモデル反転攻撃などが問題になり得る。さらに、社内データベースや外部サービスと接続するAIでは、プロンプトインジェクションを起点とした情報漏洩や意図しない操作にも備える必要がある。
そのため、AIセキュリティではモデル単体だけでなく、学習・参照データ、利用者とAIの権限、外部接続先、ログ、AIを組み込んだ業務プロセスまでを含めた管理が求められる。従来の情報セキュリティ対策を土台としつつ、AI固有の脅威を想定して技術面と運用面の双方から多層的に対策することが重要だ。
Security for AI(AIを守る)とAI for Security(AIで守る)の違い
「Security for AI」と「AI for Security」の違いは、AIが守られる対象なのか、セキュリティ対策に使う手段なのかという点にある。「Security for AI」はAIモデルやデータ、接続システムを脅威から守る取り組みであり、「AI for Security」はAIを使って脅威の検知・分析・防御を支援する取り組みを指す。
例えば、Security for AIでは、プロンプトインジェクション、データ改ざん、機密情報の漏洩、過剰権限などへの対策が対象となる。一方、AI for Securityでは、大量のログやアラートをAIで分析し、不審な挙動や攻撃の兆候の検知を支援するなど、セキュリティ運用の高度化・効率化に活用できる。
つまり、「Security for AI」は「AIを守る」ためのセキュリティを指すのに対し、「AI for Security」は「AIで守る」ためのセキュリティである。
AIセキュリティが重要になっている理由
AIセキュリティが重要になっている理由の一つは、AIが単なる業務効率化ツールではなく、企業のサービス、業務プロセス、研究開発を支える基盤へと広がっているためだ。IPAの「情報セキュリティ10大脅威 2026」では、「AIの利用をめぐるサイバーリスク」が組織編の第3位に初めて選出されている。
加えて、AIが扱う情報の重要性も高まっている。AIが社内文書、顧客情報、ソースコード、営業秘密、研究データなどへアクセスする構成では、情報漏洩や不正利用が発生した場合の影響範囲も大きくなり得る。特に新規事業や研究開発で扱う未公開情報は競争優位性に直結するため、AIセキュリティは情報資産と事業競争力の双方を守る課題として捉える必要がある。
AIシステムへの主なサイバー攻撃の手口
AIシステムでは、従来のシステムと共通する攻撃に加え、学習データやモデルの入出力、プロンプトといったAI特有の構成要素を狙う攻撃にも備える必要がある。ここでは代表的な手口を紹介する。
データポイズニング
データポイズニングとは、AIの学習やファインチューニングに利用するデータへ悪意ある情報を混入させ、モデルの性能や判断を意図的に変化させる攻撃を指す。通常のサイバー攻撃が完成したシステムやネットワークを主な標的とするのに対し、学習・評価に使うデータそのものが攻撃対象になる点が特徴だ。
AIは学習データからパターンや特徴を獲得するため、データが改ざんされると、誤った傾向を学習して意図しない判断や出力につながる可能性がある。影響が学習後のモデルに残る場合もあるため、運用時の監視だけでなく、データの収集元、作成手順、変更履歴、アクセス権限などを管理し、学習段階から完全性と信頼性を確保することが重要だ。
モデル反転攻撃
モデル反転攻撃とは、AIモデルに繰り返し入力を与え、その出力結果を分析することで、モデルの学習に使用されたデータの特徴や、本来公開されていない情報を推測・再構成しようとする攻撃である。
例えば、個人情報や医療情報、顧客データなどを用いて学習したAIモデルの場合、攻撃者がさまざまな入力を繰り返し与え、出力される確率や傾向を詳細に分析することで、特定の人物やデータが持つ特徴を推測できる可能性がある。また、画像認識AIであれば、モデルの応答を手掛かりに学習データに近い画像の特徴を再現しようとするケースも考えられる。
学習データに顧客情報や研究データ、営業秘密などの機密情報が含まれている場合、それらの一部がモデルを介して推測されることがリスクとなるため、AIへ学習させるデータを必要最小限に絞り、個人情報や機密情報を匿名化・加工するとともに、APIへのアクセス制限や問い合わせ回数の監視、出力情報の制限など、複数の対策を組み合わせることが重要だ。
プロンプトインジェクション
プロンプトインジェクションとは、AIへ悪意ある指示や細工した入力を与え、本来の指示や制約とは異なる動作を誘発する攻撃手法である。大きく、利用者が直接指示を入力する「直接的なプロンプトインジェクション」と、AIが参照する外部コンテンツへ指示を埋め込む「間接的なプロンプトインジェクション」に分けられる。
直接的なプロンプトインジェクションでは、攻撃者がAIの入力欄へ、本来の業務指示を無視させる命令やシステムプロンプトの開示を促す命令などを入力する。顧客向けAIチャットボットなど、不特定の利用者が入力できるシステムでは特に想定が必要である。
間接的なプロンプトインジェクションでは、AIが参照するWEBページ、メール、PDF、社内文書、データベースなどに悪意ある指示を埋め込む。AIが外部APIやメール、ファイルストレージなどのツール実行権限も持つ場合、参照したコンテンツを起点として機密情報の漏洩や権限外の操作につながる可能性があるため、入力の信頼境界と実行権限を分けて設計する必要がある。
AI活用に潜むセキュリティリスク
AI活用では、情報漏洩だけでなく、誤情報、知的財産、データの二次利用、許可外利用、AIエージェントの権限など複数のリスクを想定する必要がある。ここでは企業が押さえたい6つの論点を整理する。
機密情報や独自ノウハウの外部流出
1つ目は、独自の検証結果やコア技術、社外データなど、競争力の源泉となる情報が外部へ流出するリスクである。例えば研究員が実験データの傾向を整理するために、未公開の化合物の配合比率や新素材の物性測定データを、会社が承認していない個人向けAIや無料のAIサービスなどへ入力するケースが考えられる。
入力データの保存場所や保存期間、モデル改善への利用、第三者提供などの条件はサービスや契約によって異なるため、機密情報を扱う場合は無料か有料かだけで判断せず、利用規約や法人契約の条件、管理者設定、データ保持ポリシーを確認し、承認済みの環境だけを利用することが重要だ。
ハルシネーション・偽情報の拡散
2つ目は、AIが事実と異なる内容を生成するハルシネーションにより、調査や研究開発における意思決定を誤るリスクである。R&Dでは、存在しない論文や誤った数値、根拠のない技術情報を前提に検討を進めると、手戻りや追加検証のコストが生じる可能性がある。
対策としては、AIの出力をそのまま確定情報として扱わず、原典や実測値を確認するプロセスを設けることが基本となる。また、RAG(検索拡張生成)で信頼できる社内文書などを参照させることも有効な手段の一つだが、ハルシネーションを完全に防げるわけではないため、重要な判断には専門家による確認を残す必要がある。
知的財産権の侵害
3つ目は、AIが生成した画像や設計図、組成、コードなどを業務で利用する際に、第三者の著作権や特許権などの知的財産権を侵害するリスクである。AIの出力だから直ちに侵害となるわけではないが、成果物を製品化・公開・出願する前に、既存の権利との抵触や利用条件を確認する必要がある。
また、日本の現行特許制度では、発明者として記載できるのは自然人に限られ、AI自体を発明者とすることは認められていない。特許庁も「発明者等の表示について」でこの取扱いを示している。AIを活用して得た着想や設計を特許出願する場合は、人間がどのように発明の創作へ関与したかを整理し、発明者の認定や特許要件を個別に検討することが重要だ。
入力データの学習利用・二次利用
4つ目は、入力したデータがサービス提供者によるモデル改善などへ二次利用されるリスクである。取り扱いはサービスと契約によって異なるため、「生成AIへ入力した内容は必ず学習される」や「法人向けなら一切保存されない」と一律に判断することはできない。
例えば、ChatGPTの個人向けサービスでは、設定に応じてコンテンツがモデル改善に利用される場合があり、データコントロールからオプトアウトできる。一方、ChatGPT Business、Enterprise、EduやAPIでは、入力・出力をデフォルトでモデル改善に利用しないとOpenAIが説明している。企業で利用する際は、対象サービスの最新の規約・設定・契約条件を確認し、機密度に応じた利用区分を定める必要がある。
シャドーAI(許可外利用)
5つ目は、会社や情報システム部門が把握・許可していないAIツールを従業員が業務へ使うシャドーAIのリスクである。許可外のサービスでは、会社がデータの保存条件やアクセス権、外部連携先を把握できず、機密情報の入力や不適切なデータ共有を検知しにくくなる。
一方で、AI利用を一律禁止するだけでは業務上のニーズを解消できない場合がある。承認済みのAIサービスを用意し、利用可能なデータ範囲、申請方法、禁止事項を明確にすることで、安全な利用経路を現場へ提供することが重要だ。
過剰権限・自律実行
6つ目は、AIエージェントへ必要以上の権限を与えることで、誤操作や攻撃の影響が拡大するリスクである。例えば、社内ファイルへの広範なアクセス権と外部送信権限を同時に付与すると、プロンプトインジェクションや判断誤りをきっかけに、本来送信すべきでない情報を外部サービスへ送る可能性がある。
対策の基本は最小権限であり。AIに付与するファイル、データベース、APIの権限を業務に必要な範囲へ限定し、外部送信、削除、契約、支払いなど影響の大きい操作にはHuman-in-the-Loop(人間による承認・介入)を組み込む。AIが自律実行できる範囲と、人間が最終判断する範囲をあらかじめ分けておくことが重要だ。
企業が押さえるべきAIセキュリティのガイドライン・規制
AIの普及に伴い、日本国内外でAIの安全な開発・提供・利用を支えるガイドラインや法規制の整備が進んでいる。企業は自社の立場が開発者・提供者・利用者のどれに該当するかを整理し、適用される要求事項を確認する必要がある。
AI事業者ガイドライン(第1.2版)
「AI事業者ガイドライン(第1.2版)」は、総務省と経済産業省が2026年3月31日に公表した、AIガバナンスに関する指針である。AI開発者、AI提供者、AI利用者に共通する考え方と、各主体が取り組むべき事項を整理している。
企業がAIサービスを利用する立場でも、個人情報や機密情報などを不適切に入力しないこと、出力の正確性を確認すること、利用ルールや責任分担を整えることなどが重要となる。ガイドラインはAI利用を一律に禁止するのではなく、リスクを把握し、ガバナンスを構築しながら活用する考え方を示している。
AIのセキュリティ確保のための技術的対策に係るガイドライン
「AIのセキュリティ確保のための技術的対策に係るガイドライン」は、AIシステムへの脅威に対してAI開発者・AI提供者が講じるべき技術的対策を整理した指針で、総務省が2026年3月27日に公表した。プロンプトインジェクションやDoS攻撃(サービス拒否攻撃)などの脅威を想定し、開発段階と提供段階の対策を整理している。
AIへの脅威を単一の対策で完全に排除することは難しいため、ガードレール、権限管理、監視、システム構成上の対策などを組み合わせ、リスクを低減する多層防御の考え方で設計することが重要である。
参考:「AIのセキュリティ確保のための技術的対策に係るガイドライン」の公表
EU AI法(EU AI Act)
EU AI法(AI Act)は、欧州連合(EU)が定めたAIに関する包括的な法的枠組みで、2024年8月1日に発効した。リスクベースアプローチを採用し、禁止されるAI、高リスクAI、透明性義務の対象となるAI、最小限またはリスクのないAIなど、リスク水準に応じて義務を設けている。
2026年10月時点では多くの規定が適用段階に入っている一方、規定によって適用時期は異なる。EU域外の企業でも、EU市場でAIシステムやモデルを提供する場合や、一定の条件でAIの出力がEU域内で利用される場合などは対象となり得るため、自社の提供形態と適用範囲を確認する必要がある。
罰金の上限も違反内容によって異なり、例えば禁止されるAI慣行への違反では、最大3,500万ユーロまたは企業の前年度全世界年間売上高の7%のうち高い方が上限となる。
参考:AI Act(European Commission)
AI活用において、企業が備えるべきセキュリティ対策
企業のAIセキュリティでは、技術的な防御だけでなく、利用ルール、ガバナンス、教育、権限、監視、サービス選定までを一体で設計することが重要だ。以下では、運用へ落とし込む際の主要な対策を整理する。
利用ルールの策定・周知
新規事業部門や研究開発部門では、事業構想、研究データ、未公開の製品情報、特許出願前の発明、取引先から提供された情報など、機密性の高い情報を扱う機会が多い。そのため、AIの利用可否を社員個人の判断へ委ねず、組織として利用ルールを定める必要がある。
同じ生成AIでも、個人向けサービスと法人契約では、データの保存や利用条件、管理機能、契約上の保護が異なる場合がある。「機密情報は入力禁止」とするだけでなく、承認済みサービス、入力可能な情報区分、外部連携の可否、例外申請の方法まで具体化し、現場が判断できるルールにすることが重要だ。
AIガバナンス体制の構築
AIガバナンスとは、AIの開発・導入・利用・運用に伴うリスクを把握し、組織として管理する仕組みを指す。利用ルールを定めるだけでなく、誰が導入を承認し、どの基準でリスクを評価し、問題発生時に誰が対応するのかまで明確にする必要がある。
特に機密情報や知的財産を扱うAIでは、現場部門だけで判断せず、情報システム、セキュリティ、法務、知的財産などの部門と連携し、リスクの大きさに応じて審査・承認できる体制を整えることが重要だ。
従業員教育・リテラシー向上
従業員教育では、ルールを配布するだけでなく、現場の研究員やエンジニアが「何を入力してはいけないか」「どのような攻撃や誤動作が起こり得るか」を具体的に理解できるようにする必要がある。
研修には、機密情報の取り扱い、ハルシネーションの確認、ジェイルブレイクや間接プロンプトインジェクションの手口、許可外AIの利用リスクなどを組み込むとよい。実際の業務に近いケースを使って判断を練習し、定期的に内容を更新することで、ルールを運用へ定着させやすくなる。
権限管理・アクセス制御
AIエージェントやRAGを安全に運用するには、AIと利用者の双方に対して最小権限の原則を適用する必要がある。というのも、AIが外部ツールや社内システムと連携する構成では、誤判断やプロンプトインジェクションによって、付与された権限の範囲で意図しない処理が実行される可能性があるためだ。
また、利用者側の権限も重要である。全員が同じ社内データを検索できる状態では、本来閲覧権限のない情報をAI経由で取得できるおそれがある。所属部署、担当プロジェクト、役職などに応じて検索対象とAI機能を制限し、既存システムのアクセス制御をAI経由でも維持することが重要だ。
ガードレール・入出力フィルタリング
ガードレール・入出力フィルタリングは、AIへ渡す入力とAIが返す出力を検査し、不正な指示や機密情報、危険なコンテンツなどを検知・制御する対策である。入力では、個人情報や社外秘キーワード、既知の攻撃パターンなどを検出し、必要に応じてブロックやマスキングを行う。
出力では、機密情報や個人情報、危険なコード、ポリシー違反の内容などを検査し、表示・実行前に遮断または無害化する。ただし、フィルタリングだけでプロンプトインジェクションを完全に防ぐことは難しいため、権限管理、実行前の承認、ツールの許可リスト化などと組み合わせることが重要だ。
ログの監視
従来のシステムでも、不正アクセスの検知やインシデント発生時の原因究明を目的としてログの分析や監視が行われてきた。しかし、AIを活用する場合にはユーザーによる操作だけでなく、AIへの入力やAIによる処理、参照したデータ、外部ツールへのアクセスなども監視対象に含める必要がある。特に確認したいのが「AIが何をしたのか」という点だ。
例えばAIエージェントが競合企業の調査を行う場合、参照したWEBサイト、検索した社内データ、呼び出したAPIが記録されていれば、不適切な情報参照や外部送信の有無を確認しやすい。一方、ログ自体に機密情報が含まれる場合もあるため、ログの閲覧権限、保存期間、マスキングも合わせて設計する必要がある。
モデル・サービスの選定基準
AIサービス(PaaS/SaaS)を導入する際は、情報システム部門、セキュリティ部門、法務部門などが審査するチェックリストを作るのが好ましい。入力データがAIベンダー側のモデル再学習に利用されないことや、一定期間後にサーバーから確実にデータが削除されることを利用規約(商用契約)で確認することが基本となる。
データの保管国についても、国名だけで安全性を判断するのではなく、自社に適用される法令や契約上の要件、越境移転の条件を確認する必要がある。加えて、ISO/IEC 27001の認証、SOC 2 Type IIの報告書、ISMAPクラウドサービスリストへの登録状況など、第三者による評価・監査の情報も確認材料になる。
これらは同じ制度ではないため、「認証を一つ取得していれば安全」と判断せず、自社のリスクに必要な統制が実装されているかを確認することが重要だ。
サプライチェーンのセキュリティ評価
AIを安全に活用するには、自社のAIシステムだけでなく、それを構成するモデルや製品・サービス、外部ライブラリ、プラグイン、API、クラウド基盤、開発・運用委託先まで含めてリスクを評価する必要がある。
外部サービスやライブラリに脆弱性があれば、そこを起点に自社のAI環境へ影響が及ぶ可能性があるからだ。採用しているコンポーネントと提供元を把握し、脆弱性情報、更新方針、権限、データの受け渡し、委託先のセキュリティ管理を継続的に確認することが重要だ。
まとめ
AIセキュリティは、AIモデルだけを守る取り組みではない。研究開発データや営業秘密などの情報資産、AIに与える権限、外部サービスとの接続、利用者のルールや監視体制まで含めて、AIを使う業務全体を安全に設計する考え方である。
AIの活用範囲が広がるほど、利便性と同時にリスクも業務プロセスへ入り込む。ガイドラインや規制を確認しながら、最小権限、承認済みサービス、入出力の管理、ログ監視、Human-in-the-Loopなどを組み合わせ、リスクに応じて継続的に見直せる体制を整えることが、AIを事業で活用し続けるための前提となる。