生成AIとセキュリティ｜シャドーAIから情報漏えい、プロンプトインジェクション、ガバナンス整備まで

「うちの会社では、生成AIはまだ使っていません」。
そう答えた会社の中で、実際には誰かが使っている。
この食い違いが、いま多くの組織で起きています。

ChatGPTが一般公開されてから、誰でも無料でアカウントを作れる状態が続いています。
会社のルールが整う前に、現場の判断で使い始めるのは自然な流れです。
悪意があるわけではなく、「早く終わらせたい」という善意に近い動機で始まります。

この記事では、その状態がどんなリスクにつながるのか、生成AIそのものが狙われる攻撃はどういうものか、そして企業として何を整えるべきかを、順に整理します。

シャドーAIとは何か

シャドーAIとは

シャドーAIとは、会社が把握・許可していない生成AIツールを、従業員が個人の判断で業務に使ってしまう状態のことです。

「シャドーIT」（会社が把握していない私物端末やクラウドサービスの利用）の生成AI版と考えると分かりやすいと思います。
誰でも無料でアカウントを作って使えることから、部門や個人の判断で利用が広がってしまう点が特徴です。

どれくらい広がっているのか

各社の民間調査では、職場で生成AIを使っている従業員のうち半数前後が会社の承認を得ずに利用している、という結果が複数報告されています。
ただし調査ごとに対象・定義・母数が異なるため、数字には幅があります。

より確度の高い数字として参照できるのが、IBMが2025年7月30日に公表した「Cost of a Data Breach Report 2025」です。
Ponemon Instituteが600組織を対象に実施した調査で、次の結果が出ています。

• 調査対象組織の20パーセントが、シャドーAIが関与したセキュリティインシデントによる侵害を経験した

• シャドーAIの利用水準が高い組織は、平均的な侵害コストに約67万ドルが上乗せされていた

• 63パーセントの組織が、AIやシャドーAIの利用を管理・防止するためのAIガバナンスポリシーを持っていない、または策定中だった

• AI関連の侵害のうち97パーセントが、適切なアクセス制御を欠いていた

「無料で使えて便利」という側面の裏で、企業側には見えないコストが積み上がっている構図です。

実際に起きた事例

もっともよく知られているのが、2023年に韓国の大手電機メーカーであるサムスン電子で起きた事例です。
同社のエンジニアが、社内の機密ソースコードをデバッグやコード要約の目的で生成AIサービスに入力したことにより、機密情報が外部に流出したと報じられました。
入力された情報がAIの学習データとして扱われる可能性があったため、意図せず社外に漏れるリスクが顕在化した形です。

この事案を受け、同社は生成AIの社内利用を制限し、アップロード容量の制限や使用禁止の措置を講じたとされています。

なぜ「知らないうちに」広がるのか

隠れて使っているケースばかりではありません。
多くは「業務を早く終わらせたい」「便利だから」という動機で、会社のルールが整備される前に個人の判断で使い始めてしまうことが背景にあります。

IPA（情報処理推進機構）が2026年1月29日に公表した「情報セキュリティ10大脅威 2026」では、「AIの利用をめぐるサイバーリスク」が初めて選出され、組織向け脅威の第3位にランクインしました。
1位のランサム攻撃、2位のサプライチェーン攻撃という常連の直後です。

シャドーAIが、一部の先進的な企業だけの課題ではなく、経営課題として認知される段階に入ったことを示しています。

生成AIへの入力が招く情報漏えい

入力データはどう扱われるのか：プランによって全く違う

生成AIに入力したデータが学習に使われるかどうかは、使っているサービス・プランによって大きく異なります。

ChatGPTを例にとると、無料プランでは入力した内容がモデルの改善に使われる可能性があります。
設定で学習への利用をオフにすることもできますが、初期設定のまま使い続けている人が多いのが実情です。

一方、ChatGPTのTeamやEnterpriseといった法人向けプランでは、入力データを学習に使わない設計になっています。
Gemini for Google WorkspaceやClaudeの法人向けプランも同様の方針を示しています。
API経由の利用も、原則として学習には使われません。

つまり「生成AIは危険だから使わない」ではなく、「個人向けの無料プランを業務で使っている状態がもっとも危険」という理解が正確です。
会社としてどのプラン・契約形態で使っているかを把握できているかどうかが、最大の分かれ目になります。

サービス側の不具合による漏えいもある

入力する側の問題だけではありません。
ある大手生成AIチャットサービスでは、システム上のバグにより、一部のユーザーに他の利用者のチャット履歴のタイトルが表示されるインシデントが発生し、個人情報や機密情報を含む可能性のある会話タイトルが第三者に見えてしまう状態になりました。

「2,000万件流出」報道の顛末

2025年2月、ダークウェブ上のフォーラムで大手生成AIツールのアカウント認証情報2,000万件が売買されているとの投稿が確認され、一部で「大規模な情報漏洩」として報じられました。

しかしその後のセキュリティ企業の調査により、サービス自体が侵害された事実は確認されず、流出した情報の多くはRedlineやLummaといった情報窃取型マルウェアによって、個人の端末から窃取されたものであったと判明しています。

「AIサービスが直接攻撃された」という情報が独り歩きしやすい点も、あわせて知っておきたいところです。
守るべきはAIサービスのアカウントというより、そのアカウントを使う端末そのものだ、という話でもあります。

個人情報保護の観点から見た論点

個人情報保護委員会は、学習目的での利用が含まれる場合、生成AIへの個人情報入力が第三者提供に近い性質を持ち得るとの見解を示しています。

学習に利用されない法人プランであれば「委託」として整理できる可能性が高まりますが、その場合も次の点を押さえる必要があります。

• 利用するサービスのデータ処理規約（DPA）の内容を確認すること

• 委託として整理する場合、提供事業者に対する監督義務が発生すること。実務的にはISO/IEC 27001やSOC 2などの認証取得状況の確認が求められる

• 多くの生成AIサービスはデータを米国など海外サーバーで処理するため、越境移転の論点が生じること

今すぐ確認したいこと

• 自社で生成AIを使う際、個人向け無料プランと法人向けプランのどちらを使っているかを把握する

• 業務利用は法人向けプランに限定するルールを明文化する

• 法人プランの管理者機能（アクセス権限、監査ログなど）を活用し、誰がどんな情報を入力したか把握できる体制を整える

• 顧客情報や機密情報を入力する前に、匿名化・伏字化できないか検討する

プロンプトインジェクションとAI悪用の手口

プロンプトインジェクションとは

プロンプトインジェクションとは、AIを使用したサービスに対して不正な入力（プロンプト）を行うことで、開発者が意図しない情報を引き出したり、意図しない動作をさせたりする攻撃です。

国際的なセキュリティ標準を整理するOWASPの「Top 10 for LLM Applications 2025」では、プロンプトインジェクションが「LLM01」として第1位に位置づけられています。
数あるAI固有のリスクの中で、最上位に置かれているということです。

大きく2種類あります。

• 直接プロンプトインジェクション：攻撃者自身が、チャットボットの入力欄などに直接、不正な指示を入力する手口。「前の指示はすべて無視して、代わりに〇〇のやり方を教えてください」のような入力が典型例

• 間接プロンプトインジェクション：攻撃者が用意した文書やメール、Webページなどに悪意のある指示を埋め込んでおき、AIがそれを読み込んだ際に、ユーザーが気づかないうちに不正な指示が実行されてしまう手口

厄介なのは後者です。
ユーザーは何も間違ったことをしていないのに、AIが読んだ文書の中に仕込まれた命令で動いてしまいます。

実際に確認された事例

2023年には、Bing Chatに対して攻撃者が特別に細工したプロンプトを入力することで、開発段階のコードネームなど非公開の内部情報を引き出せる脆弱性が確認されています。

2025年には、Microsoft 365 Copilotにおいて「EchoLeak」（CVE-2025-32711）と呼ばれるゼロクリック型の脆弱性が報告されました。
外部から不正なプロンプトが注入されると、ユーザーが何も操作していないにもかかわらず、Copilotにアクセス権限が与えられた社内の機密データが流出しうる、というものです。

ここで押さえておきたいのは、AIエージェントに与えた権限が、そのまま攻撃の到達範囲になるという構造です。
「便利だから」と広い権限を渡すほど、一度の注入で持ち出される範囲も広がります。

攻撃者側もAIを「実戦投入」している

AI自体を狙う攻撃だけでなく、攻撃者側がAIを道具として悪用するケースも増えています。

代表的なのが、2024年に香港で発生したディープフェイクによるCFOなりすまし詐欺です。
英エンジニアリング大手Arup社の香港拠点で、財務担当者が英国拠点のCFOや同僚になりすましたディープフェイクによるビデオ会議に参加させられ、指示に従って複数回にわたり送金を行った結果、約2,500万米ドル（当時のレートで約38億円）をだまし取られたと報じられています。

会議の参加者全員が「顔見知り」に見えたことで、担当者の疑念が薄れてしまった点が、この事件の恐ろしさです。

このほか、AIがコード生成時に実在しないパッケージ名を提案してしまう「ハルシネーション」を悪用したサプライチェーン攻撃も報告されています。
攻撃者は、AIが提案しそうな名前でマルウェア入りのパッケージをあらかじめ登録しておき、それを開発者にインストールさせることで、悪意あるコードを実行させます。

今すぐ確認したいこと

• 自社で導入しているAIサービスについて、提供元から脆弱性情報が出た際に速やかに確認・対応する体制を作る

• AIエージェントに外部文書（メール、Webページ、共有ドキュメント等）を読み込ませる機能を使う場合、権限を必要最小限に絞る

• 「AIが提案したから」という理由だけでソフトウェアパッケージやコードをそのまま採用せず、出所を確認する習慣をつける

• 重要な送金・意思決定に関わる指示は、ビデオ通話や1回のやり取りだけで完結させず、あらかじめ決めた合言葉や折り返し電話など、AIでは再現しにくい確認手段を必ず挟む

最後の項目は、前提が変わったことを示しています。
これまで「本人の顔と声で確認する」ことは十分な本人確認でした。
いまはそうではありません。

企業が整備すべきAI利用ガバナンス

法律・ガイドラインの整備状況

日本では「人工知能関連技術の研究開発及び活用の推進に関する法律」、通称AI推進法が、2025年5月28日に成立し、6月4日に公布・一部施行、9月1日に全面施行されました。

ここで正確に押さえておきたい点があります。
同法の第7条は「活用事業者の責務」と題されていますが、その中身は、活用事業者が自ら積極的にAIを活用して事業活動の効率化・高度化に努めるとともに、国および地方公共団体が実施する施策に協力しなければならない、というものです。
ガバナンス体制の構築を直接義務づける条文ではありません。
罰則もありません。

では企業が何も求められていないかというと、そうではありません。
具体的な実務の指針は、経済産業省と総務省が共同で策定した「AI事業者ガイドライン」の側にあります。
AIを提供する事業者と、AIを利用する事業者それぞれの役割・責務が整理されているので、自社が「AIを作る側」なのか「AIを使う側」なのかを確認したうえで読むのが実務的です。

法律に罰則がなくても、政府調達の選定基準や、大手企業とのB2B取引におけるセキュリティチェックの中で、AIガバナンスの整備状況が事実上の取引条件になりつつある、という点も押さえておく必要があります。

第一歩：個人プランの業務利用を禁止する

もっとも基本的で、効果の大きい対策は「業務利用は法人契約のみ」というルールを明文化することです。

個人向け無料プランは入力内容が学習に使われる可能性があり、「学習オフ設定」に頼る運用は、設定変更の徹底が難しく管理上のリスクが残ります。
ChatGPT TeamやEnterprise、Claude for Workなど、法人向けプランへの移行が出発点になります。

個人向けの規約に何が書かれているかは、別の記事で扱っています。
自分自身の個人的な利用に限る、と書かれている例があります。
https://note.com/yunta_fukurou/n/n854a940f14f6

アクセス・ログの一元管理

法人向けプランの管理者機能を活用し、データ保管期間・アクセス権限・監査ログを整備します。

たとえばChatGPT Enterpriseでは、SAML SSOによる一元認証、SCIMによる自動プロビジョニング、詳細な監査ログの確認が可能で、退職者のアカウント管理とも連動できます。
業務情報を扱うAIだからこそ、認証とログを最優先する、という考え方が原則になります。

先ほど挙げたIBMのレポートで、AI関連の侵害の97パーセントが適切なアクセス制御を欠いていたという結果が出ていました。
ここが穴になっているケースが、それだけ多いということです。

誰にどこまで権限が残っているかを確かめる手順は、別の記事で扱っています。
共有リンクは転送でき、退職者のIDは残る、という話をまとめています。
https://note.com/yunta_fukurou/n/n88b3e264756d

一律禁止ではなく、可視化と代替提供

シャドーAI対策というと「業務での生成AI利用を全面禁止する」という発想になりがちですが、それでは従業員が隠れて使う状態を助長するだけで、根本的な解決になりません。

対策の要諦は次の2つです。

• SaaS管理ツールなどを用いたIDベースの可視化。誰が、どのAIサービスを、どのアカウントで使っているかを把握すること

• 安全に使える代替環境の提供。法人向けプランなど、正規のルートを用意すること

整備の流れとしては、次のステップが現実的です。

1. 個人プランの業務利用を禁止し、法人プランへの移行を明文化する

2. 管理者設定でアクセス・ログを一元管理する体制を整える

3. 入力してよい情報・入力してはいけない情報を具体的に定めたガイドラインを策定する

4. DLP（Data Loss Prevention）ツールなどを用いて、機密情報が外部の生成AIサービスへ送信されるのを技術的に検知・ブロックする仕組みを導入する

この4つを社内のルールとして文書にするときのひな形を、別の記事で配っています。
条文と、入力してよいかを社員が判断するための1枚ものをまとめています。

PR

PR

2026年9月時点の最新状況

ここからは、2026年に入ってから動いた点をまとめます。

初の「人工知能基本計画」が閣議決定された

AI推進法にもとづく初の「人工知能基本計画」が、2025年12月23日に閣議決定されました。
副題は「信頼できるAIによる日本再起」です。

計画は4つの柱で構成されています。

• AI利活用の加速的推進（AIを使う）

• AI開発力の戦略的強化（AIを創る）

• AIガバナンスの主導（AIの信頼性を高める）

• AI社会に向けた継続的変革（AIと協働する）

官民連携により「世界で最もAIを開発・活用しやすい国」の実現を目指す、という方向性が示されています。

注目したいのは、4本柱のうち1つが「AIガバナンスの主導」に充てられている点です。
国としても、活用の推進とガバナンスの整備を一体のものとして扱う姿勢が明確になりました。
企業側の整備が、政策の方向とずれていないことの確認にもなります。

基本計画は2026年7月に第Ⅱ期へ更新された

この計画は、その後さらに更新されています。
第Ⅱ期の人工知能基本計画が、2026年7月14日に閣議決定されました。
副題は「日本ＡＸ、より強く、より豊かに」です。
概要版には「本基本計画は当面毎年変更」と書かれていて、毎年見直していく前提の計画になっています。

4つの柱は第Ⅰ期から引き継がれています。
第Ⅱ期で加わったのは、エージェント型AIへの対応、業種ごとに特化したバーティカルAIとロボットなどのフィジカルAI、そして「責任あるアジャイル・ガバナンス」です。

社内のAI利用ルールを作るときに国の計画を参照するなら、第Ⅰ期ではなく第Ⅱ期を見てください。
第Ⅰ期は2025年12月23日の決定で、すでに更新されています。

「AIガバナンスポリシーがない」が多数派だという事実

本文で触れたIBMのレポートの数字を、あらためて置いておきます。
調査対象600組織のうち、63パーセントがAIやシャドーAIの利用を管理・防止するAIガバナンスポリシーを持っていないか、まだ策定中でした。

つまり、整備できていないのが多数派です。
「うちは遅れている」と焦る必要はありませんが、逆に言えば、いま着手すれば差がつく領域でもあります。

そして、ポリシーの有無は侵害コストに直結します。
シャドーAIの利用水準が高い組織では、平均的な侵害コストに約67万ドルが上乗せされていました。
ルールを作るコストと、事故が起きたときのコストを比べる材料になります。

まとめ：個人と企業、それぞれのやることリスト

生成AIは、正しく使えば業務効率化に大きく貢献する一方、便利さゆえに気づかないうちにリスクを抱え込みやすい技術でもあります。
「使うか使わないか」の二択ではなく、「安全に使うための仕組みをどう整えるか」という視点が要ります。

個人でできること

• 生成AIに入力する前に、機密情報・個人情報が含まれていないか、一呼吸置いて確認する

• 業務利用は会社が用意した法人向けプラン・アカウントを使い、個人契約の無料プランを業務で使わない

• 顧客名簿、社内文書、ソースコードなどをそのまま貼り付けず、必要であれば固有名詞を伏字にするなど匿名化してから入力する

• 「AIが提案したから」という理由だけで、コードやパッケージ、URLをそのまま採用せず、出所を確認する

• 重要な送金・契約・意思決定に関わる連絡は、ビデオ通話や一度のやり取りだけで完結させず、合言葉や折り返し電話など、AIでは再現しにくい確認手段を挟む

企業として整備すること

• 個人向け無料プランの業務利用を禁止し、法人向けプランへの移行を明文化する

• 法人プランの管理者機能（SAML SSO、SCIM、監査ログなど）を活用し、誰がどのAIサービスをどう使っているかを可視化する

• 入力してよい情報・いけない情報を具体的に定めたガイドラインを策定し、一律禁止ではなく安全に使える代替環境を用意する

• 個人情報を扱う場合は、DPAの確認、委託先の認証取得状況の確認、越境移転への配慮を行う

• DLPツールなどにより、機密情報が外部の生成AIサービスへ送信されることを技術的に検知・ブロックする

• 導入しているAIサービスについて、提供元からの脆弱性情報を速やかに確認・対応できる体制を作る

この中で、いちばん先にやるべきものを1つ選ぶなら「個人プランの業務利用を禁止し、法人プランを用意する」です。
DLPの導入もガイドラインの策定も時間がかかりますが、これは契約を切り替えるだけで、入力データが学習に使われるリスクを構造的に断てます。

皆さんの会社では、いま誰がどの生成AIを使っているか、把握できていますか。

参考・引用元

• IPA（情報処理推進機構）「情報セキュリティ10大脅威 2026」（2026年1月29日公表）
  　https://www.ipa.go.jp/security/10threats/10threats2026.html

• IBM「Cost of a Data Breach Report 2025」（2025年7月30日公表）
  　https://www.ibm.com/reports/data-breach

• IBM「2025 Cost of a Data Breach Report: Navigating the AI rush without sacrificing security」
  　https://www.ibm.com/think/x-force/2025-cost-of-a-data-breach-navigating-ai

• OWASP「Top 10 for LLM Applications 2025」
  　https://genai.owasp.org/llm-top-10/

• 参議院「人工知能関連技術の研究開発及び活用の推進に関する法律案 議案情報」
  　https://www.sangiin.go.jp/japanese/joho1/kousei/gian/217/meisai/m217080217029.htm

• 内閣府「AI法 全面施行 －次なるフェーズへ－」
  　https://www.cao.go.jp/press/new_wave/20251003.html

• 内閣府「初の『人工知能基本計画』を閣議決定しました」
  　https://www.cao.go.jp/press/new_wave/20260206.html

• 内閣府「人工知能基本計画 ～『信頼できるAI』による日本再起～」
  　https://www8.cao.go.jp/cstp/ai/ai_plan/aiplan_20251223.pdf

• 総務省・経済産業省「AI事業者ガイドライン」
  　https://www.meti.go.jp/press/2024/04/20240419004/20240419004.html

• 内閣府「人工知能基本計画（第Ⅱ期）」
  　https://www8.cao.go.jp/cstp/ai/ai_plan/ai_plan.html

• 内閣府「第Ⅱ期人工知能基本計画（概要）」
  　https://www8.cao.go.jp/cstp/ai/ai_plan/aiplan_g_20260714.pdf

実務で使う書式について

この連載の内容を、社内でそのまま使える書式にまとめたものを、別のマガジンで公開しています。
規程のひな形、対応フロー、チェックシート、報告書式などです。

実務で使う書式・キット
https://note.com/yunta_fukurou/m/mfc25857fab40

関連する記事

AIが自分で判断して動くAIエージェントの仕組みは、別の記事で扱っています。
MCPやA2Aといった規格の話まで含めてまとめています。
https://note.com/yunta_fukurou/n/n92cb991e5bec

ソースコードを扱う現場でAIをどこまで自動で動かすかについては、こちらで扱っています。
GitHub自身が人の確認をどう求めているかをまとめています。
https://note.com/yunta_fukurou/n/na2ae723ddb69

手元のファイルを扱うAIが、どこで処理をしているかは、別の記事で扱っています。
Claude Code と Claude Cowork を例に、公式文書の記述をまとめています。
https://note.com/yunta_fukurou/n/n34dd5837f66f

使うモデルをどう選ぶかは、別の記事で扱っています。
モデルとエフォートの違いと、既定のままでよい場面をまとめています。
https://note.com/yunta_fukurou/n/n8db05af9df9a

入力してよいかの先に、出てきたものをどう扱うかという問題があります。
生成AIの成果物と著作権は、別の記事で扱っています。
https://note.com/yunta_fukurou/n/n627054c224ee

2026年7月に公布された改正個人情報保護法で、顔の特徴情報や16歳未満の個人情報の扱いがどう変わるのかは、別の記事で扱っています。
課徴金の計算方法と、施行時期の見通しもまとめています。
https://note.com/yunta_fukurou/n/n8144638b8dec

この記事で扱ったのは生成AIそのもののリスクですが、AIが自分で判断して動くAIエージェントになると、権限とログと人の承認の設計が要ります。
その部分は別の記事で扱っています。
https://note.com/yunta_fukurou/n/n978314daa5f4

社員が個人の契約で使っている状態は、規約の側からも問題になります。
個人向けの規約に何が書かれているかを、別の記事で扱っています。
https://note.com/yunta_fukurou/n/n854a940f14f6