AIセキュリティ脅威が急増：プロンプトインジェクション対策

米国および欧州の組織は、AIアプリケーションがサイバー犯罪者の主要な標的となり、多くのセキュリティチームがこれらのシステムを効果的に保護するために必要な可視性を欠いているという深刻な現実に直面しています。

主なポイント

1. プロンプトインジェクション攻撃がAI脅威の中心に。組織の76%がプロンプトインジェクション攻撃を主要なAIセキュリティ課題として挙げており、脆弱なコードやジェイルブレイクの試みを上回っています。セキュリティチームは、これらの操作手法に特化した検知・防御能力を開発する必要があります。
2. シャドーAIが重大な可視性のギャップを生む。セキュリティ担当者の63%が、自組織内でLLMがどこで稼働しているか特定できず、効果的な保護を妨げる死角となっています。全部門・全システムにわたるAI導入状況を把握するため、発見プロセスやガバナンスフレームワークの導入が不可欠です。
3. セキュリティ統合が開発段階で遅すぎる。AIアプリケーションに最初からセキュリティ機能を組み込む組織は43%にとどまり、開発前にセキュリティチームが関与する割合は34%です。シフトレフトの実践による早期のセキュリティ関与が、導入後の高額な修正対応を減らし、脆弱性の未然防止につながります。
4. AI導入がセキュリティ能力を上回るペースで進行。新規エンタープライズアプリケーションの61%がAIコンポーネントを組み込み、AI関連APIの70%が機密データへアクセスしています。AI導入のスピードが、セキュリティチームによる十分な管理・監視体制の構築を上回っています。
5. 文化的障壁がセキュリティ連携を阻害。組織の74%が、開発者がセキュリティをAIイノベーションの妨げと見なしていると報告しています。この文化的な溝を埋めるには、セキュリティの実践が安全なイノベーションと競争優位性を支えることを示す必要があります。

500名のセキュリティ担当者・意思決定者を対象とした包括的な調査により、AIアプリケーションを標的としたサイバー攻撃が憂慮すべきペースで増加していることが明らかになりました。Traceable by Harnessによるこの調査は、組織がAI搭載システムを構築・展開・保護する方法に大きなギャップが存在することを浮き彫りにしています。

プロンプトインジェクション攻撃がセキュリティ脅威を牽引

調査では、AIシステムを標的とする3つの主要な攻撃ベクトルが特定されています。大規模言語モデルを利用したプロンプトインジェクションが76%でトップとなり、組織が直面する最も一般的な脅威となっています。これらの攻撃は、LLMへの入力を操作し、機密情報の抽出や意図しない有害な出力を生成させることで、安全対策を回避します。

脆弱なLLMコードは66%でこれに続きます。多くの言語モデルは、ウェブ上から収集した例をもとにコードを生成しますが、その中にはセキュリティ上の弱点を含む不完全な実装も含まれています。開発者がAI生成コードを適切なレビューなしに導入すると、本番システムに脆弱性を持ち込むことになります。

LLMジェイルブレイクは65%で3番目に多い脅威です。これらの攻撃は、言語モデルに組み込まれた安全ガードレールを回避し、不適切・危険・悪意のあるコンテンツを生成させる可能性があります。

シャドーAIが前例のない可視性課題を生む

調査で最も懸念される発見は、組織の認識に関するものです。セキュリティ担当者の63%が、自組織内でLLMがどこで稼働しているか特定できないと回答しています。この死角は大きなリスクとなり、セキュリティチームは見えないシステムを保護できません。

回答者の4分の3は、IT部門の監督なしにAIツールが導入される「シャドーAI」が、従来のシャドーITによるセキュリティ問題を上回ると予想しています。AIシステムは通常、機密データを処理し、重要な意思決定を行うため、サプライチェーンリスク管理の観点でも大きなエスカレーションとなります。

組織の約4分の3（72%）が、シャドーAIが自社のセキュリティ体制に巨大なギャップを生んでいることを認めています。AI導入の分散化と、APIを通じたAI機能の容易な統合により、LLMを利用するアプリケーションがセキュリティチームの追跡能力を上回るペースで増加しています。

AIアプリケーションがサイバー犯罪者の新たな標的に

回答者の大多数（82%）が、AIアプリケーションがサイバー犯罪者にとって新たなフロンティアであると認識しています。これは、従来のセキュリティアプローチがAI特有の脅威には不十分であるという厳しい現実を反映しています。

セキュリティ専門家の75%が、AIリスクやセキュリティ脅威がこれまで経験したことのない課題であると認めています。AIシステム特有の確率的な出力、複雑なトレーニングデータ依存性、新たな攻撃面などにより、セキュリティチームには新たなスキルと戦略が求められています。

Traceable by HarnessのField CTOであるAdam Arellano氏は、多くのAIアプリケーションが確立されたアプリケーションセキュリティの実践を用いずに構築・展開されているという根本的な問題を指摘しています。AIイノベーションのスピードとセキュリティ成熟度のギャップが、悪用の機会を生み出しています。

開発者はセキュリティの関与なしにAIを構築

調査は、組織がAI開発プロセスにセキュリティを統合する方法に懸念すべき傾向があることを示しています。アプリケーション開発者が最初からセキュリティ機能を組み込んでAIアプリケーションを構築していると答えたのは43%にとどまり、半数以上のAIプロジェクトが設計段階でセキュリティを欠いています。

開発チームとセキュリティチーム間のコミュニケーションはさらに深刻です。セキュリティチームが開発者によるAIプロジェクト開始前にその存在を知るのはわずか34%です。この遅い関与は、脆弱性を防ぐためのアーキテクチャ上の意思決定にセキュリティチームが影響を与える機会を制限します。

半数以上（53%）の回答者は、アプリケーションが本番環境に展開される前にセキュリティチームが通知を受けていると報告していますが、14%は、展開後やセキュリティインシデント発生後に初めて新しいAIアプリケーションの存在を知ると答えています。これは潜在的な侵害を防ぐには遅すぎます。

AIコンポーネント全体で重大な可視性ギャップが継続

調査は、組織が本質的な可視性を欠いている2つの具体的な分野を強調しています。大半のセキュリティチーム（63%）は、AIコンポーネントのソフトウェア部品表（AI-BOM）に関するリアルタイム情報にアクセスできません。このインベントリがなければ、どのAIコンポーネントに既知の脆弱性があるか、更新が必要かを評価できません。

同様に、60%がLLMモデルの出力に対する可視性を欠いています。この死角により、悪意あるプロンプト、モデル操作、意図しない挙動などでモデルが問題のある応答を生成した場合でも、セキュリティチームは検知できません。

文化的摩擦がセキュリティ統合を遅らせる

回答者の約4分の3（74%）が、アプリケーション開発者がセキュリティ課題をAIイノベーションの障害と見なしていると報告しています。この認識は摩擦を生み、開発者が開発初期段階でセキュリティチームを巻き込むことをためらわせます。

この文化的な溝はセキュリティ対策を弱体化させます。開発者がセキュリティを推進役ではなく妨げと見なすと、問題が顕在化するまでセキュリティチームの関与を避けがちです。この障壁を取り除くには、セキュリティの実践がイノベーションを支えることを示す必要があります。

AI導入がセキュリティ能力を上回るスピードで加速

AI導入のペースがこれらのセキュリティ課題をさらに深刻化させています。新規エンタープライズアプリケーションの61%が設計段階からAIコンポーネントを組み込んでいます。つまり、組織は新しいシステムの大半にAI機能を実装しており、攻撃対象領域が大幅に拡大しています。

回答者の70%は、LLMを呼び出すためのAPIが機密データへアクセスしていると指摘しています。この発見は、AIセキュリティの失敗が機密情報、顧客データ、知的財産、その他の重要資産の漏洩につながるリスクの大きさを浮き彫りにしています。

Arellano氏は、もはや「AIアプリケーションに関連するサイバーセキュリティインシデントが発生するかどうか」ではなく、「どの程度深刻化するか」が問題だと強調します。組織によるAIアプリケーション開発のスピードは、セキュリティチームの保護能力を上回り続けています。

AI生成コードが脆弱性サイクルを生む

現在コード生成に使われている大半のLLMは、ウェブ上から収集した例をもとにトレーニングされています。このトレーニングデータには、必然的にセキュリティ脆弱性を含む不完全な実装も含まれています。LLMがこれらのパターンをもとにコードを生成すると、同様の弱点を再現・新規作成する可能性があります。

AIコーディングツールのガバナンスに関するベストプラクティスが確立されていない場合、コード生成の増加はそのまま脆弱性の増加につながります。組織は、攻撃者に悪用される前にこれらの弱点を発見・修正する必要があり、セキュリティチームはこの競争に苦戦しています。

状況はさらに深刻化しており、サイバー犯罪者はAIツールを活用して、これまで以上のスピードで脆弱性を発見しています。攻撃者は自動化を駆使し、マシンスピードで弱点を特定・悪用できるため、セキュリティチームの対応時間が圧縮されています。

不確実性の中で前進するために

こうしたセキュリティ上の懸念があっても、組織はAIアプリケーションを簡単に放棄することはできません。AI技術の利点は大きく、競争圧力から導入は不可避です。Arellano氏が述べるように、「一度出た魔法は元に戻せません」。

セキュリティチームは、現実的な対策に注力する必要があります。アプリケーション開発者により高い注意を促すことが出発点となります。AI生成コードを本番環境に展開する前に脆弱性をスキャンすれば、多くの問題を未然に防ぐことができます。

組織はAIプロジェクトの初期段階からセキュリティチームを関与させる明確なプロセスを確立すべきです。セキュリティ専門家が設計段階の議論に参加することで、アーキテクトに安全な実装を促し、開発開始前に潜在的な課題を特定できます。

組織全体のAIコンポーネントやLLM利用状況の包括的なインベントリを作成することで、不可欠な可視性が得られます。セキュリティチームは、存在を把握していないシステムを保護できません。新たなAIアプリケーションが登場するたびに、定期的な監査や発見プロセスで認識を維持しましょう。

AIセキュリティに特化したスキルの開発も重要です。セキュリティチームは、プロンプトインジェクション攻撃の仕組み、LLMを呼び出すAPIの保護方法、AIモデル出力の検証方法などを理解する必要があります。AIセキュリティに特化したトレーニングや認証プログラムが、これらの能力構築に役立ちます。

また、開発チームとセキュリティチームの連携強化も推進しましょう。セキュリティを「障害」ではなく「安全なイノベーションの推進役」として再定義することで、摩擦を減らし、開発者が積極的にセキュリティ専門家と協働するよう促せます。

高まる脅威への備え

サイバーセキュリティチームは、防御力強化と同時に最悪の事態にも備える必要があります。調査データは、AI関連のセキュリティインシデントが今後も頻度・深刻度ともに増加し続けることを示唆しています。組織は、AIアプリケーションの侵害に特化したインシデント対応計画を策定する必要があります。

これらの計画では、AIインシデント特有の特徴を考慮する必要があります。たとえば、プロンプトインジェクションが成功しても従来型のフォレンジック証拠が残らない場合があり、セキュリティチームはLLMのログやモデル挙動パターンを分析して事象を把握する必要があります。

組織はAI利用を管理する明確なポリシーも策定すべきです。これらのポリシーは、承認済みの経路を設けてセキュリティ監督下でAI機能にアクセスできるようにすることで、シャドーAIの発生を防ぐのに役立ちます。従業員が正規のAIツールに容易にアクセスできれば、非承認ソリューションを導入する動機が減ります。

AIアプリケーションの定期的なセキュリティ評価も、攻撃者に先んじて弱点を特定するのに有効です。これらの評価では、AIコンポーネント自体だけでなく、それを支えるAPI、データストア、統合ポイントなど周辺インフラも対象とすべきです。

今後の道筋は、イノベーションとセキュリティのバランスを取ることにあります。組織は、セキュリティ上の懸念からAI導入を完全に阻止することはできません。それでは競争優位性やビジネス価値を失うことになります。しかし、リスクを考慮せずに突き進むこともできません。

調査結果は、現時点で多くの組織がAIアプリケーションに対する十分なセキュリティ実践を欠いていることを明確に示しています。このギャップを埋めるには、リーダーシップによるコミットメント、ツールやトレーニングへの投資、開発・セキュリティチームの連携を強化する文化的変革が必要です。これらの課題を乗り越えた組織は、AIの利点を享受しつつ、そのリスクを効果的に管理できるようになるでしょう。