ノースカロライナ大学の科学者らは、人工知能で使用されるコンピュータービジョンシステムを攻撃する新しい方法を開発した。 RisingAttacKと呼ばれるこの手法では、AIが画像をまったく異なるものとして認識するように密かに変更することができ、実際の物体を認識する能力を完全に失うまでになります。
RisingAttacK の技術は段階的に機能します。まず、画像を分析し、AI システムがオブジェクトを認識するために使用する主要な視覚的特徴を識別します。次に、これらの特徴の変化に対するアルゴリズムの感度を計算します。この後、AI を混乱させるために、最小限だが意図的な歪みが画像に導入されます。その結果、人間にとっては画像は同じままですが、アルゴリズムにとっては「見えない」ものになります。例えば、自動運転車から車や歩行者を「隠す」ことが可能です。
この手法は、コンピュータービジョンの一般的なニューラルネットワークモデル4つ（ResNet-50、DenseNet-121、ViT-B、DEiT-B）でテストされ、すべてのケースで攻撃は成功しました。これは、自動運転車、監視カメラ、医療用スキャナー、その他の重要なアプリケーションで現在使用されているシステムが、このような攻撃に対して脆弱であることを意味します。研究者らは、この研究の目的はAIへの信頼を損なうことではなく、AIの弱点を明らかにしてそれを排除することだと強調している。
この研究は7月15日にバンクーバーで開催される国際機械学習会議で正式に発表される予定だ。開発者らはすでに、企業がニューラルネットワークを保護できるように、RisingAttacK を GitHub でオープンソース化している。