遠方小物体の検知可能距離を従来比3倍以上に拡大する映像監視技術を実証
～4Kリアルタイム解析で、道路・空港などのインフラ監視の広域化・省設備化に貢献～

発表のポイント：

1. 背景

道路や空港などのインフラ監視では、限られた設備や人員で、広い範囲から事故や異物などの重要な事象を把握することが求められています。こうした監視の効率化に向け、近年では、物体の認識だけでなく、対象の状態や周囲との関係から「何が起きているか」を推論できる視覚言語モデル（VLM）の活用が期待されています。
　一方で従来構成では、VLMへの入力時またはその前段の物体検出時に画像縮小を伴うため、その過程で遠方の小さな対象などの重要な情報が失われます。このため、4Kなどの高精細カメラを用いても1台あたりの監視範囲を広げられず、後段での状況判断に必要な情報も得られないという課題があります。

2. 研究の成果

NTTは、4K映像を縮小せず、高精細なままリアルタイムに解析できる独自開発の超高精細映像AI推論LSIを活用し、遠方の小さな対象まで捉えるとともに、検知した対象の状況判断まで支援する映像監視技術を実証しました（図1）。
　本技術では、本LSIをVLMの前段処理エンジンとして活用し、4K映像からVLMが見るべき対象を高精細に捉え、その状況を判断するために必要な情報とともにVLMへ伝えることで、VLMへの入力データ量を抑えながらも画質は保ち、VLMによる状況判断を支援します。

図1. 超高精細映像AI推論LSIを前段処理に活用したVLM連携道路監視PoCシステム

3. 技術のポイント

（1）遠方まで監視範囲を広げる4K高精細・リアルタイム解析

NTTが独自開発した超高精細映像AI推論LSIは、4K映像を縮小せず、1秒間に30フレームでリアルタイムに物体を検出し、遠方に小さく映る対象も高精細に捉えます。4K映像全体を一般的な物体検出モデルの入力解像度に縮小する方式と比べて、遠方の小さな対象の特徴を維持できるため、検知可能距離を3倍以上に拡大できることを確認しています。さらに、検出結果をもとに対象を追跡し、位置・速度・移動方向などの「動きの情報」を推定します。

（2）「高精細な切り出し画像」と「動きの情報」でVLMの状況判断を支援

検知した対象の種別や動きの情報から、VLMによる詳細な状況確認が必要と判定した場合、対象周辺を4K解像度を保ったまま切り出した高精細画像と、対象や周辺物体の位置・速度・移動方向などの「動きの情報」をセットでVLMへ入力します。これにより、VLMは切り出し画像から対象の形状や周囲との関係などの細部を確認するとともに、画像だけでは分からない時間的な変化を「動きの情報」から把握し、状況判断を行います。

（3）必要な場面だけVLMで解析するイベントドリブン処理

平常時は、消費電力20W以下の超高精細映像AI推論LSIが4K映像を常時解析し、VLMによる詳細な状況判断が必要な事象を検知した場合にのみ、VLMによる解析を実行します。このイベントドリブン処理により、映像を継続的にVLMへ入力する構成と比べて、VLMへの入力回数を大幅に削減できます。さらに、（2）のとおり、VLMへ入力する情報も高精細な切り出し画像と動きの情報に絞ることで、VLMへ送る情報量を抑え、処理負荷や通信量を低減するとともに、トークン消費量やシステム全体のエネルギー消費の低減も期待できます。

図2. PoCシステムにおける処理フロー詳細

4. 実験結果

事故発生の瞬間を含む1分間（1,800フレーム）の4K映像^※5を用いて、上記技術に基づいて構成したPoCシステムの動作を確認しました。評価映像は、画面奥方向に走行する黄色の車両が上下線間の構造物に衝突し、車道を横切るように停止する事故場面を含むものです。
　4K映像全体をVLMへ入力した場合には、入力時の画像縮小によって黄色の車両が小さく潰れ、事故と判断できませんでした（図3）。これに対し、本システムでは、独自LSIを中核とする前段処理によって停止した黄色の車両を検知し、その周辺を元の4K映像から画素情報を保ったまま320×320画素で切り出した画像と、周辺車両を含む動きの情報をVLMへ入力することで、事故と判断できることを確認しました。
　また、事故発生前後を含む映像変化の大きい1分間においても、VLMへの入力回数は34回に抑えられました。これは、全1,800フレームをVLMへ入力する場合と比べて、入力回数を約98.1%削減したことに相当します。さらに、VLMへ入力する画像を対象周辺の局所領域に絞ることで、入力データ量も大幅に削減できることを確認しました。

図3. 評価結果

5. 今後の展開

今後は、道路監視や空港監視など、さまざまな監視分野への適用を進め、1台のカメラでより遠方まで広範囲に監視できる特長を活かして、監視設備の広域化・省設備化に貢献していきます。さらに、VLMをはじめとする生成AIとの連携を高度化し、高精細映像から後段の解析や判断に必要な情報を効率的に抽出・伝達する「生成AIの目」となる前段処理技術として、幅広い分野への展開をめざします。
　なお、NTTイノベーティブデバイス株式会社より、2026年度内に、本LSIを搭載した製品（Engineering Sample）の提供開始を予定しています。

6. 関連する過去の報道発表

【用語解説】

^※1LSI：Large Scale Integration

^※2超高精細映像AI推論LSI　URL：https://group.ntt/jp/newsrelease/2025/04/11/250411a.html

^※3VLM：Vision Language Model

^※4NTT R&D FORUM 2026 https://www.rd.ntt/forum/2026/

^※5C. Creß et al., "A9-dataset: Multi-sensor infrastructure-based dataset for mobility research," 2022 IEEE Intelligent Vehicles Symposium (IV), pp. 965–970, 2022.　本データセットの映像を4K解像度にアップスケールし、評価映像として利用