AIによるトランキング技術 SAM2を試してみる

AIによるトランキング技術　SAM2を試してみる

最近ではAIについてのニュースが取り扱われることも随分多くなりました。
一般的にはOpenAI社のChatGPTに代表されるチャット型のサービスやStability AI社のStable DiffusionStableに代表される画像生成型のサービスが取り上げられることが多いですが、私たちが日々扱っている画像処理・画像解析といった分野でも技術革新が進んでいます。今回はそんな画像処理に関係したAI技術から、Meta社が昨年公開したSAM2（Segment Anything Model 2）ついての記事となります。

Metaが公開したSAM2（Segment Anything Model 2）は、画像から対象を認識するだけでなくその対象を追跡（トラッキング）するというところまで機能を拡張した学習モデルになります。
従来のセグメンテーションモデルでは画像（静止画）を扱うことが一般的でしたが、SAM2は動画や動きのある画像に対しても高い精度を実現しています。
このサイトでも良く扱う顕微鏡画像というジャンルで言うとトラッキング機能は、例えば細胞や微生物の動きの追跡、温度により形状や位置が変わる材料の特性調査といったことにも使われますし、一般的にはスポーツ選手の動きの追跡や、自然科学の分野では動物や昆虫、魚の動きの調査など様々な用途が考えられます。

また、SAM2（Segment Anything Model 2）は名前が示す通りSAM（Segment Anything Model）という静止画向けのモデルから派生した技術となります。このモデルの大きな特徴にゼロショットセグメンテーションがあります。簡単にいうと「個別に専用のモデルを用意しなくても認識ができる」というイメージです。事前に学習された膨大なモデルをすでに持っており、それを利用して、初見の画像でも認識を行うことができる　ということです。
現時点でのＡＩ利用の欠点である「自社利用のために大量のトレーニングデータが必要」「ある用途に特化したモデルでは別のことに使えない」といった点を超えて、より汎用的な利用が期待されています。

興味のある方はMeta社のデモサイトをご覧いただくとよりイメージしやすいと思います。
SAN2デモサイト
https://sam2.metademolab.com/demo

実際の動画で検証

今回の検証にはGitHubに公開されているSAM2のサンプルを利用して、Pythonで作成した簡易的な検証プログラムを準備して実施しております。また精度を優先して一番容量の大きいモデルsam2.1_hiera_large.ptを選択しました。
検証用の動画は社員がスマホで撮影した自宅の水槽の画像を利用しました。この中を泳ぐ魚を対象としたいと思います。
SAM2検証
今回はあくまでもお試し調査なのでとくに確認したい点として3点をあげます。
①魚が草の裏などに隠れたときや、視野から外れたときに追跡が継続できるのか
②魚の泳ぐ方向が左右から、奥行き方向に変わるなど画像上で形状変化があっても見失わないか
③魚が重なったりしたときに、1匹にまとめられたりしないか

どういった画像のトラッキングでも、「形が変わる」「一時的に見えなくなる」「重なる」というのはよくある問題だと思います。奥行きがある水槽内を泳ぐ魚ということで、こういった動きをする対象を追ってみたいと思います。撮影した動画から、①～③の確認ができそうな2匹を見つけたので　この2匹(黄色枠)に注目して実行をします。
SAM2検証
追跡中はオレンジと緑に塗られて表示します。余談ですが長年画像解析に従事しており、ルールベースの画像処理に慣れた私としてはこれだけきれいに対象の領域だけを見つけていることにまず感心してしまいますね。
SAM2検証
①魚が草の裏などに隠れたときや、視野から外れたときに追跡が継続できるのか
オレンジ色に塗られた魚が草の後ろに隠れました。画像から完全に消えるため、一時的に対象のマークが無くなります。しばらくして草から出てくると再びオレンジ色にマークされ、追跡を継続することができています。
SAM2検証
②魚の泳ぐ方向が左右から、奥行き方向に変わるなど画像上で形状変化があっても見失わないか
これに関しては全く問題なしといえます。オレンジの魚の泳ぐ方向が変わったり一部隠れても認識は途切れません。
SAM2検証
③魚が重なったりしたときに、1匹にまとめられたりしないか
2匹の魚が重なったタイミングのフレームをみると、重なっても正常に認識されていることが確認できました。非常に協力な追跡能力だといえます。
SAM2検証
確認点は３つとも問題なしで...本当に関心してしまう性能です。
実行環境のリソースの問題や処理速度の面では制限もありますが、そういった点は今後の発展に期待しつつ、弊社でも積極的に技術利用を検討していきたい技術だと確認することができました。

今回の検討の動画やこちらになります。