Diagence社、阪大サイバーメディアセンター、慶大、沖縄美ら島財団で実用化へ
概要
ザトウクジラは、尾びれ腹側の模様や形状を利用して個体を識別できることが知られている。今回、株式会社Diagenceと大阪大学サイバーメディアセンターと慶應義塾大学は一般財団法人沖縄美ら島財団が30年以上にわたり収集してきた1850頭、約1万枚のザトウクジラの尾びれの写真を用いてクジラの個体を自動で識別できるAI技術および自動識別システムを開発した。
ザトウクジラの研究者の個体識別に関する知見を活用してAIアルゴリズム・システムを開発することで、撮影された尾びれの写真を入力すると、登録されている1850頭のクジラの尾びれの中から特徴が近い尾びれを有するクジラを順番にリストアップすることに成功した。すでに登録されているクジラであれば約89％が30頭内に正解個体がリストアップされ、約76％は正解個体が１位としてリストアップされた。
本技術の特徴
- 数千頭規模の個体数でも人手によらず自動で一挙に識別することができる。
- 模様のない（真っ黒や真っ白）尾びれのザトウクジラでも識別できる。
- クジラの写真数が少ない場合や、天候条件や角度や距離などが異なる場合でも識別できる。
2022年2月6日〜8日に開催されたVISAPP2022 (INSTICC主催 17th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications：本年はオンライン開催)において、この成果を発表しました。*
*Takashi Yoshikawa, Masami Hida, Chonho Lee, Haruna Okabe, Nozomi Kobayashi, Sachie Ozawa, Hideo Saito, Masaki Kan, Susumu Date, and Shinji Shimojo, “IDENTIFICATION OF OVER ONE THOUSAND INDIVIDUAL WILD HUMPBACK WHALES USING FLUKE PHOTOS”, VISAPP 2022, Online, February 2022
背景
北太平洋のザトウクジラは、冬季はハワイ、メキシコ、日本近海等の暖かい海域で交尾や、出産、子育てを行ない、夏季にアラスカ、アリューシャン列島や、ロシア等の冷たい海域で餌を食べて過ごす。また、かつて捕鯨の対象種として捕獲され、個体数が世界的に激減したため、現在、保全と観光資源との両立を目的とした基礎的な生態情報の把握が重要になっている。そのため、撮影された尾びれ写真をもとに個体を識別し、回避経路や集団構造等の分析が行われてきた。
ザトウクジラの尾びれは、先端がギザギザとした形状をしており、表面には点や線状のものも含め、白黒模様のある場合が多い。ザトウクジラの研究者らは、これらの特徴を頼りに、これまで肉眼で多大な時間と労力をかけて個体の識別作業を行なってきた。毎年400～500枚の新たな写真を撮影し、その識別作業には数ヶ月を要していた。コンピュータを使って自動化させたいニーズは世界中の研究者が持っており、有名なデータ分析コンペティションのKaggleでも題材として取り上げられているほどであるが、これまで実際に用いられているものはなかった。
課題
尾びれ写真を用いたコンピュータによる自動識別にはいくつかの課題がある。
- 野生のクジラとの遭遇は稀であるため、これまでに識別できているクジラのうち、１頭あたりの写真の枚数が3枚以下だった個体が79%を占める。
- それらの写真も天候と太陽光のあたり具合、距離、角度、背景の波の様子など、撮影された条件がさまざまにばらついている。
- さらにクジラの尾びれは複雑な形状で、見る角度や動きによっても形が大きく変わって見える。それに合わせて表面の模様も見え方が変わる。
- 35％のクジラは真っ白か真っ黒で尾びれに模様がない。模様がある場合でも、白と黒の明確な境目はなく、ぼんやりとしている。
本システムの手法
- 真っ白や真っ黒な尾びれのクジラも含めて全てのクジラ写真を対象とするため、先端のギザギザ形状を主な対象とした。
- 複雑で撮影ごとにばらつく尾びれの形状をデータとして正確に抜き出す必要がある。そこで最初に、一般に柔軟性の高い判定が行える深層学習を用いて大まかな尾びれの形のマスクを作成した。次に画素レベルの図形処理手法であるGrabCutを行う際に、このマスクを用いて、尾びれとそれ以外の領域を指定することによって尾びれを正確に抜き出すことができた。
- 抜き出したギザギザ形状を用いて対象となる1000頭以上でも細かく区別ができることが必要だった。そこで規則性のない凹凸の解析に有効なWavelet変換を用いてギザギザ形状の特徴をベクトル化した。
- これまでに識別、登録されているクジラと特徴ベクトルの比較を行った。その際、写真によるばらつきが大きいため、識別は絶対値ではなくランキングとして上位からリストアップした。
- 白黒模様からの特徴量も抽出し補助的に用いた。
評価
2016 年に撮影された写真を使用して評価を行なった。 475 枚のうち、458 枚の写真が識別処理に使用できる写真であった。残りの 17 枚は、尾びれの一部しか見えていないなどのため除外された。本システムで識別可能な写真の割合（カバー率）は96%であった。このうち、「新個体」の写真は 135 枚ある。これらを除いた残りの 323 枚について、246 枚（76%）の写真について、正しい個体が 1 位にランクされ、また、288 枚（89%）の写真については、上位 30 位以内に正しい個体がリストアップされた。
このように自動で多くの写真を一挙に扱うことができるため、季節によって広い海域を移動するザトウクジラの回避経路や集団構造の解明に有効なシステムとなった。
今後の展望
ザトウクジラを研究している世界の研究施設にこのシステムを普及させて、AI技術などの先進コンピュータ技術により自然科学研究の進展に貢献することを目指す。また、本研究では、ザトウクジラの専門家の知見や作業ノウハウをAIシステムに落とし込むことに成功したが、医療、スポーツ、報道などの分野でも専門家の人力による写真区別・識別作業が行われているため、これらの分野に対しての応用を目指したシステム・サービス開発を進めていく。
＊2022年2月4日に本成果のプレスリリースを行いました。