マルチカメラ画像を用いた手術工程の自動推定とその結果の分析による医療現場の効率化

連絡先：tuan.t.d@ieee.org (TRAN Tuan Dinh)

※ 本研究のフォーカスは手術工程であるが、キッチン工程などの他の工程にも応用可能である。
従って、以下の説明は手術工程用のみである。

研究背景

人の行動を正しく推定する研究は様々な応用が期待される分野である。例えば、ロボットへのやさしい教示手段、無形伝統文化スキルのアーカイブ、手術工程の自動推定など多様な応用先がある。特に手術工程の自動推定は、医療ミス、医療従事者の不足、不十分な医療訓練時間、熟練医の技能伝授困難など様々な問題の改善に繋がると期待されており、日本と欧州がこの分野の研究をリードしているとも言える。従って、近年、手術工程の自動推定に関して、幅広い研究者が様々な研究を行っている。

手術工程の自動推定：

  1. 手術工程の効率を向上させる。
  2. 手術工程をシミュレートする。
  3. 自動的に手術工程に関するドキュメントを作成する。
  4. …

アプローチ

手術工程を把握するためには、センサが必要であり、センサの取り付け方法により、手術工程の自動推定手法は主な二つアプローチに分かれている。

  1. 医師や道具に固定したセンサを採用した手法：医師の体または手術道具にセンサを取り付けて手術工程の推定を行っているため、毎回手術の前にセンサを外して、取り付け直して、システムの再設定を行う必要がある。さらに、小さな手術器材の場合は、センサを固定すると、手術器材が使いにくくなるため、医者の手術を妨げる可能性がある。
  2. 医師や道具に固定していないセンサを採用した手法：カメラセンサは代表的であり、医師や手術器にマーカやデバイスを直接固定せず、手術室の壁や天井に配置することで、一度設定すれば、その後の再設定の手間が殆どなくなる特徴がある。そして、カメラ配置場所は手術エリアから離れているため、手術の妨げにならない。

本研究はカメラセンサを採用することにした。

先行研究の問題点

行動推定は、モデルデータの学習と行動推定の二つの過程で構成される。先行研究では両者は同一環境で行われるためカメラセンサの配置は一緒であるが、実際には両者は別の場所で行われるのが殆どで、異なる空間においてカメラセンサを同一な位置に配置することは困難である。

従って、カメラセンサの配置が両者間で異なっても推定精度に大きな影響を与えないように、動作データの不変特徴量の表現法、処理手法を工夫する必要がある。

研究の特色・独創的な点

多くの行動推定手法がマーカやデバイスを用いるが、本研究はカメラセンサのみを使用するため作業者や作業内容に影響を全く与えない。マーカを使わない手法も開発されているが、道具や手、頭などの個体認識に依存している手法または人のモデルを作成しそれに基づいて行動推定を行う手法が殆どで、本研究で目指している、環境変化にロバストで十分な精度の行動推定が可能な手法は確認されていない。本研究は、手術器材や医師の手などを認識せず、画像フレーム間の変化のような低レベルの特徴量を使用して、手術プロセス中の行動毎に出現しやすい動きとその関係を学習する。これにより、人物や衣装などが変化しても比較的に安定して高精度の結果が出せる。さらに、外部パラメータのCalibrationがされていない単眼のカメラセンサを数台配置するだけで対象作業の行動推定が可能になるため、学術的にも実用的にも高い価値がある。

そして、モデルを作成した空間と異なる空間であっても最高の結果が得られる大雑把なセンサ配置を行うことができ、推定精度低下が最小になるよう観測環境の変化を抑えられることも本提案の独創的部分の一つである。

医療や福祉分野のみならず様々な産業現場においても一連の作業を新人に教えることは重要である。しかし、どの現場も人手不足、経費節約、人材教育期間短縮の問題を共通して抱えており、本提案手法により熟練者の作業がモデル化され、そのデータに基づく新人教育が可能になれば、大きな社会的効果も創り出せる。また，手術室では、ヒューマンエラーによる問題が発生しやすく、手術室内のミスは、人間の生命に影響を与えるため、深刻な問題である。統計によると、アメリカでは、医療ミスが死因の3位になっている。本研究の成果は、医療ミスによる死亡事故を減らすことと直結するため非常に重要である。

研究手順

  1. 工程フェイズの自動推定（進行中）
  2. 工程の定量的な評価による作業の問題発見

本研究はマルチカメラセンサを用いて、 画像処理と機械学習技術で手術工程の自動推定とその結果の分析による医療現場サポートシステムを構築することを目的とし、次のような二つの実践課題をもっている。一つ目は、マルチカメラを用いた、手術工程中のタスクの段階（フェイズ）を自動的に推定するシステムの実現である。システム内の各カメラは、手術の状況によって最適な場所からモニタリングできるよう一定範囲で自分の位置を移動させる必要がある。また、カメラの位置がある範囲内で変化しても推定精度に影響が出ないようにアルゴリズムのロバスト性を向上させる必要がある。二つ目は、手術工程の推定結果を踏まえ、作業途中に何かミスや問題などが発生する確率を算定し、事前に問題を予告できるようにすることである。問題が発生した場合でも問題の発見とアラートをタイムリーに出すことができるシステムへの発展も目標にする。

提案手法

  1. 工程フェイズの自動推定

バージョン ２

バージョン２ではバージョン１で提案したフェイズ推定手法を継承し、カメラ位置と姿勢に依存せず、モデルを作成した空間と異なる空間であっても推定精度に大きな影響を与えないように、動作データの不変特徴量の表現法、処理手法を提案する。

具体的に説明すると、マルチカメラセンサから取得した連続画像データを前処理  (Pre-Process) を施してノイズの除去と前景抽出を行った後、ORB (Oriented FAST and rotated BRIEF)バイナリ特徴量とOF (Optical Flow) モーション特徴量から結合されるORB-OF不変特徴量 (Invariant Feature) を求める（以下の図をご参考）。現段階のORB-OF特徴量は256ビットのORBバイナリベクトルとOFのインデックスを有する。バイナリベクトルをインデックスに正規化するためには、Binary Feature Clustering手法を提案した。結果として、一定時間の3 次元空間上の動きを2 次元平面上に射影し、 ORBインデックスとOFインデックスを有するORB-OF特徴量のBag-of-Words を得る。最後に、Hidden Markov Model  (HMM) を用いて基準となるモデルデータ（学習データ）を学習し、新たな観測データが入力されると自動的にフェイズ推定が行われる。

  • ORB-OF不変特徴量

本研究で提案された不変特徴量はORB (Oriented FAST and rotated BRIEF)バイナリ特徴量とOF (Optical Flow) モーション特徴量から結合される。提案する不変特徴量は異なるビュー（カメラ配置）であっても、変化しない特徴を把持する。以下の図では、二つのビューから取得したフレーム (a) からORB特徴量を検出し (b)、ORB特徴量毎に指向と256ビットの記述子を入手する (c)。その後に、ORBのキーポイントでOF特徴量を計算する (d)。そして、ORB指向に基づいて、ORB記述子とOF指向を回転した後 (e)、OF指向を(h)で表される８方向（インデックス）に正規化する (f)。最後に、提案したBinary Feature Clustering手法を通じて、256ビットのORB記述子をインデックス（クラスタ）に正規化する (g)。ORB-OF不変特徴量計算では、複数の正規化を行ったが、そうした目的は特徴量の次元を削減する他に、ノイズにより多少変化した特徴量を各クラスタに割り当てることで、ノイズを減少する。

付録：行動認識手法

バージョン２のフェイズ推定手法に基づいて、上記図の通りに行動認識手法も提案した。両者は同じで４つのステップがあり、最初の３つが完全に同じであるが、最後のステップが異なる。フェイズ推定課題の場合では、１つの入力動画は複数の連続行動を有し、各行動に分けると共に、その行動を認識する必要であるため、Hidden Markov Modelを採用したが、行動認識課題では、１つの入力動画は１つの行動しか有しないので、Latent Dirichlet Allocationに基づく提案したTopic Fixed LDA (TF-LDA) を利用する。

バージョン １

バージョン１で開発したフェイズ自動推定手法を上記図で簡単に紹介する。空間内に設置された3 台のカメラセンサから取得した連続画像データを(A)前処理を施してノイズを除去した後、(B)Optical Flow を求めて一定時間の3 次元空間上の動きを2 次元平面上に射影し、 Bag-of-Words を作る。(C)Latent Dirichlet Allocation モデルを用いて次元削減を行い、(D)その結果に対して正規化を行う。(E)最後に、Hidden Markov Model を用いて基準となるモデルデータ（学習データ）を学習し、新たな観測データが入力されると自動的にフェーズ推定が行われる。本手法を用いた実験の結果、胆嚢摘出手術の全 12 フェーズ（CO2 Inflation, Trocar Insertion, Dissection など）に対して推定正解率、約84％を記録した。

デモビデオ

このデモビデオはIECON 2015で発表された。

出版

学術雑誌に掲載した論文

  1. “Phase Segmentation Methods for an Automatic Surgical Workflow Analysis”, D. T. Tran, R. Sakurai, H. Yamazoe, J.-H. Lee, International Journal of Biomedical Imaging, vol. 2017, Article ID 1985796, 17 pages, 2017. doi:10.1155/2017/1985796. (査読有)

国際会議における発表

  1. “Camera Pose-Independent Action Recognition in Operating Room”, D.T. Tran, H. Yamazoe, J.-H. Lee, International Conference on Information and Communication Technology and Digital Convergence Business (ICIDB), Hanoi-Vietnam, 2018.1. (口頭発表, 査読有)
  2. “PCA-based Surgical Phases Estimation with a Multi-Camera System”, D.T. Tran, R. Sakurai, H. Yamazoe, J.-H. Lee, The 14th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), Jeju-Korea, 2017.6. (口頭発表, 査読有)
  3. “Improving phases segmentation in surgical workflow using topic model for visual motion words”, D.T. Tran, R. Sakurai, H. Yamazoe, J.-H. Lee, 2016 IEEE/SICE International Symposium on System Integration (SII), Sapporo-Japan, 2016.12. (口頭発表, 査読有)
  4. “Integration of a topic probability distribution into surgical phase estimation with a hidden Markov model”, D.T. Tran, R. Sakurai, J.-H. Lee, 41st Annual Conference of the IEEE Industrial Electronics Society, Yokohama-Japan, 2015.11. (口頭発表, 査読有)
  5. “An improvement of surgical phase detection using Latent Dirichlet Allocation and Hidden Markov Model”, D.T. Tran, R. Sakurai, J.-H. Lee, The KES International Conference on Innovation in Medicine and Healthcare, Kyoto-Japan, 2015.09. (口頭発表, 査読有)
  6. “Methods to resolve memory issue in surgical phase detection system using soft and hard clustering techniques”, D.T. Tran, R. Sakurai, H. Yamazoe, J.-H. Lee, The 11th Joint Workshop on Machine Perception and Robotics, Fukuoka-Japan, 2015.11. (口頭発表, 査読無)