「HALCON実践 - パターンマッチング」

近年、半導体や自動車、防犯、食品などといった様々な分野で、画像処理を利用したシステムの普及が進んでいます。ソフテックでもお客様のご依頼を受け、画像処理ツールHALCONを使用し、画像処理アプリケーションを作成しています。
HALCONは、過去のソフテックだよりでも紹介させていただきましたが、ドイツのMVTec社が開発した画像処理ツールです。ライブラリ関数の組み合わせにより効率的に画像処理システムを開発でき、汎用性にも優れ、世界で高い評価を得ています。ソフテックは、HALCONの輸入販売を行っている株式会社リンクスとパートナー契約を結んでおり、強力なサポートを受けながら開発を行っています。

今回のソフテックだよりでは、HALCONの機能と使い方をご紹介させていただきます。
大部分のシステムで使用される基本的な機能、「パターンマッチング」の手順の一例を、モデル生成、検索範囲絞り込み、パターンマッチング実行の順に説明します。
画像に含まれる特定の形状を輝度情報から探し出す処理を、パターンマッチングと呼びます。

まずは、画像の中から探し出したい対象物のモデルを生成します。
今回の例では、基板画像（図1）の中からアライメントマーク（黄色矢印で示した四角形）を検出します。
※画像は秘密保持のため一部加工してあります。この加工の有無は、今回の検査内容には影響を与えません。

図1. 検出対象を含む画像

モデル生成は、HALCONにモデルとする画像を読み込ませ、関数を1つ実行するだけで完了します。対象を切り取った小さい画像（図2）からアライメントマークのモデルを生成します。

図2. モデル画像

モデル生成はこの方法以外にも、大きな画像の一部分を参照する方法や、図形を自分で作成する方法もあります。用途・目的に応じ、適切な手法を選択します。
モデルの情報（形状、回転角度、伸縮率など）はHALCONが管理し、アプリケーション側からはモデル生成時に出力されたIDでそのモデル情報にアクセスします。

パターンマッチングを開始する前に、検索範囲の絞り込みを行います。
これは必須の処理ではありませんが、予め2値化（輝度のしきい値を設定し、画像を明部と暗部に分ける処理）などの処理時間の短い関数で画像内の検出範囲を絞り込んでおく事で、モデル検索範囲を少なくし高速化を図ります。

今回の例では検出対象が正方形のICチップの付近にある事に着目し、チップの周辺領域を検索範囲とします。2値化で抽出した暗い（輝度が低い）部分（図3赤領域）に数ステップの処理を適用しチップ周辺領域を作成し、その中のみで検索を実行するものとします。（図4）

図3. 2値化結果

図4. 検索範囲絞込み

画像にもよりますが、この処理により、パターンマッチングに要する処理時間を画像全体から検索する場合の1/2や1/3などと大きく短縮できるケースが多くあります。

生成したモデルのIDと、検索対象の画像、許容する回転角度、伸縮率などのパラメータを指定し関数を実行すると、モデルと一致するパターンがある座標と、モデルと比較しての回転角度、伸縮率が結果として出力されます。
各パラメータの許容範囲は広くするほど処理時間が長くなるので、今回は回転角度±0、伸縮は等倍のみに設定しました。
案件に応じて出力結果から、ステージ移動座標を計算したり、良品／不良品判定を行ったりします。

今回の例はマークの検出までを目的としているので、出力された座標にHALCONの描画機能で円を表示しました。（図5）

図5. 結果表示

今回紹介させていただいたように、HALCONでのパターンマッチング処理そのものは比較的簡潔なものになります。
実案件においては、画像処理に適した画像を得る手段や、複数の画像においてムラ無く対象を検出できるパラメータの設定といった部分の工夫・調整が重要になってきます。
これはパターンマッチング以外にも言える事で、カメラ・レンズや照明の選定、画像に対する処理とパラメータの選択などは、実体験を通して覚えていかないと難しいところだと感じています。
経験を積み、株式会社リンクスの協力も受け、お客様にご満足いただけるようなシステムを開発していければと思います。