AI外観検査は、製品の画像から良品と不良品の見分け方を学ぶ仕組みです。不良品の画像が少ない現場でも、良品の画像を中心にすれば立ち上げられます。
工程が安定している工場ほど不良品は出にくく、いちばん欲しい不良の画像ほど集まりません。足りない分は、不良品をわざと作って撮影したり、画像を加工したりして補えます。
つまずきやすいのは枚数より、撮り方、ラベル付け（良否の正解を付ける作業。アノテーションとも呼びます）、データの分け方です。
この記事では、学習データ集めでつまずく場面、集める前に決めておくこと、不良品が少ないときの5つの手を整理します。続いて、公開事例、アノテーションの基準と体制、データの分け方、少量データで評価するときの注意の順に見ていきます。
学習データ集めでつまずく場面
AI外観検査は、画像という「例」から良否の見分け方を学びます。そのため、どんな画像を用意できるかが、そのまま検査の実力を決めます。ところが製造現場では、いちばん欲しい不良品の画像ほど手に入りにくいという事情があります。
数が足りない場面と、集めたのに使えない場面があります。
中京大学の青木公也教授は、2023年のJST新技術説明会の資料で、外観検査AIの運用のボトルネックを学習用の検査画像だと整理しています。
不良の発生がまれで収集が難しいこと、ラインの立ち上げ前でサンプルがないことが、その理由です。
同じ資料は、画像をただ集めればよいわけではないとも指摘しています。良品のばらつきと欠陥のばらつきを広く含んでいること、正しくラベルが付いていること、不適切なデータが取り除かれていることが必要だという指摘です。
不良品が少ない現場での基本の考え方は、次の3点にまとめられます。
良品の画像を中心に学習を立ち上げること、数少ない本物の不良は学習よりも評価に優先して使うこと、足りない分を作り込みや画像の加工で補うことです。以降の章は、この順番で具体的な進め方を見ていきます。
集める前に決めておくこと
画像を撮り始める前に決めておきたいことが3つあります。データの使い道、撮像条件、そして良品のばらつきの範囲です。ここを飛ばして枚数だけ集めると、あとで撮り直しになりやすくなります。
データの使い道は3つある
集めた画像は、学習用、検証用、テスト用の3つに分けて使います。学習用はAIに見分け方を覚えさせるため、検証用はしきい値（どこから不良とみなすかの境目）などを調整するため、テスト用は最後に実力を確かめるためのものです。
同じ画像でも、どの用途に回すかで価値が変わります。
不良品が少ない現場でまず意識したいのは、本物の不良をどこに使うかです。学習にすべて使ってしまうと、できあがったAIが本当に不良を見つけられるのかを確かめる材料がなくなります。
産業技術総合研究所（産総研）の「機械学習品質マネジメントガイドライン」は、データが対応すべき状況を抜け漏れなく覆っているかという性質を取り上げています。
品質管理の観点からは、この性質について主にテスト用と検証用のデータセットに着目するという立場です。
本物の不良を評価に優先して使うという進め方は本記事での整理ですが、評価に使うデータの質を重く見る点で、この考え方に沿っています。
撮像条件を先に固定する
カメラ、レンズ、照明、ワークの置き方が変わると、同じ部品でも画像はまったく別物になります。条件を変える前に撮った画像は、学習データとして使えなくなることがあります。撮像条件を固めてから本格的に撮りためるのが、結果として近道です。
キーエンスは技術解説の中で、高精度な判定には「良い画像」で学習させることが重要だと述べています。
また、自社製品の説明の中で、カメラ側で位置補正や前処理をかけることにより、少ない学習枚数でAIを構築できるとしています。
ワークの位置や向きのばらつきを画像側で吸収しておけば、AIが覚えるべきことが減る、と考えると理解しやすくなります。
撮像条件は記録にも残しておきます。カメラの設定値、照明の種類と明るさ、撮影距離、撮影日を画像とひも付けておけば、あとで条件の違うデータが混ざったときに切り分けられます。
撮像の仕組みそのものは、AI外観検査の仕組みと基本原理の記事で説明しています。
良品のばらつきを洗い出す
良品といっても、見た目は1つではありません。材料ロットによる色味の違い、金型ごとの微妙な形状差、洗浄後の水滴の跡など、問題のない見た目の違いが数多くあります。これを学習データに含めておかないと、AIは良品を不良と判定してしまいます。
産総研のガイドラインは、この性質を「データセットの被覆性」と呼んでいます。対応すべき状況のそれぞれに、抜け漏れなく十分な量のデータがあることを指す言葉です。
ガイドラインは交通信号機の画像認識を例に、特定の市の狭い範囲のデータだけで訓練していないことがこの性質に当たると説明しています。
1日分、1ロット分だけで集めると、この幅が入りません。
※一般的な例です。どの変動が効くかは製品によって異なります。
洗い出しは、検査員への聞き取りから始めると進めやすくなります。「不良ではないが、見た目が変わるのはどんなときか」を挙げてもらい、その条件ごとに画像を集めます。QC七つ道具でいう層別やチェックシートの考え方が、そのまま使えます。
不良品が少ないときの5つの手
不良画像が足りないときの手段は、大きく5つあります。どれか1つを選ぶというより、組み合わせて使うものです。まず全体を比べ、そのあとで1つずつ見ていきます。
用意するものと注意点が、それぞれ異なります。
良品だけで学習する
1つ目は、良品の画像だけを学習させ、そこから外れたものを異常とみなす方法です。異常検知、または良品学習と呼ばれます。不良画像がなくても学習を始められるため、不良が少ない現場の出発点になります。
この方式の研究で広く使われている公開データセットに、ドイツのMVTec社が2019年に発表した「MVTec AD」があります。
15種類の対象について5,354枚の画像を収めたもので、学習・検証用の3,629枚はすべて欠陥のない画像です。欠陥のある画像はテスト用にだけ入っています。
このデータセットを使った研究は多くあります。2022年の国際会議で発表されたPatchCoreという手法は、画像単位の判定でAUROCが最大99.6％だったと報告しています。
AUROCは、良品と不良品をどれだけ分けられるかを表す指標です。ただし、これは管理された条件で撮った公開データでの値です。
自社の製品で同じ数字が出ることを意味するものではありません。
弱点もあります。青木教授の資料は、教師なし学習では異常の種類の判定は考えられておらず、欠陥の領域の検出も曖昧になると整理しています。
MVTec ADの論文も、欠陥のない画像だけから適切なしきい値を決めるのは難しいと述べています。良品学習でも、しきい値決めと評価には本物の不良が必要です。
不良品学習との使い分けや方式の選び方は、ルールベース検査との違いと導入の進め方の記事で比較しています。
出た不良を捨てずに貯める
2つ目は地道な方法ですが、効果は確実です。検査で見つかった不良品を廃棄する前に、決めた撮像条件で撮影し、現物も保管します。現物を残しておけば、照明やカメラを変えたときに撮り直せます。
画像には、発生日、ロット、不良の種類、判定した人を記録しておきます。この記録があると、あとでデータを分けるときや、不良の種類ごとに検出できているかを確かめるときに役立ちます。AIの導入を決める前から始められるのも、この方法の利点です。
不良の件数を種類別・月別に集計しておくと、どの不良がどれくらいの期間で何枚集まるかの見通しも立ちます。集計の進め方は、現場エンジニア向けのデータ分析の記事が参考になります。
不良を作り込む
3つ目は、良品に人の手で傷や打痕を付けたり、異物を載せたりして、不良のサンプルを作る方法です。MVTec ADも、実際の検査で起こりうる欠陥を想定して人の手で欠陥を作り、撮影しています。
欠陥の種類は全体で73種、1つの対象あたり平均5種です。
作り込みの利点は、合否の境目に近いサンプルを狙って用意できることです。限度見本（どこまでを良品とするかを示す現物の見本）に合わせて傷の長さや深さを変えれば、AIがどの程度の不良から検出できるかを確かめられます。
一方で、青木教授の資料が指摘するように手間がかかります。また、人が付けた傷は、工程で実際に生じる傷と見え方が違うことがあります。
作り込んだサンプルで検出できても、本物の不良を検出できるとは限らない点に注意が必要です。作り込んだ不良品が良品に混ざって流出しないよう、識別と保管のルールも決めておきます。
データ拡張で水増しする
4つ目は、手元の画像を加工して枚数を増やすデータ拡張です。
産総研のガイドラインは、訓練用のデータ数の確保や過学習（学習データだけに合いすぎること）の防止などのために、データの変種を生成して追加する処理と説明しています。
画像では回転、縮小、反転、明度の変更、背景の置き換えなどが例に挙がっています。
注意したいのは、現場で起こりえない画像を作ってしまうことです。青木教授の資料も、実サンプルに画像処理を施す水増しは一般的に行われているが、製造ラインでは起こりえない画像が生成される可能性があると指摘しています。
たとえば、ワークの向きが治具で決まっている工程で、上下を反転させた画像を学習させても意味がありません。向きが逆であること自体が不良になる製品では、害にもなります。
明るさを変える幅も、実際の照明の変動の範囲にとどめます。どの加工を許すかは、図3で洗い出した変動と照らし合わせて決めます。
画像生成で不良画像を合成する
5つ目は、良品の画像に人工的な異常を加えたり、画像を生成するAIで不良画像を作ったりする方法です。研究では、画像の一部を切り取って別の場所に貼り付けるCutPaste（2021年）が提案されています。
欠陥のない画像に擬似的な異常を重ねて学習するDRAEM（2021年）もその1つです。どちらも本物の不良画像を使わずに学習する手法です。
製品としても、少数の不良画像や不良の設定をもとに不良画像を生成するサービスが登場しています。
たとえばデータグリッドは、外観検査向けのデータ生成ソフトウェア「Anomaly Generator」を提供しています。
同社の発表によれば、少数の不良品データから多様な不良品データを生成するもので、2023年10月には狙った位置に不良を生成する機能などの追加を発表しました。生成AIの仕組みを画像の世界に応用したものです。
合成した画像は、あくまで学習を助けるためのものです。青木教授の資料は、良品画像に欠陥を模擬したり、他の欠陥画像を貼り付けたりする加工は、質の悪い学習画像になりうると注意しています。
合成画像を検出できることと、本物の不良を検出できることは別なので、評価は本物の不良で行います。
良品から始め、不良が貯まるにつれて手を広げていきます。
※進め方の一例です。不良がすでに十分にある工程では、最初から不良品学習を選ぶこともあります。
公開事例にみるデータの集め方
ここまでの方法が実際にどう使われているかを、企業の公式発表から2つ見ておきます。どちらも、不良画像を大量に集めることを前提にしていない例です。
良品画像で既存の検査装置を補った例
東芝デジタルソリューションズが公開している導入事例によると、東芝ライテックの今治事業所は、車載用ソケットLEDの外観検査にAIの良品学習方式を取り入れました。
既存のルールベースの自動外観検査装置では、未知の不良への対応や検査領域の拡張が難しかったことが背景です。
この事例では、1,000枚ほどの良品画像を使って学習したと紹介されています。
不良のモデルを学習させる方式は時間がかかり拡張も難しいと判断し、良品画像だけで学習でき、既存の設備と組み合わせられる方式を選んだとのことです。
良否判別の精度は目標値の95％を達成し、過検出が減ったことで目視作業の工数は3分の1程度になったとされています。
なお、これはこの製品とこの装置構成での公表値です。1,000枚という数字が、ほかの製品にも当てはまる目安になるわけではありません。
人工的な異常を加えて学習した例
富士通研究所は2021年3月、不良品の画像を教師データとして準備しなくても学習できる画像検査技術を開発したと発表しました。人工的に異常を付加した製品の画像を生成しながら、AIを学習させる技術です。
付加する異常の大きさ、色、個数を制御しながら学習させる点が特徴です。
同社の発表では、富士通インターコネクトテクノロジーズの長野工場の検査工程で検証し、プリント基板の検査工数を25％削減できる効果を確認したとしています。この工場での検証で得られた値です。
配線の形が部位ごとに違うプリント基板のように、良品の見た目に幅がある製品を対象にした技術です。
業界ごとの活用例は、次の記事でまとめています。
アノテーションの基準と体制
アノテーションは、画像に「良品」「不良」「ここに傷」といった正解の情報を付ける作業です。不良品学習では学習用の全画像に、良品学習でも検証用とテスト用の画像には正解が必要です。この正解が揺れていると、学習も評価も当てになりません。
基準を文章と見本で決める
産総研のガイドラインは、実際のデータにラベルを付けるときには、さまざまな揺らぎや迷い、曖昧さが生じるとしています。作業者の間で観点をそろえておかないと、ラベルの揺らぎが学習の精度低下や、不正確なテストにつながるという指摘です。
同じガイドラインは、やり直しのラベル付けは費用が高くつくとも述べています。そのため、PoC（本番の前に小さく試す検証）のなるべく早い段階でラベリングの方針を詳しく固め、文章にして記録しておくことを勧めています。
外観検査では、もともと使っている検査基準書と限度見本が出発点になります。傷の長さや個数のように数値で書けるものは数値で書き、色むらのように言葉にしにくいものは見本の画像を添えます。
AI用に新しい基準をつくるのではなく、今の検査基準を画像に当てはめ直す作業だと考えると進めやすくなります。
迷う画像の扱いを決める
どれだけ基準を整えても、良品か不良か迷う画像は出てきます。こうした画像を担当者の判断でどちらかに振り分けると、ラベルに個人差が入ります。迷ったら「保留」として別に分けるルールにしておくと、揺れを学習データに持ち込まずに済みます。
産総研のガイドラインも、めずらしいデータを学習の対象として採用するか、外れ値や測定ミスとして除くかの判断に触れています。
明確な方針や、迷ったときの判断の手順を決めておかないと、ぶれが生じるという指摘です。保留にした画像は、品質保証の責任者を交えて判定し、その結果を基準書に書き足していきます。
誰が付け、誰が確かめるか
ラベルを付けるのは、製品の良否を判断できる人である必要があります。キーエンスの技術解説も、OK・NGの画像は人が選ぶ必要があり、間違った画像を覚えさせるとAIは判断を誤ると説明しています。
AIの担当者だけで付けず、検査員や品質保証の担当者が関わる体制にします。
本番のラベル付けの前に、基準がそろっているかを小さく確かめます。
※ラベル付けを外部に委託する場合は、納品されたラベルの受入検査を行います。
同じ画像に複数の人がラベルを付け、食い違いを確認する手順は、測定のばらつきを調べるときの考え方と同じです。食い違いが多い不良の種類は、基準そのものが曖昧だという合図になります。
産総研のガイドラインは、データ収集やラベリングを外注する場合には受入検査を行う必要があるとも述べています。
データの分け方（学習・検証・テスト）
集めた画像を学習用、検証用、テスト用にどう分けるかは、評価の数字が信用できるかどうかを左右します。分け方を誤ると、テストの成績だけが良く、本番では当たらないAIができあがります。
テスト用のデータを、学習の影響から切り離しておくことが目的です。
先に分けてから増やす
機械学習のライブラリであるscikit-learnの公式ドキュメントは、本番では手に入らない情報を学習に使ってしまうことを「データリーク」と呼んでいます。
これが起こると、性能の見積もりが実際より良く出てしまい、本番の新しいデータで性能が落ちると説明しています。対策として、前処理よりも先に訓練用とテスト用に分けることを挙げています。
外観検査に当てはめると、データ拡張や画像の合成は分けた後に行います。1枚の画像から回転や明るさを変えて作った10枚が、学習用とテスト用にまたがって入ると、AIはほぼ同じ画像で答え合わせをしている状態になります。
同じワーク・同じロットをまたがせない
scikit-learnのドキュメントは、交差検証の解説の中で、データの分け方を紹介しています。互いに依存するデータのまとまり（グループ）がある場合に、同じグループを訓練側と検証側の両方に入れない分け方です。
例として挙げられているのは、同じ患者から取った複数のデータです。
外観検査に当てはめれば、同じワークを角度を変えて撮った画像や、同じロットで続けて撮った画像がこれに当たると考えられます。
同じロットの画像は材料も設備の状態も似ているため、無作為に分けると成績が良く出やすくなります。テスト用は、学習用とは別のロット、別の日に撮った画像で組むのが安全です。
産総研のガイドラインも、テスト用データセットの取得源や方法を検討し、偏りを入れないために行ったことを記録するよう求めています。どのロットのどの画像をどの用途に使ったかを一覧にしておくと、あとから評価をやり直すときにも役立ちます。
テスト用は最終確認に取っておく
しきい値や設定の調整は検証用で行い、テスト用は最後の確認に使います。scikit-learnのドキュメントは、テスト用のデータを見ながら調整を繰り返すことの問題も説明しています。
テスト用データの知識がモデルに漏れ、評価の数字が本来の実力を表さなくなります。
不良が少ない現場では、検証用とテスト用の両方に不良を配る余裕がないこともあります。その場合でも、テスト用の結果を見て調整したのであれば、その数字は割り引いて受け取る必要があります。
新しく出た不良を次のテスト用として取っておく運用にすると、確認の機会を継続して持てます。
少量データで評価するときの注意
不良のサンプルが少ないまま評価すると、結果を読み違えやすくなります。最後に、少ないデータで評価するときに押さえておきたい点を整理します。「何枚あれば足りるか」という疑問への答えも、ここにあります。
「見逃しゼロ」で言える範囲は件数で決まる
テスト用の不良30個をすべて検出できたとします。見逃しは0件ですが、これだけで「見逃し率は0％」とは言えません。
統計には、n件試して1度も起きなかった事象の発生率は、95％の信頼度でおよそ3÷n以下という目安があります。3の法則と呼ばれる考え方です。
すべて検出できた場合でも、見逃し率の上限はサンプル数で決まります（計算例）。
※95％の信頼度での上限を「3÷サンプル数」で近似した計算例です。テスト用の不良が、本番で出る不良を偏りなく代表していることが前提です。
この計算に当てはめると、30個なら約10％以下、100個なら約3％以下、300個なら約1％以下までしか言えません。必要な不良の数は、どこまでの見逃し率を確かめたいかによって決まります。
「学習に何枚必要か」に一般的な答えはありませんが、テストに何個必要かは、目標から逆算できます。
この目安には前提があります。テスト用の不良が、本番で出る不良を偏りなく代表していることです。作り込んだ不良や合成した画像ばかりで評価した場合は、この計算は当てはまりません。
割合ではなく件数で、種類ごとに見る
評価の結果は、正解率のような1つの割合にまとめず、見逃しと過検出を分けて件数で示します。
「不良40個のうち38個を検出、良品2,000個のうち30個を不良と判定」のように書けば、分母の小ささも含めて伝わります（数字は説明のための想定例です）。
不良の種類ごとに分けて見ることも欠かせません。全体では良い成績でも、数の少ない種類の不良だけをすべて見逃していることがあります。傷は検出できているが異物は1件も試せていない、という状態なら、その種類については未確認だと明記します。
産総研のガイドラインは、見逃しと過検出で扱いを変える場合を含め、誤判断をどこまで許容するかの判定基準を事前に決めて記録しておくよう求めています。結果を見てから合格ラインを動かすことを防ぐうえでも、先に決めておくことが大切です。
足りない分は本番の中で確かめる
まれな不良については、どれだけ工夫しても十分な数をそろえられないことがあります。産総研のガイドラインも、発生頻度の低いケースではデータが十分に得られない場合があると認めています。
そのうえで、システム全体のテストなどで対応状況を評価することや、確認すべきことを記録しておくことを求めています。
現場での進め方としては、AIの判定と人の目視検査をしばらく並行させ、その間に出た不良をAIが検出できたかを記録していく方法があります。
確かめられていない範囲を明らかにしたうえで、人の検査を残すという判断です。データが足りないことを隠さず、足りない範囲を仕組みで補うのが現実的な進め方といえます。
まとめ
- 不良品が少ない現場では、良品の画像を中心に学習を立ち上げ、本物の不良は評価に優先して使う
- 撮像条件を先に固定し、ロットや金型など良品のばらつきを広く含めて集める
- 不良の作り込み、データ拡張、画像の合成は学習を補う手段で、評価は工程で出た本物の不良で行う
- アノテーションは基準を文章と見本で決め、迷う画像は保留にして責任者を交えて判定する
- データは先に分けてから増やし、テスト用は別ロット・別日の画像で組む。少数の不良で言える範囲は件数で決まる
学習データ集めは、AIの技術というより、検査基準と現物の管理に近い仕事です。検査の現場を知る品質保証・品質管理の担当者と、撮像やラインへの組み込みを担う生産技術の担当者が、一緒に進めることが成果につながります。
AI外観検査がなぜ広がっているのか、目視検査やルールベースの画像処理と何が違うのかは、AI外観検査が注目される背景の記事もあわせてご覧ください。
出典
出典・参考資料（11件）を開く出典・参考資料を閉じる
- 学習データ不足の整理、模擬欠陥・データ拡張の注意点：中京大学 青木公也「外観検査AIの学習データ不足を解消する技術提案」（JST 新技術説明会、2023年8月29日）
- データセットの被覆性、ラベリング方針、データ拡張、テスト用データの扱い：産業技術総合研究所「機械学習品質マネジメントガイドライン 第4版」
- MVTec ADの構成：Bergmann et al. “MVTec AD — A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection”（CVPR 2019）
- 良品画像だけで学習する手法：Roth et al. “Towards Total Recall in Industrial Anomaly Detection”（CVPR 2022）
- 人工的な異常を使う手法：Li et al. “CutPaste: Self-Supervised Learning for Anomaly Detection and Localization”（CVPR 2021）、Zavrtanik et al. “DRAEM”（ICCV 2021）
- 良い画像での学習、OK・NG画像の選定：キーエンス「AI外観検査」
- 東芝ライテック今治事業所の事例：東芝デジタルソリューションズ 導入事例「AIによる良品学習方式を既存の外観検査装置に適用」（東芝ライテック）
- 人工的に異常を付加して学習する技術：富士通研究所 プレスリリース（2021年3月29日）
- 不良品画像の生成ツール：データグリッド「外観検査向けAIデータ生成基盤『Anomaly Generator』バージョンアップデート」（2023年10月10日）
- データリークとデータの分け方：scikit-learn “Common pitfalls and recommended practices”、scikit-learn “Cross-validation: evaluating estimator performance”
- 3の法則：Hanley JA, Lippman-Hand A. “If Nothing Goes Wrong, Is Everything All Right? Interpreting Zero Numerators”（JAMA, 1983; 249(13): 1743–1745）
NEWSLETTER
選んだ職種・業種に合わせた記事を、週1回メールで
週刊MONOSCOPEは、登録時に選んだ職種・業種に合わせた記事を週1回お届けする無料のメルマガです。
職種・業種を選んで登録へ ›
無料・週1回。登録後に届く確認メールのリンクを押すと登録が完了します。配信はメール内のリンクからいつでも停止できます。
WEEKLY NEWS
今週の製造業ニュース10選
メルマガは職種・業種に合わせた記事。LINEとnoteでは、全員共通の10本を毎週土曜の朝にお届けします。
LINEでニュース10選を受け取るnote今週のニュース10選をnoteで読む ›
コメント