基于混合多級深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的半導(dǎo)體制造過程自動化視覺故障檢測系統(tǒng)

2022-02-15 5408

在半導(dǎo)體領(lǐng)域，自動化視覺檢測旨在通過利用人工智能和計算機視覺系統(tǒng)改進對制造缺陷的檢測和識別，使制造商能夠提高產(chǎn)量和降低制造成本。以往研究通常使用經(jīng)典的計算機視覺方法，而近些年基于深度學(xué)習(xí)的方法應(yīng)用的更加廣泛。然而，基于深度學(xué)習(xí)的方法對小尺寸缺陷圖案的識別較為困難，這些缺陷圖案的尺寸通常只有幾微米或者幾像素，隱藏在大量高分辨率圖像中。當這些缺陷模式發(fā)生在明顯更大的晶圓表面上，經(jīng)典的機器學(xué)習(xí)和深度學(xué)習(xí)解決方案難以解決小尺寸缺陷圖案識別的問題。本文引入了一種新穎的混合多級疊加深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)（SH-DNN）混合多級系統(tǒng)，該系統(tǒng)允許通過經(jīng)典的計算機視覺管道在像素大小內(nèi)定位最精細的結(jié)構(gòu)，而分類過程由深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)。所提系統(tǒng)將重點從其結(jié)構(gòu)的詳細程度轉(zhuǎn)移到與任務(wù)相關(guān)的更感興趣的領(lǐng)域。正如創(chuàng)建的測試環(huán)境所示，基于 SH-DNN 的多級系統(tǒng)超越了當前基于學(xué)習(xí)的自動視覺檢測方法。該系統(tǒng)的性能（F1分數(shù)）高達 99.5%，對應(yīng)于系統(tǒng)的故障檢測能力相對提高了 8.6 倍。此外，通過專門為給定的制造鏈選擇模型，可以滿足運行時限制，同時提高當前部署方法的檢測能力。


關(guān)鍵詞：計算機視覺；模式和圖像識別；深度學(xué)習(xí)；半導(dǎo)體制造；工廠自動化；故障檢測

1. 研究背景

自動化視覺故障檢測過程涉及系統(tǒng)的開發(fā)和集成，用于捕獲和監(jiān)控制造結(jié)果。質(zhì)量控制的自動化使制造商能夠受益于產(chǎn)量的提高和制造成本的降低。雖然半導(dǎo)體制造過程的數(shù)據(jù)采集通常會產(chǎn)生大量的圖像數(shù)據(jù)，但缺陷圖案通常為像素大小出現(xiàn)在高達105×105圖像分辨率范圍內(nèi)。對基于深度學(xué)習(xí)的方法，這種小尺寸缺陷模式的檢測和分類為常見難題。因此，本文通過心理學(xué)和視覺注意領(lǐng)域的概念來克服上述問題。

本文的貢獻總結(jié)如下:本文提出一種新型的混合多級疊加深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)（SH-DNN）的設(shè)計，該系統(tǒng)結(jié)合了經(jīng)典圖像處理方法和基于人工神經(jīng)網(wǎng)絡(luò)的方法的優(yōu)點。將重點放在檢查過程中每一步的詳細程度上，以關(guān)注更多與任務(wù)相關(guān)的領(lǐng)域。它通過經(jīng)典的計算機視覺管道對像素大小內(nèi)的最精細結(jié)構(gòu)進行定位，而分類過程則通過深度神經(jīng)網(wǎng)絡(luò)實現(xiàn)。深層神經(jīng)網(wǎng)絡(luò)能夠以更高的分辨率處理給定的輸入。從而更有效地檢測通常僅在幾μm大小范圍內(nèi)的最精細結(jié)構(gòu)和大量高分辨率圖像中的像素。

2. 研究內(nèi)容

實驗數(shù)據(jù)集由各種類型的晶圓組成，它們都具有不同結(jié)構(gòu)和圖像分辨率，每個芯片的像素從 224×224 到高達 960×1024 不等。最重要的是，這也意味著完美和有缺陷的芯片、street和street段的不同特征和子類的出現(xiàn)。表 1 描述了數(shù)據(jù)集的組成，共計六種不同的晶圓類型以及多達 5000 個芯片和 13500 個street。對于street段，每條street被分成多個重疊的平方street段區(qū)域。

表1 每個晶圓類型的芯片（包括內(nèi)部和邊界以及完美和有缺陷的芯片）和street（包括完美和有缺陷的street）的數(shù)據(jù)集概述

圖片

表2和表3顯示了一些典型的代表性芯片和街道樣本。

表2 數(shù)據(jù)集芯片類八個代表性示例概述

圖片

表3 數(shù)據(jù)集street分類概述

圖片

圖1顯示了所提基于SH-DNN的系統(tǒng)及其處理步驟。在以下章節(jié)中，系統(tǒng)處理整個晶圓，以檢測有故障和無故障的芯片。在處理晶圓圖像之前，通過不同的顯微鏡記錄它們，獲取未拼接的子圖像，或者預(yù)處理的圖像，這些圖像由顯微鏡軟件拼接成單個圖像。

圖片

圖1所提視覺故障檢查系統(tǒng)

Street分類網(wǎng)絡(luò)包括芯片分類網(wǎng)絡(luò)與Street分類網(wǎng)絡(luò)，都是基于VGG網(wǎng)絡(luò)進行的改進。網(wǎng)絡(luò)結(jié)構(gòu)如表4和表5所示。

表4 用于芯片分類的自定義CNN層配置

圖片

表5 用于street分類的自定義CNN層配置

圖片

表6顯示了常規(guī)基線、半導(dǎo)體和基于DL的方法的測試結(jié)果。這些方法目前分為半導(dǎo)體視覺檢測領(lǐng)域中部署的基于單個DNN的解決方案，以及該領(lǐng)域中大多數(shù)未經(jīng)DL研究的方法。

表6 基于SH-DNN的分類測試結(jié)果，采用常規(guī)基線方法和基于DL的芯片和street分類方法

圖片
圖片

此外，我們還評估了相關(guān)的常規(guī)基線和基于DL的內(nèi)部和邊界芯片分類方法，如表7所示。

表7 基于SH-DNN的分類測試結(jié)果，以及用于內(nèi)部和邊界芯片分類的常規(guī)基線方法和基于DL的方法

圖片


3. 結(jié)論

所提自動視覺故障檢測系統(tǒng)將經(jīng)典圖像處理方法的優(yōu)點與基于深度學(xué)習(xí)的方法相結(jié)合，形成了一個混合多級疊加深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)（SH-DNN）。該系統(tǒng)的優(yōu)勢在于能夠檢測到通常只有幾微米大小的最精細結(jié)構(gòu)，以及大量高分辨率圖像中的像素。為此，多級系統(tǒng)有助于將處理集中在感興趣的區(qū)域，因此允許后續(xù)的深層神經(jīng)網(wǎng)絡(luò)以更高的精度進行分類。根據(jù)詳細程度進行區(qū)分，可以在更大的母區(qū)內(nèi)檢測缺陷模式，同時可以在自動化目視檢查過程的早期階段將其排除在進一步評估之外。遵循這一原則，每個處理步驟的結(jié)果都會根據(jù)所提尋址方案進行可視化，進而允許生成自己的晶圓圖。雖然這些晶圓圖在視覺上與晶圓探針測試創(chuàng)建的晶圓圖相似，但它們是無風(fēng)險獲取的，因為檢查過程是非侵入性的，進一步簡化了檢查員的評估過程。

使用多種基于機器學(xué)習(xí)和深度學(xué)習(xí)的方法進行對比評估，同時將其與更常用的自動化視覺檢查方法進行比較。正如測試結(jié)果所示，所提基于SH-DNN的系統(tǒng)超過了當前最先進的自動視覺檢查。這些改進突出表現(xiàn)在系統(tǒng)性能（F1分數(shù)）從95%提高到98.9%（對于常規(guī)基線方法為+3.9%），以及從95.7提高到99.5%（對于基于單DNN的方法為+3.8%）。這相當于系統(tǒng)的故障檢測能力分別提高了4.6倍和8.6倍。




最新文章排行榜