高光譜成像技術(shù)是一項(xiàng)令人振奮的新技術(shù),非常有前景,尤其是結(jié)合現(xiàn)代機(jī)器學(xué)習(xí)軟件和執(zhí)行器(如:機(jī)器人或空氣噴氣機(jī))使用時(shí),高光譜成像技術(shù)有能力革新工業(yè)分類(lèi)方法,使機(jī)器能夠執(zhí)行人類(lèi)難以完成的復(fù)雜任務(wù)。
圖1:農(nóng)場(chǎng)的高光譜假彩色圖像(左),指定區(qū)域的反射光譜曲線(右)
什么是高光譜成像儀?
高光譜成像技術(shù)指的是測(cè)量二維圖像中每個(gè)像素的高分辨率光譜數(shù)據(jù)。標(biāo)準(zhǔn)相機(jī)在每個(gè)像素上提供三個(gè)光譜數(shù)據(jù)通道:紅、綠、藍(lán)(RGB),視覺(jué)者的大腦輸入了這三種顏色的混合顏色,并將它們解釋為一種獨(dú)特的顏色。在高光譜圖像中,材料的反射光譜是連續(xù)的波長(zhǎng)曲線,每個(gè)像素上有數(shù)百個(gè)光譜數(shù)據(jù)點(diǎn),它是光譜學(xué)的一種,標(biāo)準(zhǔn)光譜儀只提供一個(gè)“像素”的光譜測(cè)量-沒(méi)有成像信息。多光譜成像儀指的是每個(gè)像素提供幾個(gè)光譜數(shù)據(jù)通道的照相機(jī),通道數(shù)通常在4-12之間?!案吖庾V”這個(gè)術(shù)語(yǔ)指的是:許多光譜數(shù)據(jù)點(diǎn),它們產(chǎn)生一個(gè)近乎連續(xù)的光譜曲線,通常在每條曲線上有數(shù)百個(gè)光譜數(shù)據(jù)通道。然而,高光譜成像儀的設(shè)計(jì)和制造要比非成像光譜儀復(fù)雜得多,因?yàn)槎S圖像中每個(gè)像素點(diǎn)都需要有連續(xù)的光譜曲線,而且最小化光譜失真一直是一個(gè)非常困難的光學(xué)問(wèn)題。
圖1顯示了一個(gè)農(nóng)場(chǎng)的高光譜假彩色圖像以及指定區(qū)域像素的高光譜曲線;圖2顯示了相同的高光譜數(shù)據(jù),但是光譜通道數(shù)降低至4個(gè),4個(gè)光譜通道的數(shù)據(jù)類(lèi)似于Landsat衛(wèi)星獲得的數(shù)據(jù),可以直觀的看出圖1的數(shù)據(jù)比圖2包含了更多的光譜信息,從而能夠?qū)?chǎng)景中的對(duì)象進(jìn)行更加精準(zhǔn)、可靠的分類(lèi)。
圖2:與圖1相同像素區(qū)域的多光譜數(shù)據(jù),光譜波段與Landsat衛(wèi)星影像波段一致?
高光譜成像儀越來(lái)越受歡迎的主要原因:
1.????隨著科技發(fā)展,相機(jī)越來(lái)越普及,而且拍照速度越來(lái)越快;
2.????計(jì)算機(jī)可以提供足夠的計(jì)算能力來(lái)處理大量數(shù)據(jù);
3.????結(jié)合現(xiàn)代的機(jī)器學(xué)習(xí)算法,科學(xué)家可以利用高光譜數(shù)據(jù)準(zhǔn)確識(shí)別材料,甚至那些看起來(lái)非常相似的材料。
基于不同的材料具有不同的反射光譜這個(gè)事實(shí),使得這項(xiàng)技術(shù)具有很強(qiáng)的實(shí)用性,在研究和工業(yè)應(yīng)用中發(fā)展迅速。
?
高光譜成像技術(shù)的應(yīng)用:
農(nóng)業(yè)應(yīng)用
農(nóng)業(yè)方面,不同植物有不同的光譜,相同植物在不同條件下光譜也有差異。例如,高光譜數(shù)據(jù)可以用來(lái)提醒農(nóng)民作物脅迫或有害雜草的早期跡象,也可以確定成熟度。高光譜成像技術(shù)在精準(zhǔn)農(nóng)業(yè)和環(huán)境監(jiān)測(cè)方面的應(yīng)用越來(lái)越多,相信在不久的將來(lái),會(huì)有質(zhì)的飛躍。
確定光譜特征和植物生理特征參數(shù)的準(zhǔn)確關(guān)系是全球性研究的一部分,這使定點(diǎn)使用除草劑、農(nóng)藥和化肥成為可能。這種作物管理技術(shù)會(huì)讓農(nóng)民有針對(duì)性的定量使用化肥,節(jié)省成本,并獲取更大收益。因此,高光譜技術(shù)獲得了強(qiáng)有力的體制支撐,尤其是將食品供應(yīng)和環(huán)境保護(hù)作為核心問(wèn)題的亞洲。??
工業(yè)應(yīng)用
相比于野外農(nóng)田和森林,工廠的環(huán)境更好控制,因此,高光譜成像在工業(yè)分類(lèi)中的應(yīng)用越來(lái)越廣泛。傳統(tǒng)的視覺(jué)系統(tǒng)很難對(duì)具有相似顏色或外觀的物體進(jìn)行分類(lèi),如:很難辨別具有相似顏色的果實(shí)、蔬菜或與組成其可見(jiàn)顏色無(wú)關(guān)的材料(如再生塑料)。當(dāng)標(biāo)準(zhǔn)視覺(jué)系統(tǒng)分類(lèi)失敗時(shí),這些分類(lèi)工作只能由人工來(lái)完成,價(jià)格高昂、速度慢、錯(cuò)誤率高。
應(yīng)用高光譜成像技術(shù),不僅可以利用高光譜數(shù)據(jù)去分類(lèi)相似顏色的材料,也可以獲取可見(jiàn)光范圍以外的信息,如紅外和紫外波段。實(shí)時(shí)的機(jī)器學(xué)習(xí)算法可以秒級(jí)處理數(shù)據(jù)并且傳遞這些信息至機(jī)器人手臂或空氣噴氣機(jī)等執(zhí)行器上完成分類(lèi)工作。?
軟件及算法
雖然相機(jī)的設(shè)計(jì)和制造在技術(shù)上具有挑戰(zhàn)性,但研發(fā)出可靠的用于工業(yè)分類(lèi)的高光譜分析軟件是機(jī)遇,也是挑戰(zhàn)。由于深層機(jī)器學(xué)習(xí)知識(shí)伴隨在廣泛應(yīng)用的簡(jiǎn)單算法中,高光譜機(jī)器視覺(jué)軟件開(kāi)發(fā)是一項(xiàng)令人興奮的科技領(lǐng)域。
光譜圖像數(shù)據(jù)分析的傳統(tǒng)方法是使用植被指數(shù)或光譜指數(shù)的概念,俗稱(chēng)波段組合,這些指數(shù)是每個(gè)像元的指標(biāo),通過(guò)測(cè)量幾個(gè)指定波段的光譜強(qiáng)度,再由簡(jiǎn)單代數(shù)組合計(jì)算得出。例如,最常見(jiàn)的植被指數(shù)(NDVI)即歸一化差分植被指數(shù),最早用于多光譜遙感影像中,給定每個(gè)像素的全反射光譜,可以在每個(gè)像素中提取NDVI指數(shù)。
NIR是指紅外波段(750nm左右)反射率,Red指紅光波段(650nm)反射率,NDVI的值在-1.0—1.0之間。NDVI的大小是衡量植物健康狀況的重要指標(biāo)。NDVI非常適用于早前的多光譜相機(jī),如Landsat衛(wèi)星影像,每個(gè)像素點(diǎn)記錄4個(gè)光譜通道(紅綠藍(lán)及近紅外)。
NDVI可以粗略估計(jì)植物健康狀況,機(jī)載高光譜成像傳感器問(wèn)世后,涌現(xiàn)出許多更精確的新光譜指數(shù),如測(cè)量植物葉綠素含量的指數(shù),修改葉綠素吸收反射的指數(shù)(MCARI),
衡量植物花青素含量的指數(shù),花青素反射指數(shù)ARI2:
圖3:與圖1相對(duì)應(yīng)的修改葉綠素吸收反射指數(shù)MCARI分布圖?
圖3顯示了與圖1相對(duì)應(yīng)的修改葉綠素吸收反射指數(shù)MCARI分布圖。途中高亮區(qū)域代表MCARI值高,意味著葉綠素活性高,黑暗區(qū)代表低值。?
這些指數(shù)最初是為農(nóng)業(yè)和環(huán)境監(jiān)測(cè)而開(kāi)發(fā)的,現(xiàn)在已擴(kuò)展到醫(yī)學(xué)、水質(zhì)、生物和地質(zhì)等多個(gè)領(lǐng)域。在醫(yī)學(xué)中,研究者會(huì)利用與水和氧有關(guān)的指數(shù)來(lái)確定手術(shù)過(guò)程中人體肌肉組織的特性。
雖然指數(shù)是有用的工具,但是它們只包含了整個(gè)連續(xù)波長(zhǎng)曲線的小部分信息。高光譜數(shù)據(jù)攜帶的信息要遠(yuǎn)多于幾個(gè)波段的信息,并且可以根據(jù)要求誕生出不同的光譜指數(shù)。這意味著整個(gè)波段的統(tǒng)計(jì)方法會(huì)產(chǎn)生更可靠的分類(lèi)效果,這也是先進(jìn)的視覺(jué)應(yīng)用程序所使用的方法。
機(jī)器視覺(jué)算法通過(guò)統(tǒng)計(jì)方法,利用整個(gè)光譜進(jìn)行更精準(zhǔn)的植物或材料的分類(lèi),如:支持向量機(jī)(SVM)和神經(jīng)網(wǎng)絡(luò)?(CNN),在高光譜分類(lèi)中取得了顯著的成績(jī)。特別是結(jié)合了空間識(shí)別算法后,高光譜機(jī)器視覺(jué)可以作為計(jì)算機(jī)敏銳的眼睛,廣泛應(yīng)用于食品、材料、顏料、圖案、涂層、缺陷和污染物等識(shí)別工作。
前途一片光明
盡管高光譜成像技術(shù)仍處于起步階段,但是相對(duì)于傳統(tǒng)成像系統(tǒng)來(lái)說(shuō),可以提供更豐富的數(shù)據(jù),這是它的明顯優(yōu)勢(shì)。更值得一提的是,該技術(shù)的數(shù)據(jù)采集、處理速度和計(jì)算復(fù)雜度,已經(jīng)被許多實(shí)際應(yīng)用所克服。隨著高光譜成像技術(shù)的不斷改進(jìn),用戶將逐漸認(rèn)識(shí)到高光譜成像技術(shù)的能力,該技術(shù)將在更大尺度上幫助用戶解決之前難以攻克的問(wèn)題,高光譜成像技術(shù)將會(huì)大放異彩。