基于生成式深度學(xué)習(xí)網(wǎng)絡(luò)的柑橘表皮顏色可視化預(yù)測研究

Plant Phenomics | 基于生成式深度學(xué)習(xí)網(wǎng)絡(luò)的柑橘表皮顏色可視化預(yù)測研究

柑橘是全球價值最高的水果之一，其果皮顏色對果實的生長和成熟具有重要的指示作用。預(yù)測和監(jiān)測柑橘顏色轉(zhuǎn)變可以輔助農(nóng)作物管理和收獲安排的決策。目前，柑橘顏色預(yù)測方法存在準(zhǔn)確性不高且依賴人力資源的問題。為了解決這個問題，研究者們開始探索計算機視覺技術(shù)在柑橘顏色預(yù)測中的應(yīng)用，以實現(xiàn)非破壞性和客觀的預(yù)測方法。然而，現(xiàn)有方法受限于光照條件和視角的影響，難以實現(xiàn)準(zhǔn)確的柑橘顏色預(yù)測。
 

2023年5月，Plant Phenomics在線發(fā)表了華中農(nóng)業(yè)大學(xué)題為Predicting and Visualizing Citrus Colour Transformation Using a Deep Mask-Guided Generative Network 的研究論文。
 

本研究旨在提出一個框架，用于預(yù)測和可視化果園中柑橘類水果的顏色轉(zhuǎn)變。研究者們開發(fā)了一種基于深度神經(jīng)網(wǎng)絡(luò)的新框架，包括分割網(wǎng)絡(luò)、掩模引導(dǎo)生成網(wǎng)絡(luò)和感知損失網(wǎng)絡(luò)。該框架能夠在不同時間間隔內(nèi)準(zhǔn)確預(yù)測柑橘果皮的顏色。研究團隊還開發(fā)了一款基于安卓平臺的應(yīng)用程序，方便在實際場景中的應(yīng)用。
 

本文核心內(nèi)容為提出的網(wǎng)絡(luò)框架如圖1所示，由三個模塊組成，一個分割網(wǎng)絡(luò)、一個生成網(wǎng)絡(luò)和一個損失網(wǎng)絡(luò)。為了定位視野中的柑橘類水果，我們采用了U-Net編碼器-解碼器的結(jié)構(gòu)作為分割網(wǎng)絡(luò)，因為它簡單、高效，而且在數(shù)據(jù)量有限的情況下具有一定的魯棒性和泛化性。利用分割的結(jié)果，生成網(wǎng)絡(luò)可以保留背景的同時在圖中柑橘所在的位置生成其未來的顏色。與分割網(wǎng)絡(luò)類似，提出的生成網(wǎng)絡(luò)也采用了編碼器-解碼器結(jié)構(gòu)。我們使用Resize Convolution的方法代替Transposed Convolution的方法，這有助于獲得更高質(zhì)量的圖像，因為后者可能導(dǎo)致棋盤效應(yīng)。此外，設(shè)計了兩個可訓(xùn)練的嵌入層（Embedding Layers），將輸入的時間間隔編碼為向量，分別與編碼器和解碼器中得到的特征圖進行融合。通過我們的設(shè)計，生成的圖像由輸入圖像和時間間隔共同決定。損失網(wǎng)絡(luò)用于度量預(yù)測顏色和真實顏色之間的差異并作為損失函數(shù)對生成網(wǎng)絡(luò)的參數(shù)進行更新。該網(wǎng)絡(luò)基于在ImageNet 數(shù)據(jù)集上進行訓(xùn)練的VGG19 模型。我們將生成網(wǎng)絡(luò)的輸入圖像，輸出圖像以及真實圖像標(biāo)簽輸入到損失網(wǎng)絡(luò)中提取各層次的特征，構(gòu)造了由內(nèi)容損失和風(fēng)格損失組成的感知損失。其中風(fēng)格損失的計算利用了特征圖的Gram矩陣和分割網(wǎng)絡(luò)得到的柑橘語義掩碼，消除了生成圖像和真實標(biāo)簽中柑橘的大小、所在位置以及背景信息的影響。
 

圖1 The architecture of the proposed deep mask-guided generative network.

研究結(jié)果表明，對于柑橘圖像分割任務(wù)，測試集上的 MIoU達到了96% 以上。如圖2所示，即使遇到強光或不規(guī)則光光照時分割的性能仍然令人滿意。對于柑橘顏色預(yù)測任務(wù)，在測試集上獲得的PSNR （峰值信道噪聲比）為 30.01，表明生成的圖像質(zhì)量良好， MLSL （平均風(fēng)格損失）達到2.710并且CCI（柑橘顏色指標(biāo)）誤差僅有0.841，表明生成的圖像與真實圖像中的柑橘具有很高的相似性。
 

圖2The training process and results of the semantic segmentation task.

圖3分別展示了輸入同一柑橘圖像不同時間間隔和輸入不同柑橘圖像同一時間間隔的預(yù)測結(jié)果。第一種情形中隨著時間間隔的增加，果皮的顏色逐漸從黃綠色變?yōu)槌壬�，與實際場景中的觀察結(jié)果相符。此外，生成的圖像還保留了果皮不同區(qū)域的亮度、紋理特征和顏色變化，與輸入圖像相一致。這些豐富的特征體現(xiàn)了本模型在自然光條件下的魯棒性。第二種情形中對于相同的輸入時間，生成的圖像仍然能夠準(zhǔn)確地根據(jù)不同的輸入圖像預(yù)測其顏色變換。需要注意的是，輸入圖像中存在著不均勻的著色，例如黃色條紋和局部綠色斑點，這些特征也能夠在生成的圖像中得以保留使得圖像更加逼真。
 

圖3 The results generated from the same input image on the test set. N represents the input time interval. The results generated from different input images on the test set.

為了方便在現(xiàn)實場景中的應(yīng)用，研究團隊將該模型移植到了安卓設(shè)備APP上，通過手機相機拍攝柑橘圖像并輸入感興趣的時間間隔即可完成預(yù)測，如圖4所示。
 

圖4 The testing of the Android-based application.

華中農(nóng)業(yè)大學(xué)信息學(xué)院碩士研究生鮑澤韓（主要研究方向為深度學(xué)習(xí)以及計算機視覺技術(shù)在植物表型分析上的應(yīng)用）和李偉夫副教授（主要研究方向為深度學(xué)習(xí)的理論、算法及其應(yīng)用）和為本文共同第一作者，華中農(nóng)業(yè)大學(xué)工學(xué)院陳耀暉副研究員（主要研究方向為智慧園藝技術(shù)與裝備體系的構(gòu)建）和海南大學(xué)生物醫(yī)學(xué)工程學(xué)院肖馳副教授（主要研究方向為基于深度學(xué)習(xí)的生物醫(yī)學(xué)圖像處理、海量大腦三維顯微成像數(shù)據(jù)的處理與分析等）為通訊作者。

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0057

——推薦閱讀——

Phenotypic Analysis of Diseased Plant Leaves Using Supervised and Weakly Supervised Deep Learning

https://doi/10.34133/plantphenomics.002‍2

Plant Phenomics | 基于全監(jiān)督和弱監(jiān)督深度學(xué)習(xí)的病損葉片表型分析研究

From Prototype to Inference: A Pipeline to Apply Deep Learning in Sorghum Panicle Detection

https://doi.org/10.34133/plantphenomics.0017

Plant Phenomics | 從原型到推理：深度學(xué)習(xí)在高粱穗部檢測中的應(yīng)用

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、專刊發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進會（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄。科睿唯安JCR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學(xué)》編輯部負責(zé)組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。

特邀作者：鮑澤韓

排版：李芯蕊（南京農(nóng)業(yè)大學(xué)）

審核：孔敏、王平