基于Mask-RCNN網(wǎng)絡(luò)的自上而下田間玉米葉脈生長軌跡檢測模型研究

Plant Phenomics | Point-Line Net：一種自上而下的田間玉米葉脈生長軌跡檢測模型

植物表型檢測在了解和研究植物生物學(xué)、農(nóng)業(yè)和生態(tài)學(xué)中起著至關(guān)重要的作用。通過對植物的各種物理性狀和特性的量化和分析，如株高、葉片形狀、數(shù)量和生長軌跡等的精確檢測，研究人員可以深入了解植物的生長發(fā)育、抗逆性以及環(huán)境因素的影響，對作物育種具有重要意義。

2024年7月，Plant Phenomics 在線發(fā)表了來自中國農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所和太原理工大學(xué)合作完成的題為Recognition and Localization of Maize Leaf and Stalk Trajectories in RGB Images Based on Point-Line Net 的論文。

隨著計(jì)算機(jī)視覺技術(shù)和人工智能的快速發(fā)展，利用田間玉米圖像對植物相關(guān)信息進(jìn)行高通量表型分析，可以大大消除重復(fù)勞動，提高植物育種效率。然而，由于田間環(huán)境中作物的背景復(fù)雜，遮擋問題嚴(yán)重，將深度學(xué)習(xí)方法應(yīng)用于室外田間環(huán)境，確定田間玉米葉片數(shù)量并識別葉脈生長軌跡仍然存在一定的困難。為應(yīng)對這一挑戰(zhàn)，本文基于Mask-RCNN網(wǎng)絡(luò)提出了一種自上而下的關(guān)鍵點(diǎn)檢測模型——Point-Line Net，用于田間玉米葉脈生長軌跡表型檢測任務(wù)。

數(shù)據(jù)集來自中國農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所，本文選取了其中使用手持相機(jī)拍攝的部分?jǐn)?shù)據(jù)集，包含9802張高分辨率RGB圖像和對應(yīng)的點(diǎn)線標(biāo)注文件。

圖1玉米數(shù)據(jù)集的4個拍攝角度3個生長時期圖像:(A)早期、(B)中期和(C)后期。

針對數(shù)據(jù)集中待檢測目標(biāo)的表型特征，算法模型分別在自上而下的兩個階段做出了以下的改進(jìn)：首先，為了更好地適應(yīng)不同尺度物體的檢測需求，融合多尺度的特征信息，使用特征金字塔結(jié)構(gòu)（Feature pyramid network,FPN）結(jié)合更深層次的ResNet101作為目標(biāo)檢測階段的特征提取網(wǎng)絡(luò)；其次，考慮到數(shù)據(jù)集中目標(biāo)嚴(yán)重遮擋導(dǎo)致漏檢或者重復(fù)檢測的問題，本文將D_IoU計(jì)算策略與Soft-NMS算法融合，替代了傳統(tǒng)的IoU+NMS篩選算法；最后在關(guān)鍵點(diǎn)檢測階段，本文提出了輕量級的關(guān)鍵點(diǎn)檢測分支，即針對每個目標(biāo)使用單一的熱力圖來推理目標(biāo)的關(guān)鍵點(diǎn)坐標(biāo)，用于擬合葉脈的生長軌跡。

圖2基于Mask R-CNN網(wǎng)絡(luò)的Point-Line Net模型:在目標(biāo)檢測分支中，模型負(fù)責(zé)推理目標(biāo)的位置及其類別；在關(guān)鍵點(diǎn)檢測分支中，結(jié)合目標(biāo)檢測結(jié)果對關(guān)鍵點(diǎn)的熱圖進(jìn)行模型推理。

另外，鑒于任務(wù)中特殊的關(guān)鍵點(diǎn)準(zhǔn)確率評估需求，即關(guān)注預(yù)測關(guān)鍵點(diǎn)是否位于“關(guān)鍵路徑”（本文指葉脈或者莖脈）上，本文提出了一個新的驗(yàn)證指標(biāo)——mean Line Distance(mLD)，通過反復(fù)的理論推導(dǎo)與實(shí)驗(yàn)驗(yàn)證了該評價指標(biāo)的有效性，為后續(xù)相關(guān)研究提供了參考。

最終，模型的目標(biāo)檢測準(zhǔn)確率（mAP50%）達(dá)到了81.5%，在自定義的距離驗(yàn)證指標(biāo)mLD上達(dá)到了33.5，實(shí)現(xiàn)了對田間玉米表型圖像中葉片和莖稈數(shù)量以及生長軌跡的有效識別。

圖3 Point-Line Net在各種場景下的預(yù)測結(jié)果:(A)原始RGB圖像；(B) Labelme工具轉(zhuǎn)換的地面真實(shí)值；(C)預(yù)測邊界框（紅色框代表識別出的的根莖類別，白色框代表識別出的的葉片類別）；(D)預(yù)測關(guān)鍵點(diǎn)。

該研究由中國農(nóng)業(yè)科學(xué)院深圳農(nóng)業(yè)基因組研究所、太原理工大學(xué)合作完成。太原理工大學(xué)聯(lián)合培養(yǎng)學(xué)生劉秉文為該文第一作者，阮玨研究員和李燈熬教授為該文通訊作者。本文的研究受到了國家重點(diǎn)研發(fā)計(jì)劃（2022YFC3400300、2019YFA0707003）等項(xiàng)目支持。

作者及團(tuán)隊(duì)介紹

阮玨，研究員，博士生導(dǎo)師，農(nóng)業(yè)基因組學(xué)技術(shù)研發(fā)與應(yīng)用創(chuàng)新團(tuán)隊(duì)首席科學(xué)家。課題組主要從事組學(xué)算法研發(fā)：1）開發(fā)快速精準(zhǔn)的序列比對與組裝算法開發(fā)；2）開發(fā)高效的圖基因組構(gòu)建與分析流程；3）制備圖像表型標(biāo)準(zhǔn)數(shù)據(jù)集，搭建共享平臺，開發(fā)植物表型圖像識別算法；4）開發(fā)具有高糾錯能力的DNA數(shù)字存儲算法；5）拓展測序方法研發(fā)：如低頻突變檢測，宏基因組測序等；6）在組學(xué)算法研發(fā)的基礎(chǔ)上，進(jìn)一步開展生物信息學(xué)研究，為組學(xué)算法的深入利用提供支撐。

李燈熬，太原理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院（大數(shù)據(jù)學(xué)院）教授，博士生導(dǎo)師，主要研究方向：大數(shù)據(jù)技術(shù)與應(yīng)用、物聯(lián)網(wǎng)關(guān)鍵技術(shù)及應(yīng)用、空間信息網(wǎng)絡(luò)技術(shù)。

論文鏈接：
‍https://doi.org/10.34133/plantphenomics.0199‍

——推薦閱讀——
Three-dimensional modelling of maize canopies based on computational intelligence
https://doi/10.34133/plantphenomics.0160
Plant Phenomics | 安徽大學(xué)聯(lián)合北京市農(nóng)林科學(xué)院信息技術(shù)研究中心提出了基于計(jì)算智能的玉米冠層三維建模方法
Analyzing Changes in Maize Leaves Orientation due to GxExM Using an Automatic Method from RGB Images
https://doi/10.34133/plantphenomics.0046
Plant Phenomics 精選2023 | 基于RGB圖像的基因型×環(huán)境型×管理相互作用下的玉米葉片方向變化分析

加入作者交流群
掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
特邀作者：阮玨、李燈熬
排版：蘇梓鈺（南京農(nóng)業(yè)大學(xué)）
審核：孔敏、王平