面向真實(shí)世界的番茄植株葉片健康和果實(shí)監(jiān)測(cè)輕量算法研究

溫室內(nèi)果蔬生長(zhǎng)過程的在線監(jiān)測(cè)是設(shè)施智能化生產(chǎn)的重要組成部分。然而，受設(shè)施環(huán)境下種植密度高、基礎(chǔ)設(shè)施遮擋和光線變化等復(fù)雜影響，以機(jī)器視覺為代表的AI技術(shù)無法對(duì)種植植株實(shí)現(xiàn)快速有效的評(píng)估，成為落地應(yīng)用難點(diǎn)。

2024年4月，Plant Phenomics在線發(fā)表了加拿大麥吉爾大學(xué)和江蘇省農(nóng)科院合作完成的題為Toward Real Scenery: A Lightweight Tomato Growth Inspection Algorithm for Leaf Disease Detection and Fruit Counting的研究論文。

本研究提出了一種可以同時(shí)集成番茄葉片監(jiān)測(cè)和果實(shí)跟蹤計(jì)數(shù)的算法，能夠部署在巡檢機(jī)器人實(shí)現(xiàn)植株生長(zhǎng)的連續(xù)監(jiān)測(cè)。在這項(xiàng)研究中，研究人員首先采用帶有智能手機(jī)攝像頭的自主運(yùn)動(dòng)機(jī)器人來收集現(xiàn)實(shí)世界中溫室中葉病和果實(shí)的圖像。然后，通過整合 Ghost 和 CBAM 模塊改進(jìn)了深度學(xué)習(xí)網(wǎng)絡(luò) YOLO-TGI，該模塊與 YOLOX 和 NanoDet 等頂級(jí)輕量級(jí)檢測(cè)模型一起進(jìn)行了訓(xùn)練和測(cè)試，用于評(píng)估葉子健康狀況。
 

Fig. 1. The image acquisition process in a tomato field.

為了解決實(shí)時(shí)檢測(cè)時(shí)葉片對(duì)于果實(shí)的遮擋和果實(shí)追蹤的遺漏問題，論文改進(jìn)了目標(biāo)檢測(cè)和重新追蹤識(shí)別的策略。具體的是，添加CBAM模塊賦予YOLO-TGI網(wǎng)絡(luò)自主聚焦和放大相關(guān)特征的能力。這種注意力驅(qū)動(dòng)的方法提高了網(wǎng)絡(luò)識(shí)別和優(yōu)先考慮目標(biāo)關(guān)鍵方面的能力，即使在有障礙物的復(fù)雜視覺環(huán)境中也是如此。自適應(yīng)機(jī)制使YOLO-TGI能夠突出部分遮擋物體的關(guān)鍵特征，從而有效解決部分被樹葉遮擋的場(chǎng)景下的果實(shí)檢測(cè)問題。另外，為了與各種基礎(chǔ)檢測(cè)器級(jí)聯(lián)，作者集成了最先進(jìn)的跟蹤器，例如 Byte-Track、Motpy 和 FairMot，以實(shí)現(xiàn)視頻流中的水果計(jì)數(shù)。
 

Fig. 6. Scattering plot of predictions and ground truth for various detector-trackers and instances of tracking failures.

本研究展示了最新的基礎(chǔ)檢測(cè)算法和追蹤算法集成后在真實(shí)世界的溫室種植場(chǎng)景的應(yīng)用潛力。作者提供了部分源碼，使得該類集成框架能夠推廣到廣泛種植的水果和蔬菜（如蘋果、橙子、葡萄和草莓）的類似監(jiān)測(cè)任務(wù)中。

論文鏈接：

https://doi.org/10.34133/plantphenomics.0174

——推薦閱讀——

A multi-target regression method to predict element concentrations in tomato leaves using hyperspectral imaging 

https://doi.org/10.34133/plantphenomics.0146‍

Plant Phenomics | 東京大學(xué)利用高光譜圖像預(yù)測(cè)番茄葉片中元素含量的多目標(biāo)回歸方法

Mitigating Illumination-, Leaf-, and View-Angle Dependencies in Hyperspectral Imaging Using Polarimetry 

https://doi.org/10.34133/plantphenomics.0157

Plant Phenomics | 利用偏振測(cè)量法減輕高光譜成像中的光照、葉片和視角依賴性

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國(guó)科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫(kù)收錄�？祁Ｎò睯CR2022影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。2023年中科院期刊分區(qū)位于農(nóng)林科學(xué)大類一區(qū)。2020年入選中國(guó)科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目、2024年入選江蘇科技期刊卓越行動(dòng)計(jì)劃領(lǐng)軍期刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
排版：陳思潔（昆山杜克大學(xué)）
審核：孔敏、王平