新的三維圖像分割模型助力水稻小麥冠層動態(tài)表型研究

綠色分數(shù)（GF）指特定視角下冠層圖像中綠色像素的比例，GF從0到1變化，表征作物光合作用的葉面積越大、光截獲的能力越強�？梢�，大田條件下，監(jiān)測作物生育期內(nèi)GF動態(tài)，能夠定量刻畫作物冠層生長和發(fā)育過程，指導種質(zhì)資源的精準高效鑒定。
 

GF的估算精度取決于圖像分割算法的性能。大田條件下，光照條件、土壤/水田背景、冠層結(jié)構(gòu)等多因素復雜多變且相互疊加，為田間冠層影像的精準分割帶來巨大挑戰(zhàn)。近年來，基于深度學習的語義分割算法快速發(fā)展，然而，農(nóng)業(yè)領域公開的語義分割數(shù)據(jù)集缺乏，需要人為標注數(shù)以千計的圖像構(gòu)建訓練數(shù)據(jù)集，像素級標注所需成本高昂、人工標注不確定性大，嚴重限制了GF估算精度的提升。
 

近日，Plant Phenomics 在線發(fā)表了南京農(nóng)業(yè)大學前沿交叉研究院PheniX實驗室Enhancing green fraction estimation in rice and wheat crops: a self-supervised deep learning semantic segmentation approach 的研究論文。該研究開發(fā)的水稻和小麥圖像分割模型已公開：https://github.com/PheniX-Lab/sim2real-seg。
 

該研究利用數(shù)字植物表型平臺（Digital Plant Phenotyping Platform, D3P）自動生成大量田間水稻和小麥模擬圖像，自帶像素級分割標簽（sim dataset）。進一步利用CycleGAN模型，縮小模擬圖像與真實田間圖像的特征差距（圖1），遷移過后的圖像（sim2real dataset）與真實圖像更為接近（圖2）。
 

基于D3P生成自帶像素級標簽的Sim2real小麥和水稻數(shù)據(jù)集，訓練了U-Net，DeepLabV3+，SegFormer三種典型深度語義分割模型，并利用來自中國、法國、日本、瑞士等四個國家、五個地區(qū)、不同生育期的小麥和水稻田間數(shù)據(jù)評估了模型精度。結(jié)果表明，使用SegFormer訓練8000張水稻或小麥sim2real圖像得到的分割模型，精度最優(yōu)（小麥：R2 = 0.984，RMSE = 0.028；水稻：R2 = 0.967，RMSE = 0.048）（圖3）。
 

本研究利用三維模型和域自適應算法，生成數(shù)以萬計、自帶像素級標簽的訓練數(shù)據(jù)集，無需人工標注，極大降低了標注成本，提高了數(shù)據(jù)集的多樣性，保證了標簽精度；構(gòu)建了水稻、小麥田間圖像語義分割模型，實現(xiàn)了對綠色分數(shù)GF生育期動態(tài)的高精度估算（圖4）。
 

圖1結(jié)合數(shù)字植物表型平臺D3P和域自適應算法CycleGAN進行虛擬圖像的生成與優(yōu)化
 

圖2水稻與小麥的真實(real)，模擬(sim)，域自適應(sim2real)圖像
 

圖3使用SegFormer訓練水稻與小麥的真實(real)，模擬(sim)，域自適應(sim2real)圖像數(shù)據(jù)集得到的模型，在4個國家5個地區(qū)的水稻與小麥數(shù)據(jù)集上進行綠色分數(shù)估算精度驗證
 

圖4水稻與小麥的綠色分數(shù)動態(tài)曲線

南京農(nóng)業(yè)大學前沿交叉研究院、教育部植物表型工程中心、中法植物表型聯(lián)合實驗室PheniX Lab博士研究生高楊明睿與鐘山青年研究員李英倫為本文共同第一作者，南京農(nóng)業(yè)大學劉守陽教授為本文通信作者。華中科技大學陸昊副教授、東京大學郭威副教授、華中農(nóng)業(yè)大學楊萬能教授參與了本研究。相關工作得到了科技部政府間國際科技創(chuàng)新合作重點專項、“十四五”重點研發(fā)計劃、國家自然科學基金和江蘇省卓越博士后計劃等項目的資助。

論文鏈接：

https://doi.org/10.34133/plantphenomics.00‍64

模型公開：

https://github.com/PheniX-Lab/sim2real-seg

——推薦閱讀——

Self-Supervised Plant Phenotyping by Combining Domain Adaptation with 3D Plant Model Simulations: Application to Wheat Leaf Counting at Seedling Stage

https://doi.org/10.34133/plantphenomics.0041

Plant Phenomics | 虛擬圖像“以假亂真”，無需人工標注，自監(jiān)督創(chuàng)建小麥表型算法

Combining high-resolution imaging, deep learning, and dynamic modelling to separate disease and senescence in wheat canopies

https://doi.org/10.34133/plantphenomics.0053

Plant Phenomics | 結(jié)合高分辨率影像、深度學習和動態(tài)建模分離小麥冠層的疾病和衰老

加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學》作者交流群，群內(nèi)不定期開展作者分享會、專刊發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農(nóng)業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學新應用，與植物表型相結(jié)合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2021影響因子為6.5，位于農(nóng)藝學、植物科學、遙感一區(qū)。中科院農(nóng)藝學、植物科學一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動計劃高起點新刊項目。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。

特邀作者：劉守陽   

排版：向雪薇（南京農(nóng)業(yè)大學）

審核：孔敏、王平