基于Vision Transformers模型估算種子混合物的成分和營養(yǎng)價(jià)值

Plant Phenomics | 基于Vision Transformers估算種子混合物的成分和營養(yǎng)價(jià)值

在歐洲，當(dāng)?shù)啬翀?chǎng)的人們通過種植谷物和豆類的種子混合物，用于以較低的生產(chǎn)成本生產(chǎn)均衡且富含能量和蛋白質(zhì)的動(dòng)物飼料。這種方法符合歐洲植物檢疫產(chǎn)品使用規(guī)定的發(fā)展方向，同時(shí)也滿足了消費(fèi)者對(duì)有機(jī)產(chǎn)品的需求。然而，由于谷物和豆類成熟的時(shí)間不同，造成產(chǎn)量差距大，人們難以評(píng)估其收獲后的營養(yǎng)價(jià)值。
 

2023年11月，Plant Phenomics 在線發(fā)表了法國University Montpellier等單位題為Estimating Compositions and Nutritional Values of Seed Mixes Based on Vision Transformers 的研究論文。

受Pl@ntNet的啟發(fā)（一個(gè)參與式的公民科學(xué)平臺(tái)，用于收集、共享和查找基于自動(dòng)識(shí)別的植物觀察結(jié)果），文章提出了一項(xiàng)新的技術(shù)：通過使用共建的種子混合物數(shù)據(jù)庫，在EfficientNet和Vision Transformer兩種最新的深度模型上進(jìn)行訓(xùn)練，最后遷移到APP上自動(dòng)估計(jì)收獲種子混合物的營養(yǎng)價(jià)值，以幫助人們更好的管理產(chǎn)量。為此，本研究在2019年到2022年3年的時(shí)間里，從205份種子混合物中收集了約4749張圖像（圖1）。
 

圖1混合料中種子品種的分布情況以及每個(gè)品種的圖片數(shù)量

本研究將種子混合物以8:2的比例隨機(jī)劃分為訓(xùn)練集和驗(yàn)證集，使用了多種數(shù)據(jù)增強(qiáng)技術(shù)，包括center crop, random rotation, color jitter, auto contrast和 RandAugment，在計(jì)算機(jī)視覺領(lǐng)域中兩種主要深度學(xué)習(xí)模型CNN EfficientNet-B4-ns和BeiT-base-384 model上進(jìn)行比較，并提出了一種sparsemax的變體損失函數(shù)。該實(shí)驗(yàn)使用MSE，MAE，R2，Max MAE/Seed作為主要評(píng)價(jià)指標(biāo)（圖2），結(jié)果顯示：BeiT-base-384 model的評(píng)價(jià)指標(biāo)明顯優(yōu)于EfficientNet-B4-ns；然后以以BeiT-base-384的結(jié)果作為基準(zhǔn)，AutoAugment表現(xiàn)最佳；最后確定了最佳的模型為BeiT-base-384 + AutoAug + KLDiv。
 

圖2使用不同模型架構(gòu)和損失函數(shù)的每種種子類別的MAE比較

從圖3可以看出，模型會(huì)略微低估一些樣品的營養(yǎng)價(jià)值，但對(duì)大多數(shù)樣品來說是相當(dāng)準(zhǔn)確的。同時(shí)為了評(píng)價(jià)所選擇的模型(BeiT-base-384 + AutoAug + KLDiv)產(chǎn)生的預(yù)測(cè)營養(yǎng)價(jià)值，采用類似的指標(biāo)來衡量混合種子比例的性能。表1顯示了在種子混合物水平預(yù)測(cè)上取得了改進(jìn)，其值為0.91。與CNN相比，以自我監(jiān)督的方式(BeiT)進(jìn)行預(yù)訓(xùn)練的VITS更為準(zhǔn)確。性能提高的最可能原因是VIT能夠同時(shí)捕獲全局和局部結(jié)構(gòu)化的內(nèi)容，從而促進(jìn)對(duì)單個(gè)種子的檢測(cè)和計(jì)數(shù)。
 

圖3圖像級(jí)營養(yǎng)價(jià)值估計(jì)(a)和混合級(jí)營養(yǎng)價(jià)值估計(jì)(b)
 

表1對(duì)比圖像水平和混合水平的營養(yǎng)價(jià)值預(yù)測(cè)的驗(yàn)證集結(jié)果

最終，本研究開發(fā)了一個(gè)名為"ESTI' METEIL"的網(wǎng)絡(luò)組件，通過用戶界面（https://c4c.inria.fr/carpeso/）對(duì)最佳模型進(jìn)行了試驗(yàn)。該組件允許用戶提交1至5張具體種子組合的圖像，并獲得相應(yīng)的估計(jì)種子組成（按重量）和營養(yǎng)價(jià)值。

論文鏈接：

‍https://spj.science.org/doi/10.34133/plantphenomics.0112

——推薦閱讀——

Improved Field-Based Soybean Seed Counting and Localization with Feature Level Considered

https://doi.org/10.34133/ plantphenomics.0026

Plant Phenomics | 考慮特征水平的田間大豆種子計(jì)數(shù)和定位的改進(jìn)

Estimation of Rice Aboveground Biomass by UAV Imagery with Photosynthetic Accumulation Models

‍https://spj.science.org/doi/10.34133/plantphenomics.0056

Plant Phenomics | 使用無人機(jī)圖像和光合積累模型估算水稻地上生物量

加入作者交流群

掃碼添加小編微信，拉您進(jìn)入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會(huì)、�？�發(fā)布會(huì)等高質(zhì)量活動(dòng)。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics

《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)和美國科學(xué)促進(jìn)會(huì)（AAAS）合作創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點(diǎn)領(lǐng)域具有突破性科研進(jìn)展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點(diǎn)。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機(jī)器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實(shí)踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計(jì)學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2021影響因子為6.5，位于農(nóng)藝學(xué)、植物科學(xué)、遙感一區(qū)。中科院農(nóng)藝學(xué)、植物科學(xué)一區(qū)，遙感二區(qū)，生物大類一區(qū)（TOP期刊）。2020年入選中國科技期刊卓越行動(dòng)計(jì)劃高起點(diǎn)新刊項(xiàng)目。

說明：本文由《植物表型組學(xué)》編輯部負(fù)責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準(zhǔn)。
撰稿：靳松
排版：陳新月
審核：孔敏、王平