1. 頂刊身份卡

2. 內容速覽

核桃仁脆度是消費者最關注的感官品質之一，傳統評估依賴人工品嘗或質構儀破壞性檢測，主觀性強且無法在線應用。本研究以雙利合譜GaiaField-N17E高光譜成像系統（859-1705 nm）為核心傳感設備，融合機器視覺（顏色+紋理特征）和電子鼻（揮發性組分時間序列）數據，創新性提出MCAFNet多模態交叉注意力融合網絡。該框架通過馬爾可夫轉移場（MTF）將電子鼻一維時序信號轉為二維圖像，結合光譜指數與多通道光譜偽圖像，實現外觀、內部組分和氣味信息的深度交互融合，脆度預測R2達0.968，RPD達5.578。該技術框架可遷移至堅果炒貨、烘焙食品、休閑零食等質構在線監測場景。

關鍵詞：核桃仁脆度；高光譜成像；機器視覺；電子鼻；多模態融合

3. 研究背景

核桃是全**受歡迎的堅果之一，烘烤是最常見的加工方式。烘烤過程中發生的美拉德反應、脂質氧化和蛋白質降解顯著改變核桃仁的風味和質地，其中脆度（crispness） 是消費者最為關注的感官屬性。然而，脆度作為一種多維感官體驗，傳統評估手段存在根本性局限：感官品嘗法主觀性強、重復性差；質構儀破壞性檢測雖能輸出定量指標，但樣品完整性被破壞，無法用于生產在線檢測。

近年來，機器視覺（外觀顏色紋理）、高光譜成像（內部成分結構）和電子鼻（揮發性組分）在農產品品質檢測中各顯優勢，但大多數研究依賴單一數據源，未能有效整合外觀、內部組分和氣味三者的互補信息。以核桃烘烤為例，脆度的形成涉及表面顏色變化（美拉德反應）、內部水分遷移和結構松弛（近紅外光譜響應）以及揮發性組分釋放（電子鼻響應），單一模態難以全面捕捉這一復雜過程。因此，整合多模態數據構建更全面的感知模型成為突破方向。

針對上述問題，浙江農林大學數學與計算機科學學院和食品與健康學院團隊以雙利合譜GaiaField-N17E高光譜成像系統為核心傳感平臺，聯合機器視覺與電子鼻技術，提出了MCAFNet（Multi-modal Cross-Attention Fusion Network）多模態融合框架。該研究為堅果類食品質構的智能化、無損化評估提供了新思路。

4. 實驗設計

樣品制備： 新鮮核桃采自浙江臨安，選取大小均勻、形態完整、無霉變和機械損傷的核桃共1600顆，隨機分為8個加工批次。核桃先經熱水煮沸3h去澀，室溫自然晾干后，分別采用恒溫熱風干燥箱和微波爐進行8種不同熱加工處理（包括不同溫度、時間和微波功率組合），烘烤后手工破殼取仁，確保仁完整用于后續數據采集。脆度真值采用質構儀（P/BS剪切刀頭）測定，每樣品10顆核桃取8次有效測量均值。

圖1 整體系統框架圖

圖2 多模態數據采集系統

5. 高光譜數據采集

成像高光譜數據： 研究采用雙利合譜GaiaField-N17E近紅外高光譜成像系統采集核桃仁光譜圖像。每顆核桃仁正反兩面均掃描取平均光譜作為該樣本代表數據。原始圖像經黑白板校正后，利用ENVI劃定感興趣區域（ROI）提取平均反射率。

圖3 核桃仁偽彩色高光譜圖像

圖4 不同加工方式下平均光譜曲線

機器視覺數據采集： 采用視覺運動平臺（ML-SYT-04測試架、ML-FA-3517鏡頭、環形光源和背光源）從三個側面拍攝高分辨率圖像，共獲取480張原始圖像。

電子鼻數據采集： 采用SuperNose14電子鼻（14個MOS傳感器），核桃仁密封于500mL燒杯中室溫平衡40min后頂空進樣檢測30s，每個樣品重復三次。

6. 研究結果

6.1 脆度統計分析

單因素方差分析顯示，熱加工方式極顯著影響核桃仁脆度（F=486.2, p<0.001）。對照組脆度最高（29.51N），顯著高于所有處理組。微波輔助處理組（G2-G4）脆度顯著高于純熱風組（G1），說明適當微波處理可部分保留脆度。這一結果證實了不同熱加工參數下脆度的顯著分化，為后續建模提供了充足的樣本變異性。

圖5 八組處理下核桃仁脆度柱狀圖

6.2 特征提取與相關性分析

圖像特征： 從RGB、HSV和Lab顏色空間中提取24個顏色特征，結合GLCM紋理特征（對比度、能量、同質性、相關性，0°、45°、90°、135°四個方向）共51個紋理特征，構成75維圖像特征向量。Pearson相關分析篩選出10個相關系數絕對值>0.75的關鍵特征。

光譜特征： 對原始光譜應用Autoscale、SNV、MSC、一階導數、二階導數和Savitzky-Golay六種預處理方法。一方面，基于6個經典光譜指數（CIred-edge、CVI、DVI、NDVI、RVI、RDVI）從不同預處理組合中篩選出12個與脆度高度相關的波段組合；另一方面，將六種預處理后的480個波段分別重采樣為20×24矩陣并堆疊為6通道×20×24的“偽光譜圖像"，用于CNN全局特征提取。

圖6 光譜指數與圖像特征與脆度的相關性分析

電子鼻時序特征： 電子鼻數據本質為時序信號。傳統統計特征（積分值、最大值、平均值等）難以反映傳感器響應的動態演化。本研究創新性地引入馬爾可夫轉移場（MTF），將每個傳感器300個時間點的響應序列轉化為300×300二維圖像，14個傳感器堆疊形成300×300×14的多通道MTF圖像，完整保留了氣體吸附-解吸過程中的時序動態信息。

圖7 SE8傳感器MTF圖像

圖8 電子鼻14個傳感器響應曲線

6.3 單模態建模對比

研究對比了6種傳統機器學習算法與1D-CNN在各模態上的表現。結果顯示，1D-CNN在所有三種模態上均優于傳統算法：圖像模態R2=0.830，光譜模態R2=0.828，電子鼻模態R2=0.820。不同模態的*優特征形式分別為：圖像模態采用75維手工特征優于原始RGB圖像直接輸入；光譜模態采用6通道偽光譜圖像（2D-CNN，R2=0.895）優于12維光譜指數（1D-CNN，R2=0.890）；電子鼻模態采用14通道MTF圖像（2D-CNN，R2=0.901）顯著優于統計特征（1D-CNN，R2=0.820）。MTF變換對時序信號預測能力的提升幅度達10%，驗證了該方法在保留電子鼻動態信息方面的有效性。

6.4 多模態融合策略

研究設計了三層遞進融合策略：

• 特征級融合：將圖像75維特征與光譜12維指數直接拼接后輸入DBFF模塊，R2=0.935，優于任一單模態，證明外觀與內部組分信息的互補性。

• 模型級融合：光譜6通道偽圖像經SSFE模塊提取空間特征，電子鼻14通道MTF圖像經MTFE模塊（多尺度并行卷積，11×11、9×9、7×7）提取時序特征，通過雙向交叉注意力機制實現模態間深度交互，R2=0.950，RPD=4.476。

• 混合級融合（MCAFNet）：將特征級和模型級融合路徑的輸出采用Stacking集成策略（基學習器：PLSR、Lasso、RF、GBDT，元學習器：LR），R2達0.968，RMSE=0.743，RPD=5.578。

RPD>5.0表明模型具有*佳的預測能力，可用于實際質量控制場景。

圖9 MCAFNet網絡架構及模態特征提取模塊

圖10 A-K.不同Stacking組合散點圖，L.*優模型殘差分

7. 結論與啟發

核心結論： ①熱加工方式顯著影響核桃仁脆度（F=486.2, p<0.001），微波功率和時間的聯合調控可部分保留脆度。②MTF可將電子鼻時序信號轉為圖像，完整保留氣體吸附-解吸動態信息，相比傳統統計特征R2提升約10%。③多模態融合顯著優于單模態：特征級融合R2=0.935，模型級融合R2=0.950，混合級融合R2=0.968，RPD=5.578，證明外觀-成分-氣味三方信息的互補融合能有效提升脆度預測精度。④MCAFNet框架為堅果類食品脆度的無損在線監測提供了理論支撐。

可復制的核心技術點：

MTF時序轉圖像策略。 將電子鼻一維響應序列通過馬爾可夫轉移場轉為二維圖像，完整保留不同時間尺度下的狀態轉移概率信息。這一策略可用于任何傳感器時序信號的特征增強（如拉曼光譜時間序列、過程分析技術中的實時監測數據）。

多通道光譜偽圖像構建。 將多種預處理后的光譜向量重采樣為矩陣并堆疊為多通道“圖像"，利用2D-CNN提取預處理方法間的交叉信息。相比單一預處理，該方法無需預設*優預處理方案，讓網絡自適應學習，尤其適合光譜先驗知識有限的場景。

雙向交叉注意力融合。 在模型級融合中，光譜特征作為Query增強電子鼻特征，電子鼻特征作為Query增強光譜特征，實現模態間的雙向信息交互。這種雙向注意力機制可推廣至其他異構數據融合任務（光譜-圖像、光譜-質譜等）。

技術觀察與啟示：

近紅外區域對水分與脂質變化的敏感性——本研究中光譜差異*顯著的區間位于950–1100 nm（O-H鍵）和1200–1600 nm（C-H鍵），與烘烤導致的水分流失和脂質氧化直接相關。這提示在堅果類食品品質檢測中，NIR波段的信息密度不低于VIS波段，設備選型時應重點關注NIR區域的光譜分辨率和信噪比。

此外，12維光譜指數與480維全譜+六種預處理的偽圖像精度幾乎持平，說明光譜指數策略在降低模型復雜度方面仍是*優選擇——這為開發僅需若干窄波段的專用傳感器提供了理論支持。

應用遷移： 

本方法可遷移至其他堅果（巴旦木、開心果、花生）烘烤品質評估、烘焙食品（餅干、面包）脆度在線監測、膨化零食質構快速分級等場景。

8. 論文引用信息

1. Fu, J., Dai, D., Huang, S., et al. (2026). A multimodal fusion model for predicting the roasting-induced crispness of walnut kernels using machine vision, hyperspectral imaging, and electronic nose. Current Research in Food Science, 12, 101269.

2. Sun, Z., et al. (2025). Integrating deep learning and data fusion for enhanced oranges soluble solids content prediction using machine vision and Vis/NIR spectroscopy. Food Chemistry, 464, 141488.

3. Liu, P., et al. (2021). Feasibility of nondestructive detection of apple crispness based on spectroscopy and machine vision. Journal of Food Process Engineering, 44(10).

4. Tang, S., et al. (2024). Rapid non-destructive evaluation of texture properties changes in crispy tilapia using hyperspectral imaging and data fusion. Food Control, 162, 110446.

5. Olakanmi, S.J., et al. (2024). Innovations in nondestructive assessment of baked products. Comprehensive Reviews in Food Science and Food Safety, 23(4).