《Agriculture》:Digital Soil Mapping of the Steppe Zone in Northern Kazakhstan: Predicting Agrochemical Properties of Soils Using Multimodal Satellite Data and Machine and Deep Learning Techniques
编辑推荐:
基于多模态卫星数据的数字土壤制图(Digital Soil Mapping, DSM)是向精准农业转型的关键工具。然而,针对中亚干旱与半干旱地区——多模态卫星数据可为土壤状况提供宝贵洞察——系统性的、结合机器及深度学习技术的研究仍较为缺乏。本研究首次提供了中亚
基于多模态卫星数据的数字土壤制图(Digital Soil Mapping, DSM)是向精准农业转型的关键工具。然而,针对中亚干旱与半干旱地区——多模态卫星数据可为土壤状况提供宝贵洞察——系统性的、结合机器及深度学习技术的研究仍较为缺乏。本研究首次提供了中亚干旱草原带六种土壤农化性质(pH、土壤有机碳(Soil Organic Carbon, SOC)、NO3、P2O5、K2O和S(硫))预测能力的基准指标,并对"标准"与"公平"验证策略的差异进行了定量评估,这对整个DSM研究领域具有方法论意义。研究人员利用从各类卫星数据集提取的530个特征,综合比较了11种机器学习(Machine Learning, ML)模型和4种深度学习(Deep Learning, DL)架构以预测土壤农化性质——这些特征通过Google Earth Engine(GEE)自动化流程从Sentinel?2、Landsat?8、Sentinel?1合成孔径雷达(Synthetic Aperture Radar, SAR)、航天飞机雷达地形任务数字高程模型(SRTM Digital Elevation Model, SRTM DEM)及ERA5?Land数据中提取。所有模型均使用三种空间验证策略评估,严格程度递增:留一田块出交叉验证(Leave?One?Field?Out Cross?Validation, LOFO?CV)、留一农场出交叉验证(Leave?One?Farm?Out CV, Farm?LOFO)及优化空间划分。研究人员提出了一种三级分层验证方案,可定量分离空间泄露(space leakage)与特征选择泄露(feature selection leakage),该方法可应用于任意空间机器学习问题。结果表明,局部模型在精度上优于全球SoilGrids v2.0产品,证明区域高分辨率模型对精准农业的必要性:局部模型的pH Spearman ρ较SoilGrids v2.0提升3.6倍(0.750 vs. 0.208),定量确认了区域校准相对于全球土壤产品的必要性。基于54通道合成的多季节ConvNeXt(含压缩激励(Squeeze?and?Excitation, SE)模块)将NO3的R2提升36%(0.422→0.575),证实了时态动态对移动性元素的价值;但在现有样本量(n=1085)下,其对多数性质的预测表现不及基于表格特征的随机森林(Random Forest, RF)。
北哈萨克斯坦草原带土壤数字制图与农化性质预测研究解读
研究背景与立项依据
土壤资源是可持续农业的基础,但全球三分之一土地面临土壤退化。精准农业依赖详细的土壤空间信息来优化施肥,而传统田间采样与实验室分析成本高昂(15–50美元/样)、耗时长(2–4周),难以满足大范围高时空分辨率监测需求。北哈萨克斯坦是世界重要谷物产区(>2000万公顷耕地),发育黑钙土(Chernozems)和栗钙土(Kastanozems),气候大陆性强、生长季短,土壤易受退化威胁,但中亚地区此前几乎无系统的数字土壤制图(Digital Soil Mapping, DSM)研究。现有DSM研究多只用1–3种算法且多忽略空间自相关导致的性能高估(随机切分可使指标虚高15–40%),深度学习方法在多季节多光谱土壤数据特别是ConvNeXt加压缩激励(Squeeze-and-Excitation, SE)模块上的应用尚属空白,对NO3、P2O5、K2O及硫(S)等大中量元素的遥感预测研究也远少于SOC和pH。为此,研究人员开展了以北哈萨克斯坦干草原为对象,融合多模态卫星数据与机器学习(Machine Learning, ML)及深度学习(Deep Learning, DL)模型的系统性DSM研究,成果发表于《Agriculture》。
主要技术方法概述
研究人员采集北哈萨克斯坦科斯塔奈(Kostanay)、阿克莫拉(Akmola)和北哈萨克斯坦州81个田块(隶属20个农场)0–25 cm耕层土壤样品共1085份(2022年174份,2023年911份),测定pH(KCl)、SOC(土壤有机碳)、NO3、P2O5、K2O和S。通过Google Earth Engine(GEE)从Sentinel?2、Landsat?8、Sentinel?1合成孔径雷达(Synthetic Aperture Radar, SAR)、SRTM数字高程模型(Digital Elevation Model, DEM)及ERA5?Land中提取并构建530个候选协变量(含季节中值波段与指数、时态统计、纹理、地形及气候特征),排除SoilGrids v2.0防目标泄露后保留530维,经两步特征选择(去常数列与高皮尔逊相关对|r|>0.95,再按随机森林平均不纯度减少(Mean Decrease Impurity, MDI)选前15个特征)。分别采用三级空间验证——留一田块出交叉验证(Leave?One?Field?Out Cross?Validation, LOFO?CV, 81折)、留一农场出交叉验证(Leave?One?Farm?Out CV, Farm?LOFO, 20折)及优化农场级空间切分(65/6/10农场),系统比较11种ML模型(线性回归、Ridge、SGD、CART、RF、Extra?Trees(ET)、梯度提升决策树(Gradient Boosting Decision Tree, GBDT)、XGBoost、CatBoost、支持向量回归(Support Vector Regression, SVR)、k近邻(k?Nearest Neighbors, KNN))与4种DL架构(1D?CNN对表格数据、ResNet?18对多光谱像块、多季节ConvNeXt带SE模块),并以Spearman秩相关系数(ρ)为主评价指标(六类性质Shapiro?Wilk检验均非正态,p<0.001),辅以R2、RMSE、MAE、性能偏差比(Ratio of Performance to Deviation, RPD)及Lin's一致性相关系数(Concordance Correlation Coefficient, CCC),进行数据泄露审计(时态泄露与特征选择泄露)与Moran's I及半变异函数空间诊断。
研究结果
3.1 基于相关性的协变量筛选
单变量Spearman|ρ|最大值排序为pH(0.670)>K2O(0.478)≈P2O5(0.476)>SOC(0.350)>NO3(0.290)>S(0.280);土壤性质具强空间自相关(Moran's I=0.51–0.86),组间方差占比ICC(Intraclass Correlation Coefficient)从S的22.6%至pH的73.2%;发现pH对SOC–NDVI相关性的混淆效应(41.9%由酸度介导),该层级与后续建模结果一致。
3.2 机器学习模型比较:Field?LOFO?CV与Farm?LOFO?CV
3.2.1 Field?LOFO?CV(81折):集成模型全面优于线性模型与单棵决策树。最优者为GBDT对pH(ρ=0.857,R2=0.841)、ET对SOC(ρ=0.735,R2=0.504)、RF对NO3(ρ=0.775,R2=0.598)。线性模型仅pH接近集成模型,NO3远低于RF。
3.2.2 控制实验(Farm?LOFO内逐折MDI选择+GridSearchCV):固定特征集引入特征选择泄露,公平逐折选择致指标显著下降——pH ρ由0.750降至0.403(-46%),SOC由0.529降至0.169(-68%),NO3ρ变号(0.232→-0.058),证实特征选择泄露是乐观偏差重要来源。
3.2.3 Farm?LOFO?CV(20农场):即便更严验证集成模型仍领先——RF对pH(ρ=0.750)、NO3和K2O最优;CatBoost对SOC(ρ=0.554);XGBoost对S(ρ=0.289,使用去时态泄露的6个春季+静态特征);SVR对P2O5(ρ=0.571)。相对Field?LOFO各性质ρ降幅不同:pH-6%、P2O5-18%、SOC-28%、K2O-28%、S-49%、NO3-70%,降幅与ICC(田块间方差占比)负相关。
3.3 性质重要性分析
MDI分析显示各目标性质主导预测因子差异明显且重叠少:pH以春季GNDVI(Landsat?8)、秋季近红外(Near?InfraRed, NIR)纹理熵等为主;SOC以MSI标准差、春季B3/B4比值、DEM高程、生长季降水(GSprecip)为主;NO3以夏季NIR灰度共生矩阵(Gray?Level Co?occurrence Matrix, GLCM)逆差矩、春季GNDVI等为主;K2O以春季Brightness Soil Index(BSI)(Sentinel?2)、PCA成分等为主;P2O5以生长季温度(GStemp)、地形位置指数(Topographic Position Index, TPI)等为主(反映低迁移性);S以春季蓝波段(Sentinel?2 B2)、DEM、春季Moisture Stress Index(MSI)等为主。
3.4 ResNet?18对卫星像块及迁移学习
从头训练ResNet?18(18通道64×64像块)在Field?LOFO下部分性质接近表格集成(pH ρ=0.699,P2O5ρ=0.509),但SOC和NO3明显低于RF/ET。ImageNet迁移学习(RGB均值填充至18通道)仅小幅提升NO3与SOC,却降低pH等性质表现。Farm?LOFO下ResNet?18全面崩溃(ρ≈0或负值)。硫出现高R2(0.528–0.660)但低ρ(≤0.359)的假象,系高度偏态分布导致——模型预测近常数贴近均值可压低平方误差但不具备排序预测力,应以ρ为准。
3.5 与SoilGrids v2.0基线比较
局部ML模型大幅优于SoilGrids v2.0:pH本地RF(Farm?LOFO) ρ=0.750 vs. SoilGrids ρ=0.208(3.6倍),R2=0.616 vs. 0.034;SOC本地最佳ρ=0.554 vs. SoilGrids ρ=0.042(近零相关)。证明250 m全球产品在田块尺度农化制图上不适用,区域校准模型必要。
3.6 消融实验:像块尺寸与光谱指数
以空间切分(65/6/10农场)评估发现:pH与NO3最优像块32×32像素(约320×320 m,近似田间中位面积平衡上下文与邻田噪声),SOC/K2O/P2O5最优64×64;仅NDVI持续提升pH表现(R2:0.807→0.878,+8.8%);加入>3个指数多因多重共线与维度灾难致性能降;硫无任何配置R2>0.02。
3.7 多季节ConvNeXt with SE模块
54通道多季节合成(春/夏/晚夏光学+指数×3+VV/VH+DEM)ConvNeXt使NO3R2由单季0.422升至0.575(+36%,因氮季节矿化?吸收?淋溶形成时态光谱信号),S由负转正;但P2O5出现过拟合(R2=-0.221),pH略降。说明多时相对移动性元素有益,小样本高通道CNN易过拟合稳定/低光谱响应元素。
3.8 RF与ConvNeXt公平比较(同空间切分)
同一田块级切分(58/10/12田块)下RF优于双配置ConvNeXt对4/6性质(pH R2=0.828 vs. 0.798;NO30.614 vs. 0.575;SOC 0.502 vs. 0.501;K2O 0.353 vs. 0.230),仅P2O5单季ConvNeXt微优(0.223 vs. 0.203)。仅pH达RPD>2.0(好预测),SOC与NO3RPD∈[1.4,2.0](可接受),其余RPD<1.4(不适合定量预测),印证n~103时表格集成胜端到端CNN。
3.9 调优ML模型(空间切分65/6/10)
贝叶斯超参优化(XGBoost/CatBoost via Optuna)后pH保持ρ=0.761(R2=0.688),S σ(ρ)最大。
3.10 硫与硝态氮数据泄露审计
硫时态泄露:含夏秋特征Farm?LOFO ρ→0.044(近零),仅用春+静态特征后Field?LOFO ρ=0.484(Extra?Trees),Farm?LOFO ρ=0.289(XGBoost),确认中等可预测性。NO3去夏秋特征Farm?LOFO ρ=0.202(全特征0.232),主因是空间自相关而非时态泄露。
3.11 三级策略汇总指标
整理Field?LOFO/Farm?LOFO/空间切分下最佳模型公平指标,Farm?LOFO为外推至新区可信度——pH ρ=0.750(RF),P2O5ρ=0.571(SVR),SOC ρ=0.554(CatBoost),K2O ρ=0.448(RF),NO3ρ=0.232(RF),S ρ=0.289(XGBoost,去时态泄露特征)。
3.12 模型间差异统计显著性
Friedman检验五性质(p<10?6~7.5×10?7)表明模型排名存显著差异(SOC p=0.165不显著)。Nemenyi事后检验:pH集成(GBDT/CatBoost/XGBoost/RF)显著优于线性;NO3ET与RF显著优于线性;RF与ET、GBDT与XGBoost两两差异不显著。
3.13 空间制图(预测地图)
RF模型Farm?LOFO下成功再现测试农场pH空间梯度与田内异质性(Moran's Iobs=0.628,Ipred(Farm?LOFO)=0.614,半变异函数有效变程吻合236.7 km);NO3预测趋近训练集均值平滑分布无法捕捉热点,印证Farm?LOFO低ρ结论。Moran's I与半变异函数联合建议作为DSM模型标准空间诊断。
讨论与结论总结
讨论指出:(1)集成模型(RF/GBDT/CatBoost/XGBoost/ET)显著优于单树与线性模型,CatBoost对高变异P2O5最优(有序目标编码),线性模型仅pH接近(近单调关系);本地多模态模型较SoilGrids v2.0 pH相关性提3.6倍,验证了区域高分辨率DSM对精准农业必要性。(2)小样本(n~103)下表格集成优于端到端CNN(含ImageNet迁移学习无效),未来可用卫星自监督基础模型(SSL4EO?S12、SatMAE)或表格深度网络(FT?Transformer、TabPFN)弥补;ImageNet权重不适配多光谱卫星数据域。(3)像块32×32最适合pH/NO3,64×64适合SOC/P2O5/K2O,仅NDVI稳定增益,>3指数有害。(4)多季节ConvNeXt显著提升NO3(+36%R2)但因样本/通道比过拟合P2O5。(5)三级验证(Field?LOFO→优化空间切分→Farm?LOFO)量化空间泄露与特征选择泄露引起的乐观偏差,ρ降幅与ICC(田块间方差占比)相关——高ICC(pH)跌幅小,低ICC(NO3,S)跌幅大;公平逐折MDI+Farm?LOFO给出最保守估计。(6)农化意义:pH RMSE 0.26–0.40可支持变量撒石灰分区(酸度级宽0.5–1.0单位);P2O5RMSE 15–18 mg/kg接近供磷等级宽度,可大致分区慎用精确定量;NO3RMSE>50%均值,S及NO3外推不可靠需本场校准。(7)建议部署协议:第1年每农场10–15校准样+GEE流程生成pH/P2O5图;第2年变量施肥并增补验证样扩至SOC/K2O;第3年起年度更新不加样,NO3/S仅当有年度田间监测。(8)局限:样本限于北哈三州一时期、Sentinel?2季节合成需全季影像致同期预测需等待、未测卫星自监督预训练、S完全无卫星光谱信号、Farm?LOFO因农场数少方差大、固定空间切分比例未探索聚类CV等。
结论(翻译)
本研究系统比较了11种ML与4种DL模型,利用多模态卫星数据(Sentinel?2、Landsat?8、Sentinel?1 SAR、SRTM DEM、ERA5?Land)在三重分层验证框架下预测六种土壤农化性质(pH、SOC、NO3、P2O5、K2O、S)。研究人员提出了可定量分离空间泄露与特征选择泄露的三级分层验证方案,适用于任意空间ML问题。局部模型精度优于全球SoilGrids v2.0产品,证明精准农业需要高分辨率区域模型。多季节带SE模块的ConvNeXt改善NO3预测,证实时态动态对移动性元素价值;现有样本量下端到端DL对多数性质不及表格特征RF。研究为中亚旱区DSM提供首套基准,公开数据与代码支撑可重复研究与跨区域比较。