基于ResNet深度残差网络的白喉乌头检测
English
-
草地是生态环境的重要屏障，也是畜牧业发展的基础，同时也影响着人类生存环境、生态环境和食品安全。然而在人类无序开发和气候变化的双重影响下，天然草地退化严重，危害着畜牧业可持续发展[1]。草地退化标志着毒害草大量繁殖[2]。白喉乌头(Aconitum leucostomum)为伊犁地区主要的毒害草。毒害草的不断扩张，使优质牧草不断减少，家畜误食毒害草的可能性大大增加，导致家畜中毒，甚至死亡，直接造成严重的经济损失。目前毒害草监测主要以人工实地调查为主，这种低效的调查工作方式，难以实现对白喉乌头的分布范围和危害程度准确评估[3]。因此迫切需要能够快速、精准检测出单株白喉乌头，并获取其分布的准确位置，为真正实现精准、自动、快速监测提供技术支撑。
目前目标识别主要有两种方式，一种是传统的图像识别，另一种是深度学习。传统的图像识别是根据图像的形状、颜色、条纹等特征进行建模[4-6]。这种方法的结果好坏依赖于人工获取图像的方式、特征处理的优劣和预处理的效果，需要人为设计特征提取方式，鲁棒性和准确率较低，难以满足识别精度的要求。相对于传统的机器学习方法，深度学习网络可以自动学习到图像特征，在分类和目标识别[7]等应用中表现优异。在杂草识别[8]、天然草地分类[9]和作物表型分类[10]等植被相关应用领域，使用深度学习技术取得了良好效果。同时无人机在识别监测毒害草中也发挥着重要作用，可为深度学习技术的应用提供高精度的数据支持[11]。范宏等[12]利用无人机获取白喉乌头分布区1 cm空间分辨率的正射影像，在5个尺度下使用3种模型(VGG16、VGG19和ResNet50)对图像的特征进行学习，目的是实现白喉乌头的分类，而本研究是对个体白喉乌头进行目标检测，以期实现白喉乌头单株水平的精确识别，获得单株白喉乌头准确的位置信息和数量信息。分辨率较低的无人机图像，绝大多数的检测目标直径不超过32个像素，属于小目标[13]，更为贴近实际应用场景，应用的范围更广。
本研究通过低空无人机拍摄得到白喉乌头的正射影像，对数据进行合成、裁剪和标注等一系列处理，分别采用ResNet50和ResNet101主干网络，对比研究Faster-RCNN和SSD算法的优缺点，筛选识别精度高的模型，评估深度学习对无人机图像中的白喉乌头目标识别效果，以期为监测白喉乌头的生长状况和扩张趋势，及时防控毒害草提供数据支持。
1. 材料与方法
1.1 研究区概况
研究区托乎拉苏草原位于新疆伊宁县城北约40 km，属于山地草原类型。海拔900～1 700 m，平均气温10 ℃左右，属温带大陆性气候，比较温和，同时也是新疆雨水最充足的地方。
1.2 数据获取
本研究以白喉乌头作为研究对象(图1)，2021年6月25日采集于于伊宁县托乎拉苏生长白喉乌头的区域。选择晴朗、无风的天气，用极侠无人机(XMISSION，广州极飞科技股份有限公司)搭配正摄相机获取图像数据，飞行高度150 m，空间分辨率为2 cm的正射影像。无人机数据覆盖区域设定为2 km × 2 km (中心研究区域)。为方便后续的模型训练和验证，将正射影像裁剪为512 像素× 512像素，去除一些生长边缘位置和过于密集的白喉乌头图像，保留200张样本图像。采用LabelImg软件对白喉乌头数据集标注，得到XML文件。标注好的数据集按9 ꞉ 1划分训练集与测试集。
1.3 试验环境
选用Windows 10环境下的TensorFlow深度学习框架，软件运行环境采用Anaconda3，源代码编辑器为Visual Studio Code，编程语言为Python3.8，初始训练时加载Imagenet上的目标检测预训练模型。
1.4 试验方法
1.4.1 Faster-RCNN
Faster-RCNN[14]是在R-CNN[15]和Fast-RCNN[16]之后衍生出来的，其优点在检测网络能够共享全图的卷积特征，在速度上有了很大提升(图2)。RPN (region proposal network)区域生成网络是一个全卷积网络[17]，通过分类Softmax激活函数判断建议区域属于前景还是背景，然后通过边框回归函数修正提取区域，得到更加准确的区域建议，同时预测每个位置的候选框和目标得分，并与Fast-RCNN网络共享，可以端到端的网络训练。
首先图像输入到卷积神经网络中得到特征图，得到的特征图进入RPN网络卷积中，用预训练好的模型进行分类，然后在原有的参数进行调参，卷积核3 × 3的滑动窗口在输入特征图上得到不同尺寸和不同长宽比的锚框，得到锚框之后利用Softmax判断锚框属于前景或者是背景，最后特征图输入到全连接层完成分类和回归。
损失函数表示为训练样本与真实值两者之间的误差，一般来说损失函数值越小，表示模型的预测值与实际值越接近。
Faster-RCNN的损失函数(loss function)公式如下：
$ \begin{split} {L}\left (\right\{{{p}}_{{i}}\},\{{{t}}_{{i}}\left\}\right)=&\dfrac{1}{{{N}}_{{{\rm{cls}}}}}\displaystyle\sum \nolimits _{{i}}{{L}}_{{{\rm{cls}}}}({{p}}_{{i}},{{p}}_{{i}}^{{*}}) + \\ & {\lambda }\dfrac{1}{{{N}}_{{{\rm{reg}}}}}\displaystyle\sum \nolimits _{{i}}{{p}}_{{i}}^{{*}}{{L}}_{{{\rm{reg}}}}({{t}}_{{i}},{{t}}_{{i}}^{{*}}) 。 \end{split} $
(1) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
This page contains the following errors:
error on line 7 at column 24: Extra content at the end of the documentBelow is a rendering of the page up to the first error.
$ {{L}}_{\mathrm{c}\mathrm{l}\mathrm{s}} $
$ {L}_{{\rm{cls}}} ({p}_{i} , {p}_{i}^*)= -\log[{p}_{i}{p}_{i}^* + (1-{p}_{i}) (1-{p}_{i}^*)] 。 $
(2) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
1.4.2 SSD
SSD模型可以实现端到端的卷积神经架构，并且预判边界框和类概率，能基本达到实时检测速度。SSD损失函数为：
$ {L}({x},{c},{l},{g})=\dfrac{1}{N}\left[{{L}}_{{{\rm{conf}}}}\right ({x},{c}) + {\alpha {L}}_{{{\rm{loc}}}}({x},{l},{g})] 。 $
(3) This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
1.5 ResNet网络
This page contains the following errors:
error on line 1 at column 1: Start tag expected, '<' not foundBelow is a rendering of the page up to the first error.
![]()
图 3 残差学习示意图 ReLU激活函数Figure 3. Schematic diagram of the residual learning ReLU activation function表 1 ResNet50和ResNet101Table 1. ResNet50 and ResNet101层名称
Layer name50层
50 layers101层
101 layersconv1 7 × 7, 64, stride 2 conv2_x 3 × 3, max pool, stride 2 $\left(\begin{array}{l}3 \times 3,64 \\ 3 \times 3,64 \\ 1 \times 1,256\end{array}\right) \times 3 $ 
$\left(\begin{array}{l}1 \times 1,64 \\ 3 \times 3,64 \\ 1 \times 1,256\end{array}\right) \times 3 $ 
conv3_x $\left(\begin{array}{l}1 \times 1,128 \\ 3 \times 3,128 \\ 1 \times 1,512\end{array}\right) \times 4 $ 
$\left(\begin{array}{l}1 \times 1,128 \\ 3 \times 3,128 \\ 1 \times 1,512\end{array}\right) \times 4 $ 
conv4_x $\left(\begin{array}{l}1 \times 1,256 \\ 3 \times 3,256 \\ 1 \times 1,1024\end{array}\right) \times 6 $ 
$\left(\begin{array}{l}1 \times 1,256 \\ 3 \times 3,256 \\ 1 \times 1,1024\end{array}\right) \times 23 $ 
conv5_x $\left(\begin{array}{l}1 \times 1,512 \\ 3 \times 3,512 \\ 1 \times 1,2048\end{array}\right) \times 3 $ 
$\left(\begin{array}{l}1 \times 1,512 \\ 3 \times 3,512 \\ 1 \times 1,2048\end{array}\right) \times 3 $ 
average pool, 2048-d fc 1.6 评价指标
在目标检测中，通常以平均精确度(mean average precision, mAP)衡量该目标检测模型的性能，mAP的值越大则模型检测精度越好。mAP的值是所有类别AP (average precision, AP)的平均值，AP是由准确率(precision)和召回率(recall)组成的，其中准确率代表预测的正样本占所有正样本的百分比，而召回率则表示标注真实的正样本数量占所有预测的百分比。本研究识别白喉乌头1个类别，所以mAP等于AP。
$ {P}={T}{P}/({T}{P} + {F}{P}) \text{；} $
(4) $ {R}={T}{P}/({T}{P} + {F}{N}) 。 $
(5) 2. 结果与分析
2.1 训练误差
数据集在训练的过程中，在学习率、损失函数等参数的变化下，衡量模型的优劣程度跟模型收敛相关，因此，评估模型不单单是看其准确率的大小，还要参照模型是否收敛。模型收敛效果好，模型进行预测时才能保持稳定和鲁棒性。
本研究通过Faster-RCNN和SSD对比两种算法进行训练，以ResNet50和ResNet101主干网络训练得到损失值。训练时随着迭代次数的增加，Faster-RCNN_ResNet50、Faster-RCNN_ResNet101和SSD_ResNet50方法容易收敛，而SSD_ResNet101在训练过程中难以收敛(图4)。当迭代10 000次时，Faster-RCNN_ResNet50、Faster-RCNN_ResNet101和SSD_ResNet50已经下降到0.5左右，loss开始收敛，且一直处于下降趋势；其次，Faster-RCNN_ResNet101相对于Faster-RCNN_ResNet50和SSD_ResNet50较难收敛，波动幅度较大，当达到10 000时loss值为1左右；最后，SSD_ResNet101在训练时迭代到20 000次时才慢慢开始收敛，loss值为1.4，在10 000左右时loss值最高，数据集波动性较大。从图4中也可以获知ResNet模型深度越深时，模型训练收敛越难。
![]()
图 4 迭代次数与损失函数关系图Figure 4. Relationship between the number of iterations and the loss function2.2 训练模型精度对比分析
对比Faster-RCNN和SSD分别在ResNet50和ResNet101主干网络下的试验结果mAP值(表2)，Faster-RCNN_ResNet50精度最高，mAP值为64.74%，而SSD_ResNet50的精度最低，mAP是48.70%，其平均准确率相差16.04%。试验结果表明，在识别小目标数据集时，Faster-RCNN在两种不同深度的主干网络下精度都优于SSD，而SSD在检测速度上表现出优良的性能。运用同样Faster-RCNN方法，ResNet50和ResNet101两者对比，其模型的精度和性能差异较小；在SSD方法下ResNet101的精度稍高于ResNet50，分别是52.55%和48.70%，而在检测速度上差异很小。在Faster-RCNN方法中ResNet50和ResNet101的结果持平，一般来说深度神经网络的层数越多，模型拟合能力越强，但在此基础上需要一个前提是必须拥有足够的数据集，深度提取特征层才能展现真正的效果[19]。随着特征提取层的不断加深，发现其检测性能并没有得到预想的结果，原因可能是数据集训练样本太少导致过拟合，导致ResNet50和ResNet101两者的效果无异。
表 2 模型识别精度Table 2. Model recognition accuracy方法
Method主干网络
Backbone network图像大小/(像素×像素)
Image size/(pixel×pixel)迭代次数
Number of iterations平均精确度(mAP)
Mean average precision/%检测速度
Detection speed/msFaster-RCNN ResNet50 512 × 512 50 000 64.74 515 Faster-RCNN ResNet101 512 × 512 50 000 63.37 564 SSD ResNet50 512 × 512 50 000 48.70 315 SSD ResNet101 512 × 512 50 000 52.55 324 2.3 测试效果对比
在同样的数据集和硬件条件下，分别用Faster-RCNN和SSD两种目标检测框架下(图5)，可直观看出Faster-RCNN的识别效果优于SSD。Faster-RCNN以不同网络层深度的ResNet主干网络进行对比，ResNet50的识别效果要优于ResNet101，ResNet101中存在漏检的情况相对较多。对于SSD来说，不同网络深度的ResNet识别精度差异不大，SSD算法对图像中多数白喉乌头没有识别出来，识别误差大的同时置信度也很低，预测效果较差。特别是对冠层直径较小的或生长密集的白喉乌头，几乎没有识别出来，存在大量漏检的现象。从整体来看，Faster-RCNN识别效果要优于SSD识别效果，表现为检测精度高、误检和漏检较少。
![]()
图 5 模型预测结果对比图(a)原始图片；(b) Faster-RCNN_ResNet50识别效果；(c) Faster-RCNN_ResNet101识别效果；(d) SSD_ResNet50识别效果；(e) SSD_ResNet101识别效果Figure 5. Comparison of the model prediction results(a) is the original image; (b) is the recognition effect of Faster-RCNN_ResNet50; (c) is the recognition effect of Faster-RCNN_ResNet101; (d) is the recognition effect of SSD_ResNet50; (e) is the recognition effect of SSD_ResNet101.3. 讨论
通过无人机结合深度学习卷积神经网络的方法，对复杂背景下的白喉乌头识别，采用深度学习Faster-RCNN和SSD两种算法，主干网络为ResNet进行模型训练。结果表明：Faster-RCNN算法整体结果表现优异，能满足对白喉乌头目标检测的任务。Faster-RCNN的深度网络模型的检测精度要优于SSD深度网络模型，但检测速度较差[20-21]。常晓莹[22]利用Faster-RCNN和SSD算法在焊缝图像数据集上进行试验对比，结果表明Faster-RCNN识别结果高于SSD，结果与本研究一致。SSD网络模型检测结果较差的原因如下：1) SSD是单阶段的神经网络模型，利用不同尺度长宽比的预测框，可以准确预测目标位置和目标的类别概率，因此，在检测速度上有优势。2)在天然草原背景下，白喉乌头与草原背景的特征信息极为相似，干扰因素多，加之其他杂草的干扰、覆盖、遮挡等原因，造成SSD不能发挥其性能导致准确率下降[23]。对于一些生长较密集以及冠层较小的白喉乌头，白喉乌头和草原的颜色极为相似，无人机航拍得到数据集，图像通过卷积层、池化层等过程中，冠层较小的白喉乌头在特征提取过程中特征信息被模糊甚至淡化，导致识别精度较低，这与张乐等[20]研究结果一致。Faster-RCNN虽然获得较高识别精度，在测试样本中仍有少数白喉乌头不能识别，可能与无人机遥感获取图像时，因为天气、风速、光照等自然因素以及无人机飞行高度和飞行角度的原因造成图像出现噪音，即使前期筛选掉一些由于风速、拍摄角度、光照等造成图像模糊的图像，仍然对模型识别精度有较大影响。另外，白喉乌头并非是通用或流行的常用数据集，数据集样本较少，即使采用了大数据集训练出来的预训练模型，识别率仍没有很大提升。数据集越小时，利用更深层的网络进行检测结果并不令人满意[23]，很容易造成模型过拟合。未来需要通过野外采集不同环境条件下的更多样本，建立大样本数据来解决这个问题。另外，在图像标注时尺寸较小的数据标注极为困难，人为标注目标小且密集的数据集时会增加误标或漏标的概率。
4. 结论
通过无人机获取白喉乌头的正射影像，利用Faster-RCNN和SSD深度学习方法对白喉乌头目标检测，对比不同深度的ResNet残差网络模型的识别精度，研究结果表明：基于ResNet50特征提取网络的Faster-RCNN算法对白喉乌头目标检测效果好、精度较高。SSD算法精度远低于Faster-RCNN算法，但在识别速度要优于Faster-RCNN算法。Faster-RCNN算法可以获取单株白喉乌头精确位置信息和株数，在监测和定量评价白喉乌头的扩展蔓延程度上具有重要应用价值，可为后续毒害草防除提供精度较高的支持数据。
参考文献
[1] 李博. 中国北方草地退化及其防治对策. 中国农业科学, 1997, 30(6): 2-10. doi: 10.3321/j.issn:0578-1752.1997.06.001 LI B. Grassland degradation in northern China and its control strategies. Scientia Agricultura Sinica, 1997, 30(6): 2-10. doi: 10.3321/j.issn:0578-1752.1997.06.001
[2] 李宏, 陈卫民, 陈翔, 王华, 李秀琴. 新疆伊犁草原毒害草种类及其发生与危害. 草业科学, 2010, 27(11): 171-173. doi: 10.3969/j.issn.1001-0629.2010.11.027 LI H, CHEN W M, CHEN X, WANG H, LI X Q. Poisonous weed species and their harmfulness in the grassland of Yili regions Xinjiang Uygur Autonomous Region of China. Pratacultural Science, 2010, 27(11): 171-173. doi: 10.3969/j.issn.1001-0629.2010.11.027
[3] 温阿敏, 郑江华, 穆晨, 杨会枫, 沙伊拉吾, 王卫. 基于GF-1 WFV数据的草原毒草白喉乌头空间分布监测与分析. 新疆农业科学, 2015, 52(10): 1939-1946. WEN A M, ZHENG J H, MU C, YANG H F, Shayilawu, WANG W. Remote sensing monitoring and analysis of poisonous plants Aconitum leucostomum Worosch based on GF-1 WFV data. Xinjiang Agricultural Science, 2015, 52(10): 1939-1946.
[4] 颜秉忠. 机器视觉技术在玉米苗期杂草识别中的应用. 农机化研究, 2018, 40(3): 212-216. doi: 10.3969/j.issn.1003-188X.2018.03.043 YAN B Z. Identification of weeds in maize seedling stage by machine vision technology. Agricultural Mechanization Research, 2018, 40(3): 212-216. doi: 10.3969/j.issn.1003-188X.2018.03.043
[5] 何东健, 乔永亮, 李攀, 高瞻, 李海洋, 唐晶磊. 基于SVM-DS多特征融合的杂草识别. 农业机械学报, 2013, 44(2): 182-187. doi: 10.6041/j.issn.1000-1298.2013.02.034 HE D J, QIAO Y L, LI P, GAO Z, LI H Y, TANG J L. Weed recognition based on SVM-DS multi-feature fusion. Transactions of the Chinese Society of Agricultural Machinery, 2013, 44(2): 182-187. doi: 10.6041/j.issn.1000-1298.2013.02.034
[6] BAKHSHIPOUR A, JAFARI A. Evaluation of support vector machine and artificial neural networks in weed detection using shape features. Computers & Electronics in Agriculture, 2018, 145: 153-160. [7] ZHI S, LIU Y, LI X, GUO Y. Toward real-time 3D object recognition: A lightweight volumetric CNN framework using multitask learning. Computers & Graphics, 2017, 71: 199-207. [8] 温德圣. 深度学习在复杂特征杂草识别中的研究与应用. 乌鲁木齐: 新疆大学硕士学位论文, 2020. WEN D S. Research and application of deep learning in weed recognition with complex features. Master Thesis. Urumqi: Xinjiang University, 2020.
[9] 高宏元, 高新华, 冯琦胜, 李文龙, 鲁征, 梁天刚. 基于深度学习的天然草地植物物种识别方法. 草业科学, 2020, 37(9): 1931-1939. doi: 10.11829/j.issn.1001-0629.2020-0041 GAO H Y, GAO X H, FENG Q S, LI W L, LU Z, LIANG T G. Approach to plant species identification in natural grasslands based on deep learning. Pratacultural Science, 2020, 37(9): 1931-1939. doi: 10.11829/j.issn.1001-0629.2020-0041
[10] 彭明霞, 夏俊芳, 彭辉. 融合FPN的Faster R-CNN复杂背景下棉田杂草高效识别方法. 农业工程学报, 2019, 35(20): 202-209. doi: 10.11975/j.issn.1002-6819.2019.20.025 PENG M X, XIA J F, PENG H. Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(20): 202-209. doi: 10.11975/j.issn.1002-6819.2019.20.025
[11] CHEN J J, YI S H, QIN Y, WANG X Y. Improving estimates of fractional vegetation cover based on UAV in alpine grassland on the Qinghai–Tibetan Plateau: International Journal of Remote Sensing. International Journal of Remote Sensing, 2016, 37(8): 1922-1936. doi: 10.1080/01431161.2016.1165884
[12] 范宏, 刘素红, 陈吉军, 沈江龙, 乔雪丽, 郑江华. 基于深度学习的白喉乌头与牧草高精度分类研究. 江苏农业科学, 2021, 49(12): 173-180. doi: 10.15889/j.issn.1002-1302.2021.12.029 FAN H, LIU S H, CHEN J J, SHEN J L, QIAO X L, ZHENG J H. Diversity-based research into aconite and pasture. Jiangsu Agricultural Sciences, 2021, 49(12): 173-180. doi: 10.15889/j.issn.1002-1302.2021.12.029
[13] 高新波, 莫梦竟成, 汪海涛, 冷佳旭. 小目标检测研究进展. 数据采集与处理, 2021, 36(3): 391-417. doi: 10.16337/j.1004-9037.2021.03.001 GAO X B, MO M J C, WANG H T, LENG J X. Recent advances in small object detection. Journal of Data Acquisition and Processing, 2021, 36(3): 391-417. doi: 10.16337/j.1004-9037.2021.03.001
[14] REN S, HE K, GIRSHICK R, SUN J. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[15] GIRSHICK R, DONAHUE J, DARRELL T, MALIK J. Rich feature hierarchies for accurate object detection and semantic segmentation. //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587. [16] GIRSHICK R. Fast R-CNN. //Proceedings of the IEEE International Conference on Computer Vision, Columbus: IEEE, 2015.
[17] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation. //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus: IEEE, 2015.
[18] HE K, ZHANG X, REN S, SUN J. Deep residual learning for image recognition. //Proceedings of the IEEE conference on computer vision and pattern recognition, Columbus: IEEE, 2016.
[19] 李聪, 潘丽丽, 陈蓉玉, 周燕, 邵伟志. 采用融合卷积网的图像分类算法. 计算机工程与科学, 2019, 41(12): 2179-2186. doi: 10.3969/j.issn.1007-130X.2019.12.012 LI C, PAN L L, CHEN R Y, ZHOU Y, SHAO W Z. A novel fusion DCNN for image classification. Computer Engineering and Science, 2019, 41(12): 2179-2186. doi: 10.3969/j.issn.1007-130X.2019.12.012
[20] 张乐, 金秀, 傅雷扬, 李绍稳. 基于Faster R-CNN深度网络的油菜田间杂草识别方法. 激光与光电子学进展, 2020, 57(2): 304-312. ZHANG L, JIN X, FU L Y, LI S W. Recognition method for weeds in rapeseed field based on Faster-RCNN deep network. Laser And Optoelectronics Progress, 2020, 57(2): 304-312.
[21] 艾曼. 基于Faster-RCNN的车牌检测. 计算机与数字工程, 2020, 48(1): 174-177. doi: 10.3969/j.issn.1672-9722.2020.01.033 AI M. License plate detection based on Faster-RCNN. Computer and Digital Engineering, 2020, 48(1): 174-177. doi: 10.3969/j.issn.1672-9722.2020.01.033
[22] 常晓莹. 基于Faster-RCNN的焊缝缺陷检测研究与实现. 上海: 上海第二工业大学硕士学位论文, 2021. CHANG X Y. Research and implementation of weld defects detection based on Faster-RCNN. Master Thesis. Shanghai: Shanghai Polytechnic University, 2021.
[23] 荆伟斌, 李存军, 竞霞, 赵叶, 程成. 基于深度学习的苹果树侧视图果实识别. 中国农业信息, 2019, 31(5): 75-83. doi: 10.12105/j.issn.1672-0423.20190508 JING W B, LI C J, JING X, ZHAO Y, CHENG C. Fruit identification with apple tree side view based on deep learning. China Agriculture Information, 2019, 31(5): 75-83. doi: 10.12105/j.issn.1672-0423.20190508
-
![]()
图 3 残差学习示意图 ReLU激活函数
Figure 3. Schematic diagram of the residual learning ReLU activation function
![]()
图 4 迭代次数与损失函数关系图
Figure 4. Relationship between the number of iterations and the loss function
![]()
图 5 模型预测结果对比图
(a)原始图片；(b) Faster-RCNN_ResNet50识别效果；(c) Faster-RCNN_ResNet101识别效果；(d) SSD_ResNet50识别效果；(e) SSD_ResNet101识别效果
Figure 5. Comparison of the model prediction results
(a) is the original image; (b) is the recognition effect of Faster-RCNN_ResNet50; (c) is the recognition effect of Faster-RCNN_ResNet101; (d) is the recognition effect of SSD_ResNet50; (e) is the recognition effect of SSD_ResNet101.
表 1 ResNet50和ResNet101
Table 1 ResNet50 and ResNet101
层名称
Layer name50层
50 layers101层
101 layersconv1 7 × 7, 64, stride 2 conv2_x 3 × 3, max pool, stride 2 $\left(\begin{array}{l}3 \times 3,64 \\ 3 \times 3,64 \\ 1 \times 1,256\end{array}\right) \times 3 $
$\left(\begin{array}{l}1 \times 1,64 \\ 3 \times 3,64 \\ 1 \times 1,256\end{array}\right) \times 3 $
conv3_x $\left(\begin{array}{l}1 \times 1,128 \\ 3 \times 3,128 \\ 1 \times 1,512\end{array}\right) \times 4 $
$\left(\begin{array}{l}1 \times 1,128 \\ 3 \times 3,128 \\ 1 \times 1,512\end{array}\right) \times 4 $
conv4_x $\left(\begin{array}{l}1 \times 1,256 \\ 3 \times 3,256 \\ 1 \times 1,1024\end{array}\right) \times 6 $
$\left(\begin{array}{l}1 \times 1,256 \\ 3 \times 3,256 \\ 1 \times 1,1024\end{array}\right) \times 23 $
conv5_x $\left(\begin{array}{l}1 \times 1,512 \\ 3 \times 3,512 \\ 1 \times 1,2048\end{array}\right) \times 3 $
$\left(\begin{array}{l}1 \times 1,512 \\ 3 \times 3,512 \\ 1 \times 1,2048\end{array}\right) \times 3 $
average pool, 2048-d fc 
下载: 导出CSV
表 2 模型识别精度
Table 2 Model recognition accuracy
方法
Method主干网络
Backbone network图像大小/(像素×像素)
Image size/(pixel×pixel)迭代次数
Number of iterations平均精确度(mAP)
Mean average precision/%检测速度
Detection speed/msFaster-RCNN ResNet50 512 × 512 50 000 64.74 515 Faster-RCNN ResNet101 512 × 512 50 000 63.37 564 SSD ResNet50 512 × 512 50 000 48.70 315 SSD ResNet101 512 × 512 50 000 52.55 324
下载: 导出CSV
-
[1] 李博. 中国北方草地退化及其防治对策. 中国农业科学, 1997, 30(6): 2-10. doi: 10.3321/j.issn:0578-1752.1997.06.001 LI B. Grassland degradation in northern China and its control strategies. Scientia Agricultura Sinica, 1997, 30(6): 2-10. doi: 10.3321/j.issn:0578-1752.1997.06.001
[2] 李宏, 陈卫民, 陈翔, 王华, 李秀琴. 新疆伊犁草原毒害草种类及其发生与危害. 草业科学, 2010, 27(11): 171-173. doi: 10.3969/j.issn.1001-0629.2010.11.027 LI H, CHEN W M, CHEN X, WANG H, LI X Q. Poisonous weed species and their harmfulness in the grassland of Yili regions Xinjiang Uygur Autonomous Region of China. Pratacultural Science, 2010, 27(11): 171-173. doi: 10.3969/j.issn.1001-0629.2010.11.027
[3] 温阿敏, 郑江华, 穆晨, 杨会枫, 沙伊拉吾, 王卫. 基于GF-1 WFV数据的草原毒草白喉乌头空间分布监测与分析. 新疆农业科学, 2015, 52(10): 1939-1946. WEN A M, ZHENG J H, MU C, YANG H F, Shayilawu, WANG W. Remote sensing monitoring and analysis of poisonous plants Aconitum leucostomum Worosch based on GF-1 WFV data. Xinjiang Agricultural Science, 2015, 52(10): 1939-1946.
[4] 颜秉忠. 机器视觉技术在玉米苗期杂草识别中的应用. 农机化研究, 2018, 40(3): 212-216. doi: 10.3969/j.issn.1003-188X.2018.03.043 YAN B Z. Identification of weeds in maize seedling stage by machine vision technology. Agricultural Mechanization Research, 2018, 40(3): 212-216. doi: 10.3969/j.issn.1003-188X.2018.03.043
[5] 何东健, 乔永亮, 李攀, 高瞻, 李海洋, 唐晶磊. 基于SVM-DS多特征融合的杂草识别. 农业机械学报, 2013, 44(2): 182-187. doi: 10.6041/j.issn.1000-1298.2013.02.034 HE D J, QIAO Y L, LI P, GAO Z, LI H Y, TANG J L. Weed recognition based on SVM-DS multi-feature fusion. Transactions of the Chinese Society of Agricultural Machinery, 2013, 44(2): 182-187. doi: 10.6041/j.issn.1000-1298.2013.02.034
[6] BAKHSHIPOUR A, JAFARI A. Evaluation of support vector machine and artificial neural networks in weed detection using shape features. Computers & Electronics in Agriculture, 2018, 145: 153-160. [7] ZHI S, LIU Y, LI X, GUO Y. Toward real-time 3D object recognition: A lightweight volumetric CNN framework using multitask learning. Computers & Graphics, 2017, 71: 199-207. [8] 温德圣. 深度学习在复杂特征杂草识别中的研究与应用. 乌鲁木齐: 新疆大学硕士学位论文, 2020. WEN D S. Research and application of deep learning in weed recognition with complex features. Master Thesis. Urumqi: Xinjiang University, 2020.
[9] 高宏元, 高新华, 冯琦胜, 李文龙, 鲁征, 梁天刚. 基于深度学习的天然草地植物物种识别方法. 草业科学, 2020, 37(9): 1931-1939. doi: 10.11829/j.issn.1001-0629.2020-0041 GAO H Y, GAO X H, FENG Q S, LI W L, LU Z, LIANG T G. Approach to plant species identification in natural grasslands based on deep learning. Pratacultural Science, 2020, 37(9): 1931-1939. doi: 10.11829/j.issn.1001-0629.2020-0041
[10] 彭明霞, 夏俊芳, 彭辉. 融合FPN的Faster R-CNN复杂背景下棉田杂草高效识别方法. 农业工程学报, 2019, 35(20): 202-209. doi: 10.11975/j.issn.1002-6819.2019.20.025 PENG M X, XIA J F, PENG H. Efficient recognition of cotton and weed in field based on Faster R-CNN by integrating FPN. Transactions of the Chinese Society of Agricultural Engineering, 2019, 35(20): 202-209. doi: 10.11975/j.issn.1002-6819.2019.20.025
[11] CHEN J J, YI S H, QIN Y, WANG X Y. Improving estimates of fractional vegetation cover based on UAV in alpine grassland on the Qinghai–Tibetan Plateau: International Journal of Remote Sensing. International Journal of Remote Sensing, 2016, 37(8): 1922-1936. doi: 10.1080/01431161.2016.1165884
[12] 范宏, 刘素红, 陈吉军, 沈江龙, 乔雪丽, 郑江华. 基于深度学习的白喉乌头与牧草高精度分类研究. 江苏农业科学, 2021, 49(12): 173-180. doi: 10.15889/j.issn.1002-1302.2021.12.029 FAN H, LIU S H, CHEN J J, SHEN J L, QIAO X L, ZHENG J H. Diversity-based research into aconite and pasture. Jiangsu Agricultural Sciences, 2021, 49(12): 173-180. doi: 10.15889/j.issn.1002-1302.2021.12.029
[13] 高新波, 莫梦竟成, 汪海涛, 冷佳旭. 小目标检测研究进展. 数据采集与处理, 2021, 36(3): 391-417. doi: 10.16337/j.1004-9037.2021.03.001 GAO X B, MO M J C, WANG H T, LENG J X. Recent advances in small object detection. Journal of Data Acquisition and Processing, 2021, 36(3): 391-417. doi: 10.16337/j.1004-9037.2021.03.001
[14] REN S, HE K, GIRSHICK R, SUN J. Faster R-CNN: Towards real-time object detection with region proposal networks. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(6): 1137-1149.
[15] GIRSHICK R, DONAHUE J, DARRELL T, MALIK J. Rich feature hierarchies for accurate object detection and semantic segmentation. //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587. [16] GIRSHICK R. Fast R-CNN. //Proceedings of the IEEE International Conference on Computer Vision, Columbus: IEEE, 2015.
[17] LONG J, SHELHAMER E, DARRELL T. Fully convolutional networks for semantic segmentation. //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Columbus: IEEE, 2015.
[18] HE K, ZHANG X, REN S, SUN J. Deep residual learning for image recognition. //Proceedings of the IEEE conference on computer vision and pattern recognition, Columbus: IEEE, 2016.
[19] 李聪, 潘丽丽, 陈蓉玉, 周燕, 邵伟志. 采用融合卷积网的图像分类算法. 计算机工程与科学, 2019, 41(12): 2179-2186. doi: 10.3969/j.issn.1007-130X.2019.12.012 LI C, PAN L L, CHEN R Y, ZHOU Y, SHAO W Z. A novel fusion DCNN for image classification. Computer Engineering and Science, 2019, 41(12): 2179-2186. doi: 10.3969/j.issn.1007-130X.2019.12.012
[20] 张乐, 金秀, 傅雷扬, 李绍稳. 基于Faster R-CNN深度网络的油菜田间杂草识别方法. 激光与光电子学进展, 2020, 57(2): 304-312. ZHANG L, JIN X, FU L Y, LI S W. Recognition method for weeds in rapeseed field based on Faster-RCNN deep network. Laser And Optoelectronics Progress, 2020, 57(2): 304-312.
[21] 艾曼. 基于Faster-RCNN的车牌检测. 计算机与数字工程, 2020, 48(1): 174-177. doi: 10.3969/j.issn.1672-9722.2020.01.033 AI M. License plate detection based on Faster-RCNN. Computer and Digital Engineering, 2020, 48(1): 174-177. doi: 10.3969/j.issn.1672-9722.2020.01.033
[22] 常晓莹. 基于Faster-RCNN的焊缝缺陷检测研究与实现. 上海: 上海第二工业大学硕士学位论文, 2021. CHANG X Y. Research and implementation of weld defects detection based on Faster-RCNN. Master Thesis. Shanghai: Shanghai Polytechnic University, 2021.
[23] 荆伟斌, 李存军, 竞霞, 赵叶, 程成. 基于深度学习的苹果树侧视图果实识别. 中国农业信息, 2019, 31(5): 75-83. doi: 10.12105/j.issn.1672-0423.20190508 JING W B, LI C J, JING X, ZHAO Y, CHENG C. Fruit identification with apple tree side view based on deep learning. China Agriculture Information, 2019, 31(5): 75-83. doi: 10.12105/j.issn.1672-0423.20190508
-
期刊类型引用(5)
1. 曹星星，古丽达力·赛里克，赵翡翠. 新疆白喉乌头中4种生物碱的分离鉴定及含量测定. 化学与生物工程. 2024(03): 63-68 . 
百度学术
2. 张谦，陈斯，杨增汪，赵雪成. 基于深度学习的笼养蛋鸡健康监测装置研究. 中国兽医杂志. 2024(03): 72-79 . 百度学术
3. 张秀再，张昊，杨昌军. 基于DeeplabV3+网络的轻量化语义分割算法. 科学技术与工程. 2024(24): 10382-10393 . 百度学术
4. 戚桂美，郁志宏，单艳敏，田彦军. 基于无人机影像与OBIA-CFS算法的荒漠草原鼠洞斑块识别. 草业科学. 2024(10): 2275-2283 . 本站查看
5. 张婷婷，王斌，王坤，相里宇锡，陈飞，陈帝伊. 基于增强层次对称点图像分析和深度残差网络的水电机组故障诊断. 水利学报. 2023(11): 1380-1391 . 百度学术
其他类型引用(2)
计量
- PDF下载量: 15
- 文章访问数: 586
- HTML全文浏览量: 217
- 被引次数: 7
