0   引 言

摇床是选矿工业生产中一种常见的流膜重力选矿设备,是钨、锡、钽铌等矿物进行分选的关键设备^[1]。摇床在工业中应用广泛,主要得益于其高富集比,能够在一次选别过程中产出最终精矿,以及矿物分带现象明显、便于观察的特点。在摇床对矿物进行分选时,矿物的给矿量、给矿粒度、矿浆浓度等条件会发生变化,导致床面上矿带的位置、颜色及宽度随之发生相应的变化^[2]。为了保证精矿的品位,选矿工人需要不断通过肉眼观察矿带分布位置,及时调节精矿截取位置^[3],这种摇床选矿生产操作模式不仅对工人的经验和技术依赖性较大、增加了工人的劳动强度,且由于每个人的经验、技术和责任心不一样,容易造成生产指标的波动。针对此问题,本文提出了一种基于机器视觉和图像处理技术的矿带分离点检测方法,为摇床精矿的自适应截取控制奠定基础。

近年来,随着深度学习技术的快速发展,在工业中得到广泛的应用。但是,基于深度学习选矿摇床的矿带图像识别研究起步较晚,研究成果较少。杨文旺等^[4]开发了一种摇床的巡检机器人,开发的机器人可以代替人工实现对摇床分带图像的采集和识别,判断出精矿接矿板的位置是否合理。和丽芳等^[5]为获取摇床分带的特征信息,提出了磷虾优化算法实现摇床矿带分带的图像分割。LIU等^[6]提出了一种基于Deep Lab v3+深度学习语义分割的摇床分带特征提取技术。李驰骎^[7]提出了RetinaNet及YOLOv3等目标检测模型对矿带分离点进行特征提取,以获取矿带分离点的位置信息。

为提升机器视觉对选矿摇床精矿分离点检测的精度,本文提出了一种基于改进YOLOv5算法的矿带分离点识别和位置信息获取方法。并将其与SSD、原始YOLOv5及Faster R-CNN算法进行了对比分析。结果表明,本文改进的YOLOv5算法矿带分离点识别精度最高。

1   YOLOv5目标检测算法

YOLO是一个基于深度学习神经网络的目标检测算法,在图像识别领域具有良好的检测精度和高效的检测速度,因此逐渐应用于各个行业。YOLOv5是YOLO系列不断迭代优化的目标检测算法,其具有网络结构小巧、配置灵活且检测速度迅速等优点,能够满足摇床选矿实时性检测的需求。针对模型的深度与宽度变化,YOLOv5分为4个不同版本：YOLOv5s、YOLOv5m、YOLOv5l及YOLOv5x。通过在程序中调整depth_multiple和width_multiple这2个关键参数,能有效控制网络结构的深度与宽度。这种方法使得YOLOv5能够灵活地应对不同的复杂度需求,实现模型的多样化配置。

YOLOv5s模型架构如图1所示,首先输入端对原始图片进行相应的预处理。骨干网络构建于3个核心部分：焦点层（Focus）、跨阶段局部网络层（CSP）^[8]以及空间金字塔池化（SPP）^[9]。首先,输入样本经过数据增强处理,继而进行Focus层的切片操作,如图2所示,每隔一个像素取一个值,所以输出的图片长度只有输入图片的一半,通道数为原先的4倍。YOLOv5通过采用Focus操作能够有效地减少浮点运算量,从而可以加快其运算速度。Neck网络模块往往位于Backbone和Head的中间位置,其主要是依赖于FPN（Feature Pyramid Net-works）^[10]以及PAN（Perceptual Adversarial Network）^[11]结构完成特征融合,所以可进一步准确提取更多的原图特征信息。输出端（Head）主要依赖之前提取的尺度特征信息进行相应的目标预测。

图  1  YOLOv5s模型架构

Figure  1.  YOLOv5s model architecture

下载: 全尺寸图片 幻灯片

图  2  切片操作演示

Figure  2.  Slicing operation demonstration diagram

下载: 全尺寸图片 幻灯片

2   改进YOLOv5目标检测算法

当摇床在选矿车间现场分选过程中,受光照强度、床面反光以及床面差速运动等不可控因素的影响,偶尔会出现漏检或者误检的情况发生,导致对矿带分离点的定位精度下降。为了保证矿带分离点的精准定位和精矿截取控制,本文对YOLOv5网络进行部分结构优化,以提升对矿带分离点和标识点的识别精度,如图3所示。

图  3  改进的YOLOv5的网络模型

Figure  3.  Enhanced YOLOv5 network model

下载: 全尺寸图片 幻灯片

2.1   引入注意力机制模块

在摇床的分选过程中,矿带图像的采集会受到光源以及摇床床面差速运动等因素的影响,从而增加了图像数据集中的干扰特征点数量,增加了算法对信息处理的复杂度。本研究旨在提升YOLOv5算法在选矿摇床矿带图像特征提取方面的准确性,特别是针对矿带分离点的特征信息。为此,在YOLOv5s模型中引入了CBAM注意力模块。这一机制能够有效地辅助网络在学习过程中自动调整特征的权重,从而更加精确地处理矿带分离点的相关信息。而本文所选用的CBAM注意力机制其本质是先后将通道注意力机制及空间注意力机制集成在一起的一种注意力机制,如图4所示。通道注意力机制不言而喻是将注意力集中在通道上,可准确判别出具有主要目标特征的通道；而空间注意力机制顾名思义是将注意力集中在空间位置上,可准确判别出哪些位置具有目标主要特征信息^[12]。CBAM注意力机制的特征图计算如式（1）、 式（2）所示：

图  4  CBAM注意力机制结构

Figure  4.  CBAM attention mechanism structure diagram

下载: 全尺寸图片 幻灯片

式（1）、式（2）中：“*”表示矩阵中对应元素的乘积；$M_c\left(F\right)$表示通道注意力模块所输出的特征图；$F^{\mathrm{\text{'}}}$表示原始特征图对应元素点乘所得到新的特征图；$M_s\left(F^{\mathrm{\text{'}}}\right)$表示空间注意力模块所输出的特征图；$F^{\mathrm{\text{'}}\mathrm{\text{'}}}$表示CBAM所输出的特征图。

关于通道注意力机制,其结构在图5中进行了展示,输入的特征图表示为$F\in R^{C\times H\times W}$,为了更有效地计算每个特征通道的重要程度^[13],所以需要对原始图像进行平均池化（Average pooling）和最大池化（Max pooling）,然后再进行压缩可得到$F_{\mathrm{a}\mathrm{v}\mathrm{g}}^C\in R^{C\times \mathrm{1}\times \mathrm{1}}$和$F_{\mathrm{m}\mathrm{a}\mathrm{x}}^C\in R^{C\times \mathrm{1}\times \mathrm{1}}$,并将得到的特征信息通过感知器（MLP）进行叠加,通过Sigmoid激活函数处理后由计算式（3）生成了$M_c\left(F\right)\in R^{C\times \mathrm{1}\times \mathrm{1}}$,即通道注意力特征。

图  5  通道注意力模块结构

Figure  5.  Channel attention module structure diagram

下载: 全尺寸图片 幻灯片

式（3）中：$\sigma$表示Sigmoid激活函数；$W_{\mathrm{0}}$和$W_{\mathrm{1}}$表示多层感知器（MLP）的权重。

关于空间注意力机制,其结构在图6进行了展示,特征图经过该模块后进行平均池化和最大池化操作,从而得到$F_{\mathrm{a}\mathrm{v}\mathrm{g}}^s\in R^{\mathrm{1}\times H\times W}$和$F_{\mathrm{m}\mathrm{a}\mathrm{x}}^s\in R^{\mathrm{1}\times H\times W}$,再将其空间特征串联在一起可形成通道数为2的空间特征图；最后通过卷积和Sigmoid激活函数可获得空间注意力特征图$M_s\left(F\right)\in R^{H\times W}$,其计算公式如下：

图  6  空间注意力模块结构

Figure  6.  Spatial attention module structure diagram

下载: 全尺寸图片 幻灯片

式（4）中：$\sigma$表示激活函数；$f^{\mathrm{7}\times \mathrm{7}}$为7×7卷积核的卷积层。

2.2   增加深度可分离卷积

在不降低网络检测精度但降低了引入注意力机制对网络速度的负面影响的前提下,本研究在网络架构中摒弃原始主干网络中的标准卷积操作,引入了深度可分离卷积（Depthwise Separable Convolution, DWConv）,这一改进旨在提高检测速度的同时保持网络性能^[14]。它的具体结构请参考图7。其中,$M$代表数据输入通道数；$N$代表数据输出通道数；$D_x$是数据输入长度；$D_y$是数据输入宽度；$D_k$是卷积核的大小；$D_h$是数据输出的宽度；$D_w$是数据输出长度。在网络中,传统的卷积主要涉及对通道特征图的一系列卷积操作^[15],其计算量$Q_{\mathrm{1}}$如式（5）所示：

图  7  深度可分离卷积结构

Figure  7.  Depth separable convolutional structure

下载: 全尺寸图片 幻灯片

图7中,卷积操作被深度可分离卷积分解成了一个3×3的深度卷积和一个1×1的逐点卷积^[16]。假设$D_x\times D_y\times M$代表输入特征图F,特征图G由F经深度卷积后得到$D_h\times D_w\times N$,那么计算量$Q_{\mathrm{2}}$的表达式为：

结合式（5）和式（6）后,可得到深度卷积的计算量与传统卷积之比为：

引入深度可分离卷积后,有效减少了网络的计算量和参数数量,进一步提高了对矿带图像的检测速度。在本研究中,卷积核尺寸为3×3,输入通道等于3,输出通道等于256,使得网络的总计算量比标准卷积的降低了7/8。

2.3   优化损失函数

损失函数可以有效地反映模型与实际数据之间的差异,而在原始的YOLOv5网络中,边框回归损失是根据GIOU函数来计算的,其公式标记为式（8）：

式（8）中：$C$表示包围预测框与目标框与坐标轴平行的最小矩形；$B\bigcup B^{gt}$表示目标框与预测框的并集。

如果预测框与目标框之间出现区域包含或出现区域内两框框高或框宽对齐现象,GIOU损失几乎变为IOU（Intersection over Union）损失,使得无法准确得到预测框与目标框之间的相对位置而造成检测精度大大降低^[17]。DIOU（Distance Intersection over Union）将预测框与目标框的相对位置、尺度等因素考虑在内^[18],为了确保在训练过程中具有良好的收敛速度,并且不容易出现发散情况,因此,将原来的损失函数用DIOU进行替代,以更有效地计算目标框与预测框之间的损失。将其计算公式标记为式（9）：

式（9）中：$\rho$表示2个框中心点之间的欧氏距离；$b$代表检测框的中心点；$b^{gt}$表示目标框的中心点；而$C$则表示覆盖2个框的最小矩形的斜距。

3   实验结果与分析

3.1   数据集及实验环境配置

1）数据集来源。本文数据采自宜春某钽铌选矿厂摇床选矿生产的视频数据,相机使得操作人员能够手动调整相机的焦点和光圈,以此改善图像的亮度、景深和对比度。为了保证数据的丰富度和可靠性,采集的图像必须考虑到尺度及大小等方面的影响,尽可能涵盖所有真实工作环境下会出现的情况,因此最后选取30 s左右具有代表性的视频作为深度学习目标检测模型的实验数据。

2）视频数据抽帧成图。由于摇床分选钽铌的视频文件作为实验数据比大量单独拍摄的摇床分选钽铌的照片更具有连续性和代表性,因此将视频文件抽帧成图,每10帧抽取1张数据样本,获得大约1 000张数据样本,然后将其作为本次模型训练实验的数据集。

3）训练集数据的标签制作。矿带分离点和标识点的标注工作是通过LabelImg标注工具完成的,此过程会自动产生xml文件, 其中包含图像的名称、尺寸以及矿带分离点和标识点在图像中的具体位置信息。该数据集分为2个类别,分别是point one和point two,point one表示矿带分离点；point two表示标识点。训练集与测试集的划分比例为9∶1。

4）实验环境与网络模型训练。实验配置的详细情况列于表1中。实验的总迭代周期次数设置为300次,每批次处理的数据量为4,使用Adam作为优化器。为了防止模型仅收敛于局部最优解或错过全局最优解,将动量因子设为0.937。前200个训练周期的学习率设定为0.01,后100个周期降至0.001,并设定权重衰减率为0.000 5,避免模型在训练时出现过拟合现象。通过300轮的迭代训练,得到最优的模型权重。

表  1  实验配置情况

Table  1.  Experimental setup configuration

实验设备	相关配置
操作系统	Windows 10
GPU	NVIDIA Quadro RTX 4000
CPU	Intel（R）Xeon（R）4210R
CUDA	11.4.0
Pytorch版本	1.9.0
Python语言环境	3.7.4

下载: 导出CSV 

| 显示表格

3.2   深度学习目标检测模型的评估

深度学习目标检测在智慧交通、医疗领域及工业检测等领域有着广泛的应用^[19-21]。本研究采用平均精度均值（mAP ,即mean Average Precision,）、召回率（Recall）、预测精度（Precision） 来评估算法的性能,其中mAP为最主要的性能评价指标。mAP是指所有类别平均精度的总和除以类别数的比值,召回率代表模型将正样本预测正确的数值与实际正样本数的比值,精确率则是模型将正样本预测正确的数值与所有正样本被预测的数目的比值。衡量指标的计算公式如下：

式（10）、式（11）、式（12）中：$N$表示实验中检测的类别总数；mAP的值由所有类别的AP均值计算得出。当$N=\mathrm{2}$时, mAP值的提升表明识别精度增高。其中,TP是正确识别的目标,FP是错误识别的目标,FN是漏识别的目标。简而言之,mAP值增加意味着算法在准确识别目标上的表现更佳。

3.3   目标检测模型的训练结果评价

为了验证本文改进的YOLOv5对于摇床矿带图像检测的算法优势,将本文改进的YOLOv5、SSD、Faster-RCNN以及YOLOv5分别训练300个周期并进行对比。图8—图11分别展示了平均精度均值、召回率和精度率的变化曲线。图8显示出YOLOv5损失值在第30个迭代周期才逐渐降低至收敛于0.1左右且曲线较为平滑；SSD损失值在第90个迭代周期开始逐渐收敛于2.5左右,但是伴随微小幅度震荡；Faster R-CNN损失值收敛于0.2左右,且伴随小幅度震荡；改进后的YOLOv5的损失值收敛于0.08左右,且曲线较为平滑。从图9中可以看出,YOLOv5的平均精度均值在第50个周期开始逐渐收敛于0.925左右,伴随微小幅度震荡；SSD的平均精度均值在第60个周期左右逐渐收敛于0.907且在收敛前震荡幅度较大；Faster R-CNN的平均精度均值在第80个周期左右开始逐渐收敛于0.918左右,并伴随微小幅度震荡；改进后的YOLOv5的平均精度均值在第30个周期左右开始逐渐收敛于0.983并且曲线较为平滑。从图10中可以看出,YOLOv5的召回率在第80个周期左右开始逐渐收敛于0.931左右且在收敛之前有轻微震荡；SSD的召回率在第60个周期左右开始逐渐收敛于0.928且伴随微小幅度震荡；Faster R-CNN的召回率在第90个周期左右开始逐渐收敛于0.923且在收敛之前有个别几个周期震荡较大；改进后的YOLOv5的召回率在第25个周期左右开始收敛于0.989且曲线较为平滑。从图11中可以看出,YOLOv5的预测精度在第120个周期左右开始收敛于0.927且曲线收敛前震荡幅度较大；SSD的预测精度在第100个周期左右开始逐渐收敛于0.925且曲线伴随略微震荡；Faster R-CNN的预测精度在第110个周期左右开始逐渐收敛于0.934且曲线在收敛前期震荡幅度较大；改进后的YOLOv5的预测精度在第20个周期左右开始逐渐收敛于0.987且其曲线较为光滑。总之,改进后的YOLOv5评价指标都明显优于SSD、Faster R-CNN及YOLOv5这3种目标检测算法。

图  8  损失值（Loss）随迭代周期的可视化曲线 : （a） YOLOv5训练结果；（b） SSD训练结果；（c） Faster R-CNN训练结果；（d） 改进YOLOv5训练结果

Figure  8.  Visualization curve of loss over epoch（Loss）: （a） YOLOv5 training results; （b） SSD training results; （c） Faster R-CNN training results; （d） enhanced YOLOv5 training results

下载: 全尺寸图片 幻灯片

图  9  平均精度均值（mAP）随迭代周期的可视化曲线 : （a） YOLOv5训练结果；（b） SSD训练结果；（c） Faster R-CNN训练结果；（d） 改进YOLOv5训练结果

Figure  9.  Visualization curve of mAP over epoch（mAP）: （a） YOLOv5 training results; （b） SSD training results; （c） Faster R-CNN training results; （d） enhanced YOLOv5 training results

下载: 全尺寸图片 幻灯片

图  10  召回率（recall）随迭代周期的可视化曲线 : （a） YOLOv5训练结果；（b） SSD训练结果；（c） Faster R-CNN训练结果；（d） 改进 YO LOv5训练结果Fig.10　Visualization curve of recall over epoch（recall）: （a） YOLOv5 training results; （b） SSD training results; （c） Faster R-CNN training results; （d） enhanced YOLOv5 training results

下载: 全尺寸图片 幻灯片

图  11  预测精度（presision）随迭代周期的可视化曲线 : （a） YOLOv5训练结果；（b） SSD训练结果；（c） Faster R-CNN训练结果；（d） 改进YOLOv5训练结果

Figure  11.  Visualization curve of precision over epoch（presision）: （a） YOLOv5 training results; （b） SSD training results; （c） Faster R-CNN training results; （d） enhanced YOLOv5 training results

下载: 全尺寸图片 幻灯片

3.4   本文算法检测实验结果

将本文算法与SSD、Faster-RCNN、YOLOv5 算法检测结果进行指标对比,4种算法对比结果如表2所列。从表2的对比算法检测结果可以发现,无论是mAP（平均精度均值）还是Recall（召回率）或者Precision（预测精度）值,改进的YOLOv5都优于其他目标检测算法。平均准确率达到98.3%。

表  2  4种算法检测结果对比

Table  2.  Comparison with detection results of four algorithms

模型	Loss	mAP	recall	precision
YOLOv5	0.12	0.925	0.931	0.927
SSD	2.51	0.907	0.928	0.925
Faster-RCNN	0.24	0.918	0.923	0.934
改进的YOLOv5	0.08	0.983	0.989	0.987

下载: 导出CSV 

| 显示表格

为了验证本文算法的优越性,选择了具有一定光照干扰、矿带模糊以及床面反光等典型场景作为测试集,以进行验证测试,其检测效果如图12所示,从检测效果来看4种模型都能提取到矿带分离点和标识点,但是改进的YOLOv5检测精度最高,平均精度均值达98.3%。

图  12  检测效果示例: （a） 原图；（b） YOLOv5检测效果；（c） SSD检测效果；（d） Faster R-CNN检测效果；（e） 改进YOLOv5检测效果

Figure  12.  Example diagram of detection results: （a） original; （b） YOLOv5 detection performance; （c） SSD detection performance; （d） Faster R-CNN detection performance; （e） enhanced YOLOv5 detection performance

下载: 全尺寸图片 幻灯片

4   结 论

本文提出了一种基于改进YOLOV5算法的深度学习目标检测方法,可以有效获得钽铌矿摇床选矿精矿、中矿矿带分离点和标识点位置,结论如下：

1）在YOLOv5算法的基础上,本研究通过集成注意力机制模块以及深度可分离卷积技术,对标准的主干网络卷积和损失函数进行了替换,不仅提高了算法的鲁棒性,还保持了检测速度。与SSD、原始YOLOv5及Faster R-CNN算法进行对比,改进的YOLOv5算法检测精度最高,平均精度均值可达98.3%。

2）经对采自宜春某钽铌矿选矿厂的摇床分选分带图像样本进行检测实验,本文提出的基于改进YOLOV5算法可以成功获取选矿摇床精矿、中矿分带位置信息。为实现摇床选矿的智能化奠定了基础。