基于改进的S-ReLU激活函数的图像分类方法
DOI:
作者:
作者单位:

燕山大学理学院

作者简介:

通讯作者:

中图分类号:

TP391.41

基金项目:

国家自然科学基金项目,河北省自然科学基金项目


Image Classification Method Based on Improved S-ReLUActivation Function
Author:
Affiliation:

School of Science,Yanshan University

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 文章评论
    摘要:

    为解决ReLU函数负区域取值为0而引发的对应权重无法更新的问题,提出了新的激活函数--S-ReLU。它在负区域具有软饱和性,增加了负样本数据的关注度. 通过赋予负区域输出值较小的导数,促进了负输入值的反向传播,提高了模型的鲁棒性。通过与其他常见激活函数在数据集MNIST、CIFAR-10上使用LeNet-5模型的对比实验,探究基于S-ReLU激活函数的图像分类效果. 实验结果表明对MNIST和CIFAR-10数据集,使用S-ReLU函数相比其他激活函数,提高了模型的分类精度。

    Abstract:

    In order to solve the problem that the corresponding weight cannot be updated due to the value of 0 in the negative region of ReLU function, a new activation function S-ReLU is proposed. It has soft saturation in the negative region and increases the attention of negative sample data. By giving a smaller derivative to the output value in the negative region, it promotes the back propagation of negative input value, the robustness of the model is improved. Through the comparative experiment of using LeNet-5 model on MNIST and CIFAR-10 datasets with other common activation functions, the image classification effect based on S-ReLU activation function is explored. The experimental results show that for MNIST and CIFAR-10 datasets, using S-ReLU function improves the classification accuracy of the model compared with other activation functions.

    参考文献
    相似文献
    引证文献
引用本文

徐静萍,王芳. 基于改进的S-ReLU激活函数的图像分类方法[J]. 科学技术与工程, , ():

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:2022-01-11
  • 最后修改日期:2022-04-04
  • 录用日期:2022-05-13
  • 在线发布日期:
  • 出版日期:
×
关于近期《科学技术与工程》编辑部居家办公的说明
亟待确认的版面费信息