1.论文概要

研究背景：

✡︎论文链接。高光谱遥感图像使用数百个波段来描述地面区域的精细光谱信息。这其中不可避免地包含大量冗余以及噪声频带。发现最优波段并对波段之间的关系建模是处理数据和提高后续分类任务性能的有效手段。

算法改进：

本文通过设计注意力模块并和传统卷积神经网络融合用于高光谱图像分类，提出了波段加权网络。网络模拟波段间关系建模，根据重要性进行加权。一个突出特征是它可以为不同的样本分配不同的权重。

对于光谱高维问题常见的两种解决方法分别为特征提取(采用相关算法计算出一组有用的特征，缺点易破坏数据的原始物理结构且计算成本高)、波段选择(选择有利信息量大的波段)。

本文波段加权网将注意力模块集成到CNN网络，通过注意力机制从数据中学习不同波段在高光谱图像中的相对重要性，能有效的建模起波段之间的关系。

2.算法应用

高光谱的波段加权

设$p_i是高光谱图像H的一个像素，波段加权中会找一个N\times1的向量v_i(N表示高光谱图像的波段数$其中$v_i$的第$j$个元素代表波段$j$在样本$p_i)$中对分类的权重大小，加权后的样本$q_i=p_i*v_i(点积)$

网络基本单元

本文中，仅使用光谱信息进行分类，因此1-D CNN为主要网络结构。在注意力模块设计中，会为每个波段生成一个权重，然后对加权后的特征图进行分类。1-D CNN主要由1-D卷积，1-D池化和全连接层组成。由于使用1-D操作，因此特征映射只是一个向量。用全连接的方式设计波段加权模块。采用形为瓶颈式的网络结构来减少参数数量如图1.

$N$表示波段数，$B$表示隐层神经元数量。波段加权过程用$$$q_i=\sigma_2(T_2\sigma_1(T_1p_i))p_i$$$表示,其中$T_1$是权重矩阵为$B\timesN$的第一层，$T_2$是权重矩阵为$N\timesB$的第二层，$\sigma_1$用sigmod激活函数，$\sigma_2$用softmax激活函数。文中还指出用全连接层而不用卷积层是出于在对波段关系建模方面，相关的波段不一定存在于某些局部连续频谱空间中。分类网络采用文献[1]中的网络，不同的是卷积核尺寸设计为$1\times3$

3.实验

数据集采用IP和UP。batch size设置为64，epoch设置为1000，网络各参数设置如下图2.与其他1-D光谱分类方法进行对比实验。并且通过消融学习(Ablation study)来验证有效性。训练集中IP取20%、UP取10%。同时取10%验证集，在训练的过程中，监测验证损失以提前停止训练。在消融对比中，原方法与去掉加权模块后的对比，显示了注意力模块的有效性。

☛参考文献

[1] Y. Chen, H. Jiang, C. Li, X. Jia, and P. Ghamisi, “Deep feature extraction and classification of hyperspectral images based on convolutional neural networks,” IEEE Transactions on Geoscience and Remote Sensing, vol. 54, no. 10, pp. 6232–6251, 2016.