ICLR2023《Crossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series》

这是一篇ICLR2023 top 5%论文

论文链接：https://openreview.net/pdf?id=vSVLM2j9eie

代码：https://github.com/Thinklab-SJTU/Crossformer

1. Multivariate Time Series Forecasting

MTS，多变量时序数据预测。利用MTS的历史值可以预测其未来的趋势，例如心电图（ECG），脑电图（EEG）脑磁图(MEG)的诊断以及系统监测等等都是固有的多变量问题。该任务数据每个实例序列拥有多个维度，是一个d维向量和m个观测值(时间序列)的列表，如下所示数据（借鉴自综述论文：《The great multivariate time series classification bake off: a review and experimental evaluation of recent algorithmic advances》）

2. 动机

MTS的核心额外复杂性在于，区别性特征可能存在于维度之间的相互作用中，而不仅仅存在于单个序列中的自相关性中。标准的Transformer中核心self-attention可能仅仅建模了单个序列的自相关性，忽略了跨维度的依赖关系。

此外，如下图所示，当数据序列很长时，计算复杂性高，但是可以观察到，接近的数据点具有相似的注意权重！

基于此，作者提出一个分层encoder-decoder框架Crossformer.

3. Crossformer

目标：输入一段历史序列

x

1

:

T

∈

R

T

×

D

x_{1:T} \in \mathbb{R}^{T\times D}

x1:T​∈RT×D，预测未来的一段序列

x

T

+

1

:

T

+

τ

∈

R

τ

×

D

x_{T+1:T+\tau} \in \mathbb{R}^{\tau \times D}

xT+1:T+τ​∈Rτ×D.

3.1 Hierarchical Encoder-Decoder

作者提出一个新的层次Encoder-Decoder的架构，如下所示，由左边encoder（灰色）和右边decoder（浅橘色）组成。其主要包含Dimension-Segment-Wise (DSW) embedding，Two-Stage Attention (TSA)层和Linear Projection。

• Dimension-Segment-Wise (DSW) embedding：为了将输入

  x

  1

  :

  T

  ∈

  R

  T

  ×

  D

  x_{1:T} \in \mathbb{R}^{T\times D}

  x1:T​∈RT×D进行分segment，从而减少计算复杂性。如果最后每个序列要分成

  L

  L

  L个segment，每个序列

  d

  m

  o

  d

  e

  l

  d_{model}

  dmodel​的通道数，则最后的输入记为：

  Z

  ∈

  R

  L

  ×

  D

  ×

  d

  m

  o

  d

  e

  l

  Z \in \mathbb{R}^{L \times D \times d_{model}}

  Z∈RL×D×dmodel​.

• Two-Stage Attention (TSA)层：捕获cross-time和cross-dimension依赖关系。替待原来的self-attention在encoder和decoder中的位置。
• Linear Projection：应用于每一个decoder层的输出，以产生该层的预测。对各层预测结果进行求和，得到最终预测结果

  x

  T

  +

  1

  ：

  T

  +

  τ

  p

  r

  e

  d

  x^{pred}_{T+1：T+\tau}

  xT+1：T+τpred​.

  

  下面主要讲解DSW和TSA如何实现的！

3.2 Dimension-Segment-Wise embedding (DSW)

输入

x

1

:

T

∈

R

T

×

D

x_{1:T} \in \mathbb{R}^{T\times D}

x1:T​∈RT×D，表明输入包含

T

T

T个序列，每个序列有

D

D

D个维度。如下所示，如果我们分的每个segment的长度为

L

s

e

g

L_{seg}

Lseg​，则每个序列中可以划分出

T

L

s

e

g

\frac{T}{L_{seg}}

Lseg​T​个segment，每个序列有

D

D

D个维度，则整个输入共包含

T

L

s

e

g

×

D

\frac{T}{L_{seg}} \times D

Lseg​T​×D个segment，故

x

1

:

T

x_{1:T}

x1:T​可以记为：

x

1

:

T

=

{

x

i

,

d

(

s

)

∣

1

≤

i

≤

T

L

s

e

g

,

1

≤

d

≤

D

}

x_{1:T}=\{x^{(s)}_{i,d}|1\le i \le \frac{T}{L_{seg}}, 1 \le d \le D \}

x1:T​={xi,d(s)​∣1≤i≤Lseg​T​,1≤d≤D}。在

d

d

d维度中的第

i

i

i个segment的size记为

x

i

,

d

(

s

)

∈

R

1

×

L

s

e

g

x^{(s)}_{i,d} \in \mathbb{R}^{1 \times L_{seg}}

xi,d(s)​∈R1×Lseg​，然后使用线性投影和位置嵌入将每个段嵌入到一个向量中：

其中

h

i

,

d

∈

R

d

m

o

d

e

l

h_{i,d} \in \mathbb{R}^{d_{model}}

hi,d​∈Rdmodel​，

E

∈

R

d

m

o

d

e

l

×

L

s

e

g

E \in \mathbb{R}^{d_{model} \times L_{seg}}

E∈Rdmodel​×Lseg​表示可学习的映射矩阵。

E

i

,

d

(

p

o

s

)

∈

R

d

m

o

d

e

l

E^{(pos)}_{i,d} \in \mathbb{R}^{d_{model}}

Ei,d(pos)​∈Rdmodel​表示在

(

i

,

d

)

(i,d)

(i,d)位置的可学习位置嵌入。

最后，可以获得一个2D的向量数组

H

=

{

h

i

,

d

∣

1

≤

i

≤

T

L

s

e

g

,

1

≤

d

≤

D

}

∈

R

T

L

s

e

g

×

D

×

d

m

o

d

e

l

H=\{ h_{i,d}|1 \le i \le \frac{T}{L_{seg}},1 \le d \le D \} \in \mathbb{R}^{\frac{T}{L_{seg}} \times D \times d_{model}}

H={hi,d​∣1≤i≤Lseg​T​,1≤d≤D}∈RLseg​T​×D×dmodel​.

3.3 Two-Stage Attention (TSA)

由上可得输入现在为：

H

∈

R

T

L

s

e

g

×

D

×

d

m

o

d

e

l

H \in \mathbb{R}^{\frac{T}{L_{seg}} \times D \times d_{model}}

H∈RLseg​T​×D×dmodel​，为了方便，记

L

=

T

L

s

e

g

L=\frac{T}{L_{seg}}

L=Lseg​T​，则输入为

H

∈

R

L

×

D

×

d

m

o

d

e

l

H \in \mathbb{R}^{L \times D \times d_{model}}

H∈RL×D×dmodel​。TSA主要由cross-time stage和

cross-dimension stage组成，如下图所示。

• Cross-Time Stage

  对于每个维度，包含所有时间序列。因此，对于

  d

  d

  d维度

  Z

  :

  ,

  d

  ∈

  R

  L

  ×

  d

  m

  o

  d

  e

  l

  Z_{:,d} \in \mathbb{R}^{L \times d_{model}}

  Z:,d​∈RL×dmodel​上，cross-time依赖关系可记为：

  

  其中

  1

  ≤

  d

  ≤

  D

  1 \le d \le D

  1≤d≤D，所有维度共享MSA（multi-head self-attention）.

• Cross-Dimension Stage

  对于每个时间点，包含所有维度。因此，对于第

  i

  i

  i时间点

  Z

  i

  ,

  :

  t

  i

  m

  e

  ∈

  R

  D

  ×

  d

  m

  o

  d

  e

  l

  Z^{time}_{i,:} \in \mathbb{R}^{D \times d_{model}}

  Zi,:time​∈RD×dmodel​

  1）如果使用标准Transformer进行，如下图所示，可以很容易得到复杂性为

  O

  (

  D

  2

  )

  \mathcal{O}(D^2)

  O(D2)！总共有

  L

  L

  L个时间segment，因此总复杂性为

  O

  (

  D

  2

  L

  )

  \mathcal{O}(D^2L)

  O(D2L).

  

  2）作者引入router机制，每个时间点共享。如下图所示，

  R

  i

  ,

  :

  ∈

  R

  c

  ×

  d

  m

  o

  d

  e

  l

  R_{i,:} \in \mathbb{R}^{c×d_{model}}

  Ri,:​∈Rc×dmodel​ (

  c

  c

  c是常数)是作为路由器的可学习向量，作为第一个MSA的query.

  

  B

  i

  ,

  :

  ∈

  R

  c

  ×

  d

  m

  o

  d

  e

  l

  B_{i,:} \in \mathbb{R}^{c×d_{model}}

  Bi,:​∈Rc×dmodel​，作为第二个MSA的key和value.

  

  由上可知，第一个MSA复杂性为

  O

  (

  c

  D

  L

  )

  \mathcal{O}(cDL)

  O(cDL)，第二个MSA也是如此，因此，最终复杂性为

  O

  (

  2

  c

  D

  L

  )

  \mathcal{O}(2cDL)

  O(2cDL)，其中

  2

  c

  2c

  2c为常量，记复杂性变为

  O

  (

  D

  L

  )

  \mathcal{O}(DL)

  O(DL)!!

4 实验

• SOTA方法对比

  

  更多对比方法：

  

• 消融实验

  

  

• 参数分析

  

• 复杂性分析

  

• 可视化

  

• 运行速度对比

  

5. 结论

• 提出了Crossformer，一种基于transformer的模型，利用跨维度依赖进行多元时间序列(MTS)预测。
• DSW (dimension – segment – wise)嵌入：将输入数据嵌入到二维矢量数组中，以保留时间和维度信息。
• 为了捕获嵌入式阵列的跨时间和跨维度依赖关系，设计两阶段注意(TSA)层。
• 利用DSW嵌入和TSA层，设计了一种分层编码器(HED)来利用不同尺度的信息。

在6个数据集上的实验结果展示了该方法优于之前的先进技术。

以上仅为本人小记，有问题欢迎指出(●ˇ∀ˇ●)