gemm

gemm

矩阵乘法

访存3+1次

for (int m = 0; m < M; m++) {
  for (int n = 0; n < N; n++) {
    C[m][n] = 0;
    for (int k = 0; k < K; k++) {
      C[m][n] += A[m][k] * B[k][n];
    }
  }
}

C = [[0] * N for _ in range(M)]
for m in range(M):
    for n in range(N):
        for k in range(K):
            C[m][n] += A[m][k] * B[k][n]

计算拆分

将输出的计算拆分为 1×4 的小块，即将 维度拆分为两部分。计算该块输出时，需要使用矩阵1的 1 行，和矩阵2的 4 列
访存3+1/4次

for (int m = 0; m < M; m++) {
  for (int n = 0; n < N; n += 4) {
    C[m][n + 0] = 0;
    C[m][n + 1] = 0;
    C[m][n + 2] = 0;
    C[m][n + 3] = 0;
    for (int k = 0; k < K; k++) {
      C[m][n + 0] += A[m][k] * B[k][n + 0];
      C[m][n + 1] += A[m][k] * B[k][n + 1];
      C[m][n + 2] += A[m][k] * B[k][n + 2];
      C[m][n + 3] += A[m][k] * B[k][n + 3];
    }
  }
}

向量化

向量化通过使用硬件的SIMD（单指令多数据）指令来一次性处理多个数据元素，从而显著提高计算效率。我们可以从以下几个方面来理解这个过程。
C0[0:3] += A0[0:3] * B0[0];
等效于：
C0[0] += A0[0] * B0[0];
C0[1] += A0[1] * B0[0];
C0[2] += A0[2] * B0[0];
C0[3] += A0[3] * B0[0];
可以减小访存次数，并且并行计算