8.2.1. VGG 塊

CNN 的基本構(gòu)建塊是以下序列：(i) 帶有填充的卷積層以保持分辨率，(ii) 非線性，例如 ReLU，(iii) 池化層，例如最大池化以減少解決。這種方法的問題之一是空間分辨率下降得非常快。特別是，這強(qiáng)加了一個(gè)硬限制log2?d網(wǎng)絡(luò)上所有維度之前的卷積層（d) 用完了。例如，在 ImageNet 的情況下，以這種方式不可能有超過 8 個(gè)卷積層。

Simonyan 和 Zisserman ( 2014 )的關(guān)鍵思想是以 塊的形式通過最大池化在下采樣之間使用多個(gè)卷積。他們主要感興趣的是深度網(wǎng)絡(luò)還是寬網(wǎng)??絡(luò)表現(xiàn)更好。例如，連續(xù)應(yīng)用兩個(gè) 3×3卷積接觸與單個(gè)相同的像素 5×5卷積確實(shí)如此。同時(shí)，后者使用了大約同樣多的參數(shù)（25?c2) 三個(gè) 3×3卷積做（3?9?c2). 在相當(dāng)詳細(xì)的分析中，他們表明深度和狹窄的網(wǎng)絡(luò)明顯優(yōu)于淺層網(wǎng)絡(luò)。這將深度學(xué)習(xí)置于對(duì)具有超過 100 層的典型應(yīng)用的更深網(wǎng)絡(luò)的追求上。堆疊3×3卷積已成為后來的深度網(wǎng)絡(luò)的黃金標(biāo)準(zhǔn)（最近Liu等人( 2022 )才重新考慮的設(shè)計(jì)決策）。因此，小卷積的快速實(shí)現(xiàn)已成為 GPU 的主要內(nèi)容 （Lavin 和 Gray，2016 年）。

回到 VGG：一個(gè) VGG 塊由一系列卷積組成 3×3填充為 1 的內(nèi)核（保持高度和寬度）后跟一??個(gè)2×2步長(zhǎng)為 2 的最大池化層（每個(gè)塊后將高度和寬度減半）。在下面的代碼中，我們定義了一個(gè)函數(shù)vgg_block來實(shí)現(xiàn)一個(gè) VGG 塊。

下面的函數(shù)有兩個(gè)參數(shù)，對(duì)應(yīng)于卷積層數(shù)num_convs和輸出通道數(shù) num_channels。

def vgg_block(num_convs, out_channels):
  layers = []
  for _ in range(num_convs):
    layers.append(nn.LazyConv2d(out_channels, kernel_size=3, padding=1))
    layers.append(nn.ReLU())
  layers.append(nn.MaxPool2d(kernel_size=2,stride=2))
  return nn.Sequential(*layers)

def vgg_block(num_convs, num_channels):
  blk = nn.Sequential()
  for _ in range(num_convs):
    blk.add(nn.Conv2D(num_channels, kernel_size=3,
             padding=1, activation='relu'))
  blk.add(nn.MaxPool2D(pool_size=2, strides=2))
  return blk

def vgg_block(num_convs, out_channels):
  layers = []
  for _ in range(num_convs):
    layers.append(nn.Conv(out_channels, kernel_size=(3, 3), padding=(1, 1)))
    layers.append(nn.relu)
  layers.append(lambda x: nn.max_pool(x, window_shape=(2, 2), strides=(2, 2)))
  return nn.Sequential(layers)

def vgg_block(num_convs, num_channels):
  blk = tf.keras.models.Sequential()
  for _ in range(num_convs):
    blk.add(
      tf.keras.layers.Conv2D(num_channels, kernel_size=3,
                  padding='same', activation='relu'))
  blk.add(tf.keras.layers.MaxPool2D(pool_size=2, strides=2))
  return blk

8.2.2. VGG網(wǎng)絡(luò)

與 AlexNet 和 LeNet 一樣，VGG 網(wǎng)絡(luò)可以分為兩部分：第一部分主要由卷積層和池化層組成，第二部分由與 AlexNet 相同的全連接層組成。關(guān)鍵區(qū)別在于卷積層在保持維數(shù)不變的非線性變換中分組，然后是分辨率降低步驟，如圖 8.2.1所示。

圖 8.2.1從 AlexNet 到 VGG。關(guān)鍵區(qū)別在于 VGG 由層塊組成，而 AlexNet 的層都是單獨(dú)設(shè)計(jì)的。

網(wǎng)絡(luò)的卷積部分連續(xù)連接 圖 8.2.1中的幾個(gè) VGG 塊（也在vgg_block函數(shù)中定義）。這種卷積分組是一種在過去十年中幾乎保持不變的模式，盡管操作的具體選擇已經(jīng)發(fā)生了相當(dāng)大的修改。該變量 conv_arch由一個(gè)元組列表（每個(gè)塊一個(gè)）組成，其中每個(gè)元組包含兩個(gè)值：卷積層數(shù)和輸出通道數(shù)，它們正是調(diào)用函數(shù)所需的參數(shù)vgg_block。因此，VGG 定義了一個(gè)網(wǎng)絡(luò)家族，而不僅僅是一個(gè)特定的表現(xiàn)形式。要構(gòu)建一個(gè)特定的網(wǎng)絡(luò)，我們只需迭代arch以組成塊。

class VGG(d2l.Classifier):
  def __init__(self, arch, lr=0.1, num_classes=10):
    super().__init__()
    self.save_hyperparameters()
    conv_blks = []
    for (num_convs, out_channels) in arch:
      conv_blks.append(vgg_block(num_convs, out_channels))
    self.net = nn.Sequential(
      *conv_blks, nn.Flatten(),
      nn.LazyLinear(4096), nn.ReLU(), nn.Dropout(0.5),
      nn.LazyLinear(4096), nn.ReLU(), nn.Dropout(0.5),
      nn.LazyLinear(num_classes))
    self.net.apply(d2l.init_cnn)

class VGG(d2l.Classifier):
  def __init__(self, arch, lr=0.1, num_classes=10):
    super().__init__()
    self.save_hyperparameters()
    self.net = nn.Sequential()
    for (num_convs, num_channels) in arch:
      self.net.add(vgg_block(num_convs, num_channels))
    self.net.add(nn.Dense(4096, activation=