前面幾篇文章講到了卷積神經(jīng)網(wǎng)絡(luò)CNN，但是對于它在每一層提取到的特征以及訓(xùn)練的過程可能還是不太明白，所以這節(jié)主要通過模型的可視化來神經(jīng)網(wǎng)絡(luò)在每一層中是如何訓(xùn)練的。我們知道，神經(jīng)網(wǎng)絡(luò)本身包含了一系列特征提取器，理想的feature map應(yīng)該是稀疏的以及包含典型的局部信息。通過模型可視化能有一些直觀的認(rèn)識(shí)并幫助我們調(diào)試模型，比如：feature map與原圖很接近，說明它沒有學(xué)到什么特征；或者它幾乎是一個(gè)純色的圖，說明它太過稀疏，可能是我們feature map數(shù)太多了（feature_map數(shù)太多也反映了卷積核太小）?？梢暬泻芏喾N，比如：feature map可視化、權(quán)重可視化等等，我以feature map可視化為例。

模型可視化

因?yàn)槲覜]有搜到用paddlepaddle在imagenet 1000分類的數(shù)據(jù)集上預(yù)訓(xùn)練好的googLeNet inception v3，所以用了keras做實(shí)驗(yàn)，以下圖作為輸入:

輸入圖片

北汽紳寶D50:

feature map可視化

取網(wǎng)絡(luò)的前15層，每層取前3個(gè)feature map。

北汽紳寶D50 feature map：

從左往右看，可以看到整個(gè)特征提取的過程，有的分離背景、有的提取輪廓，有的提取色差，但也能發(fā)現(xiàn)10、11層中間兩個(gè)feature map是純色的，可能這一層feature map數(shù)有點(diǎn)多了，另外北汽紳寶D50的光暈對feature map中光暈的影響也能比較明顯看到。

Hypercolumns 通常我們把神經(jīng)網(wǎng)絡(luò)最后一個(gè)fc全連接層作為整個(gè)圖片的特征表示，但是這一表示可能過于粗糙（從上面的feature map可視化也能看出來），沒法精確描述局部空間上的特征，而網(wǎng)絡(luò)的第一層空間特征又太過精確，缺乏語義信息（比如后面的色差、輪廓等），于是論文《Hypercolumns for Object Segmentation and Fine-grained Localization》提出一種新的特征表示方法：Hypercolumns——將一個(gè)像素的 hypercolumn 定義為所有 cnn 單元對應(yīng)該像素位置的激活輸出值組成的向量），比較好的tradeoff了前面兩個(gè)問題，直觀地看如圖：

把北汽紳寶D50 第1、4、7層的feature map以及第1, 4, 7, 10, 11, 14, 17層的feature map分別做平均，可視化如下：

代碼實(shí)踐

# -*- coding: utf-8 -*-

from keras.applications import InceptionV3

from keras.applications.inception_v3 import preprocess_input

from keras.preprocessing import image

from keras.models import Model

from keras.applications.imagenet_utils import decode_predictions

import numpy as np

import cv2

from cv2 import *

import matplotlib.pyplot as plt

import scipy as sp

from scipy.misc import toimage

def test_opencv():

# 加載攝像頭

cam = VideoCapture(0) # 0 -> 攝像頭序號(hào)，如果有兩個(gè)三個(gè)四個(gè)攝像頭，要調(diào)用哪一個(gè)數(shù)字往上加嘛

# 抓拍 5 張小圖片

for x in range(0, 5):

s, img = cam.read()

if s:

imwrite("o-" + str(x) + ".jpg", img)

def load_original(img_path):

# 把原始圖片壓縮為 299*299大小

im_original = cv2.resize(cv2.imread(img_path), (299, 299))

im_converted = cv2.cvtColor(im_original, cv2.COLOR_BGR2RGB)

plt.figure(0)

plt.subplot(211)

plt.imshow(im_converted)

return im_original

def load_fine_tune_googlenet_v3(img):

# 加載fine-tuning googlenet v3模型，并做預(yù)測

model = InceptionV3(include_top=True, weights='imagenet')

model.summary()

x = image.img_to_array(img)

x = np.expand_dims(x, axis=0)

x = preprocess_input(x)

preds = model.predict(x)

print('Predicted:', decode_predictions(preds))

plt.subplot(212)

plt.plot(preds.ravel())

plt.show()

return model, x

def extract_features(ins, layer_id, filters, layer_num):

'''

提取指定模型指定層指定數(shù)目的feature map并輸出到一幅圖上.

:param ins: 模型實(shí)例

:param layer_id: 提取指定層特征

:param filters: 每層提取的feature map數(shù)

:param layer_num: 一共提取多少層feature map

:return: None

'''

if len(ins) != 2:

print('parameter error:(model, instance)')

return None

model = ins[0]

x = ins[1]

if type(layer_id) == type(1):

model_extractfeatures = Model(input=model.input, output=model.get_layer(index=layer_id).output)

else:

model_extractfeatures = Model(input=model.input, output=model.get_layer(name=layer_id).output)

fc2_features = model_extractfeatures.predict(x)

if filters > len(fc2_features[0][0][0]):

print('layer number error.', len(fc2_features[0][0][0]),',',filters)

return None

for i in range(filters):

plt.subplots_adjust(left=0, right=1, bottom=0, top=1)

plt.subplot(filters, layer_num, layer_id + 1 + i * layer_num)

plt.axis("off")

if i < len(fc2_features[0][0][0]):

plt.imshow(fc2_features[0, :, :, i])

# 層數(shù)、模型、卷積核數(shù)

def extract_features_batch(layer_num, model, filters):

'''

批量提取特征

:param layer_num: 層數(shù)

:param model: 模型

:param filters: feature map數(shù)

:return: None

'''

plt.figure(figsize=(filters, layer_num))

plt.subplot(filters, layer_num, 1)

for i in range(layer_num):

extract_features(model, i, filters, layer_num)

plt.savefig('sample.jpg')

plt.show()

def extract_features_with_layers(layers_extract):

'''

提取hypercolumn并可視化.

:param layers_extract: 指定層列表

:return: None

'''

hc = extract_hypercolumn(x[0], layers_extract, x[1])

ave = np.average(hc.transpose(1, 2, 0), axis=2)

plt.imshow(ave)

plt.show()

def extract_hypercolumn(model, layer_indexes, instance):

'''

提取指定模型指定層的hypercolumn向量

:param model: 模型

:param layer_indexes: 層id

:param instance: 模型

:return:

'''

feature_maps = []

for i in layer_indexes:

feature_maps.append(Model(input=model.input, output=model.get_layer(index=i).output).predict(instance))

hypercolumns = []

for convmap in feature_maps:

for i in convmap[0][0][0]:

upscaled = sp.misc.imresize(convmap[0, :, :, i], size=(299, 299), mode="F", interp='bilinear')

hypercolumns.append(upscaled)

return np.asarray(hypercolumns)

if __name__ == '__main__':

img_path = '~/auto1.jpg'

img = load_original(img_path)

x = load_fine_tune_googlenet_v3(img)

extract_features_batch(15, x, 3)

extract_features_with_layers([1, 4, 7])

extract_features_with_layers([1, 4, 7, 10, 11, 14, 17])

總結(jié)

還有一些網(wǎng)站做的關(guān)于CNN的可視化做的非常不錯(cuò)，譬如這個(gè)網(wǎng)站：http://shixialiu.com/publications/cnnvis/demo/，大家可以在訓(xùn)練的時(shí)候采取不同的卷積核尺寸和個(gè)數(shù)對照來看訓(xùn)練的中間過程。最近PaddlePaddle也開源了可視化工具VisaulDL，下篇文章我們講講paddlepaddle的visualDL和tesorflow的tensorboard。