TensorFlowのチュートリアルDeep MNIST for Expertsを試してみる。


import tensorflow as tf
import input_data

# MNISTデータを取得
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

# インタラクティブセッションの取得
sess = tf.InteractiveSession()

# 入力画像データ
# shape:None -> 動的割り当て
# shape:784 -> 画像28x28=784次元のベクトル
x = tf.placeholder("float", shape=[None, 784])

# 出力
# shape:None -> 動的割り当て
# shape:10 -> 手書き数字0〜9の10次元ベクトル
y_ = tf.placeholder("float", shape=[None, 10])


# 重みの初期化関数
def weight_variable(shape):
    # 切断正規分布からの乱数生成
    # stddev -> 標準偏差
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

# バイアスの初期化関数
def bias_variable(shape):
    initial = tf.constant(0.1, shape=shape)
    return tf.Variable(initial)

# 畳み込み層の作成関数
# x:入力, shape [batch, in_height, in_width, in_channels]
# W:フィルタ, shape [filter_height, filter_width, in_channels, out_channels]
def conv2d(x, W):
    # strides:ストライド
    return tf.nn.conv2d(x, W, strides=[1, 1, 1, 1], padding='SAME')

# プーリング層の作成関数
# x:入力, shape [batch, in_height, in_width, in_channels]
def max_pool_2x2(x):
    return tf.nn.max_pool(x, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')

# 重みとバイアスの初期値
W_conv1 = weight_variable([5, 5, 1, 32])
b_conv1 = bias_variable([32])

# 画像
x_image = tf.reshape(x, [-1,28,28,1])

# 各層(詳細は下部参照)
h_conv1 = tf.nn.relu(conv2d(x_image, W_conv1) + b_conv1)
h_pool1 = max_pool_2x2(h_conv1)

W_conv2 = weight_variable([5, 5, 32, 64])
b_conv2 = bias_variable([64])

h_conv2 = tf.nn.relu(conv2d(h_pool1, W_conv2) + b_conv2)
h_pool2 = max_pool_2x2(h_conv2)

W_fc1 = weight_variable([7 * 7 * 64, 1024])
b_fc1 = bias_variable([1024])

h_pool2_flat = tf.reshape(h_pool2, [-1, 7*7*64])
h_fc1 = tf.nn.relu(tf.matmul(h_pool2_flat, W_fc1) + b_fc1)

keep_prob = tf.placeholder("float")
h_fc1_drop = tf.nn.dropout(h_fc1, keep_prob)

W_fc2 = weight_variable([1024, 10])
b_fc2 = bias_variable([10])

# トレーニングデータh_fc1_dropとモデルの重みW_fc2を乗算した後、
# モデルのバイアスb_fc2を足し、ソフトマックス回帰(ソフトマックス関数)を適用
y_conv = tf.nn.softmax(tf.matmul(h_fc1_drop, W_fc2) + b_fc2)

# 損失関数をクロスエントロピーとする
cross_entropy = -tf.reduce_sum(y_ * tf.log(y_conv))

# 学習係数を0.001として、勾配降下アルゴリズムを使用して、
# クロスエントロピーを最小化する
train_step = tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

# 予測値と正解値を比較して、bool値(true or false)にする
# tf.argmax(y, 1)は、予測値の各行で、最大値となるインデックスを一つ返す
correct_prediction = tf.equal(tf.argmax(y_conv,1), tf.argmax(y_,1))

# bool値を0 or 1に変換して平均値をとる -> 正解率
accuracy = tf.reduce_mean(tf.cast(correct_prediction, "float"))

# セッションの開始および初期化の実行
sess.run(tf.initialize_all_variables())

# トレーニング開始
for i in range(20000):
    # トレーニングデータからランダムに50個抽出
    batch = mnist.train.next_batch(50)
    if i%100 == 0:
        train_accuracy = accuracy.eval(feed_dict={x:batch[0], y_: batch[1], keep_prob: 1.0})
        print("step %d, training accuracy %g"%(i, train_accuracy))
    train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})

# GPUのメモリ容量が足りないため、テストデータを削減して、
# テストデータの正解率を表示
#print("test accuracy %g"%accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
print("test accuracy %g"%accuracy.eval(feed_dict={x: mnist.test.images[0:1000, ], y_: mnist.test.labels[0:1000, ], keep_prob: 1.0}))

上記を実行すると出力は次のようになった。トレーニングデータから構築された予測モデルに、削減したテストデータを当てはめたところ、およそ99%の正解率となった。今回、GPUのメモリ容量が足りないため、テストデータを削減しないとテストが行えなかった。しかし、全テストデータを用いた場合の正解率はおよそ99.2%となるようだ。


step 0, training accuracy 0.18
step 100, training accuracy 0.86
step 200, training accuracy 0.92
step 300, training accuracy 0.92
step 400, training accuracy 0.96
step 500, training accuracy 0.92
step 600, training accuracy 0.98
step 700, training accuracy 0.96
step 800, training accuracy 0.9
step 900, training accuracy 1
step 1000, training accuracy 0.96
...
step 5000, training accuracy 0.98
...
step 10000, training accuracy 1
...
step 15000, training accuracy 1
...
step 19500, training accuracy 1
step 19600, training accuracy 1
step 19700, training accuracy 1
step 19800, training accuracy 1
step 19900, training accuracy 1
test accuracy 0.99

weight_variable([5, 5, 1, 32])

[5, 5, 1, 32]において、最初の2つの数字5, 5はパッチのサイズ(フィルタのサイズ)、次の数字1は入力チャネルの数、最後の数字32は出力チャネルの数を表している。

具体的な中身を確認してみる。


import tensorflow as tf

def weight_variable(shape):
    initial = tf.truncated_normal(shape, stddev=0.1)
    return tf.Variable(initial)

sess = tf.InteractiveSession()
W_conv1 = weight_variable([5, 5, 1, 32])
sess.run(tf.initialize_all_variables())
print(sess.run(W_conv1))

このコードを実行すると、次のように出力された。
これは、32次元でまとめる->1次元でまとめる->5次元でまとめる->5次元でまとめたものである。


[[[[  1.48475483e-01   1.58597659e-02  -4.06656191e-02   3.58547568e-02
      4.56950031e-02   6.58993497e-02  -7.01310337e-02   1.69233400e-02
     -6.06729500e-02   1.64037406e-01  -4.17077132e-02  -7.66382813e-02
     -1.19891539e-01   1.18592381e-01  -1.19872943e-01  -1.60695910e-02
      1.66245585e-03  -1.41543552e-01   1.17604867e-01  -2.80289147e-02
      5.36810532e-02   6.16839230e-02   1.29088446e-01  -6.32904768e-02
      5.38179604e-03   1.50919974e-01   9.66164395e-02  -1.04761899e-01
      1.31857410e-01   7.01955780e-02  -3.68128531e-02  -1.36018619e-01]]

  [[ -1.03717640e-01  -7.02485740e-02  -7.61067718e-02  -1.99575312e-02
      8.58200863e-02   5.85411787e-02  -1.04643516e-01  -3.63419317e-02
     -9.05009210e-02  -3.47478576e-02  -7.77347852e-03  -5.91042005e-02
      1.70633346e-01   6.89262077e-02  -1.10264659e-01   1.70052677e-01
     -9.50185582e-02  -2.39186473e-02  -6.21963739e-02  -2.96380017e-02
      7.31079280e-02  -1.11292209e-02   8.70941505e-02  -2.36726496e-02
     -9.22910646e-02  -1.67905360e-01   3.30318995e-02   1.11732259e-01
      1.25020286e-02   7.77653083e-02   3.75521332e-02  -1.25993401e-01]]

  [[  1.48562089e-01   1.26391694e-01  -1.65563319e-02   1.17795877e-01
      3.96887735e-02   1.84482560e-01  -2.99430825e-02   1.63904671e-03
     -5.36411367e-02  -5.05337603e-02   1.64160594e-01  -5.71752489e-02
     -1.30338641e-02  -8.58572498e-02  -1.23077750e-01   1.54252037e-01
     -1.35941416e-01   1.61103103e-02  -7.15501159e-02   1.10667124e-02
      4.43023443e-02  -1.54764369e-01  -7.70426989e-02  -1.70168668e-01
      1.30280420e-01   1.38393864e-02  -1.53770698e-02  -9.43756029e-02
     -1.43827751e-01   2.16817595e-02   1.54225109e-02  -1.16675040e-02]]

  [[ -3.16032814e-03  -9.99127030e-02   7.16447905e-02  -2.98381951e-02
      4.52323779e-02   4.10156809e-02   1.83387343e-02  -8.89026374e-02
     -1.52080089e-01   1.11936584e-01   7.11512938e-02   1.72061592e-01
     -9.26526114e-02   1.29783094e-01   3.24674398e-02  -7.09214285e-02
     -4.26112749e-02  -4.36902121e-02  -9.17243063e-02  -1.96634848e-02
     -1.12599507e-01  -7.08524361e-02   6.54684976e-02  -3.80871189e-03
      1.33264170e-03   9.69210267e-02   2.33256221e-02   1.68571994e-01
     -2.02009268e-02  -1.65488288e-01  -1.50860414e-01  -7.29746893e-02]]

  [[  4.10489272e-03  -1.26902014e-01   7.49316737e-02   1.12564955e-02
      3.44131738e-02  -1.41383976e-01   1.32656386e-02   9.60496292e-02
      5.76081239e-02  -1.55117679e-02   3.60296331e-02  -3.33838984e-02
     -5.14246300e-02   6.04969077e-02  -9.95630175e-02   4.14681546e-02
     -8.48250315e-02   3.15784253e-02   6.85069114e-02   3.47026847e-02
      1.92538686e-02   1.42731577e-01   8.46126527e-02   2.98902541e-02
     -3.19375703e-03   1.78943753e-01  -1.42282531e-01  -4.72523905e-02
     -2.60415208e-02  -8.40078515e-04   1.24576345e-01  -1.63146690e-01]]]


 [[[ -1.79355443e-01  -6.48248121e-02   1.53965324e-01  -8.10286552e-02
      1.09774709e-01  -6.49124086e-02  -5.18284105e-02   1.75598010e-01
      9.43017974e-02   1.13461994e-01   1.40373036e-02   2.28793733e-03
      3.76506597e-02  -1.12635098e-01  -1.55803204e-01   2.43371204e-02
     -1.44656464e-01  -1.47067294e-01   1.15171075e-01  -8.95977244e-02
     -4.52500656e-02  -4.70332056e-02  -3.50600178e-03  -3.53303067e-02
     -6.71853423e-02  -6.05653636e-02   1.00835040e-01   5.21081649e-02
     -1.98686346e-01  -3.41759101e-02  -8.04590210e-02  -1.38393611e-01]]

  [[ -1.78665519e-01  -7.31830075e-02  -7.22305179e-02   1.85388234e-02
     -1.53570756e-01   8.18561539e-02   1.11937579e-02  -1.64061412e-01
      2.24929489e-02   1.32964611e-01  -1.42433599e-01   7.80525729e-02
     -3.47188227e-02  -1.07427835e-02   9.93549358e-03   1.90656204e-02
     -2.80407649e-02  -1.11708879e-01  -4.08248417e-02  -6.47195280e-02
      3.69241200e-02   2.52959169e-02  -1.30689725e-01  -9.88881104e-03
      1.54692428e-02  -3.41815467e-04   8.85378271e-02  -1.29887879e-01
      9.20186006e-03  -1.23549914e-02  -4.48573641e-02  -2.08599102e-02]]

  [[ -1.99197650e-01   8.22580233e-02   6.64998963e-02   2.50770096e-02
      1.26235336e-01   7.58633167e-02   3.47778350e-02  -7.27084815e-04
      8.23882222e-02   3.53822112e-02  -1.81294426e-01   6.62641302e-02
      6.89528659e-02  -1.01582102e-01   5.04502915e-02  -1.70388930e-02
     -1.00774495e-02   2.50907596e-02  -3.25940400e-02   6.96394071e-02
      6.92522293e-03  -5.62317558e-02   1.26012355e-01  -1.87042877e-01
     -1.43156245e-01   1.79368123e-01   1.92239851e-01   1.62537262e-01
      6.99810386e-02  -4.65411646e-03   1.23203933e-01  -9.11625996e-02]]

  [[  2.38111019e-02   1.05702423e-01  -6.81759045e-02  -8.04660935e-03
      6.51522353e-02   1.76981688e-01  -1.21769898e-01  -1.79007202e-01
     -1.70858726e-01  -1.22313481e-02  -1.44831732e-01   3.98881845e-02
      2.61079706e-02  -5.31600080e-02   5.22348657e-02  -1.70635805e-01
      2.74032634e-02  -7.95838758e-02   7.47331083e-02  -5.71188815e-02
     -1.96214810e-01   9.65200141e-02   2.24080943e-02   1.27573520e-01
      9.96513888e-02  -2.39067581e-02  -5.08332662e-02  -3.07297357e-03
     -6.73445016e-02  -6.54089898e-02   1.01588033e-02   8.34575444e-02]]

  [[  9.84696373e-02  -2.06945706e-02  -1.12085059e-01   1.85171943e-02
      5.60123399e-02   3.75937857e-02  -6.52988106e-02  -1.36795297e-01
     -5.19384854e-02   1.71498939e-01  -1.82692885e-01   8.31323490e-02
      3.58952093e-03   1.29429728e-01   7.23339766e-02   3.79819609e-03
      1.27217591e-01   8.61634240e-02  -3.64347659e-02  -9.68251452e-02
      1.19954206e-01  -8.25182945e-02   7.78333247e-02  -9.67820510e-02
      4.15342003e-02  -4.27557575e-03  -2.98865866e-02   4.77598943e-02
      1.26439080e-01  -1.46066487e-01   4.41486798e-02  -7.78752193e-02]]]


 [[[  7.86083471e-03   3.00256349e-02   9.92281958e-02  -1.94011461e-02
     -3.68285850e-02  -6.84928074e-02  -9.80021656e-02   4.10057865e-02
      7.68587440e-02   1.29043553e-02  -3.48961093e-02  -1.02551416e-01
     -3.29806213e-03   1.30333602e-01   4.83416133e-02  -2.60616150e-02
      6.67278394e-02  -1.05998851e-01  -1.73356727e-01  -4.21904176e-02
     -4.21250798e-02   2.24991236e-02  -7.01157749e-02   7.11541697e-02
      7.47926608e-02  -9.03068259e-02   5.16073667e-02   1.28046647e-02
      1.13073699e-01   3.89895290e-02   7.75539726e-02  -1.15903758e-01]]

  [[ -8.35264847e-02   1.27982244e-01   6.08587041e-02   6.78696260e-02
     -7.84069672e-02  -1.60594374e-01  -3.37162875e-02   8.18554386e-02
     -3.95721085e-02  -9.86961946e-02  -1.15593545e-01  -8.16247147e-03
      5.08480472e-03  -1.51991574e-02  -1.07649304e-01   4.33173589e-02
      5.82848601e-02  -8.33188221e-02   6.39133854e-03  -1.77407172e-02
     -5.94177842e-02  -3.00162025e-02  -1.23398498e-01  -2.93346047e-02
     -7.86400363e-02  -1.44469842e-01   7.75731355e-02  -1.06383659e-01
      1.33549944e-01  -6.55998662e-03  -5.90455644e-02  -5.84926978e-02]]

  [[  4.47055139e-03   1.33774921e-01   3.32568623e-02  -3.38536911e-02
      9.28512495e-03   1.47271395e-01   6.25512302e-02   5.09771518e-02
      8.77782330e-03  -4.39822115e-02   1.28989071e-01  -9.05387029e-02
     -4.56681065e-02   2.15900149e-02  -5.82373105e-02  -5.25172539e-02
      1.27478644e-01   1.07647076e-01  -2.67898887e-02  -1.42643675e-01
      1.16044961e-01  -9.08857286e-02   5.79378419e-02   6.02442585e-02
     -1.43100545e-01  -7.82930925e-02   2.91842874e-02   7.81873390e-02
      1.28591046e-01  -1.92050919e-01   9.18764696e-02   7.96385482e-02]]

  [[ -4.39619971e-03   1.07526556e-02   1.33901760e-01  -1.41771719e-01
     -1.86115548e-01   6.56369254e-02  -6.51573539e-02   1.69479474e-01
      3.71168517e-02  -3.91558744e-02   5.04501238e-02  -6.88608969e-03
      3.21782939e-02  -6.08030856e-02   6.98316172e-02  -1.69904754e-01
     -1.21653534e-01   1.70358360e-01  -2.61227903e-03   1.22898057e-01
     -6.74195066e-02   5.66886738e-02   1.08478129e-01  -6.33771867e-02
     -1.34834517e-02   1.49993375e-02  -5.42562567e-02  -6.30933270e-02
     -1.47140518e-01   1.58285603e-01  -4.99339551e-02  -1.66884884e-01]]

  [[  6.47262633e-02   4.62504774e-02  -3.46908607e-02  -4.16101515e-02
      3.39458953e-03   1.07229188e-01  -1.00175679e-01   7.83002749e-02
      3.00645977e-02   1.13917761e-01   2.07668599e-02  -1.91766322e-01
     -3.56524214e-02  -5.19549362e-02  -5.95686398e-02   5.79724386e-02
     -1.18454829e-01   5.56260124e-02  -1.05444565e-01   1.50253549e-02
     -1.39083311e-01   3.37373503e-02   3.47508267e-02  -1.00356616e-01
     -3.94150168e-02  -1.83184549e-01  -7.20808804e-02   1.35071337e-01
      7.66792446e-02   5.78381196e-02  -9.62142553e-03  -7.18918070e-02]]]


 [[[  8.60268157e-03   1.27179131e-01  -4.69582668e-03   7.12333992e-03
     -5.63023649e-02  -5.68181239e-02   9.25751105e-02  -4.53005619e-02
     -1.93349347e-01  -5.51058128e-02  -1.22996844e-01  -3.41378190e-02
      1.39595374e-01  -9.02606398e-02  -7.60920644e-02   3.15221027e-02
      1.07304588e-01   1.31563842e-01   1.27803609e-01   1.81570537e-02
      3.21730576e-03   3.68778221e-02   1.61251232e-01  -1.18139006e-01
      4.54807319e-02  -1.14912570e-01   1.93337146e-02   1.81777671e-01
      3.76969539e-02  -8.28815326e-02  -5.72985187e-02  -4.62875925e-02]]

  [[ -6.49967417e-02   4.83074971e-02  -1.51945919e-01   7.02156648e-02
     -3.76863740e-02  -1.04445748e-01   6.56193718e-02   7.31876493e-02
     -6.39949515e-02  -1.02012567e-02  -1.49780616e-01   1.91005707e-01
     -5.35447896e-02  -8.92960057e-02  -5.25750406e-02  -4.69152816e-02
     -1.41109720e-01   5.50914295e-02   5.89944310e-02  -4.50530946e-02
      7.60451630e-02   7.07403421e-02   5.80015499e-03  -8.30693245e-02
      4.00818326e-02   5.81015907e-02  -7.45886117e-02  -1.90420061e-01
      9.77645144e-02   4.65425961e-02   4.82836924e-02  -6.20767251e-02]]

  [[ -1.22432457e-02  -7.14044496e-02  -1.00756265e-01   1.63095579e-01
     -1.53199062e-01  -7.07816184e-02   7.30563477e-02   1.07234134e-03
     -1.31049722e-01  -1.47355974e-01  -5.14707975e-02   1.97444763e-02
     -1.24975204e-01  -3.32713388e-02   1.28727527e-02   1.75653949e-01
     -4.75935228e-02   3.54013257e-02  -9.64147449e-02  -4.97247279e-02
      5.44815175e-02   7.10419416e-02  -3.93577665e-02   1.48137152e-01
     -5.06404415e-02   1.00035500e-02   5.77668212e-02   1.73281766e-02
      3.31601948e-02   1.76674575e-01  -1.59750447e-01   5.35516515e-02]]

  [[ -1.15715995e-01   3.37997600e-02   8.20404366e-02   8.57698396e-02
     -2.98677068e-02   1.12512581e-01   1.76676195e-02  -1.48788318e-02
     -1.65994223e-02  -3.66352461e-02   1.42552643e-04   1.28594816e-01
     -5.21304272e-02  -1.41123414e-01   1.36616409e-01  -3.89421522e-03
     -2.00691838e-02   3.01521700e-02  -1.05073843e-02  -1.07384913e-01
      9.53700170e-02   6.39848039e-02   7.15151727e-02   3.44592743e-02
     -7.99752697e-02  -3.65516990e-02   1.38287783e-01   1.30665749e-01
     -2.36481223e-02   1.23715602e-01   5.00656255e-02   5.67153804e-02]]

  [[  3.78893092e-02   1.45353362e-01   1.84724957e-01   8.70892107e-02
     -6.25213459e-02   5.28592877e-02   4.53097560e-02  -4.98401513e-03
     -7.28318319e-02   1.09919250e-01   8.47110152e-02  -6.08090237e-02
     -5.39375022e-02  -1.12055745e-02  -1.27477096e-02   1.19124107e-01
     -1.91839203e-01  -6.85469732e-02  -1.19179979e-01  -1.48449261e-02
     -3.02497651e-02   1.04056694e-01   5.62817417e-02   6.03966378e-02
     -1.55471697e-01   3.40401344e-02   8.27799365e-02  -6.96488982e-03
      8.83514062e-02  -1.11509286e-01  -9.20876563e-02   5.37256673e-02]]]


 [[[  6.55777976e-02  -1.99381392e-02  -2.59709898e-02   3.90190631e-03
      4.29938734e-02  -1.58487067e-01  -1.22385122e-01  -3.14173885e-02
      1.52689442e-02   5.65613396e-02  -5.58909494e-03   1.73067257e-01
      1.57414135e-02  -7.08734477e-03   7.91215748e-02   7.13630691e-02
     -1.74694642e-01   1.79397002e-01  -1.66365668e-01  -5.37620261e-02
     -1.86102971e-01  -7.88595229e-02  -1.26700327e-01  -1.26541182e-01
      3.95171903e-02  -7.33057112e-02   1.05017833e-01   3.36432755e-02
     -2.63972338e-02   6.82631657e-02  -1.54210730e-02  -1.39634283e-02]]

  [[  1.09947078e-01  -7.44448602e-02  -1.47023469e-01  -7.93450698e-02
      9.59886461e-02   1.20968200e-01   7.22612394e-03   4.96475585e-02
     -1.74612626e-01   1.85690865e-01  -3.34632508e-02  -1.01521634e-01
     -1.52359949e-02   5.13942540e-02   1.35017738e-01   5.75434929e-03
     -7.45931268e-02   1.22250572e-01  -2.54063997e-02   5.04193781e-03
      3.69768105e-02   1.96838379e-01  -4.97276522e-02  -1.06410898e-01
      1.66044384e-02   1.18714765e-01   1.52347520e-01  -1.82065591e-02
     -6.20187894e-02  -8.82715359e-02  -9.16525945e-02   2.60826498e-02]]

  [[ -1.77470595e-01  -3.56068276e-02  -1.56853423e-01  -8.45009014e-02
      1.79381460e-01  -3.31822187e-02   3.99103425e-02   1.86723620e-01
      1.80221926e-02   5.67928851e-02   5.53448917e-03   1.80670723e-01
     -8.71722102e-02  -1.37299541e-02  -8.49935263e-02  -9.11107063e-02
      6.06455393e-02   3.62118483e-02  -6.66496679e-02   1.36957346e-02
      1.30438386e-02   1.11781299e-01  -5.82458265e-02   1.05547242e-01
      1.40848801e-01  -1.14447214e-01  -1.16658740e-01   4.22505587e-02
      9.60144177e-02   5.98460622e-02   1.59482099e-02  -3.68065946e-02]]

  [[  4.29181829e-02  -2.78014746e-02  -1.06361680e-01  -5.72405234e-02
      8.14277213e-03   3.47806253e-02   7.60507658e-02   1.15977069e-02
     -6.35897890e-02  -1.64874028e-02  -5.41181564e-02   1.28978789e-01
     -7.78641701e-02  -1.10211007e-01   8.31643213e-03  -4.14805822e-02
      1.06324993e-01   1.15088336e-01   6.32108301e-02  -5.36629744e-02
     -4.93541509e-02  -1.93507150e-02  -5.06863482e-02   6.78721592e-02
      2.29901560e-02  -4.43042628e-02   8.95960629e-02  -2.15330590e-02
     -1.14459574e-01  -4.42542993e-02   1.21140815e-01   5.35305925e-02]]

  [[ -1.79255709e-01  -4.89629619e-02  -1.80669978e-01  -3.42891477e-02
      1.56158835e-01  -4.47479524e-02  -1.44574687e-01  -2.89671700e-02
     -5.95681928e-02   3.32704076e-04   5.40223494e-02   1.05227366e-01
     -5.62450998e-02   1.44341439e-01   7.84754977e-02   6.73357323e-02
      9.90119874e-02  -1.46234602e-01  -4.16993015e-02   1.30628362e-01
      3.31544094e-02  -1.22078948e-01  -6.25167117e-02  -1.86213166e-01
     -9.33042616e-02  -1.17832340e-01   7.94923156e-02  -8.22228268e-02
     -1.30178913e-01   1.16096362e-02  -5.65797463e-02   5.06278388e-02]]]]

各層の流れ

各層の流れは次のようになっている。

層種・名称 チャネル
data 28 28 1
h_conv1 28 28 32
h_pool1 14 14 32
h_conv2 14 14 64
h_pool2 7 7 64
h_fc1 1 1 1024
TensorFlow チュートリアルDeep MNIST for Expertsを試してみる