在tensorflow中，經(jīng)常會遇到參數(shù)初始化問題，比如在訓(xùn)練自己的詞向量時，需要對原始的embeddigs矩陣進行初始化，更一般的，在全連接神經(jīng)網(wǎng)絡(luò)中，每層的權(quán)值w也需要進行初始化。
tensorlfow中應(yīng)該有一下幾種初始化方法
|
1
2
3
4
5
6
7
8
9
|
1. tf.constant_initializer() 常數(shù)初始化2. tf.ones_initializer() 全1初始化3. tf.zeros_initializer() 全0初始化4. tf.random_uniform_initializer() 均勻分布初始化5. tf.random_normal_initializer() 正態(tài)分布初始化6. tf.truncated_normal_initializer() 截斷正態(tài)分布初始化7. tf.uniform_unit_scaling_initializer() 這種方法輸入方差是常數(shù)8. tf.variance_scaling_initializer() 自適應(yīng)初始化9. tf.orthogonal_initializer() 生成正交矩陣 |
具體的
1、tf.constant_initializer()，它的簡寫是tf.Constant()
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
#coding:utf-8import numpy as np import tensorflow as tf train_inputs = [[1,2],[1,4],[3,2]]with tf.variable_scope("embedding-layer"): val = np.array([[1,2,3,4,5,6,7],[1,3,4,5,2,1,9],[0,12,3,4,5,7,8],[2,3,5,5,6,8,9],[3,1,6,1,2,3,5]]) const_init = tf.constant_initializer(val) embeddings = tf.get_variable("embed",shape=[5,7],dtype=tf.float32,initializer=const_init) embed = tf.nn.embedding_lookup(embeddings, train_inputs) #在embedding中查找train_input所對應(yīng)的表示 print("embed",embed) sum_embed = tf.reduce_mean(embed,1)initall = tf.global_variables_initializer()with tf.Session() as sess: sess.run(initall) print(sess.run(embed)) print(sess.run(tf.shape(embed))) print(sess.run(sum_embed)) |
4、random_uniform_initializer = RandomUniform()
可簡寫為tf.RandomUniform()
生成均勻分布的隨機數(shù)，參數(shù)有四個（minval=0, maxval=None, seed=None, dtype=dtypes.float32)，分別用于指定最小值，最大值，隨機數(shù)種子和類型。
6、tf.truncated_normal_initializer()
可簡寫tf.TruncatedNormal()
生成截斷正態(tài)分布的隨機數(shù)，這個初始化方法在tf中用得比較多。
它有四個參數(shù)（mean=0.0, stddev=1.0, seed=None, dtype=dtypes.float32)，分別用于指定均值、標準差、隨機數(shù)種子和隨機數(shù)的數(shù)據(jù)類型，一般只需要設(shè)置stddev這一個參數(shù)就可以了。
8、tf.variance_scaling_initializer()
可簡寫為tf.VarianceScaling()
參數(shù)為（scale=1.0,mode="fan_in",distribution="normal",seed=None，dtype=dtypes.float32)
scale: 縮放尺度（正浮點數(shù)）
mode: "fan_in", "fan_out", "fan_avg"中的一個，用于計算標準差stddev的值。
distribution：分布類型，"normal"或“uniform"中的一個。
當 distribution="normal" 的時候，生成truncated normal distribution（截斷正態(tài)分布） 的隨機數(shù)，其中stddev = sqrt(scale / n) ，n的計算與mode參數(shù)有關(guān)。
如果mode = "fan_in"， n為輸入單元的結(jié)點數(shù)；
如果mode = "fan_out"，n為輸出單元的結(jié)點數(shù)；
如果mode = "fan_avg",n為輸入和輸出單元結(jié)點數(shù)的平均值。
當distribution="uniform”的時候 ，生成均勻分布的隨機數(shù)，假設(shè)分布區(qū)間為[-limit, limit]，則 limit = sqrt(3 * scale / n)
以上這篇關(guān)于tensorflow的幾種參數(shù)初始化方法小結(jié)就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持服務(wù)器之家。
原文鏈接：https://blog.csdn.net/liushui94/article/details/78947956
