デフォルトのコード

import numpy as np

import matplotlib.pyplot as plt 



#sigmoid関数を定義

def sigmoid(x):

    return 1/(1+np.exp(-x))



x = np.linspace(-8,8,1000)

y = sigmoid(x)



#sigmoid関数を描画

fig = plt.figure()

ax = fig.add_subplot(111)

ax.plot(x,y)

plt.grid()

plt.show()

デフォルトのコード

import numpy as np

import matplotlib.pyplot as plt 



#一般sigmoid関数を定義

def sigmoid(x, a):

    return 1/(1+np.exp(-a*x)) #aは温度パラメータの逆数



#x軸

x = np.linspace(-8,8,1000)



#aの値(0.1から1まで約0.1間隔で変化させる)

a = np.linspace(0.1, 1.0, 10)



#描画

fig = plt.figure(figsize = (12, 12))

for i in range(len(a)):

    text = "a = "+str(a[i])

    ax = fig.add_subplot(5, 5, i+1, title = text)

    ax.plot(x, sigmoid(x, a[i]))



fig.subplots_adjust(wspace=0.5, hspace=0.5)

plt.show()

デフォルトのコード

import numpy as np

import matplotlib.pyplot as plt 



#微分後のsigmoid関数を定義

def grad_sigmoid(x):

    return np.exp(-x)/(1+np.exp(-x))**2



x = np.linspace(-5,5,100)

y = grad_sigmoid(x)



#描画

fig = plt.figure()

ax = fig.add_subplot(111)

ax.plot(x,y)

plt.grid()

plt.show()

デフォルトのコード

import numpy as np



#Softmax関数を定義

def soft_max(x):

    return np.exp(x) / np.sum(np.exp(x))



#入力値

X = np.array([5, 3, 4])



#Softmax関数に代入

y = soft_max(X)



#出力値を表示

print(y) 



#出力値の合計値を表示

print(np.sum(y))

デフォルトのコード

import numpy as np

import matplotlib.pylab as plt



#ReLU関数の定義

def relu(x):

    return np.maximum(0, x)



x = np.linspace(-8,8,1000)

y = relu(x)



#ReLU関数を描画

fig = plt.figure()

ax = fig.add_subplot(111)

ax.plot(x,y)

plt.grid()

plt.show

デフォルトのコード

import numpy as np

import matplotlib.pylab as plt



#Leaky ReLU関数の定義

def leakyrelu(x):

    return np.where(x > 0, x , 0.05 * x) #見やすくするために、ここでは便宜的に0.01ではなく0.05をかけています



#ReLU関数(比較用)

def relu(x):

    return np.maximum(0, x)



x = np.linspace(-5,5,1000)

y = leakyrelu(x)

y_r = relu(x)



#Leaky ReLU関数、ReLU関数を描画

fig = plt.figure()

ax = fig.add_subplot(111)

ax.plot(x, y, label = "leakyrelu")

ax.plot(x, y_r, label = "relu")

plt.legend()

plt.grid()

plt.show()

デフォルトのコード

import numpy as np

import matplotlib.pyplot as plt



#近似1

def geluap1(x):

    return 0.5 * x * (1 + np.tanh(np.sqrt(2 / np.pi) * (x + 0.044715 * x**3)))



#近似2

def geluap2(x):

    return x/(1+np.exp(-1.702*x))  



# -3から3までの範囲で等間隔に点を生成

x = np.linspace(-4, 4, 100)



# GELU関数の値を計算

y1 = [geluap1(xi) for xi in x]
y2 = [geluap2(xi) for xi in x]


# プロット

plt.plot(x, y1, label="gelu aprox1")

plt.plot(x, y2, label="gelu aprox2")

plt.title("GELU Function")

plt.xlabel("x")

plt.ylabel("GELU(x)")

plt.grid(True)

plt.legend()



plt.show()

デフォルトのコード

import numpy as np

import matplotlib.pyplot as plt



#tanh関数の定義

def tanh(x):

    y = (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))

    return y



x = np.linspace(-8,8,1000)

y = tanh(x)



#ReLU関数を描画

fig = plt.figure()

ax = fig.add_subplot(111)

ax.plot(x,y)

plt.grid()

plt.show()

デフォルトのコード

import numpy as np

import tensorflow as tf

import matplotlib.pyplot as plt



#MNISTデータをロード

mnist = tf.keras.datasets.mnist



#最初から訓練用と試験用にわかれている

(X_train, y_train), (X_test, y_test) = mnist.load_data(path='/mnt/lib/ztodataset/mnist.npz')



#データの値が0から1までの間となるように正規化

X_train, X_test = X_train/255.0, X_test/255.0



class Net(tf.keras.Model): #tf.keras.Modelを継承したクラスとして作成

    def __init__(self):

      super(Net,self).__init__()

      self.f1 = tf.keras.layers.Flatten(

          input_dim = (28, 28)

      )



      self.f2 = tf.keras.layers.Dense(

          units = 128,

          activation = 'sigmoid'          #活性化関数はシグモイド関数

      )



      self.f3 = tf.keras.layers.Dense(

          units = 10,

          activation = 'softmax'          #最後だけ活性化関数はSoftmax

      )



    #順伝搬処理

    def call(self, x, training = None):

      x = self.f1(x)

      x = self.f2(x)

      y = self.f3(x)

      return y      



#モデルをNetクラスのインスタンスとして生成

model = Net()



#コンパイル

model.compile(optimizer='adam',

              loss='sparse_categorical_crossentropy',

              metrics=['accuracy'])



history = model.fit(X_train, y_train,

                    batch_size=100,

                    epochs=10,

                    verbose=1,

                    validation_data=(X_test, y_test)

                    )



#描画

plt.plot(history.history['loss']) #fit()メソッドの出力に保存されている損失を描画

plt.show()



test_loss, test_acc = model.evaluate(X_test, y_test, verbose=2)

print('Test accuracy:', test_acc)



#予測

predictions = model.predict(X_test)



#予測結果

print(np.argmax(predictions[0]))



#実際の値

print(y_test[0])