　なかなか癖の強い字（癖数字かな）を書く人がいます。　これらのイメージは学習には使っていません。やはり、見たことのない癖数字は間違えるもなのかもしれません。

【6】その他の実装

　ここまででディープラーニングについての体験的な学習は終了することになります。この学習では、基本テキストとして書籍「ゼロから作るDeepLearning」を使用してきましたが、いくつもの項目について省略しています。実装省略した項目を紹介して於きます。

1）活性関数　　活性関数はいろいろなものがあるようです。どれがどのような学習に適しているのかはよく分かりません。　この学習のはじめではシグモイド関数を採用しましたが、最後にはReLU関数も実装しています。CNNにはReLU関数、全結合にはシグモイド関数がいいのかなという感覚で実装しています。そして、ステップ関数は実装しませんでした。　この段階では、活性関数はまだ発展途上中で、決定打がないように思われます。（最近の情報ではありません。）

2）エポック（epoch）　学習データを何回相当使ったかの単位。MNISTの学習データは6万個なので、バッチ数×学習回数／6万　がMNISTのエポック数となる。ニューラルネットワークの学習効率を示す指標となるが、私的には計算効率の方が実用的だと思ったので実装・評価しませんでした。最後の99％の認識は60×2万／6万で60エポックである。

3）計算グラフ　連鎖率の逆伝搬を説明して理解する方法です。しかし、この学習では計算グラフ使用しませんでした。従来からの連鎖率（合成関数の微分）を計算式に使用しました。合成関数の微分式にまだ慣れていないなら計算グラフへの乗り換えもあるかもしれません。ただ、計算グラフの他への展開については分からなかったのも理由で、避けました。

4）パラメータの更新　この学習ではパラメータ更新はSDG：確率的勾配降下法だけでした。他に、Momentum、AdaGrad、Adamなどの更新方法があるということです。これらの方法は適切に適用すると早い収束結果を得られるようになります。いくつかの更新方法の実装をしたのですが、これにも適切な初期パラメータの設定が必要でした。ニューラルネットワーク学習の初級としては、基本的なパラメータの最適化も出来ていないので、パラメータ更新方法の評価は次のことと思われたので、紹介からは省略しました。

5）重みの初期値、Batch Normalization、正規化　　これらの重要な技術として紹介をされていますが、まだ発展途上の先端技術ということです。重み初期値を0にしない方がよいという点だけは取り入れていますが、その他は実装による大幅な改善が在るとは思われなかったので、実装検証は省略しました。

６）CNN多層化　　CNNを多層化するとエポック数での学習効率は上がると思われ、今回の記事のプログラムではCNNの多層化は割と簡単にできると思います。しかし、多層化による処理時間の延長も発生します。非力な自宅PCでの実装には不向きの様でした。

【　最終回あとがき　】

　ニューラルネットワークによるデープラーニングはこれで一応の終了です。　テキスト「ゼロから作るDeepLearning」の主要な内容をほぼ終えて、入門段階が終了といえます。　しかし、先端技術からは既に10年近くの遅れです。今や、チャットGTPが普及し始めて、GPU供給するのNVIDIAが業界のトップに飛躍しています。フェイク映像が社会問題ともなっています。　個人の趣味的なレベルとしては、実用に向けたデープラーニングの展開が出来れればという程度です。AIの発展速度は個人的な学習速度よりも早く発展しているようで、その差は開いていくばかりにも思えます。

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　2024年4月1日　公開

　　　　　　　　　　　＊🐭＊🐍＊🐭＊🐍＊🐭＊🐍＊🐭＊🐍＊🐭＊

science