Description

رس: د ا و د ب زاده اح: م ا ا زاده، ن ، ارش ر
: ۲۲ دی ۱۴۰۱، ۲۳:۵۹
2
2 Feed Forward:
2داده 3اول: ر و دازش داده 3دوم: ی 4م: ی داده 4اول) ا زش 5دوم) وزن د 5
5 learning rate (م
6 activation function (رم
6 (ا زی) batch size (
7 Keras و راTensorflow رم) ا ده از
7 TensorFlow وKeras اول) ا ده دن داده و ا ی 7دوم) ر ات و ا ت: 8
8 :(ا زی) optimizer
9 epoch: اد
9 Loss Function:
9 :(ا زی) regularization
9
:Feed Forward
ی از ر ر ی د ی در ل ی ا ا ا رت
داز ه ، ر د ی ری در زه ی و ا د ها . از ا ی ا ا ر ان ا ا ن
د ا را ا ده از دو ی از رون زد. ا ا ن ده زی و د ی ا
و ی ان ا . در وژه ده زی یFeed Forward یو داز .

در یFeed Forward در درس ان ا ، ا ا ه و رت دار انورودی داده د. درا ا دار (دل ) و ای ان ب د. ار ا
ا س ا و و ت از ان ،وزن ا ت و را را ری ، و ان دا ، س ورودی را در .

در ا ، در اول ده زی یFeed Forward از و ا ده ازNumPy داز .
ا ا ،Notebook از ده زی در ا ر ار د زم ا از ان ا ده .
در دوم، ی اول، ی را روی داده ی داده ه ا زش ا داد و از ا
را در ا د ی ر ا د. در ا ی ا ده ای ده زی ی ا ا .
ای را ا ده از و ا م ت، ا از وGoogle Colab ا ده .
داده ر ا(Arabic Handwritten Characters Dataset) در اول ا داده ا ی د
د. داده و ی از ۲۸ ف ا ی در ز ن ا . در ع 16800 در ا داده دا. ا ت را داده و اد و ر در داده را ا ا ا .

ت داده رت ز ا .
AI-CA5
├── TrainImgs.csv
├── TrainLabels.csv
├── TestImgs.csv
TestLabels.csv──├ر ا داده ا رت ا ن، ار از32×32 ا و اreshape دن ا ، را ه .
اول: ر و دازش داده
● در دادهtrain ، از س د اه ا ب ده و د . ای ، ان را
( ا دهmatplotlib اه د . (از
● د در ود های ار د؟
● اد داده ی د و اد س ی د را پ .
● ۱۶ س اول (1 16) از ۲۸ س د را از دادهtrain وtest د ا ب . در ادا ا
۱۶ س ر ا د.
● اد و د را ای دادهtrain وtest و ای ان دار ای ر .
● ار داده را ایscale از ا ت دادن ، ارpixel 0 1 . دررت ا م ادن ا ر ا رخ د ؟
● ای One Hot Encoding ا م د و د ا ر را ح د . ار ط ا ع ا ر ی ا د را ن .
دوم: ی
Notebook ی رد ز ای ده زیFeed Forward ا د ه و در ا
ی ا ، ً سFeedForwardNN ا دا ان ا ی
Feed Forward ری ی ده و ا زش د . را ی رد از روشSGD در اا زش روزر ا . ی ف ه از زم ا ا را ،TODO # ها .
م: ی داده
FeedForwardNN را ی سFeed Forward در ا ده زی و ا زش ی
FeedForwardNN ل از هی ا ده از س، NoteBook ازTraining Sample داز . در . ده زی ی اورده ه ا
ی ا و ان را ط ی ز ا زش د :
. 0.005 learning rate ار.1
. 100 epoch اد.2
. 32 batch_size ا ازه.3
4. ل زReLU در م ا ده د. ( اIdentical ا .)
5. از وزن د اوuniform وnormal ا ده .
در م ی ا ه، د را رت ض ط ی ه اور و را ی ا ه
در را د .
اول) ا زش
● ی ط ی ه را ا و ا زش د .( ا از ای درTraining
Sample ار ا ده .)
● ری ( اد و اد رون در ) را ری د د ی .
دوم) وزن د
ار او وزن در ا زش ا دارد.
● ا ار او م وزن ی ا ار د و را ا زش داد ، ان د؟ و را
( در ان وزن رت ار د ارد او )، . ( زی ده زی )م)learning rate
. learning rate ، ی را ی در ا زش دادن از
را ا ) ( 10 ا ) و ( 0.1 ار learning rate ر ر را ای ●
و . اور. د را
اورد ها ا ده . ای learning rate م ی ، از ای
activation function (رم
● د ی ا ه در اول راActivation Function ی ز و را .
Sigmoid ل ز○
Hyperbolic Tangent ل ز○
Leaky ReLU ل ز○
● د اTanh وSigmoid د ای ا د ار را ن .
● ؟Relu Leaky Relu
. در ی ا دهactivation function در ادا ، از:
(ا زی) batch size (
● د را ازایbatch size د 16 و 256 اور . د را و
.
● ا ده ازbatch در ا ا زش ؟ ا وbatch size ر و ر رگ را ح د .
Keras و راTensorflow رم) ا ده از
Keras وTensorFlow
ی ا ا ر و ر د روز ا ون ان در ،framework یر ر ی ای در و ا زش ی ر ه و رار ه ا . در ا دارTensorFlow وا ده از را یKeras از ط ی را ر
.
ا د ا دو ( درFeed Forward Keras در ا را
ی ورودی و و (softmax) ا دارای ۴ ). د ان از ی
. ا دهRecurrent وConvolution ی
دادهCIFAR-10 ای از و ا ً ای ا زش ا ر ی د ی و ا ده د. ا د از ر د ی داده ای ت د ی ا . دادهCIFAR-10 60,000 ر 32×32 در 10 س ا . 10 س ا ، ، ه، ، ا ، ، ر ،ا ، و ن را ن د . از س 6000 و د دارد.

اول) ا ده دن داده و ا ی
: دtensorflow.keras.datasets را ازCIFAR-10 د
● و را رت دار یreshape .
● تNormalization را ای و ا م د .
● . OneHot to_categorical را ا ده ازtest وtrain ی
: ا ز اSequential ل ی
● ز از عSGD .
. 0.01 learning rate ار●
. 10 epoch اد●
. 32 batch_size ا ازه●
● ل زی م از اRELU .
★ ۱: ارbatch_size در ا ی 32 ا ا ر ذ د ان را د .★ ۲: در ا ، از ا مepoch دار ارloss وaccuracy درepoch را ر
.
★ ای داده یprecision, recall, F1 ر یepoch در ا ، از ا م:۳.و پ د
از ا د ر ا داده ه اد را ی را پ ده و ا اد پ ه را(ای پ اد را ا از راKeras ا ده و زی ده زی د ن ). لر د را ای د ارF1 ای روی داد هی ا د د( ا از ر ی ا ده ). ای از ر ا ده . (ای د اوردن
ا ا ل ز د یtanh وLeaky RELU و …learning rate ی را ر ) دوم) ر ات و ا ت:
:(ا زی) optimizer
●momentum و ا ا ده از ان درtrain ا ؟● ل راmomentum ا 0.5 و 0.9 و 0.98 د و را .
● ا اره ا اmomentum د ؟ د .
● از رoptimizer در ا دادن ل ر ا ده د،Adam ا . ل د راا ده ازAdam د و راSGD ی . در ی ی ازAdam ا ده
(از خ او ض ایAdam train ا ده ار ان 0.001 ا ).
:epoch اد
● ا در ز ان ا درepoch ؟ د ا ؟
● ا اره ا ده از ادepoch ی ای ا ؟ ا اب ا ، د د راد و ا اب ا، راه ی ا ق رخ د را ن .
● (ا زی ده زی ارد و ا ای ا دن ا ت از زی )
:Loss Function
categorical cross entropy د و را MSE را ا ده از ر●
.
● ا ا ده ازMSE ایclassification ؟ ز از ا ا ده ؟
:(ا زی) regularization
از ت ی در دادن ی ،overfitting ا . در ا ر راه ی ا ع
داز .
● ا ده از راkeras ایdropout ار 0.1 ار د . ا ده ازdropout در و را د . ا ده از ا را .
ای د ی وع رKeras ا از ا .
ای ا زش ه ا ده ازGoogle Colab ا از ا ا ا ده .
. Adam Optimizer در ا در ر هی
در ا در ر هی روش یregularization .
ت
● د ف وژه و ا ا ؛ ا از ا ار ی داده ر ل دار
ا ده و ت ط از وژه را ر و در ل در ارش د ذ .
● ا ۱۰ ه ا زی ا ؛ ع رم ی ا ۱۱۰ ا د.● و ارش د را در ده انAI-CA5-<#SID>.zip د . ت
jupyter-notebook، وhtml و ی رد ز ای ا ای ان . و و ی ا
ه از ه ا را د . از در و ی رد ز درhtml .
● دا وه ار ل ی وژه، ا وژه رت ری ا . ا م ی وژه ا ای د در ز ن ری را دا . در رت م ر در
ری های در ا د.
● د رر ا در رد وژه دا ا در وم وه درس ح از ان ا ده ؛ درا رت ا ن در ار ط .
● ف از ، د ی . را د ن ا م د .
.