NoteJ++

Activation Function: RNN常用tanh，CNN常用relu。 在Generative Model或者Regression Model時要特別注意，tanh會讓值域限縮在-1~1之間，relu會讓<0值的gradient整個歸0（如果有後續應用要...

我的研替旅程 蠻意外也不意外的，尋找研替的過程，收穫更多的是工作以外的價值。 記得一開始和一群社團學長聚餐，得知竟然有些人在五六月就確定 offer ，當下突然覺得恐慌，空閒時間準備好 104 履歷便開始找工作。 五六月時幾乎大部分的研替職缺都還沒有開放， ...

20170816 @ MediaTek  基本關：9:00 ~ 10:00 C語言 p++, ++p, #macro... etc. 上機（IDE實在有夠難用） 把出現指定prefix的字串刪掉 把矩陣transpose 部門面試（多媒體，網...

探討Machine Learning中常用的KL Divergence，Cross Entropy, Maximum Likel意義 [Log] 訊息量：通常會用log來描述某個機率隨機變數X發生x事件的訊息量。 I(X=x) = -log( P(X=x) ) I ...