變分自編碼器(Variational Autoencoder, VAE)通俗教程

1. 神秘變量與數據集

現在有一個數據集DX(dataset, 也可以叫datapoints),每個數據也稱為數據點。
我們假定這個樣本受某種神秘力量操控,但是我們也無從知道這些神秘力量是什么?那么我們假定這股神秘力量有n個,起名字叫\(power_1, power_2,…, power_n\)吧,他們的大小分別是\(z_1, z_2, …, z_n\),稱之為神秘變量表示成一個向量就是

\(
z =
\left(
\begin{array}{c}
z_1\\
z_2\\
\vdots\\
z_n
\end{array}
\right)
\)

z也起個名字叫神秘組合。

一言以蔽之:神秘變量代表了神秘力量神秘組合關系。
用正經的話說就是:隱變量(latent variable)代表了隱因子(latent factor)的組合關系。 Read more

人工智能任務的分類

本文主要提出一種智能任務分類方法,希望未來可以有利于智能系統的設計和評估。

本稿屬于2016年06月24日初稿,后續會不斷修訂更新,轉載須注明出處。

 

人工智能任務的分類

鄧范鑫

為了實現AI-Complete(AI-Hard,AI完全)問題,我們需要一些測量方法,最著名的測量方法當屬圖靈測試。一個可以解決AI完全問題的機器應該在必要輔助的設備幫助下,可以完成人類能夠完全的所有任務,亦即它像人類一樣的智能(Intelligent),我們便稱其為強人工智能(True AI或Strong AI)。這些人類可以完成的任務,我們稱之為人工智能任務,簡稱AI任務,AI任務有不同的難易程度,所謂難易是基于所需要的智力資源的多少,一般呈現到科學技術領域,表現出來的是越容易模擬實現的AI任務越簡單,越難于模擬實現的任務越困難,目前還有很多AI任務,除人類以外沒有任何對象可以完成。 Read more

維度災難與降維

本文將分析和討論人類智能應對維度災難的解決方案,應對維度災難的核心解決方案是降維,那么如何降維,降維的信息如何利用從而來完成智能任務呢?降維作為一個通用的處理原則,它反映在智能處理的各個方面,下面讓我為您一一道來。

維度災難是傳統算法在完成智能任務時面對的巨大挑戰,而在自然界,生物所面臨的世界是極度復雜的,理論上的輸入維度可以無窮大,面對維度災難,具有強烈適應性的生物一般都具有自己的處理方案,隨著處理方式的簡單到復雜反映了智力的從低到高,人類之所以成為萬物之首,究其原因是在應對復雜局面時有更高級的應對辦法,這就是高級智能的結果。通過分析這些適者生存的各類生物的生存能力,我們會發現,在整個生物鏈上,越是低等的動物,他們的腦越小,意味著能夠處理的信息能力有限,因為在面對這個復雜的世界時,會盡力減少輸入的信息量,只選擇對自己最有價值的信息,如參考資料[1]中提到的,不真實性問題就是對降維的觀察,想象一下帶有觸角的昆蟲,觸角將整個世界的可能輸入轉變為兩個觸角的探測,這遠比視覺的輸入維度要低的多。當然,并不是所有的感覺輸入都是降維的,聽覺系統就是一個典型的升維操作,通過耳蝸分頻使得大腦可以處理復雜的序列信息,升維的目的在于提高輸入信息的豐富性,這是因為高維信息隱藏在低維表示中,值得一提的是,大腦皮層似乎沒有升維能力,必須借助特定的器官才行。

Read more

深度學習與類人智能目標還有多遠?

卷積神經網絡
卷積神經網絡

上圖是CNN,卷積神經網絡,經典的深度學習網絡模型。
深度學習近幾年真是風光無限,各大IT公司都斥巨資投入相關的研究,從事相關研究的研究員也已經不計其數,業界的大神的名字想必你也聽出了繭子,深度學習從2006年一路走來發達的故事估計網上也是鋪天蓋地,本文就不贅述了。

本文主要探討深度學習本身的價值和弊端。

深度學習的成功之處在于采用了分層訓練機制,即逐層初始化后,再進行全局性回歸迭代。而分層思想正好與人腦的分層機制保持了一致,從腦神經學的研究成果和深度學習算法的實踐都讓大家開始認同,分層機制是智能的核心機制之一。雖然數學上大家對于深度學習在傳統機器學習領域的進步原因沒有理論上的說明,但是從大的方向上,我認為這一步是對的,因為分層機制和自然界的組成模式高度吻合,充分發揮計算效率的最佳辦法就是最小化表示,最大化容量。 Read more

河北彩票20选5开奖查询