通用近似定理

人工神经网络数学理论中, 通用近似定理(或稱萬能近似定理)指出人工神經網路近似任意函數的能力[1]。 通常此定理所指的神經網路爲前饋神經網路,並且被近似的目標函數通常爲輸入輸出都在歐幾里得空間的連續函數。但亦有研究將此定理擴展至其他類型的神經網路,如卷積神經網路[2][3]放射狀基底函數網路[4]、或其他特殊神經網路[5]

此定理意味着神經網路可以用來近似任意的復雜函數,並且可以達到任意近似精準度。但它並沒有告訴我們如何選擇神經網絡參數(權重、神經元數量、神經層層數等等)來達到我們想近似的目標函數。

历史编辑

乔治·西本科于1989年证明了單一隱藏層、任意宽度、並使用S函數作爲激勵函數的前饋神經網路的通用近似定理[6]。科特·霍尼克(英語:Kurt Hornik)在1991年证明 ,激勵函數的選擇不是關鍵,前饋神經網路的多層神經層及多神經元架構才是使神经网络有成为通用逼近器的關鍵[7]

參見编辑

参考文献编辑

  1. ^ Nielsen, Michael. 4. Neural Networks and Deep Learning. Determination Press. 2015 [2020-08-27]. (原始内容存档于2017-07-29) (英语). 
  2. ^ Zhou, Ding-Xuan (2020) Universality of deep convolutional neural networks; Applied and computational harmonic analysis 48.2 (2020): 787-794.
  3. ^ A. Heinecke, J. Ho and W. Hwang (2020); Refinement and Universal Approximation via Sparsely Connected ReLU Convolution Nets; IEEE Signal Processing Letters, vol. 27, pp. 1175-1179.
  4. ^ Park, Jooyoung, and Irwin W. Sandberg (1991); Universal approximation using radial-basis-function networks; Neural computation 3.2, 246-257.
  5. ^ Yarotsky, Dmitry (2018); Universal approximations of invariant maps by neural networks.
  6. ^ Cybenko, G. (1989) "Approximations by superpositions of sigmoidal functions", Mathematics of Control, Signals, and Systems, 2(4), 303–314. doi:10.1007/BF02551274
  7. ^ Kurt Hornik (1991) "", Neural Networks, 4(2), 251–257. doi:10.1016/0893-6080(91)90009-T