维基百科

User:pdeantihuman/沙盒

< User:Pdeantihuman


2022年1月1日；1950；2013；2014年8月26日；2016年3月21日；2017年1月1日；2018年1月1日；2019年1月1日；2020年1月1日

Ventoy
Ventoy 1.0.54
開發者www.ventoy.net
源代码库github.com/ventoy/Ventoy
操作系统Windows、Linux
许可协议GPLv3+
网站www.ventoy.net

libev 是一个全功能和高性能的事件循环库，libev 参考并模仿了 libevent 和 perl 模块 Event[2]。它用于GNU虚拟专用以太网[3]、rxvt-unicode[4]、auditd[5]、Deliantra MORPG[6]服务器和客户端以及许多其他程序。

libev
原作者Marc Lehmann, Emanuele Giaquinta.
编程语言C語言
类型網路函式庫
许可协议GPLv2[7]

libev 由 Marc Lehmann 和 Emanuele Giaquinta 创建，以GPLv2协议发布[8]。

与 libevent 的区别 编辑

在设计理念上，创建 libev 是为了改进 libevent 中的一些架构决策[9]。例如，

  • 全局变量的使用使得在多线程环境中很难安全地使用libevent。
  • 观察器结构很大，因为它们将输入/输出、时间和信号处理程序合二为一。
  • 额外的组件(如http和dns服务器)的实现质量参差不齐。
  • 计时器不精确，不能很好地处理时间跳跃。

Libev 的解决方案是

  • 不使用全局变量，而是每个函数都有一个循环上下文。
  • 对每种事件类型使用小的观察器(一个I/O观察器在 x86_64 机器上使用 56 字节，而用 libevent 的话使用136字节)。
  • 没有 http 库等组件。libev 的功能非常少。
  • 允许更多事件类型，例如基于Wall Clock或者单调时间的计时器、线程间中断等等。

更简单地说，libev 的设计遵循UNIX工具箱的哲学，尽可能好地只做一件事。

libev
原作者Marc Lehmann, Emanuele Giaquinta.
编程语言C語言
类型網路函式庫
许可协议GPLv2[10]

參考資料 编辑


CNN  编辑

机器学习与数据挖掘
 
范式
问题
聚类分析
降维
结构预测（英语：Structured prediction）
异常检测
人工神经网络
强化学习
与人类学习
模型诊断
数学基础
大会与出版物
相关条目

卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，[11]对于大型图像处理有出色表现。

卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，卷积神经网络需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构[12]。

定义 编辑

“卷积神经网络”表示在网络采用称为卷积的数学运算。卷积是一种特殊的线性操作。卷积网络是一种特殊的神经网络，它们在至少一个层中使用卷积代替一般矩阵乘法

概览 编辑

发展 编辑

结构 编辑

卷积神经网络结构由一个输出层，一个输出层以及多个隐藏层组成。CNN的隐藏层一般包含多个卷积层。激活函数一般是一个 ReLU 层。后面跟的是附加的层，例如卷积层，完全连接层和

卷積層 编辑

卷积层是由一系列参数滤波器，卷積層是一組平行的特徵圖（feature map），它通過在輸入圖像上滑動不同的卷積核並執行一定的運算而組成。此外，在每一個滑動的位置上，卷積核與輸入圖像之間會執行一個元素對應乘積並求和的運算以將感受野內的信息投影到特徵圖中的一個元素。這一滑動的過程可稱爲步幅  ，步幅   是控制輸出特徵圖尺寸的一個因素。卷積核的尺寸要比輸入圖像小得多，且重疊或平行地作用於輸入圖像中，一張特徵圖中的所有元素都是通過一個卷積覈計算得出的，也即一張特徵圖共享了相同的權重和偏置項。

線性整流層 编辑

線性整流層（Rectified Linear Units layer, ReLU layer）使用線性整流（Rectified Linear Units, ReLU） 作为這一層神經的激勵函數（Activation function）。它可以增强判定函数和整个神经网络的非线性特性，而本身并不会改变卷积层。

事实上，其他的一些函数也可以用于增强网络的非线性特性，如双曲正切函数  ,  ，或者Sigmoid函数 。相比其它函数来说，ReLU函数更受青睐，这是因为它可以将神经网络的训练速度提升数倍[13]，而并不会对模型的泛化准确度造成显著影响。

池化層 编辑

 
步幅为2，池化窗口为 的最大池化层

池化（Pooling）是卷积神经网络中另一个重要的概念，它实际上是一种非线性形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。

直觉上，这种机制能够有效地原因在于，一个特征的精确位置远不及它相对于其他特征的粗略位置重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的网络结构中的卷积层之间都会周期性地插入池化层。池化操作提供了另一种形式的平移不变性。因为卷积核是一种特征发现器，我们通过卷积层可以很容易地发现图像中的各种边缘。但是卷积层发现的特征往往过于精确，我们即使高速连拍拍摄一个物体，照片中的物体的边缘像素位置也不大可能完全一致，通过池化层我们可以降低卷积层对边缘的敏感性。

池化层每次在一个池化窗口（depth slice）上计算输出，然后根据步幅移动池化窗口。下图是目前最常用的池化层，步幅为2，池化窗口为 的二维最大池化层。每隔2个元素从图像划分出 的区块，然后对每个区块中的4个数取最大值。这将会减少75%的数据量。

 

除了最大池化之外，池化层也可以使用其他池化函数，例如“平均池化”甚至“L2-范数池化”等。过去，平均池化的使用曾经较为广泛，但是最近由于最大池化在实践中的表现更好，平均池化已经不太常用。

由于池化层过快地减少了数据的大小，目前文献中的趋势是使用较小的池化滤镜，[14]甚至不再使用池化层。[15]

RoI池化(Region of Interest)是最大池化的变体，其中输出大小是固定的，输入矩形是一个参数。[16]

池化层是基于 Fast-RCNN [17]架构的卷积神经网络的一个重要组成部分。

完全连接层 编辑

最后，在经过几个卷积和最大池化层之后，神经网络中的高级推理通过完全连接层来完成。就和常规的非卷积人工神经网络中一样，完全连接层中的神经元与前一层中的所有激活都有联系。因此，它们的激活可以作为仿射变换来计算，也就是先乘以一个矩阵然后加上一个偏差(bias)偏移量(向量加上一个固定的或者学习来的偏差量)。

损失函数层 编辑

损失函数层（loss layer）用于决定训练过程如何来“惩罚”网络的预测结果和真实结果之间的差异，它通常是网络的最后一层。各种不同的损失函数适用于不同类型的任务。例如，Softmax交叉熵损失函数常常被用于在K个类别中选出一个，而Sigmoid交叉熵损失函数常常用于多个独立的二分类问题。欧几里德损失函数常常用于标签取值范围为任意实数的问题。

应用 编辑

影像辨識 编辑

卷积神经网络通常在影像辨識系统中使用。

視訊分析 编辑

相比影像辨識问题，視訊分析要难许多。CNN也常被用于这类问题。

自然语言处理 编辑

卷积神经网络也常被用于自然语言处理。 CNN的模型被证明可以有效的处理各种自然语言处理的问题，如语义分析[18]、搜索结果提取[19]、句子建模[20] 、分类[21]、预测[22]、和其他传统的NLP任务[23] 等。

药物发现 编辑

卷积神经网路已在药物发现中使用。卷积神经网络被用来预测的分子与蛋白质之间的相互作用，以此来寻找靶向位点，寻找出更可能安全和有效的潜在治疗方法。

围棋 编辑

参见：AlphaGo李世乭五番棋

卷积神经网络在计算机围棋领域也被使用。2016年3月，AlphaGo对战李世乭的比赛，展示了深度学习在围棋领域的重大突破。

微调（fine-tuning） 编辑

卷积神经网络（例如Alexnet、VGG网络）在网络的最后通常为softmax分类器。微调一般用来调整softmax分类器的分类数。例如原网络可以分类出2种图像，需要增加1个新的分类从而使网络可以分类出3种图像。微调（fine-tuning）可以留用之前训练的大多数参数，从而达到快速训练收敛的效果。例如保留各个卷积层，只重构卷积层后的全连接层与softmax层即可。

經典模型 编辑

可用包 编辑

  • roNNie: 是一個簡易入門級框架,使用Tensorflow 計算層.可於python下載 pip3 ronnie
  • Caffe: Caffe包含了CNN使用最广泛的库。它由伯克利视觉和学习中心（BVLC）研发，拥有比一般实现更好的结构和更快的速度。同时支持CPU和GPU计算，底层由C++实现，并封装了Python和MATLAB的接口。
  • Torch7（www.torch.ch）
  • OverFeat
  • Cuda-convnet
  • MatConvnet
  • Theano：用Python实现的神经网络包[24]
  • TensorFlow
  • Paddlepaddle(www.paddlepaddle.org)
  • Keras

参考 编辑

  1. ^ Ventoy releases. GitHub. ventoy.net. [2021-04-22]. （原始内容存档于2021-04-10）. 
  2. ^ libev 的 README. [2020-02-25]. 
  3. ^ gvpe. software.schmorp.de. [2020-02-24]. 
  4. ^ rxvt-unicode. software.schmorp.de. [2020-02-24]. 
  5. ^ Audit. people.redhat.com. [2020-02-24]. 
  6. ^ Deliantra MMORPG. www.deliantra.net. [2020-02-24]. 
  7. ^ LICENSE. Github. [25 Feburary 2020]. 
  8. ^ LICENSE. [2020-02-25]. 
  9. ^ What's the difference between libev and libevent?. Stack Overflow. [2020-02-24]. 
  10. ^ LICENSE. Github. [25 Feburary 2020]. 
  11. ^ Convolutional Neural Networks (LeNet) - DeepLearning 0.1 documentation. DeepLearning 0.1. LISA Lab. [31 August 2013]. 
  12. ^ Convolutional Neural Network. [2014-09-16]. 
  13. ^ Krizhevsky, A.; Sutskever, I.; Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems. 2012, 1: 1097–1105. （原始内容存档于2015-02-16）. 
  14. ^ Graham, Benjamin. Fractional Max-Pooling. 2014-12-18. arXiv:1412.6071   [cs.CV]. 
  15. ^ Springenberg, Jost Tobias; Dosovitskiy, Alexey; Brox, Thomas; Riedmiller, Martin. Striving for Simplicity: The All Convolutional Net. 2014-12-21. arXiv:1412.6806   [cs.LG]. 
  16. ^ Grel, Tomasz. Region of interest pooling explained. deepsense.io. 2017-02-28 （英语）. 
  17. ^ Girshick, Ross. Fast R-CNN. 2015-09-27. arXiv:1504.08083   [cs.CV]. 
  18. ^ Grefenstette, Edward; Blunsom, Phil; de Freitas, Nando; Hermann, Karl Moritz. A Deep Architecture for Semantic Parsing. 2014-04-29. arXiv:1404.7296   [cs.CL]. 
  19. ^ Learning Semantic Representations Using Convolutional Neural Networks for Web Search – Microsoft Research. research.microsoft.com. [2015-12-17]. 
  20. ^ Kalchbrenner, Nal; Grefenstette, Edward; Blunsom, Phil. A Convolutional Neural Network for Modelling Sentences. 2014-04-08. arXiv:1404.2188   [cs.CL]. 
  21. ^ Kim, Yoon. Convolutional Neural Networks for Sentence Classification. 2014-08-25. arXiv:1408.5882   [cs.CL]. 
  22. ^ Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning."Proceedings of the 25th international conference on Machine learning. ACM, 2008.
  23. ^ Collobert, Ronan; Weston, Jason; Bottou, Leon; Karlen, Michael; Kavukcuoglu, Koray; Kuksa, Pavel. Natural Language Processing (almost) from Scratch. 2011-03-02. arXiv:1103.0398   [cs.LG]. 
  24. ^ 深度网络：Theano项目主页。
取自“https://zh.wikipedia.org/w/index.php?title=User:Pdeantihuman/沙盒&oldid=69804469”