MATLAB是Mathworks公司于1984年推出的一套高性能的数值计算的可视化软件，它集数值分析、矩阵运算、信号处理和图形显示于一体，可方便地应用于数学计算、算法开发、数据采集、系统建模和仿真、数据分析和可视化、科学和工程绘图、应用软件开发等方面。MATLAB之所以能够被广泛应用，是因为它将科研工作者从乏味的Fortran、C编程中解放出来，使他们真正把精力放在科研和设计的核心问题上，从而大大提高了工作效率。在MATLAB环境中描述问题及编制求解问题的程序时，用户可以按照符合人们的科学思维方式和数学表达习惯的语言形式来书写程序。
MATLAB这个词代表“矩阵实验室”（matrix laboratory），它是以著名的线性代数软件包LINPACK和特征值计算软件包EISPACK中的子程序为基础，发展而成的一种开放型程序设计语言。在它的发展过程中，许多优秀的工程师为它的完善做出了卓越的贡献，使其从一个简单的矩阵分析软件逐渐发展成为一个具有极高通用性的、带有众多实用工具的运算操作平台。工具箱是MATLAB函数的子程序库，每一个工具箱都是为某一类学科专业和应用而定制的，主要包括信号处理、控制系统、神经网络、图像处理、模糊逻辑、小波分析和系统仿真等方面的应用。借助于这些现有的工具，科研人员可以直观、方便地进行分析、计算及设计工作，从而大大节省了时间。
这里介绍的是计算完一条记录，就马上更新权重，以后每计算完一条都即时更新权重。实际上批量更新的效果会更好，方法是在不更新权重的情况下，把记录集的每条记录都算过一遍，把要更新的增值全部累加起来求平均值，然后利用这个平均值来更新一次权重，然后利用更新后的权重进行下一轮的计算，这种方法叫批量梯度下降(Batch Gradient Descent)。
使用提供的帮助程序函数在对数刻度上绘制训练和验证损失。
MATLAB的应用
使用提供的帮助程序函数将输入图像与网络输出的响应一起绘制。结果经过归一化处理，并且裁剪了低于 -60 dB 的像素，以便于比较。
自然常数e
效果比上次稍好一点。不过这条曲线显得坑坑洼洼的很难看，这是一种过拟合(Overfitting)现象，与之相反的是欠拟合(Underfitting)。
批量规范化
王天一，北京邮电大学工学博士，贵州大学大数据与信息工程学院副教授，贵州省 3D 数字医疗学会会员。在读期间主要研究方向为连续变量量子通信理论与系统，主持并参与多项国家级 / 省部级科研项目，以第一作者身份发表 SCI 论文 5 篇。
人工神经网络方向的参考书首推 Simon Haykin 所著的 Neural Networks and Learning Machines，英文版于 2008 年出到第三版，中译本名为《神经网络与机器学习》，也有影印本。本书是“大而全”的参考手册类型，全书以数学推导为主，对每种主流的神经网络算法都做了详细说明。Simon Haykin 是通信系统与信号处理的专家，在这本神经网络的专著中也穿插了大量信号处理和信息论中常用的工具，散发着浓厚的数学气息，因而适合在具有一定基础的条件下阅读。
另一本神经网络的专著是 Martin Hagan 等人合著的 Neural Network Design，英文版于 2014 年出到第二版，中译本名为《神经网络设计》，对应原书第一版。本书的几位作者是 Matlab 中神经网络工具箱的开发者，因而其专业性和权威性毋庸置疑。和 Simon Haykin 的学究著作相比，本书轻推导而重演示，主要通过实例手把手地解释神经网络的工作原理，对线性代数和最优化等基本工具也有涉及。
最后一本是 Stephen Marsland 所著的 Machine Learning: An Algorithmic Perspective，英文版于 2015 年出到第二版，暂无中文版。本书的主题是机器学习，但对包括感知器、多层感知器、径向基网络和自组织映射等主流的神经网络算法都用专门的章节加以介绍。在介绍中，作者侧重于对算法生理学背景的描述，以及对于算法原理的直观解释，这对神经网络研究的入门者无疑颇有裨益。遗憾的是，本书的行文略显啰嗦。
https://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf
https://cours.etsmtl.ca/sys843/REFS/Books/ebook_Haykin09.pdf
下图是单个神经元(Neuron)，或者说一个脑细胞的生理结构：
% 设置训练参数
net.trainparam.show = 50; % 每间隔50次显示一次训练结果
net.trainparam.epochs = 9999; % 总训练次数
net.trainparam.goal = 0.001; % 训练目标：误差<0.001
net.trainParam.lr = 0.06; % 学习率(learning rate)
tansig
1x 5×5 卷积
Machine Learning: An Algorithmic Perspective
归一化(Normalization)，也叫标准化，就是把一堆数字按比例缩放到0~1或-1~1的范围。
虽然用Purelin输出可以不必归一化，但归一化能在一定程度上加快收敛速度，因此被许多教程定为训练前的必须步骤。
（2）作用函数模型
微分就是专门求曲线切线的工具，求出的切线斜率叫做导数(Derivative)，用dy/dx或f’(x)表示。扩展到多变量的应用，如果要同时求多个曲线的切线，那么其中某个切线的斜率就叫偏导数(Partial Derivative)，用∂y/∂x表示，∂读“偏(partial)”。由于实际应用中，我们一般都是对多变量进行处理，我在后面提到的导数也都是指偏导数。
作者简介
关于Matlab的入门教程，参看这个帖子：
http://tieba.baidu.com/p/2945924081
MATLAB软件从1984年推出的第1个版本到目前发布的第14个版本MATLAB 7.0（Release14），有了较大的改进和增补，增加了许多新功能和更为有效的处理方法。
可以使用Javaaddpath函数来动态添加、删除或重载Java类，而不必重启MATLAB 7.0；
该数据集包含 84 对合成雷达图像。每对都包含一个输入图像和一个期望的响应图像，前者既有海杂波和扩展目标返回，又有期望的响应图像，前者仅包含目标返回。这些图像是使用带有旋转均匀线性阵列（ULA）的模拟创建的。每个图像包含两个不重叠的扩展目标，一个表示小型集装箱船，另一个表示较大的集装箱船。这些船由长方体表面上的一组点散射器建模。
文字的公式看上去有点绕，下面我发一个详细的计算过程图。
参考这个：
http://www.myreaders.info/03_Back_Propagation_Network.pdf 我做了整理
更强大的编辑器，用户可以选择执行M文件中的部分内容等。