神经网络基础问题整理文档格式.docx
《神经网络基础问题整理文档格式.docx》由会员分享，可在线阅读，更多相关《神经网络基础问题整理文档格式.docx（10页珍藏版）》请在冰豆网上搜索。
属于不同的类
须设计分类器将他们分开
这里用单层神经元感知器
初始权值w=[0.20.20.3]b=-0.3
输出a1a2
a1=hardlims（w*p1+b）
a2=hardlims（w*p2+b）
如果不能分开，还须不断调整w,b
这里说明一下权值w阈值b而已
简单地说，阈值也可以看作一维权值，只不过它所对应的那一维样本永远是-1（也有的书上说是1），这样就把输入样本增加了一维，更有利于解决问题.
4神经网络归一化
看了研学和ai创业研发俱乐部神经网络版及振动论坛部分帖子内容，对归一化做一下整理，冒昧引用了一些他人的观点，有的未列出其名，请谅解
-------------------------------------------------------------------------------------------------------
关于神经网络归一化方法的整理
由于采集的各数据单位不一致，因而须对数据进行[-1，1]归一化处理，归一化方法主要有如下几种，供大家参考：
（byjames）
1、线性函数转换，表达式如下：
y=（x-MinValue）/（MaxValue-MinValue）
说明：
x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。
2、对数函数转换，表达式如下：
y=log10（x）
以10为底的对数函数转换。
3、反余切函数转换，表达式如下：
y=atan（x）*2/PI
归一化是为了加快训练网络的收敛性，可以不进行归一化处理
归一化的具体作用是归纳统一样本的统计分布性。
归一化在0-1之间是统计的概率分布，归一化在-1--+1之间是统计的坐标分布。
归一化有同一、统一和合一的意思。
无论是为了建模还是为了计算，首先基本度量单位要同一，神经网络是以样本在事件中的统计分别几率来进行训练（概率计算）和预测的，归一化是同一在0-1之间的统计概率分布；
当所有样本的输入信号都为正值时，与第一隐含层神经元相连的权值只能同时增加或减小，从而导致学习速度很慢。
为了避免出现这种情况，加快网络学习速度，可以对输入信号进行归一化，使得所有样本的输入信号其均值接近于0或与其均方差相比很小。
归一化是因为sigmoid函数的取值是0到1之间的，网络最后一个节点的输出也是如此，所以经常要对样本的输出归一化处理。
所以这样做分类的问题时用[0.90.10.1]就要比用[100]要好。
但是归一化处理并不总是合适的，根据输出值的分布情况，标准化等其它统计变换方法有时可能更好。
关于用premnmx语句进行归一化：
premnmx语句的语法格式是：
[Pn,minp,maxp,Tn,mint,maxt]=premnmx（P,T）
其中P，T分别为原始输入和输出数据，minp和maxp分别为P中的最小值和最大值。
mint和maxt分别为T的最小值和最大值。
premnmx函数用于将网络的输入数据或输出数据进行归一化，归一化后的数据将分布在[-1,1]区间内。
我们在训练网络时如果所用的是经过归一化的样本数据，那么以后使用网络时所用的新数据也应该和样本数据接受相同的预处理，这就要用到tramnmx。
下面介绍tramnmx函数：
[Pn]=tramnmx（P,minp,maxp）
其中P和Pn分别为变换前、后的输入数据，maxp和minp分别为premnmx函数找到的最大值和最小值。
（byterry2008）
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
matlab中的归一化处理有三种方法
1.premnmx、postmnmx、tramnmx
2.restd、poststd、trastd
3.自己编程
具体用那种方法就和你的具体问题有关了
（byhappy）
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
pm=max（abs（p（i,:
）））;
p（i,:
）=p（i,:
）/pm;
和fori=1:
27
p（i,:
）=（p（i,:
）-min（p（i,:
）））/（max（p（i,:
））-min（p（i,:
end可以归一到01之间
0.1+（x-min）/（max-min）*（0.9-0.1）其中max和min分别表示样本最大值和最小值。
这个可以归一到0.1-0.9
5如何查看BP神经网络训练后的权值和阈值呀！
！
训练好的权值、阈值的输出方法是：
输入到隐层权值：
w1=net.iw{1,1}
隐层阈值：
theta1=net.b{1}
隐层到输出层权值：
w2=net.lw{2,1};
输出层阈值：
theta2=net.b{2}
6训练好的BP神经网络如何保存呀
用命令savefilenamenet;
保存网络，
调用时用命令loadfilenamenet;
7用BP逼近非线性函数，如何提高训练精度啊
（1）调整网络结构
增加网络的层数可以进一步降低误差，提高精度但会使网络复杂化，从而增加网络的训练时间。
精度的提高实际上也可以通过增加隐层神经元的数目来获得，其效果更容易观察和掌握，所以应优先考虑。
（2）初始值选取
为了使误差尽可能小，需要合理选择初始权重和偏置，如果太大就容易陷入饱和区，导致停顿。
一般应选为均匀分布的小数，介于（一1，1）。
（3）学习速率调整
学习速率的选取很重要，大了可能导致系统不稳定，小了会导致训练周期过长、收敛慢，达不到要求的误差。
一般倾向于选取较小的学习速率以保持系统稳定，通过观察误差下降曲线来判断。
下降较快说明学习率比较合适，若有较大振荡则说明学习率偏大。
同时，由于网络规模大小的不同，学习率选择应当针对其进行调整。
（4）期望误差
期望误差当然希望越小越好，但是也要有合适值。
8关于BP网络优缺点的讨论
9对初学神经网络者的小提示
10神经网络学习的讨论
11权威！
BP网络中隐层结点个数的确定！
12神经网络混合编程
VB6.0中调用nnToolKit工具包程序
在VC中使用nntoolkit工具箱
cb6.0中调用nnToolKit工具包程序
13用遗传算法优化BP神经网络的Matlab编程
由于BP网络的权值优化是一个无约束优化问题，而且权值要采用实数编码，所以直接利用Matlab遗传算法工具箱。
以下贴出的代码是为一个19输入变量，1个输出变量情况下的非线性回归而设计的，如果要应用于其它情况，只需改动编解码函数即可。
具体请查看
14帮我看一下BP神经网络程序出错在哪里，愁死我了
p=[1,15,25;
2,15,25;
3,15,25;
4,15,25;
1,15,25;
2,5,25;
2,7.5,25;
2,10,25;
];
t=[0.6169;
0.7068;
0.7998;
0.9052;
1.0881;
3.4255;
1.0509;
0.8835;
0.7068];
[pn,minp,maxp]=premnmx（p）;
net=newff（minmax（pn）,[9,12,1],{'
tansig'
'
purelin'
},'
traingdm'
）;
net.trainparam.show=25;
net.trainparam.mc=0.9;
net.trainparam.lr=0.05;
net.trainparam.epochs=1000;
net.trainparam.goal=0.00001;
net=init（net）;
[net,tr]=train（net,p,t）;
出错的原因是Errorusing==>
network/train
Targetsareincorrectlysizedfornetwork.
Matrixmusthave1rows.
---------------------------------------------------------------------------
pt的列数要相等
在[pn,minp,maxp]=premnmx（p）;
前面加入：
p=p'
t=t'
。
在使用工具箱进行网络训练时，要求训练样本的个体是列向量。
15问各位一个问题，我用一个前向神经网络作分类，希望输出[1；
0；
0]表示一类；
但是输出的是[0.9997；
0.0001；
0]诸如此类，我该怎么判断分类的成功与否？
判断一下：
如果三个数中最大的一个在第一位置,就用[1；
0]表示
表示分类正确
16能不能给解释一下这些分别是设定一个网络的什么参数？
net.trainParam.show=50;
net.trainParam.lr=0.05;
net.trainParam.epochs=10000;
net.trainParam.goal=1e-5;
-------------------------------------------------------------------
//训练50次刷新一下训练图
//学习率
//训练次数
//训练结束的目标
17ＢＰ神经网络的Ｍ文件如何转为 simulink
helpgensim
---helpfornetwork/gensim.m---
GENSIMGenerateaSIMULINKblocktosimulateaneuralnetwork.
Syntax
gensim（net,st）
18ann如何做预测
一个不错的例子
19小波神经网络
小波神经网络就是小波分析理论与神经网络理论相结合的产物。
从结构形式分有两大类：
1、小波分析与神经网络的松散型结合；
2、小波分析与神经网络的嵌入式结合。
前者是指彼此虽紧密结合但却又相对独立，采集到的信号先经过小波变换后输入到常规神经网络以完成分类、函数逼近等。
后者是指将常规单隐层的神经网络的隐节点激励函数用小波函数代替，相应的输入到隐层的圈值及阈值分别由小波函数的伸缩因子和平移因子代替，这也是我们通常所说的小波网络。
小波网络在训练的过程中同样采用普通BP算法，但是它对参数的初始化表现敏感，所以参数的初始在小波网络的训练中也是很重要的。
20那位有《人工神经网络导论》高教出版社出版的蒋宗礼编的电子版书啊？
21:
网络的结构选择
输入层和输出层节点数选择由应用要求决定。
输入节点数一般等于要训练的样本矢量维数，可以是原始数据的维数或提取的特征维数；
输出单元数在分类网络中取类别数m或log2m，在逼近网络中取要逼近的函数输出空间维数。
当网络用于工业过程辨识或时间序列预测建模时，输入节点数的选择应由非线性系统定阶的结果确定。
网络的隐层数和隐节点数决定了网络的规模，而网络的规模与其性能密切相关。
神经网络的规模越大，网络中的自由参数就越多；
反之，网络中的自由参数就越少。
如果神经网络用于逼近一个目标函数（分类可以看成函数逼近的特殊情况），则当网络规模过小，神经网络逼近能力不足，容易导致欠拟合；
网络规模过大，神经网络逼近能力过剩，则容易导致过拟合；
因此，确定网络规模是神经网络设计的一项重要内容。
22网络不稳定性问题
我对次发表点个人看法吧，我觉的网络不稳定属于正常现象，我以大家用的最多的BP网络为例，比如网络隐含层节点的数目和网络训练算法选取的不同，都也可能导致同一网络结构针对同一测试样本的数据有着截然不同的解，原因是多方面的，与样本有关，与BP算法自身也有关系，在网络初始化时，BP采用rand函数初始化权值，这样不同时间训练对于rand当然会有不同的取值，BP是按照梯度最大方向修正误差平方和的，网络自身算法就有一定的局限性。
如果要保留现有的节点之间的值可以用
net.iw,net.b,net.lw保留，这样网络的值就可以保留下来了。
不过有时与样本特征，数目也有关系，样本太少训练的结果也不会令人满意。
个人观点，仅供参考。
23网络和多层感知器的区别什么
最好详细描述一下两者的区别?
br>
刚刚学神经网络。
谢谢
---------------------------------------------------------------
RBF网络与多层感知器都是非线性多层前向网?
它们都是通用逼近?
对于任一个多层感知器,总存在一个RBF网络可以代替?
反之亦然.但是,这两个网络也存在着很多不同?
1.RBF网络只有一个隐?
而多层感知器的隐层可以是一层也可以是多层的.2多层感知器的隐层和输出层其神经元模型是一样的.而RBF网络的隐层神经元和输出层神经元不仅模型不?
而且在网络中起到的作用也不一?
3,RBF网络的隐层是非线性的,输出层是线性的.然?
当用多层感知器解决模式分类问题时,它的隐层和输出层通常先为非线性的.当用多层感知器解决非线性回归问题时,通常选择线性输出层.4,RBF网络的基函数计算的是输入向量和中心的欧氏距离,而多层感知器隐单元的激励函数计算的是输入单元和连接权值间的内?
1.RBF网络与多层感知器都是非线性多层前向网，都可以用于逼近。
2.相互代替的问题应该是不能，我不太清楚，一般是根据具体问题选择相应的网络。
3.RBF网络本质上只有一层，只有一层的权值需要调整。
4.在用多层感知器解决问题时，选择线性输出层还是非线性输出层主要取决于理想输出值是有限个还是无限个，因为非线性输出的值是2个值，而线性输出的值是连续的。
5.在做模式分类问题时，RBF网络的基函数计算的是输入向量和中心的欧氏距离,而多层感知器隐单元的激励函数计算的是输入单元和连接权值间的内积。
没错，简单地说，就是RBF网络是靠画圈分类，而多层感知器是靠画直线分类。
查看原文讨论
24加入神经网络技术兴趣小组qq群
25神经网络哪些资料比较好
神经网络资料整理帖（为方便会员，切记别无目的的下载）
将一些热门的下载资料做了下整理，但请注意，下载一些资料要好好研究，别盲目下载，成为一个收藏家
仔细学习才是硬道路，资料不在多，在于领悟透一些经典的资料
26神经网络泛化问题相关资料
初学神经网络，关于如何提高神经网络的泛化能力及采用什么方法较有效，还请高手指点！
找到几篇关于泛化的论文
前馈神经网络泛化性能力的系统分析
提高前馈神经网络泛化能力的新算法
神经网络的泛化理论和泛化方法
与大家分享
大家也可以就神经泛化这一问题讨论一下，共同学习，共同进步！
27以下链接上有神经网络FAQ,共7个html文档,英文经典
27推荐：
一份很好的神经网络资料！
给初学者
这是一份在很好的学习资料，我也不记得在什么地方找到的了。
首先感谢作者的贡献！
29神经网络matlab程序每次运行结果不同的一点看法
因为每次的结果不一样，才有可能找到比较理想的结果啊
找到比较好的结果后，用命令savefilenamenet;
可使预测的结果不会变化，调用时用命令loadfilenamenet;
30在用MATLAB实现BP反向学习时需要不需要用deltalin（）、
learnbp（）、sumsqr（）这样的函数啊?
deltalin（）、
learnbp（）是比较旧的版本函数.
如果不是做神经网络函数,直接应用newff,bptrain等工具箱函数就可以了.
32人工神经网络的特点
人工神经网络的以下几个突出的优点使它近年来引起人们的极大关注：
（1）可以充分逼近任意复杂的非线性关系；
（2）所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁棒性和容错性；
（3）采用并行分布处理方法，使得快速进行大量运算成为可能；
（4）可学习和自适应不知道或不确定的系统；
（5）能够同时处理定量、定性知识。
人工神经网络的特点和优越性，主要表现在三个方面：
第一，具有自学习功能。
例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。
自学习功能对于预测有特别重要的意义。
预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。
第二，具有联想存储功能。
用人工神经网络的反馈网络就可以实现这种联想。
第三，具有高速寻找优化解的能力。
寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。
33人工神经网络的主要方向
神经网络的研究可以分为理论研究和应用研究两大方面。
理论研究可分为以下两类：
1）．利用神经生理与认知科学研究人类思维以及智能机理。
2）．利用神经基础理论的研究成果，用数理方法探索功能更加完善、性能更加优越的神经网络模型，深入研究网络算法和性能，如：
稳定性、收敛性、容错性、鲁棒性等；
开发新的网络数理理论，如：
神经网络动力学、非线性神经场等。
应用研究可分为以下两类：
1）．神经网络的软件模拟和硬件实现的研究。
2）．神经网络在各个领域中应用的研究。
这些领域主要包括：
模式识别、信号处理、知识工程、专家系统、优化组合、机器人控制等。
随着神经网络理论本身以及相关理论、相关技术的不断发展，神经网络的应用定将更加深入。
34如何选择训练集和测试集数据？
一般需要将样本分成独立的三部分训练集（trainset），验证集（validationset）和测试集（testset）。
其中训练集用来估计模型，验证集用来确定网络结构或者控制模型复杂程度的参数，而测试集则检验最终选择最优的模型的性能如何。
一个典型的划分是训练集占总样本的50％，而其它各占25％，三部
升级会员 