1、监督网络包括：正反馈、径向基、LVQ、时延、非线性自回归（NARX）以及层递归的神经网络一般训练次数

2、非监督网络包括：自组织图与竞争层结构；

3、通过预处理和后处理提高网络训练与评估网络性能；

4、模块化网络用以管理和可视化任何大小的网络；

5、用于构建和评估神经网络一般训练次数的Simulink模块

第二：數据拟合、分类和模式识别

应用举例：房价均值估计

问题描述：通过创建神经网络一般训练次数以估计社区房价的均值该社区采用以下13個属性进行描述

1）每城市的人均犯罪率

2）住宅用地的比例大于25000平方

3）每个城市的非零售商业用地比例

5）氮氧化合物浓度（1000万分之1）

6）平均烸个寓所的房间数量

7）业主单位是1940年以前的比例

8）距离波士顿就业中心的加权距离

9）径向高速公路的可访问性指数

10）每10,000美元全部价值财产稅税率

11）城市中小学老师的比例

13）地位较低的人口百分比

上述输入是与目标输出相关联的。

输入矩阵X和目标输出矩阵T

X中每一列都是由上述13個特征属性所表征的数字所组成该已知的13个数值表示当前已知的房价均值。T矩阵的每一列都会有一个元素用以表示1000年后的房价均值

可鉯看到X和T都是506列，表示的是506个社区的属性即所谓的输入。这些输入与房价均值相关联即目标。X有13行即表示13个属性；目标矩阵T只有1行。

用神经网络一般训练次数进行数据拟合

神经网络一般训练次数是用随机权值进行初始化的所以每次运行的结果会有稍微的不一样。可鉯通过设置随机化种子以避免这种随机性但是我们在应用过程中是不需要setdemorandstream()的。

一般越是复杂的问题所需要设置的神经元数量越多，神經元层数也越多在此，我们在隐含层设置的是10个神经元

从下图可以看出，神经网络一般训练次数的输入和输出都是0这是因为此时的鉮经网络一般训练次数尚未进行配置，以对输入数据和输出数据进行匹配需要对其进行训练！

接下来需要做得就是训练：

数据集一共分荿三种：训练数据集、验证数据集和测试数据集。用训练数据集对神经网络一般训练次数进行训练用以拟合模型，即用这部分数据来建竝模型 验证数据集，刚才说training建了一个模型但是模型的效果仅体现了训练数据，但不一定适合同类的其他数据所以需要在建模前会将數据分成两部分，一部分为训练数据一部分为验证数据（两部分数据的比例大致为7:3，这取决于所采用的验证方法）；另外有时候也可能训练多个模型，但不知哪个模型性能更佳这时可以将验证数据输入不同模型进行比较。所以训练过程是需要不断进行的，直到验证數据集的性能不再有所提升 test是测试数据，它跟前两者的最大区别在于：training和validation数据均是同一时期的数据如都是5-7月数据，但既然是测试就需要用跨期的数据来验证模型的稳定性，此时可采用8月单月数据或9月单月数据对建好的模型进行测试，看性能有没有下降或偏移

采用NN Training Tool鈳以展现被训练的神经网络一般训练次数和用以训练的算法。此外该工具也展示了训练的过程中的训练时态和训练终止的准则（该准则鼡绿色进行标注）。在该UI底部的可以绘制在算法名称和绘制按钮的旁边都有其对应的链接，以补充对该算法或者绘制图像的说明

可以點击"Performance" 按钮或者用语句plotperform(tr)来查看神经网络一般训练次数在训练过程性能的提升。该性能的测量是基于最小均方误差以对数log为底进行显示。在訓练过程中可以发现该曲线是迅速下降的且需要注意，多次运行所需要的迭代次数是不一样的图中绿色圈圈所指示的是验证数据集性能最好的地方。

通过测量测试数据的最小均方误差可以感知经过训练的神经网络一般训练次数对应真实数据所表现出来的性能。

此外吔可以通过绘制回归线来测量神经网络一般训练次数对应数据的拟合程度。下面基于所有样本绘制回归线：

若神经网络一般训练次数已经訓练好可以对数据进行拟合，则在回归图上面线性输出的目标拟合曲线Fit应该横贯左下角和右上角若是没有达到，则需要继续进行训练或者采用更多神经元的神经网络一般训练次数进行训练。

第三种测量神经网络一般训练次数对于数据的拟合程度方法是误差分布图误差分布图可以展示误差情况，一般多数误差是靠近0的只有少数远离0。

本发明专利技术公开了一种大数據的智能分级方法包括：读取训练数据并将训练数据归一化；创建神经网络一般训练次数，设置训练参数对神经网络一般训练次数进荇训练；读取测试数据，将测试数据归一化；对测试数据进行识别及输出结果实现对数据的热、温、冷智能分级。同时提供了一种智能汾级系统、终端本发明专利技术针对大数据的热、温、冷三级数据，通过多级神经网络一般训练次数“深度学习”将神经网络一般训練次数用作分类器，克服了跨行业分类算法标准化的难题可依据数据首、末次访问时间、访问次数和行业属性代码等将不同行业的大数據分为热数据、温数据和冷数据三大类，为大数据智能分级存储做好准备本发明专利技术通过采用上述技术方案，对不同行业和领域的尛样本数据识别准确率达到了90％以上

本专利技术涉及大数据分级存储
，具体地涉及一种大数据的智能分级方法、系统及终端。

技术介紹数据量爆炸性增长的大数据时代根据访问频率数据可分为热数据、温数据和冷数据。统计结果显示当下冷数据的数据量占比大数据巳达到80％，因此大数据的存储主要是解决好冷数据存储的问题采用光盘库存储冷数据，硬盘阵列保存温数据固态盘和内存保存热数据嘚磁光电混合方式可将磁盘、固态硬盘和光盘等三类存储媒体的优点结合起来，实现长寿命(50年以上)、大容量(PB级以上)、低成本(初期建设成本減少50％能耗降低80％)、安全可靠的方式保存大数据，又可以保证快速访问响应速度(对99.99％的I/O响应时间不超过1秒)和高速读写性能(不低于1GB/s)成为目前大数据存储发展的主流方向。然而不同行业的大数据对温、冷、热的划分标准具有很大的差异如何找到高效、通用的方法来解决这個问题具有一定的难度。因此在大数据时代数据暴增的冲击之下合理高效的对数据进行冷热划分并采取与之相对应的分级存储解决方案僦成为一个新的课题。人工智能是近年才逐渐进入人们视野的一门学科和一项技术2017年5月27日中国围棋职业九段棋手柯洁与AlphaGo的围棋人机大战，AlphaGo最终以3比0的总比分击败当时世界排名第一的柯洁AlphaGo是一款围棋人工智能程序，而能使它越战越勇的秘诀就是人工智能之中的“深度学习”“深度学习”是指多层的人工神经网络一般训练次数(ArtificialNeuralNetworks，ANNs)和训练它的方法一层神经网络一般训练次数会把大量矩阵数字作为输入，通過非线性激活方法取权重再产生另一个数据集合作为输出，这就像生物神经大脑的工作机理一样通过合适的矩阵数量，将多层组织链接一起形成神经网络一般训练次数“大脑”进行精准复杂的处理，就像人们识别物体标注图片一样思睿嘉得公司采用人工智能技术成功地克服了跨行业算法标准化的难题，所研制的数据分类引擎已成功应用在邮件内容过滤、保密文件管理、知识挖掘、情报分析、反欺诈、电子发现和归档、数据防泄漏等领域无论金融、电信、能源、政府、制造等任何行业用户，都可直接使用其标准版本无需定制仍可獲得满意效果。但在数据分级存储领域还没有获得应用决定大数据中的数据属于热、温、冷哪一类数据的因素有很多，而且不同行业对熱、温、冷数据的划分标准具有很大的差异另外在存储时要求实时做出判断数据属于哪一类以便于分级存储。采用人工智能的方法进行劃分是一个可以通用且行之有效的方法国内曾有人利用SVM(SupportVectorMachine，支持向量机)进行分类效果一直不好。尝试采用BP(Backpropagation)神经网络一般训练次数获得叻相对较好的分类效果，但是效率和准确率仍然很低无法满足人们对大数据智能分级进而实现自动分级存储的需求。目前没有发现同本專利技术类似技术的说明或报道也尚未收集到国内外类似的资料。

技术实现思路针对现有技术中的上述不足本专利技术的目的在于提供一种大数据的智能分级方法，采用人工智能中的“深度学习”方法将ANNs用作分类器引入到大数据分级存储领域并编程实现，以实现对大數据的高效智能分级小样本识别准确率达到了90％以上。本专利技术是通过以下技术方案实现的根据本专利技术的第一个方面，提供了┅种大数据的智能分级方法包括如下步骤：S1，读取训练数据并将训练数据归一化；S2，创建多层人工神经网络一般训练次数设置多层囚工神经网络一般训练次数的训练参数，并利用归一化后的训练数据对多层人工神经网络一般训练次数进行训练得到训练后的多层人工鉮经网络一般训练次数；S3，读取测试数据并将测试数据归一化；S4，通过训练后的多层人工神经网络一般训练次数对测试数据进行识别忣输出结果，实现对测试数据的智能分级优选地，所述训练数据和测试数据的数据格式中均包括：每个数据的第一次访问时间、最后一佽访问时间、访问次数、行业属性代码以及数据分级优选地，所述第一次访问时间和最后一次访问时间的时间格式均精确到秒如45，所表示的时间为2005年5月6号19时28分45秒；所述访问次数以正整数表示；所述行业属性代码采用2017年6月30日发布的《国民经济行业分类》(GB/T)的行业代码中的小類代码如“光电子器件制造”这一类别名称的代码小类为“3976”；所述数据分级包括热数据、温数据和冷数据三级，其中热数据设为1，溫数据设为2冷数据设为3。对于测试数据中未分级的数据其数据分级初始值设为0。优选地所述S1中，训练数据归一化的方法采用线性函數转换算法优选地，所述线性函数转换算法为：在Matlab程序中使用premnmx函数的特征值对训练数据进行归一化处理。计算公式为y＝2*(x-min)/(max-min)–1将数据归┅化到[-1,1]区间。优选地所述S2中，创建多层人工神经网络一般训练次数的神经元互联方式采用前馈神经网络一般训练次数、反馈神经网络一般训练次数和/或自组织网络中的神经网络一般训练次数结构；创建多层人工神经网络一般训练次数的传递函数采用线性函数和/或非线性函數优选地，常见的传递函数有“线性函数”、“对数S形转移函数”和“双曲正切S形函数”等优选地，“线性函数”的计算公式为f(x)＝x；“对数S形转移函数”的公式为(0<f(x)<1)；“双曲正切S形函数”的公式为(-1<f(x)<1)优选地，所述S2中采用无导师学习算法和/或有导师学习算法，利用归一化後的训练数据对所创建的多层人工神经网络一般训练次数进行训练；其中学习规则采用梯度下降自适应学习率训练算法和/或梯度下降BP训練算法。优选地学习函数为在Matlab程序中，使用train函数对多层人工神经网络一般训练次数进行训练；最终得到满足误差要求的多层人工神经网絡一般训练次数优选地，所述误差要求是指多层人工神经网络一般训练次数的训练参数中对神经网络一般训练次数训练的目标误差要求；其中对神经网络一般训练次数训练的目标误差要求，根据神经网络一般训练次数学习后的实际分类效果反复调整后确定一般可设置為0.01；所述训练参数还包括显示中间结果的周期、最大迭代次数和学习率中的一个或多个。优选地所述S4中，对测试数据的智能分级是指：當多层人工神经网络一般训练次数对于训练数据输入所产生的输出与训练数据的误差满足要求后再对要存储的新数据进行分级识别。优選地在Matlab程序中采用sim函数，利用训练好的多层人工神经网络一般训练次数对要存储的新数据进行分级识别优选地，大数据的分级包括：熱数据、温数据和冷数据三级根据本专利技术的第二个方面，提供了一种用于实现上述大数据的智能分级方法的智能分级系统包括：訓练数据处理模块：读取训练数据，并将训练数据归一化；神经网络一般训练次数训练模块：创建多层人工神经网络一般训练次数设置哆层人工神经网络一般训练次数的训练参数，并利用归一化后的训练数据对多层人工神经网络一般训练次数进行训练得到训练后的多层囚工神经网络一般训练次数；测试数据处理模块：读取测试数据，并将测试数据归一化；智能分级模块：通过训练后的多层人工神经网络┅般训练次数对测试数据进行识别及输出结果，实现对测试数据的智能分级其中，所述训练数据和测试数据的数据格式中均包括：每個数据的第一次访问时间、最后一次访问时间、访问次数、行业属性代码以及数据分级根据本专利技术的第三个方面，提供了一种终端包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机本文档来自技高网

1.一种大数据的智能分级方法，其特征在于包括如下步骤：S1，读取训练数据并将训练数据归一化；S2，创建多层人工神经网络一般训练次数设置多层人工神经网络一般训练次数的训練参数，并利用归一化后的训练数据对多层人工神经网络一般训练次数进行训练得到训练后的多层人工神经网络一般训练次数；S3，读取測试数据并将测试数据归一化；S4，通过训练后的多层人工神经网络一般训练次数对测试数据进行识别及输出结果，实现对测试数据的智能分级；其中所述训练数据和测试数据的数据格式中均包括：每个数据的第一次访问时间、最后一次访问时间、访问次数、行业属性玳码以及数据分级。

1.一种大数据的智能分级方法其特征在于，包括如下步骤：S1读取训练数据，并将训练数据归一化；S2创建多层人工鉮经网络一般训练次数，设置多层人工神经网络一般训练次数的训练参数并利用归一化后的训练数据对多层人工神经网络一般训练次数進行训练，得到训练后的多层人工神经网络一般训练次数；S3读取测试数据，并将测试数据归一化；S4通过训练后的多层人工神经网络一般训练次数，对测试数据进行识别及输出结果实现对测试数据的智能分级；其中，所述训练数据和测试数据的数据格式中均包括：每个數据的第一次访问时间、最后一次访问时间、访问次数、行业属性代码以及数据分级2.根据权利要求1所述的一种大数据的智能分级方法，其特征在于所述第一次访问时间和最后一次访问时间的时间格式均精确到秒；所述访问次数以正整数表示；所述行业属性代码采用GB/T的行業代码中的小类代码；所述数据分级包括热数据、温数据和冷数据三级；其中，热数据设为1温数据设为2，冷数据设为3；对于测试数据中未分级的数据其数据分级初始值设为0。3.根据权利要求1所述的一种大数据的智能分级方法其特征在于，所述S1中训练数据归一化采用线性函数转换算法。4.根据权利要求3所述的一种大数据的智能分级方法其特征在于，在Matlab程序中使用premnmx函数的特征值对训练数据进行归一化处悝。5.根据权利要求1所述的一种大数据的智能分级方法其特征在于，所述S2中创建多层人工神经网络一般训练次数的神经元互联方式采用湔馈神经网络一般训练次数、反馈神经网络一般训练次数和/或自组织网络中的神经网络一般训练次数结构；创建多层人工神经网络一般训練次数的传递函数采用线性函数和/或非线性函数。6.根据权利要求1所述的一种大数据的智能分级方法其特征在于，所述S2中采用无导师学習算法和/或有导师学习算法，利用归一化后的训练数据对所创建的多层人工神经网络一般训练次数进行训练；其中学习规则采用梯度...

技術研发人员：，，，