基于JOONE快速开发神经网络

类别:Java 点击:0 评论:0 推荐:
基于JOONE快速开发神经网络  一.神经网络介绍

20世纪70年代以来,随着计算机技术的不断发展,人工神经网络(ANN)的理论与实践都得到了迅猛提高。ANN的概念来源于生物神经网络(BNN)。限于目前的理论与技术,ANN保留了脑神经网络的基本结构,反映脑神经系统的工作原理。在ANN中,记忆的信息存贮在连接权上,外部刺激通过连接通道自动激活相应的神经元,以达到自动识别的目的。因而,它是与现代计算机完全不同的系统。ANN模拟生物体中神经网络的某些结构和功能,并反过来用于工程或其他的领域。

  二.关于JOONE

JOONE(Java Object Oriented Neural Network)是sourceforge.net上一个用java语言迅速开发神经网络的开源项目。JOONE支持很多的特性,比如多线程和分布式计算,这意味着可以JOONE可以利用多处理器或是多计算机来均衡附载。

JOONE主要有三个大的模块:

joone-engine:joone的核心模块。

                                          joone-editor:joone的gui开发环境。不用编写一行代码就建立神经网络模型,并可以进行训练和验证。Joone中提供了一个用joone-editor建立xor网络模型的例子,本文中的神经网络就是参考这个例子所完成的。

joone-distributed-environment       :joone用于支持分布式计算的模块。

本文使用joone-editor建立一个用于模式识别的神经网络,进行训练,然后在一个java applet 程序中用于识别用户的输入。

 

三.利用JOONE快速建立神经网络

 

 

 

        图1.一个简单的神经网络  

图2.在joone中的表示

   

    图1是一个简单的神经网络,在joone中用layer来表示每层的所有的节点,用synapse来封装层与层之间的连接。这是相应的java代码:

//建立三个sigmoid节点层和两个全连接。 SigmoidLayer layer1 = new SigmoidLayer(); SigmoidLayer layer2 = new SigmoidLayer(); SigmoidLayer layer3 = new SygmoidLayer(); FullSynapse synapse1 = new FullSynapse(); FullSynapse synapse2 = new FullSynapse(); //设置各层的节点个数 layer1.setRows(3); layer2.setRows(3); layer3.setRows(3); //把各层连接起来 layer1.addOutputSynapse(synapse1); layer2.addInputSynapse(synapse1); layer2.addOutputSynapse(synapse2); layer3.addInputSynapse(synapse2);  

这样,一个简单的神经网络模型就建好了,joone会自动的随机设置连接的权系数。 当然这个网络目前还没有进行训练,没有任何实际的功能。下文将用joone建立一个模式识别的神经网络。也可以用joone-editor在可视化界面上快速建立神经网络,下图是用joone-editor建立的求解异或问题的神经网络模型:

 

图4.joone-editor中的模型

四.

图5.识别程序

建立模式识别的神经网络

[1]       程序说明

本程序是实现一个简单的模式识别的神经网络。用户在画板中用鼠标写字母,由程序进行识别并显示。用户在一个10X12的区域内绘制字母,点击【识别】按钮,对用户输入的图形进行识别。在右上方显示当前的图像所对应的神经网络的输入,在右下方是神经网络的输出和识别结果。在图5中用户输入了A,程序作出了正确的识别。

  [2]       用joone-editor建立神经网络模型

打开joone-editor,新建一个神经网络,如图所示:

该程序的神经网络的主要组成部分有:

l          120个输入节点所组成的输入层

l          由8个节点组成的隐层

l          由4个节点组成的输出层

l          一个joone自己的训练层以及两个文件输入层,用来输入测试数据和期望值。

 

 

 

[3]       训练神经网络

首先通过编写的程序获取训练数据。在java程序的12x10的输入框体中绘制字母,右上角的文本框会生成相应的大小为120的一维整形数组作为输入数据,用分号分隔。每次输入作为单独的一行。由于本程序要区分A、B、C、D四个字母,所以期望值是一个长度为4的数组。现在规定A对应为“1;0;0;0”,B对应“0;1;0;0”,C为“0;0;1;0”,D为“0;0;0;1”,并把这些结果添加到对应的每行输入数据的后面。在两个FileInput中设置输入文件为刚刚建立的数据文件,并设置训练数据是从第1行到第120行,训练数据是从第121行到的124行。

打开控制面板,设置学习速率为0.7,用所用的35条记录训练10000次。点击【run】开始训练。控制面板上会显示训练的进度和收敛情况。到了400次的时候,系统的误差已经很小了(0.002260),可以点击pause来停止训练。如果权值参数选择不合理的话有可能造成网络不能收敛。这时可以选择【control】->【randomize】,重新随机生成初始的权系数。

 

图7.训练控制面板

[4]       把完成训练的神经网络移植到程序中

为了在程序中使用训练好的神经网络,可以把利用java的序列化功能把完成训练的网络输出到文件中,然后在程序中读取这个文件,重新生成神经网络对象。选择【file】->【export neuralNet…】,把当前神经网络保存到文件中去。然后就可以在程序中使用了。

下面是从文件中读取神经网络的代码:

ObjectInputStream ois = new ObjectInputStream(new FileInputStream("D:/work/homework/ANN/final/3.snet"));

Object o = ois.readObject(); System.out.println("o is " + o); ois.close(); NeuralNet net = (NeuralNet) o;

然后在程序中就可以使用了。每次用户绘制的数据转换成120的一维数组作为输入,然后神经网络进行计算并输出一个长为4的向量作为输出。

 

五.测试

绘制了9次A、B、C和8次D共35个记录作为输入数据,训练了10000次,然后输出神经网络。用该神经网络进行识别,发现对于与训练数据相似的输入,识别的准确率很高,但是对和原来的训练数据差别较大的输入,程序可能会发生误判。为了提高准确率,需要增加样本的数量和覆盖面。

 

六.高级特性

joone还有很多的高级特性。它支持多种处理层(linear, sigmoid, tanh, logarithmic, context , delay, nested),多种连接方式(full synapse,direct synapse,delayed synapse,sanger synapse),还提供了一系列的工具以及script语言来帮助处理数据和分析结果。灵活的运用joone,可以迅速的开发各种神经网络。

  七.参考文献及相关资源

[1]       神经网络介绍-利用反向传播算法的模式学习 Andrew Blais, Ph.D. ([email protected]), David Mertz, Ph.D. ([email protected]), Gnosis Software, Inc. 2001 年 6 月 http://www-900.ibm.com/developerWorks/cn/linux/other/l-neural/index.shtml

[2]       人工智能 沟口理一郎 石田亨 科学出版社 2003年2月

[3]       joone主页 http://sourceforge.net/projects/joone

[4]       同时附上本文的java源程序和训练好的神经网络

 

 

本文地址:http://com.8s8s.com/it/it16962.htm