智能数据分析系统研究

　　摘 要：提出了一种Agent技术支持的网上电子数据交换系统的XML单证统计分析方法和实现技术，详细介绍了单证数据分析系统的组成，数据抽取Agent、交互协调Agent和计算统计Agent的结构，通信和交互协作流程，并介绍了本系统对网上手机订货单的监控和预测领域应用。
　　关键词：智能；XML；数据分析
　　
　　1 引言
　　
　　近年来，基于互联网的应用已涉及各行各业，电子商务、网上银行、网上图书馆等服务内容层出不穷。基于互联网的共享信息不仅为人们提供了快速、丰富、有效的各类服务，而且为群体和个体的业务分析和决策提供了可能。因此，对网络信息的采集、监控、统计与分析是一项复杂和耗时的工作。同时，随着技术和信息化程度的提高，人们除了有信息查询和传输的要求外，也提出了对网络中信息进行监控和统计与分析要求，以明确信息的合法与有效，保障信息为辅助决策服务。目前，有许多研究者进行这方面的研究，如网络数据挖掘，基于代理机制的网络信息统计，网上信息抓取等。我们则根据电子商务中的EDI单证处理流程，在Internet的EDI应用中，通过在客户端设计和嵌入一个由智能Agent构成的系统来实现单证的自动数据监控和分析。
　　本系统基于Web体系结构，采用XML描述EDI单证，建立Agent技术支持的计算、统计和分析相统一模型，并嵌入在客户端。嵌入在客户端的系统包括了数据抽取、交互协调、计算预测、人机接口和与原EDI系统的数据接口。其中交互协调Agent是系统的核心，它确定单证统计分析的方法、分配各Agent任务、协调Agent间工作进程，包括XML单证数据抽取和转换、基于知识的模型调用、模型计算与分析、结果表达与传递等。此系统完全不影响原有的网上EDI交易活动，在用户不知不觉的情况下，按事先设置的要求，自动地对网上交易单证数据监控和报警，自动地对大量单证数据进行汇总、统计分析，自动地在网上统计分析结果。
　　
　　2 系统中的Agent结构与关系表示
　　
　　系统中的智能Agent是具有领域知识和模型嵌入，能自主工作和具有语义互操作及协作交互能力，问题求解能力的智能实体，具有自治性、通信能力、推理和计算能力、协同、协调及协商能力等特性。
　　2.1 数据抽取Agent
　　数据抽取Agent（DA）主要实现对网上电子数据交换的单证进行监控性或合法性的格式检查，并从不同的单证中自动地抽取出所需的数据项，提交给交互协调Agent，以便进行分析和统计。其对单证格式检查的要求，以及数据抽取的要求统一由交互协调Agent管理。Agent实时监测网上电子交换系统单证的收发，当用户收到或发送单证时，它就会自动提取单证中的数据，根据单证的种类、知识库中处理要求，进行数据处理和存储，并发送给交互协调Agent分析统计或报警。
　　
　　2.2 计算统计Agent
　　计算统计Agent（TA）主要对抽取出的单证数据按类别、时间、对象等多角度，采用马尔可夫、多元回归、指数等多种方法进行分析统计。因此，需要建立模型库、知识库对不同的单证进行不同要求的处理。计算统计Agent的组织结构图如图1所示。
　　TA会根据由交互协调Agent设定好的要求，当收到的相应单证数达到一定数目或者是积累了到预定的时间时，自动会进行分析和统计，如销售单处理中的本月单证数目，本月销售额、最大额销售情况、下月的销售量预测、最优库存量等。
　　2.3 交互协调Agent
　　交互协调Agent（CA）是系统的关键，它既是与用户沟通的桥梁，又是与各Agent交互协调工作的核心，其主要任务是实现问题求解的任务分配、调度和协作交互。为实现CA的交互协调和交互流程的一致，存放CA与其他Agent间的任务请求和分配信息；存放问题求解过程中的协作要求和参数信息；存放其他Agent的处理描述性信息，供CA分配任务时使用。
　　[8]电大学习网.免费论文网[EB/OL]. /d/file/p/2024/0424/fontbr />　　2.4 Agent之间的通信与协作
　　在系统中，Agent之间的通讯是基于消息的通讯机制，利用消息完成传递服务请求及协调Agent之间的同步。DA和TA根据消息通讯来获取环境信息、任务、结果反馈信息；DA的每一个监控和执行任务以及TA的每一个计算统计任务都可以表示为一个任务提交者CA向承担者DA和TA发送任务消息；监控和数据抽取任务的实施或暂停是由CA向DA发送任务消息，其监控和数据抽取的结果则通过向CA回送消息予以体现；同样，计算统计的实施过程是TA接收到消息后产生状态变化的过程，其计算分析结果通过向CA回送消息予以体现，并由此来实现多Agent间的共享和合作运行。
　　
　　
　　3 网络单证数据数据分析系统
　　
　　3.1 系统结构
　　网络单证数据数据分析系统是嵌入在原有的网上电子数据交换系统之上，主要由交互协作Agent、数据抽取Agent和计算统计Agent构成，还包括了与原系统的接口。网络单证数据数据分析系统结构图2所示。
　　从图2可知，CA控制协调DA和TD，以及控制数据接口和人机接口，而DA与数据接口仅有数据传递的连接关系，数据传递与否受CA的控制；数据接口是原网上电子数据交换系统与本系统的数据交换通道，只面向数据共享的要求；人机接口是为用户进行任务设置而设计的，一旦任务设置后，系统可自动按设置值运行，无需外界干预。
　　3.2 EDIDA的工作流程
　　通过人机接口，由用户向CA进行任务设置；
　　CA对设置的任务进行分解；
　　各Agent独立地进行工作，求解相应的问题；
　　由CA协调DA、TA的在求解中的问题请求，按上述的交互协作流程来完成任务；
　　CA会按要求的格式传递给设置的服务器，进行记录和提示；
　　在CA获得TA的统计分析结果后，按要求的传递给设置的服务器进行记录、输出、保存、打印。
　　CA对整个执行过程记录存储，以优化模型和知识的选择和比较对比；
　　3.3 网上手机订货数据的分析
　　在原有的网上电子数据交换系统中，有关于商家和供应商间网上手机订单处理。为此，将EDIDA嵌入后进行Motorola 手机订单的数据处理，包括订单中订货数量的监控、2007年7月的订货数量的预测。
　　对订单中订货数量的监控，采用的方法是：订货量大于30部时，产生5秒的告警声并记录该单证号；对于2007年7月订货数量的预测，采用的方法是：选用最小二乘法模型ZXRC、指数加权移动平均模型YDJQ、三项和比例模型SXBL这三个模型来预测2007年7月的订货数量，并由CA根据评选规则来确定最后预测值，预测结果如表1所示。
　　
　　表中“*”号是指订货量大于30部的报警次数，具体的订货量大于30部各订单号则保存在CA的数据库中。预测结果的最终选定由CA根据知识库中规则来确定，评选的规则有：平均法，即对每个结果进行算术平均，把平均结果作为最后结果。去掉最大和最小法，再对剩下的结果进行算术平均。取中间值法，即最靠近中间的值，若中间值有两个，则取其平均值为最后结果。使用频率最高法，即根据使用成功次数，选择成功最多的模型结果为最终结果。最大原则，即选取最大预测值为最终结果。最小原则，即选取最小预测值为最终结果。
　　本次预测采用平均法，即预测值=（146+135+151）/3，最终的预测结果为2007年7月Motorola手机的订货量为144部，与当年实际Motorola手机订货量147部非常相近，并给出了季度指数。
　　
　　4 结语
　　
　　本文采用Agent技术，提出了对网上电子数据交换系统中XML单证的监控和统计分析方法和实现技术，初步探索了Agent在网络监控和预测领域中应用，并结合实际进行了验证。今后的研究将考虑用单个Agent来实现系统的功能，并加入黑匣子技术，面向网上的应用深入开展研究。
　　
　　参考文献
　　〔1〕A. Rao, M. Georgeff. BDI agents: From theory to practice.〔J〕. In Proceedings of the First
　　International Conference on Multi-Agent Systems,1995: 312-319. 
　　〔2〕M. J. Wooldridge, N. R. Jennings. Intelligent agents: Theory and practice〔J〕.The Knowledge Engineering Review,1995, 10(2):115-152.
　　〔3〕张寅生. 智能Agent与Agent系统〔J〕.计算机系统应用. 1998，(7).
　　〔4〕赵龙文,侯义斌.Agent的概念模型及其应用技术〔J〕.计算机工程与科学，2000，(6).

　　[8]电大学习网.免费论文网[EB/OL]. /d/file/p/2024/0424/fontbr />