Web数据抓取

Web数据抓取（精选四篇）

Web数据抓取 篇1

随着Web信息技术的迅速发展, 人们可以越来越方便快捷地获得各种信息, 但是却难以迅速地获得更准确及适用的数据。虽然目前有多种查全率较高的搜索引擎, 但它们的查准率普遍不高, 很难进一步挖掘深度数据[1]。因此, 研究如何对Web数据自动搜集及对搜集的数据的进行数据分析与挖掘具有重要现实意义。

本文将研究在花卉市场中Web数据挖掘[2]技术的应用, 利用R软件编写数据抓取程序采集互联网上的花卉网站上的大量数据, 并对数据进行预处理, 然后运用数据分析和数据挖掘技术将结果展现出来, 帮助花卉企业在花卉市场进行更准确的商业决策。

本文程序的开发环境基于R, 完成了数据抓取、数据预处理和数据分析, 使用My SQL数据库进行永久性数据存储。在R中对网页解析 (XML、HTML文件, 或包含XML、HTML的字符串) 有多种方法, 比较成熟的方法是使用XML包。该程序包能够将XML、HTML网页树 (tree) 解析成R结构数据。对标准XML文件的解析函数xml Parse, 以及适应性更强的html Tree Parse函数, 这些函数都拥有大量的参数来适应解析需要。使用R程序包XML中的get Node Set函数, 获取XML文档中的信息。 本文通过googlechrome浏览器可以快速获取XPath路径值。XPath是针对XML文档的查询语言[3]是一种页面元素的路径选择方法, 即为XML路径语言, XPath提供在数据结构树中找寻节点的能力。

1 数据抓取与存储

一般的数据抓取从一个或若干初始网页的URL开始, 获得初始网页上的URL, 在抓取网页的过程中, 不断从当前页面上抽取新的URL链接放入队列, 直到满足系统的一定停止条件。抓取网站的内容一般分为两部分, 非结构化文本[4]或结构化文本。本文主要抓取的是非结构化的文本内容。

网页抓取到的数据存包含噪音、异常情况和不相关的数据信息。因此, 需要按照数据分析和数据挖掘的具体需要, 通过选择特定属性相关的数据进行抽取, 并清理掉噪音数据。将数据收集部分抓取到的网页资源作为Web数据分析的源头, 通过数据预处理模块对这些网页资源中的数据进行清理、转换和合并等预处理[5]操作, 终加载到本人搭建的小型My SQL数据库中, 为后续的数据分析和数据挖掘工作提供数据支持。

Web数据抓取与存储框架图如图1 所示, 各模块功能如下:①分类解析模块, 从Web主页链接中解析出页面分类链接。②URL解析模块, 从页面分类链接中解析出子页面的URL链接加入到URL队列。③HTML解析模块, 从子页面的URL队列中解析出HTML文档。④转换整理模块, R程序包downloader中的download函数实现访问网络中HTML文件下载到本地转成XML文件, 保证后续解析的稳定性与完整性。⑤解析读取模块, 根据解析的XML文档结构特点, 读取XML文件获取需要的数据, 合并成data.frame类型数据并通过R程序包RMy SQL中的db Write Table函数存储进My SQL数据库。⑥数据预处理模块, 读取My SQL数据库中数据, 经过数据预处理模块处理, 然后再覆盖存入数据库。其中, 数据预处理模块包含下面几个子功能:1) 数据合并, 通过R程序包base中的merge函数操作, 合并不同data.frame类型数据。2) 数据清理, 去除冗余数据, 去除无效样本, 去除数据字段中多余字符串。3) 转换数据类型, 把文本类型字段转为相应的数据类型。4) 缺失值处理, 删除或替换缺失值。5) 中文分词, 如商品简介和包装简介字段, 用R程序包jieba R中的worker函数自定义分词引擎, 进行分词, 提取需要的字段存储进My SQL数据库。

需要注意以下几个问题:①在分类解析模块、URL解析模块和HTML解析模块, 由于抓取页面内容不多, 因为没有把HTML文件转换成XML文件处理;在转换整理模块, 由于需要抓取页面内容数据量大, 因此需要把HTML文件转换成XML文件处理, 保证解析的稳定性和完整性。②遇到无法直接找到规律的URL链接, 可模拟手动点击“下一页”来获取URL链接。网页URL链接一般隐藏在节点中, 可调用R程序包XML中的xml Value函数可以获取HTML文档或者XML文档中的节点值。③XPath值虽然可以通过googlechrome浏览器快速得到, 但是, 由于网页基本结构。④如果在数据抓取阶段遇到中文乱码的编码问题, 可调用R程序包base中的iconv (x, "utf-8", "gbk") 函数转换编码, 解决中文乱码问题。⑤如果R访问My SQL数据库出现中文乱码, 可调用R程序包RMy SQL中的db Send Query (conn, 'SET NAMES gbk') 函数设置GBK字符集, 解决读取数据中文乱码的编码问题。

2 数据展示与分析

数据收集是取得统计数据的过程, 数据预处理是将数据中的问题清理干净, 那么接下来的步骤就是统计分析了。

在所有的商品中, 由表1 可看出, 商品数据按照花材分类, 前六种花材 (玫瑰、百合、康乃馨、仿真花、满天星) 占有总花材的近80%。市场主要是以玫瑰和百合为主。默认条件下, 可计算出“五数”:最小值、25%的四分位数、中位数、75%的四分位数和最大值。以玫瑰花为例, 用R函数fivenum () 用来计算五数, 如下:

> fivenum (sub_class Flowers$price)

[1] 125.0 260.0 364.0 591.5 10073.0

由计算结果可以看出, 75%的玫瑰花都在600 元以下, 选取1000 元以下的玫瑰花产品, 画出频数密度图, 如图2, 可直观看出, 大多数产品都在300 元左右。也就是说, 300 元左右的玫瑰花是产品种类最多的, 也是大众最能接受。

在所有的商品中, 由表2 可看出, 商品数据按送花对象分类, 接近70%商品是以赠送送给恋人为目的。以恋人对象为例, 计算五数, 如下:

> fivenum (sub_class Object$price)

[1]73.0 241.5 336.0 537.0 29238.0

由计算结果可以看出, 75%的产品都在350 元以下, 选取1000 元以下的恋人对象产品, 画出频数密度图, 如图3, 可直观看出, 大多数产品都在300 元左右。也就是说, 300 元左右的产品是以赠送给恋人为目的的产品种类最多, 也是大众最能接受。

在所有的商品中, 由表3可看出, 商品数据按送花用途分类, 接近80%的商品购买用于爱情和生日用途。以爱情用途为例, 计算五数, 如下:

>fivenum (sub_class Use$price)

[1]73 242 326 493 995

由计算结果可以看出, 75%的产品都是购买用于爱情, 且价格在500 元以下, 选取1000 元以下的以爱情用途产品, 画出频数密度图, 如图4, 可直观看出, 大多数产品都在300 元左右。也就是说, 300 元左右的产品是购买用于爱情为目的的产品种类最多, 也是大众最能接受。

根据送花对象和按送花用途频数组成的列联表如表4 所示, 我们可知道, 在所有的商品中, 送给恋人、用于恋人用途的产品种类是最多的。根据以上几个表格, 我们可以知道, 大多数产品都是300 元左右, 以玫瑰花、百合花为主, 用于赠送给恋人为主, 以爱情为目的, 因此我们推断出, 网店花卉产品主要设计为了追求爱情的年轻人, 购买产品价格不能太高。

3 结束语

本文探讨了Web数据挖掘技术在花卉市场中的应用, 利用R软件编写数据抓取程序抓取其中一个花卉网站上的全部花卉数据, 并对数据进行预处理, 然后运用数据分析和数据挖掘技术将结果展现出来, 帮助花卉企业在花卉市场进行更准确的商业决策。本文的研究虽然取得了初步的成功, 但尚存在一些地方有待进一步的深入研究, 这里择其要者简要讨论如下:

①数据抓取部分抓取程序中的重复抓取过滤的问题尚存在一些缺陷, 有待进一步的算法改进。②本文所抓取数据量不过两千多, 因此选择用R软件抓取数据, 但是, 抓取过程中, 由于网速不稳定和R语言本身对并发处理的欠缺性, 抓取过程也比较缓慢, 整个抓取数据程序跑完大概需要4 小时。③有些数据网站并没有给出来, 所以也无法爬取, 比如购买人数、购买人购物信息、以及网店成交量等等。④数据分析部分是以直观、易理解的方式展现给花卉企业决策者, 帮助决策者在运营过程中正确把握买家需求, 做出正确的运营决策。在后续的研究工作中, 将进一步的挖掘更深层次信息。比如需要对商品简介、材料包装和花语文本字段进行文本挖掘, 挖掘出隐藏信息。

本文通过抓取花卉市场的网站数据信息, 并应用数据挖掘技术对这些数据进行分析、挖掘, 达到帮助花卉企业决策、提高客户满意度、提升经济效益的目。XML文档极大程度的减少了结构转换时间, 数据的解析也更为快速, 随着网页结构的复杂化, 研究一种适用所有类型Web页面的智能抓取信息方法成为网页信息抓取今后发展的重要方向。

参考文献

[1]蒋宏潮, 王大亮, 班晓娟.基于XML的Web数据半自动采集[J].计算机工程, 2009, 35 (21) .

[2]王实, 高文, 李锦涛.Web数据挖掘[J].计算机科学, 2000, 27 (4) .

[3]陈琛.基于XML文档中XPath查询与结构研究[J].电子技术与软件工程, 2015, 14.

[4]程洪涛.基于XML的非结构化文本数据转换研究与实现[J].现代计算机, 2013, 9.

Web数据抓取 篇2

WEB防护八大要诀 构建立体网络防护

对于任何一个项目，开始阶段对于交付安全的应用来说非常关键。适当的安全要求会导致正确的安全设计。

1、认证和口令管理

这主要是一种一次性的活动而且仅仅是作为项目的一部分而完成的。有人可能会问一些与认证和口令管理有关的问题：

【口令策略】这个问题非常重要的原因在于避免与用户凭据有关的字典攻击。

【口令哈希算法】确保通过适当的加密算法来加密口令也非常重要。

【口令重置机制】为了避免 修改或截获口令，重置机制非常关键。

2、认证和角色管理

在分析项目的安全问题时，要确认所有的关键功能，并确认哪些人可以获得授权访问这些功能。这样做有助于确认各种不同的角色，并可以使访问控制到位。

3、审计日志记录

询问并确认所有与已经发生的攻击有关的所有关键业务是很重要的，这是因为这些攻击对企业的会产生重大影响。企业应当能够分析与这些业务有关的审计日志记录。

4、第三方组件分析

询问并分析一下企业是否必须使用第三方的组件也是一个重要问题。在此基础上，企业分析与这些组件有关的已知漏洞，并做出恰当的建议。

5、输入数据验证和净化

询问并理解和分析输入数据的属性，并为数据的验证和净化做好计划是很重要的，

这种操作主要与解决跨站脚本攻击这类漏洞有关。数据验证和净化还有助于避免SQL注入的大规模发生。

6、加密和密钥管理

这是为了分析是否存在需要保证其安全的业务，并且这些业务是否需要握手机制(在处理业务之前，可使用多种与公钥或私钥的交换有关的多种技术来实施这种机制)。

7、源代码的完整性：

这是一种一次性的活动，并且要求在项目的开始阶段完成。这样做有助于如下两个方面：

源代码应当存放在一个有良好安全保障的控制仓库中，并且在遵循“最少特权”的原则前提下，有强健的认证和基于角色的访问控制。你还应当关注关于源代码库和相关工具的问题。

此外，在代码的开发及传输过程中，你还可以分析关于源代码容器的工具问题以及代码的保护问题。

8、源代码的管理。

讨论源代码的审查策略是一个关键问题，因为这种做法会要求自动化的和人工的代码检查问题，并且在一定程度上会影响总体的项目时间(要求进行代码检查时间和针对检查意见的修复时间)。这是一种一次性的活动，因而应当在项目的开始阶段完成。

加密被不置一次提到 数据时代加密是最核心的防护

从上面的八个要诀我们可以看出，虽然是基于网络防护的手段，但是其中许多层面不只一次的出现了加密防护的身影。由此我们可以得知，虽然我们防护的是网络，但是防护的主题依然是那些“遨游”于网络的价值数据。而作为最贴近的数据本源防护的手段，加密技术自然是最佳的选择。而为了应对网络层面多样的 防护需求和安全环境，采用国际先进的多模加密技术又无疑是最佳的选择。

多模加密技术采用对称算法和非对称算法相结合的技术，在确保了数据本源防护质量的同时，其多模的特性能让用户自主地选择加密模式从而能更灵活地应对各种防护需求。

Web数据挖掘现状分析 篇3

关键词:数据挖掘;Web挖掘

中图分类号:TP311.13文献标识码:A文章编号:1000-8136(2009)17-0131-02

数据挖掘(Data Mining,DM)是指从大量数据中提取或“挖掘”知识,即从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘知识的过程。随着以数据库、数据仓库等数据仓储技术为基础的信息系统在各行各业的应用,海量数据不断产生,随之而来的问题,便是如此多的数据让人难以消化,无法从表面上看出他们所蕴涵的有用信息。如何从大量的数据中找到真正有用的信息成为人们关注的焦点,数据挖掘技术也正是伴随着这种需求从研究走向应用。各种类似Google、百度等的搜索引擎也层出不穷,Web数据挖掘的应用在现实中不断体现。

1 Web挖掘概述

近年来,随着Internet/Web技术的快速普及和迅猛发展,使各种信息能以非常低的成本在网络上获得,而从中取得的数据量便难以计算,而且Internet/WWW的发展趋势继续看好,特别是电子商务的蓬勃发展为网络应用提供了强大支持,因此,如何在WWW这个全球最大的数据集合中发现有用信息,无疑将成为数据挖掘研究的热点。而Web挖掘便是指使用数据挖掘技术在WWW数据中发现潜在的、有用的模式或信息。它建立在对大量的网络数据进行分析的基础上,采用相应的数据挖掘算法,在具体的应用模型上进行数据的提取、筛选、转换、挖掘和模式分析,最后作出归纳性的推理。Web挖掘研究覆盖了多个研究领域,包括数据库技术、信息获取技术、统计学、人工智能中的机器学习和神经网络等。

2 Web挖掘流程

与传统数据和数据仓库相比,Web上的信息是非结构化或半结构化的、动态的,并且是容易造成混淆的,所以很难直接以Web网页上的数据进行数据挖掘,而必须经过必要的数据处理。典型Web挖掘的处理流程如下:

(1)查找资源。从目标Web文档中得到数据。这些信息资源不仅限于在线Web文档,还包括电子邮件、电子文档、新闻组或者网站的日志数据甚至是通过Web形成的交易数据库中的数据等。

(2)信息选择和预处理。从取得的Web资源中剔除无用信息,将信息进行必要的整理。例如,从Web文档中自动去除广告连接和多余格式标记、自动识别段落或者字段,并将数据组织成规整的逻辑形式甚至是关系表。

(3)模式发现:自动进行模式发现。可以在同一个站点内部或在多个站点之间进行。

(4)模式分析:验证、解释上一步骤产生的模式。可以是机器自动完成,也可以是与分析人员进行交互来完成。

Web挖掘作为一个完整的技术体系,在进行挖掘之前的信息获得IR(Information Retrieval)和信息抽取IE(Information Extraction)相当重要。信息获得(IR)的目的在于找到相关Web文档,它只是把文档中的数据看成未经排序的词组的集合;而信息抽取(IE)的目的在于从文档中找到需要的数据项目,它对文档的结构和表达的含义感兴趣,它的一个重要任务就是对数据进行组织整理并适当建立索引。

3 Web数据挖掘的分类

Web数据挖掘是一项具有挑战性的课题,它实现对Web存取模式、结构和规则以及动态的Web内容的查找。一般来说,Web数据挖掘可分为4类:Web内容挖掘、Web结构挖掘、Web使用记录挖掘和Web用户性质挖掘。其中,Web内容挖掘、Web结构挖掘和Web使用记录挖掘是Web1.0时代就已经有了的,而Web用户性质挖掘则是伴随着Web2.0而出现的。

3.1 Web内容挖掘

Web内容挖掘指从Web内容、数据、文档中发现有用信息,主要包括文本挖掘和多媒体挖掘两类,其对象包括文本、图像、音频、视频、多媒体和其他各种类型的数据。

目前,Web内容挖掘一般从两个不同的观点来进行研究:一种是从资源(IR)查找的方面来看,即从用户的角度出发,研究怎样提高信息质量和帮助用户过滤信息。这方面的研究大部分都是建立在词汇袋(bag of words)或称向量表示法(vector representation)的基础上,它将单个的词汇看成文档集合的属性,只从统计的角度将词汇孤立地看待,而忽略该词汇出现的位置和上下文环境。这种方法的弊端是自由文本中的数据丰富,词汇量非常大,处理起来很困难,为解决这个问题人们作了相应的研究,采取了不同技术,如信息增益、差异比等。

另外一种是从数据库(DB)的观点进行Web内容挖掘,主要是试图建立Web站点的数据模型并加以集成,以支持复杂查询,而不只是简单的基于关键词的搜索。这要通过找到Web文档的模式、建立Web知识库来实现。数据库技术应用于Web挖掘主要是为了解决Web信息的管理和查询问题。

3.2 Web结构挖掘

Web结构挖掘的对象是Web本身的超链接,即对Web文档的结构进行挖掘。由于有用的知识不仅包含在Web页面的内容中,而且也包含在页面的结构中,所以Web结构挖掘是从站点的组织结构和页面结构中推导出知识,找出数据链的结构进行分类、聚类,从而发现页面间的关系,进而改进搜索引擎的性能。对于给定的Web文档集合,应该能够通过算法发现它们之间链接情况的有用信息,文档之间的超链接反映了文档之间的包含、引用或者从属关系,引用文档对被引用文档的说明往往更客观、更概括、更准确。

Web结构挖掘在一定程度上得益于社会网络和引用分析的研究。Web结构挖掘的基本思想是将Web看作一个有向图,它的顶点是Web页面,页面间的超链接就是图的边,然后利用图对Web的拓扑结构进行分析。Web结构挖掘算法一般可分为查询相关算法和查询独立算法两类。查询相关算法需要为每一个查询进行一次超链分析从而进行一次值的指派;而查询独立算法则为每个文档仅进行一次值的指派,对所有的查询都使用此值。HITS和Page Rank分别是查询相关算法和查询独立算法的代表。他们的共同点是使用一定方法计算Web页面之间超链接的质量,从而得到页面的权重。著名的Clever和Google搜索引擎就采用了该类算法。

3.3 Web使用记录挖掘

Web使用记录挖掘也叫Web日志挖掘或Web访问信息挖掘,在新兴的电子商务领域有重要意义,它通过挖掘相关的Web日志记录,来发现用户访问Web页面的模式,通过分析日志记录中的规律,可以识别用户的忠实度、喜好、满意度,可以发现潜在用户,增强站点的服务竞争力。Web使用记录数据除了服务器的日志记录外,还包括代理服务器日志、浏览器端日志、注册信息、用户会话信息、交易信息、Cookie中的信息、用户查询等一切用户与站点之间可能的交互记录。可见,Web使用记录的数据量是非常巨大的,而且数据类型也相当丰富。根据对数据源的不同处理方法,Web用法挖掘可以分为两种:①将网络服务器的日志文件作为原始数据,应用特定的预处理方法进行处理后再进行挖掘;②将网络服务器的日志文件转换为图表,然后再进行进一步的数据挖掘。通常,在对原始数据进行预处理后就可以使用传统的数据挖掘方法进行挖掘。

3.4 Web用户性质挖掘

Web用户性质挖掘是伴随着Web2.0出现的。基于RSS、Blog、SNS以及Wiki等互联网软件的广泛应用,Web2.0帮助人们从Web1.0时代的各大门户网站“填鸭”式的信息轰炸,过渡到了“人人对话”,每个普通用户既是信息的获取者,也是信息的提供者。面对Web2.0的诞生,Web数据挖掘技术又面临着新的挑战。

在Web2.0时代,网络彻底个人化了,它完全允许客户用自己的方式、喜好和个性化的定制服务创造自己的互联网,它一方面给予互联网用户最大的自由度,另一方面给予有心商家有待发掘的高含金量信息数据。通过对Web用户自建的RSS、Blog等Web2.0功能模块下客户信息的统计分析,能够帮助运营商以较低成本获得准确度较高的客户兴趣倾向、个性化需求以及新业务发展趋势等信息。有关Web2.0下的数据挖掘,根据数据来源、数据类型、数据集合中的用户数量、数据集合中的服务器数量等将Web用户性质挖掘分为5类:

(1)个性挖掘。针对单个用户的使用记录对该用户进行建模,结合该用户基本信息分析他的使用习惯和个人喜好,目的是在电子商务环境下为该用户提供与众不同的个性化服务。

(2)系统改进。Web服务(数据库、网络等)的性能和其他服务质量是衡量用户满意度的关键指标,Web用法挖掘可以通过用户的记录发现站点的性能瓶颈,以提示站点管理者改进Web缓存策略、网络传输策略、流量负载平衡机制和数据的分布策略。此外,可以通过分析网络的非法入侵数据找到系统弱点,提高站点安全性,这在电子商务环境下尤为重要。

(3)站点修改。站点的结构和内容是吸引用户的关键。Web挖掘通过用户的行为记录和反馈情况为站点设计者提供改进的依据,比如页面连接情况应如何组织、哪些页面能够直接访问等。

(4)智能商务。用户怎样使用Web站点的信息,无疑是电子商务销售商关心的重点,用户一次访问的周期可分为被吸引、驻留、购买和离开4个步骤,Web挖掘可以通过分析用户点击流等Web日志信息挖掘用户行为的动机,以帮助销售商合理安排销售策略。

(5)Web特征描述。这类研究关注怎样通过用户对站点的访问情况,统计各个用户在页面上的交互情况,以及对用户访问情况进行特征描述。

4 结束语

Web数据挖掘是当今世界上的热门研究领域,其研究具有广阔的应用前景和巨大的现实意义。目前国内的Web数据挖掘尚处于学习、跟踪和探索阶段。尽管Web挖掘的形式和研究方向层出不穷,但随着电子商务的兴起和迅猛发展,未来Web挖掘的一个重要应用方向将是电子商务系统,下一步将会有更多的研究者把此作为研究方向。

Analysis of Web Data Mining Status Quo

Zhang Tao

Abstract:With the rapid development and popularization of Internet / Web technology, a wide range of information can be accessed in the network at very low cost. The focus of data mining is How to find useful information in the world's largest data collection. Web mining is a very important research in the field of data mining. This paper outlines the areas of Web data mining research and its status quo and development.

网络数据包的抓取与识别 篇4

一、网络数据包的抓取

抓取模块主要包括对图片、视频以及文本的抓取, 抓取的子模块在本质上是属于数据抓取模块, 数据抓取模块一般分为下面几个部分: (1) 数据识别部分, 主要对数据进行检查, 判断是否为要抓取的数据。 (2) 数据抓取部分, 该部分为最重要的部分。 (3) 数据分析部分, 这样是对数据包头的分析, 通过简单的数据分析后可以进入下一部分。 (4) 数据入库操作部分, 将抓取的数据以及分析得到的数据都放在数据库中, 对数据进行分类存放, 将这些数据进行分类存放, 通过分类存储对数据分析以及融合。

数据间数据通信时使用不同的数据通信包来进行通信的, 在数据包的抓取以及分析的基础上能够实现多个数据之间的数据通信以及数据共享。使用数据通信以及数据共享进行数据分析, 能够到到多种数据融合之后的数据, 通过各个数据集合进行数据的合成和转换。数据之间的不同要求进行数据存储, 在此过程中对数据进行分类操作, 将非结构以及结构化的数据进行分类存储, 通过数据观察和识别对数据模块进行处理。

项目中数据库的设计是按照确定表和确定实体的细化行为、关系以及制定规则、约定的技术流程的实施。数据库中使用SQL Server2008, 确定表的设计要遵循以文件类型作为分类的原则进行分类, 相同文件的要素放到一张表例, 例如TCP数据、数据要素表、视频数据表和图片要素表等等。

二、数据包的识别

现在比较流行的网络数据包一般是基于服务器/客户端模式, 依据网络的按原因是因为现在大家都经常使用Internet, 在网络层使用IP协议, 在传输层利用TCP作为为上一层提供面向连接的可靠服务, 通过对网络数据包以及抓包软件的抓包机制、网络数据包端口的特性以及数据包的包长的试验以及研究, 可以识别网络的数据包, 并且能够确定其是何种数据包是一种非常可行的方法。

当我们需要判别某个网络的接口是否有该种数据包时, 一般需要通过一下几步: (1) 按照该网络数据包的端口号来过滤数据。 (2) 将过滤到的数据按数据流分开, 这里所指的数据流是指IP五元组相同的一组数据, 也就是目的IP、源IP、目的端口号、源端口号以及传输层协议类型相同的一系列的数据包。 (3) 分析各个数据流的包场分布, 如果流的99%以上的包长都是40-159字节, 再将此流的各个数据包按照时间来排序, 测试每个包的时间间隔, 如果时间间隔小于1s, 在在第二步许多流中找与该流对应的反向流。 (4) 如果找到反向流按照时间进行排序然后观察各个数据包之间的时间间隔是否大于等于1s。 (5) 将反向流与正向流合并, 可判别正反向流对应的数据报是否是交替出现的。如果上面的条件都判断符合标准, 我们能够确定这两个正反向流是网络数据包的。

三、总结

通过研究发现, 网络数据包可以通过利用抓包软件的编辑接口, 从而能够开发出相对应的软件识别来通过各个网络的接口数据流有哪几种数据包, 我们能够将数据包的端口存储于一个链表中。依据以上方法依次验证所有的端口号。由于大型数据包开发成本较大, 现有数据包的数量有限, 搜集到所有的数据包的端口号是能够实现的, 这也解决了抓包软件中的数据包是别的空白。数据包已经被越来越多的人接受, 所以数据包市场规模也会继续扩大, 这需要有更多的人投入到数据包中, 而且能够解决数据包普遍存在的外挂问题、掉线问题、私服问题和提高数据包信息的交互性。

参考文献

[1]李培.网络数据包的监听与分析技术研究.煤炭技术, 2012, 31 (2) :456-457

[2]周维, 刘芳好, 罗宇, 谈子龙, 赵留涛, 刘东映.P2P应用特征检测与识别.计算机应用, 2009, 29 (5) :103-105

[3]鲁鹏俊, 钟亦平, 张世永.多模匹配问题在IDS中的解决.计算机工程, 2005, 31 (4) :74-78

[4]陈亮, 龚俭, 徐选.基于特征串的应用层协议识别.计算机工程与应用, 2006, 24 (7) :64-69