通用数据采集系统的设计与实现

摘要
随着Internet的飞速发展，网络规模逐渐扩大，网络流量行为也越来越复杂，导致异常行为增多，所以有必要对这些网络行为进行监测和分析。因此，基于异常流量分析系统的数据采集、处理就显得十分重要。随着网络带宽的不断增加，在高速网络条件下如何更有效率的进行数据采集和处理，对流量异常检测及系统来说是一个非常关键的问题，也是本文研究的内容。本文将几种高效率的数据采集技术有机的整合起来，设计出一个通用的数据采集系统的系统架构，实现了支持数据包和数据流两个层面数据的数据采集系统，为各种异常检测及分析系统提供定制数据采集的支持。本文做的主要工作如下：(1)分析了一些常见的异常流量检测及分析系统的数据需求，从数据包、数据流两个层次为异常流量检测及分析系统提供数据的定制采集和数据的预处理，减轻了这些系统的负担。(2)对采集到的数据包进行流归并，将生成的数据流和之前采集到的数据包统一放到存储区内，进行整理和调度，并通过输出通道和输出接口将数据传递给异常流量检测及分析系统使用。(3)设计并实现了通用的数据采集系统。详细介绍了采集系统的框架、各功能模块的功能以及各个模块之间的联系。设计的系统具有高效率、通用性和扩展性的特点。
通用数据采集系统具有以下三个主要的特点：第一，系统采用的数据采集技术结合了内存映射技术和双轮询技术来优化流量采集过程，降低了系统的开销，提高了效率。第二，提供定制数据采集的功能，通过不同的过滤条件来筛选数据包和数据流，为多种异常流量检测及分析系统提供数据，保证了其通用性。第三，本系统兼顾了数据的同步采集和异步采集。一方面考虑实时采集数据的速度，以供实时判断系统进行流量识别、判断；另一方面要将采集到的数据存储打包交给离线检测系统对数据进行分析。
关键词：数据采集；异常流量；定制采集；数据存储；数据调度；接口设计
目录
IV
目录
第一章引言...................................................................................................................................1
1.1 研究背景................................................................................................................................1
1.2 研究现状...................................................2
1.3 论文的主要工作.............................................3
1.4 论文结构...................................................3
第二章数据采集技术......................................4
2.1 数据采集技术简介...........................................4
2.2 同步数据采集...............................................4
2.2.1 NAPI技术.....................................................5
2.2.2 内存映射技术..................................................6
2.2.4 系统采用的数据采集技术........................................8
2.3 异步数据采集...............................................9
2.3.1 数据包的抽样捕获方法..........................................9
2.3.2 数据包头压缩方法.............................................10
2.3.3 流记录索引与查找.............................................10
2.4 小结......................................................10
第三章数据存储及调度...................................11
3.1 数据包的存储及调度........................................11
3.1.1 数据包的存储.................................................11
3.1.2 数据包存储调度新进展.........................................12
3.2 数据流的存储及调度........................................13
3.2.1 流的定义.....................................................13
3.2.2 流的开始.....................................................13
3.2.3 流的结束.....................................................13
3.2.4 流的方向.....................................................14
3.2.5 哈希算法.....................................................14
3.2.6 流归并.......................................................15
目录
V
3.3 小结......................................................16
第四章通用数据采集系统的设计...........................17
4.1 通用数据采集系统总体架构设计..............................17
4.1.1 通用数据采集系统的层次结构...................................17
4.1.2 数据采集系统的数据存储结构...................................19
4.1.3 数据采集系统的输出接口设计...................................21
4.2 数据采集系统数据包采集模块设计............................21
4.2.1 数据包采集模块...............................................21
4.2.2 数据包采集输出管道设计.......................................23
4.3数据采集系统流数据统计及处理模块..........................23
4.3.1 流数据统计模块...............................................23
4.3.2 流数据输出管道设计...........................................24
4.4 数据采集系统服务接口设计..................................24
4.4.1 功能调用接口.................................................24
4.4.2 数据输出接口设计.............................................24
4.5 小结......................................................26
第五章数据采集系统关键模块的实现.......................27
5.1 原始包采集模块的实现......................................27
5.1.1 SR_PACKET数据结构定义........................................27
5.1.2 SR_PACKET数据采集...........................................29
5.1.3 SR_PACKET数据发送...........................................31
5.2 流统计模块的实现..........................................31
5.3 标准输出接口模块的实现....................................32
5.4 存储模块的实现............................................33
5.5 采集模块的测试............................................34
5.5.1 测试环境.....................................................34
5.5.2 测试结果.....................................................34
第六章总结............................................37
6.1 本文总结..................................................37
6.2 下一步工作................................................37
目录
VI
参考文献...............................................38
致谢...................................................40