数据挖掘技术在SMS系统中的应用研究

摘要
本文以数字电视运营行业为背景，研究了数据挖掘技术在数字电视运营支撑管理系统中的应用范围和使用方式。以聚类算法CLARANS为重点，分析了该算法在处理大数据集时所产生的聚类结果在准确性、稳定性和效率等方面的不足，提出一种基于空间网格结构的GCLARANS算法。结合数字电视运营支撑管理系统的技术架构，设计并实现了一种基于改进的GCLARANS聚类算法的数字电视客户细分模型。
本文围绕这一主题，主要做了以下工作：
(1) 首先，介绍数据挖掘和数字电视运营支撑管理系统的基本概念，分析了数据挖掘技术在数字电视运营支撑管理系统中的应用领域。
(2) 其次，重点介绍聚类技术的概念、聚类技术的分类以及聚类算法的评价标准。针对CLARANS算法在处理大型数据集合时准确性、稳定性较差以及效率较低的问题，确立了以优化初始节点选择、减少邻居节点探索过程中的运算量为出发点来改善CLARANS算法,并通过实验对改进算法GCLARANS的有效性进行了验证。
(3) 再次，根据客户细分理论，提出了一种客户相似度模型，结合GCLARANS算法，给出了完整的数字电视客户细分模型的实现，并在真实数据集合上对模型的有效性进行了验证。
(4) 最后，结合数字电视运营支撑管理系统的技术架构，详细介绍了数据挖掘系统的构建过程。
本文的研究成果，包括数据挖掘算法以及数据挖掘系统的构建方法，不仅可以应用于数字电视运营行业，也可以应用于其它行业。对于计划构建或正在构建数据挖掘系统的企业具有一定的参考价值和指导意义。
关键词：数据挖掘；聚类算法；数字电视；CLARANS算法
目录
摘要.............................................................................................................I
Abstract......................................................................................................II
1  绪论.......................................................................................................1
1.1  引言.......................................................1
1.2  课题研究背景及意义.........................................2
1.2.1  课题研究背景....................................................................................................2
1.2.2  课题研究意义....................................................................................................3
1.2.3  课题来源和主要研究内容.................................................................................3
1.3  课题论文的组织结构.........................................4
2  数据挖掘技术和SMS系统概述.........................................................6
2.1  数据挖掘概述...............................................6
2.1.1  数据挖掘的定义................................................................................................6
2.1.2  数据挖掘的功能和方法.....................................................................................7
2.1.3  数据挖掘与数据仓库和OLAP.........................................................................7
2.1.4  数据挖掘过程....................................................................................................8
2.1.5  数据挖掘系统结构.............................................................................................8
2.2  数据挖掘在SMS中的应用.....................................9
2.3  本章小结..................................................10
3  聚类算法分析与改进.........................................................................11
3.1  聚类技术概述..............................................11
3.1.1  聚类技术的分类..............................................................................................11
目录
IV
3.1.2  聚类算法的评价标准.......................................................................................12
3.2  聚类算法中的数据结构......................................13
3.2.1  聚类算法中的数据结构...................................................................................13
3.2.2  变量的标准化..................................................................................................14
3.2.3  相异度的计算..................................................................................................15
3.2.4  相似度的计算..................................................................................................16
3.3  CLARANS算法概述...........................................16
3.3.1  PAM算法描述及性能分析.............................................................................17
3.3.2  CLARA算法描述及性能分析........................................................................19
3.3.3  CLARANS算法描述及性能分析...................................................................20
3.4  改进的GCLARANS算法.......................................22
3.4.1  网格聚类算法STING概述.............................................................................22
3.4.2  改进的CLARANS算法..................................................................................22
3.5  实验与结果分析............................................28
3.6  本章小结..................................................31
4  基于数据挖掘的SMS系统的设计...................................................32
4.1  客户细分理论简介..........................................32
4.1.1  客户细分的概念..............................................................................................32
4.1.2  客户相似度......................................................................................................33
4.2  基于GCLARANS和客户相似度的客户细分算法...................34
4.3  本章小结..................................................36
5  基于数据挖掘的SMS系统的实现...................................................37
5.1  数据挖掘模块体系结构......................................37
5.1.1  数据获取层的实现...........................................................................................38
5.1.2  数据存储层的实现...........................................................................................39
5.1.3  数据应用层的实现...........................................................................................40
目录
V
5.2  数据挖掘模块的实现........................................42
5.3  本章小结..................................................44
6  结论.....................................................................................................45
6.1  论文总结..................................................45
6.2  下一步的工作..............................................45
参考文献.................................................................................................47