流媒体中间件的研究与实现

摘要
流媒体是在网络中使用流式传输技术的连续时基音视频信息。由于流媒体技术的广泛应用，流媒体中间件必将成为信息技术开发的新的热点。它为开发人员提供节点间的互联互操作，使得开发人员不需要面对底层网络的传输和控制；同时，又对流媒体的开发提供直接的支持，如采集、处理、回放等。综合来讲，流媒体中间件的设计必须要能够为分布式多媒体应用提供采集、处理、传输、控制、播放等功能框架结构以及相关的系统服务，如流式协议。本文首先简要地分析了中间件的要素，流媒体的核心技术以及流媒体中间件的参考标准。并全面深入的分析了DirectShow的框架组成，运行机理。并针对DirectShow的不足，阐明了流媒体中间件的设计思想，设计并实现了流媒体中间件的框架结构与系统服务的流式协议RTP/RTCP。本文设计并实现了一个流媒体中间件，此流媒体中间件从架构上分为两大部分：基础框架和系统服务。基础框架提供媒体的采集、处理、传输、控制、回放等五大功能。DirectShow是一个成熟的多媒体开发框架，提供对多媒体采集、处理、回放的优秀支持。在媒体传输、控制信息传输以及分布式组件的控制上都缺乏支持。本文通过对微软的多媒体开发框架DirectShow在传输与控制方面的功能扩展，实现了一个网络流媒体应用中间件。该中间件增加一个网络过滤器NetFilter，完成节点间的媒体数据传输和控制信息传输。节点间的控制利用COM分布式组件技术以及Web service思想，组件间通信方式采用XML+SOCKET的方式。系统服务的实现基于RTP/RTCP协议。RTP为媒体流提供了时间戳和序列号信息，这对于应用层帧处理，如组帧、回放都是很重要的。RTCP提供了多种报告，其中发送者/接收者报告提供了包发送的反馈信息。这对于QoS控制是很关键的。
关键字：流媒体，中间件，流媒体中间件，DirectShow，RTP/RTCP
目录
摘要..............................................................................................I
Abstract....................................................................................................II
目录......................................................................................................... I
第1章概述..............................................................................1
1.1  课题背景及其意义...........................................................................................1
1.2  流媒体中间件的国内外研究状况......................................................................2
1.2.1  ITU的RM-ODP....................................................................................2
1.2.2 ISO的PREMO........................................................................................3
1.3  本文所做工作...................................................................................................4
1.4  本文章节安排...................................................................................................5
第2章流媒体和中间件...................................................................................6
2.1  中间件的概述...................................................................................................6
2.1.1  中间件的概念........................................................................................6
2.1.2  中间件的作用........................................................................................6
2.1.3  中间件的分类........................................................................................7
2.2  流媒体.............................................................................................................9
2.2.1  流媒体的基本概念.................................................................................9
2.2.2  多媒体关键技术....................................................................................9
2.3  流媒体中间件..................................................................................................12
2.3.1  流媒体中间件的概念............................................................................12
2.3.2  流媒体中间件的构成............................................................................12
第3章  DirectShow技术..............................................................................13
3.1  概述................................................................................................................13
3.2  DirectShow的架构及其工作原理....................................................................13
3.2.1  DirectShow架构..................................................................................13
3.2.2  DirectShow的工作原理.......................................................................16
II
第4章流媒体中间件结构研究..................................................................19
4.1  基础框架设计..................................................................................................20
4.1.1  国际标准框架.......................................................................................20
4.1.2  扩展的基本问题与解决方案.................................................................21
4.2  系统服务设计..................................................................................................23
4.2.1  流式传输中的两个要素.........................................................................24
4.2.2  RTP协议.............................................................................................24
4.2.3  RTCP提供功能...................................................................................25
4.3  NetFilter的设计..............................................................................................26
第5章流媒体中间件设计与实现.............................................................27
5.1  基础框架实现..................................................................................................27
5.1.1  主要的类..............................................................................................27
5.1.2  类间关系图..........................................................................................33
5.1.3  主要流程图..........................................................................................33
5.2  系统服务实现..................................................................................................38
5.2.1 主要的类...................................................................................................39
5.2.2  类间关系图..........................................................................................45
5.2.3  关键类流程..........................................................................................45
5.3  RTP/RTCP应用于基础框架...........................................................................46
5.3.1  发送RTP/RTCP数据...........................................................................46
5.3.2  接收RTP/RTCP数据...........................................................................47
第6章结束语与未来展望...........................................................................48
6.1  总结................................................................................................................48
6.2  展望................................................................................................................48
参考文献：...............................................................................................................49
致谢：......................................................................................................................51