计算机论文范文栏目提供最新计算机论文范文格式、计算机论文范文硕士论文范文。详情咨询QQ:1847080343(论文辅导)

基于Nginx的视频转码资源动态调度计算机技术实现

日期:2018年02月04日 编辑:ad201107111759308692 作者:无忧论文网 点击次数:971
论文价格:150元/篇 论文编号:lw201706141234054478 论文字数:32135 所属栏目:计算机论文范文
论文地区:中国 论文语种:中文 论文用途:硕士毕业论文 Master Thesis

第 1 章 引言


1.1 论文研究背景及目的

短信、彩信、彩 e 等手机增值业务虽然有交互的特点,但是传输的仍然是以静态为主的图片内容或者文字,无法充分发挥媒体作用。流媒体视频的出现改变了此种状况。该业务是将连续的影像和音频信息经压缩处理后放在网络服务器上,客户端播放时并不需要下载整个多媒体文件,而是在将缓冲区中已经接收到的信息进行播放,同时多媒体文件的其余部分再持续不断地从服务器下载到客户端。1995 年 9 月 5 日,ESPN Sports Zone 公司成功向分布在世界各地的订阅用户直播了纽约 Yankees 队和西雅图 Mariners 队的棒球赛[1]。ESPN 使用的是来自西雅图一家名为 Progressive Networks 的初创公司的技术,此次直播是世界上第一次大规模的视频直播活动。这家公司就是后来大名鼎鼎的 Real Networks 公司前身。在当时发明了非常前沿的视频直播技术,开启了数字视频技术的时代。

...............


1.2 课题来源、内容和结构

本课题来源于江西网络广播电视台新媒体手机平台,面向高速移动互联网时代,人们可以通过手机、平板等终端随时随地观看自己喜欢的电视节目。为提高视频转码效率,开展高性能实时视频处理转码和转码资源的动态调度机制研究。移动通信技术的不断发展,加上接入设备展现出的多样性,移动流媒体视频应用变得更加复杂,表现出了异构性。应用环境的异构性,例如码率的降低、帧率的调整、屏幕尺寸的大小等等,都会导致已压缩码流的受限条件变化。此外,还涉及到不同流媒体格式。为某一应用环境准备的最优压缩码流不一定是另一应用环境的最优压缩码流。视频转码技术的出现解决了这些问题。但是随着用户对视频请求量的增加,单个转码器无法满足需求,为了对多个转码器进行任务的调配,利用 Nginx 对转码资源池进行负载均衡,研究动态调度算法,提高流媒体服务质量。

...............


第 2 章 Nginx 体系架构


2.1 Nginx 服务器的代理服务

代理(Proxy)服务,通常也称为正向代理服务,把局域网外 Internet 想象成为一个巨大的资源库,资源分布在 Internet 上的各个站点,局域网内的客户端要访问这个库里的资源必须统一通过代理服务器才能对各个站点进行访问,如图 2.1 所示。局域网内的客户端借助代理服务器访问局域网外的网站,主要是为了增强局域网内部网络的安全性,使网内不容易受到网外的威胁因素的影响,此时代理服务器起到了一部分防火墙的功能。与此同时,代理服务器也可以被用来实现局域网对外网的访问进行必要的监控和管理。正向代理不支持外网对局域网的访问请求,图 2.1 中的箭头方向不能反过来。从站点的角度,其实就是在代理服务器来取内容的时候有一次记录,有时候并不知道是用户的请求,是否隐藏用户信息取决于代理服务器是否告诉站点。

...............


2.2 Nginx 结构化架构 

Nginx 采用的机制是多路复用及事件通知,是一款高性能的反向代理服务器,同时也是高性能 HTTP。Nginx 采用的架构是模块化、异步、事件驱动、非阻塞及单线程。Nginx 如果作为代理服务器提高运行速度,因为能够实现无缓存的反向代理加速。Nginx 作为负载均衡服务器,Rails 和 PHP 不但可以在内部直接支持,也可以对外进行服务,作为 HTTP 代理服务器,并且还支持利用算法进行负载均衡以及简单的容错。相较于其他服务器,不管在稳定性、高可用性和性能方面,Nginx 均有无法相提并论的优势。近年来,Nginx 服务器在互联网领域占据了一席之地,腾讯、网易、新浪等等国内各大门户网站,均采用了 Nginx 部署。作为国内重要的视频分享网站,优酷、土豆等等,也部署 Nginx。开始部署 Nginx的网站日趋增加,这也说明国内对 Nginx 技术的研究越来越受重视。Nginx 服务器是高度模块化的,它的开发有一定的标准,开发指定功能的模块需要完全遵循模块化设计思想。习惯上 Nginx 涉及到的模块可被分为核心模块、标准 HTTP 模块、可选 HTTP 模块、邮件服务模块以及第三发模块等五大类。

...............


第 3 章 实时视频处理共享平台构建...............23

3.1 系统架构简介...............23

3.2 实时转码方案概述...............24

第 4 章 基于 Nginx 的转码资源动态调度方案实现...............31

4.1 转码资源动态调度方案的实现策略................31

4.2 Nginx 调度算法...............38

第 5 章 转码资源动态调度方案性能测试分析...............46

5.1 测试环境................46

5.2 功能验证..............49



第 5 章 转码资源动态调度方案性能测试分析


5.1 测试环境

测试系统主要四台主机组成,它们的作用分别为:一台主机充当负载均衡器,两台主机充当后端转码器,一台主机作为客户端。Nginx 软件已经集成了开发的第三方模块,安装在负载均衡器主机上,并已将 Nginx 配置好。QSV 已安装在两台转码器主机上,同时也已经配置好。模拟客户端主机上已经编写好并发转码请求的测试程序。根据经验以及简单的实验,在转码器上进行转码任务时与无转码任务时比较,哪个负载参数利用情况变化比较大,发现转码请求占用的资源主要是 CPU 利用率与内存利用率,所以选用的负载参数是 CPU 利用率与内存利用率,同时 CPU 利用率这一负载参数更加重要,所以给这两个参数配置的权重系数是(0.6,0.4)。

...............


5.2 功能验证

首先验证 Nginx 的动态修改后端转码器权重值模块的功能,图 5.6 中 success说明此模块能正常工作。分析图 5.7,当 IP 地址为 10.15.10.78 的转码器权重值为 4,IP 地址为10.15.11.204 的转码器权重值为 1 时,说明 IP 地址为 10.15.10.78 的转码器负载较轻,当有请求时,Nginx 选择了后端转码器中负载较轻的 IP 地址为 10.15.10.78转码器转发请求。当 IP 地址为 10.15.11.204 的转码器权重值增大,表明此时 IP地址为10.15.11.204的转码器负载较轻,所以Nginx选择了IP地址为10.15.11.204的转码器转发请求,说明 Nginx 调度功能模块已实现。需要说明的是,Nginx 将请求转发给了哪个转码器,就会在返回的内容中显示该转码器的 IP 地址,为了便于查看,提前对返回内容中添加了本机 IP 地址。


...............


结论

随着移动互联网的发展以及接入设备的多样性,极大地增加了移动流媒体视频应用的异构性和复杂性。应用环境的异构性,例如码率的降低、帧率的调整、屏幕尺寸的大小等等,都会导致已压缩码流的受限条件变化。为某一应用环境准备的最优压缩码流不一定是另一应用环境的最优压缩码流。为了提供给用户一致的流媒体存取接口,视频转码技术应运而生。但是随着用户对视频请求量的增加,单个转码器无法满足需求,为了对多个转码器进行任务的调配,利用 Nginx 对转码资源池进行负载均衡。本文的主要工作以及贡献如下:(1)第一部分主要回顾了移动视频业务的发展过程和研究现状,并分析了LTE 系统下,视频流媒体业务传输的优势,针对 LTE 时代移动视频业务的发展对网络侧视频处理能力的迫切需求,引出视频转码资源池,阐明了对视频转码资源池的有效调度问题的研究价值。

参考文献(略)