网站架构
视频网站体系结构、
陈丕奇
200928015029078
摘要通过调研MIT和中科院的视频网站比较得到各自的特点。然后据此从学生的角度对中科院视频网站提出改进的意见和建议。最后,提出了一个视频网站的体系结构并从网站集成,性能,容量和安全方面对该体系结构进行分析。
关键词视频网站,特点,意见,体系结构
一.引言
互联网时代的到来,给人的生活习惯、态度带来巨大的变化。它能提供一个无限广阔的数字空间,同时,它也给自己无限发展的空间。
当网络搜索巨人Google公司用16.5亿美元的代价收购了成立时间仅为19个月的在线视频共享网站YouTube的时候,这项交易被作为在线视频的胜利标志而受到业内人士传颂。
在国内,网络视频的环境正逐渐完善,或许这也意味着,网络视频的春天即将到来。尤其是YouTube成为第一家交易金额超过10亿美元的社会网络网站,获得巨大的成功,无疑给国内的视频信息网络产业打了一针强心剂!
2006年以视频网站为代表的网络视频行业迅速崛起,IPTV、视频分享网站、视频搜索网站、提供视频服务的互动社区、交友、播客等新兴媒体发展迅猛。网络视频行业现已成为众多资本机构关注与投资的焦点。但是在网络视频行业发展前景一片大好的同时,一些运营问题也随之显现,步入2007年,资本机构对网络视频行业不再盲目狂热,对商业模式的创新和成本控制提出了更高的要求。
今天,纯文字的表现形式已经不能满足用户对更丰富多彩的网络内容的需求,我们需要更丰富的数字出版物、图片、声音以及视频来表达和交流;同时,单向传播也不能满足用户对互动式网络体验的需求,我们需要更丰富灵活的交流与互动体验;视频网站的体系结构必须能够承载和传播这些爆发式增长的非结构化的数据。
同时,用户访问量的增长却从没有停止过,相对于传统应用,网络视频行业应用有着非常庞大的用户数量上涨空间,硬件设施面临着强大的成本控制的压力。
视频网站除了可以带来丰厚的商业利润之外,还促进了远程教学的实施。老师录制视频并上传共享,学生按照自己的兴趣下载视频学习,而不必受时间和空间的限制。
二.MIT和中科院视频网站的特点和对比
表1 视频网站的特点和对比
a)开放度
中科院的视频网站里面绝大多数视频都是私有的,只有中科院的学生和老师可以访问使用。而MIT里视频刚好相反几乎都是公有的,访问MIT的视频网站就可以获得,并且可以通过上面的链接可以分享视频或者嵌入到个人主页上面。
b)视频质量、种类以及缓冲速度
初步看来,中科院的视频种类远不及MIT。中科院的视频涉及教学,讲座,校园活动以及学术交流。MIT基本上也是按照以上内容对视频进行初步分类,不同的是MIT的子分类项目比较丰富。当然,影响种类
的因素很多,比如开设的课程的种类,校园活动的种类以及网站运行时间的长短等等。此外,通过观察发现MIT的网站上面的视频来源有三:MIT OpenCourseware,MIT TechTV(视频比较简短)和MIT World。而中科院的视频主要来源于一个网站,即video.gucas.ac/。由此可以推出MIT在将其视频文件分成了三个大类,交由不同的网站分管,而中科院属于一个网站集中管理。观察还发现,中科院的视频质量比MIT的视频质量要差很多。中科院视频的噪音比较大,清晰度不够,后期的处理同样十分重要。另外,在缓冲时间上面,中科院的视频网站要比MIT视频网站慢。在测试过程中,观看时长和清晰度都相似的视频时,MIT视频缓冲速度更快,播放更流畅。当然,这与视频质量和大小硬件环境以及整个网站的架构都有很大关系。
c)采用的技术
中科院的视频网站主页采用了Silverlight 技术。而MIT的网站采用的基本html语言编写排版。前者页面打开的速度要慢很多。
在视频的播放上面,MIT采用的Adobe Flash Player,而中科院采用的Windows Media Player。如下图1所示:
图1 中科院和MIT视频网站的技术对比
三.意见与建议
a)视频网站要关注视频的质量,应该先进行初步处理之后再上传至页面使用。
b)在看MIT视频网站的时候,我觉得科苑的网站上面应该也考虑放一些简短的视频,
长度在1-2分钟,主要是一些富含趣味性的科普知识,任何进入网站的人都可以分
享这些视频。
c)将大视频截成多个文件以提高视频缓冲速度。
d)除了上传科苑录制的视频之外,还应该引用一些诸如MIT之类名校名师讲学的视
频。
e)提供网站部分视频的分享功能。
f)在观看课程视频的时候,左边一栏显示视频,右面使用VGA player播放课程的PPT
之类。我觉得将两者合二为一更好一点。至于课程的Slides可以作为单独的附件供
使用者下载。如果是讲座,则可以将讲座的内容整理好,直接现实与网页上面。这
样可以减轻流媒体服务器的负担。
四.视频网站体系结构[1][2]
1.需求
a)各种服务器集之间有视频传递的需求,需要上传服务器、流媒体服务器、在线录制服
务器和转换服务器之间的视频文件是互相可见的,翻译成存储的语言则需要文件级共享的存储。
b)各种应用服务器可能使用着不同的操作系统平台,都需要无差异的访问到存储空间,而
翻译成存储的语言则需要跨平台共享的存储。
c)多台流媒体服务器之间的存储容量需要共享,从而提高存储空间的利用率。如采用传统
SAN上面划分独立的存储空间,给每台服务器的类似做法显然是不可接受的,并且需要视频内容合理的分布在各个存储设备上,翻译成存储的语言则需要存储容量的负载均衡。
d)单台存储设备的存储速度始终是有限的,需要多个存储设备的聚合才能满足视频内容访
问量的爆炸式的增长,翻译成存储的语言则需要多台存储设备间的存储速度的聚合,从
而实现存储速度的负载均衡。
e)新增视频内容的不断添加会导致存储容量的不断扩大,在添加设备扩展容量的时,能够
不影响原有系统,且平滑扩展,能够实现在线的扩展业务系统不停机,翻译成存储的语言则需要容量线性可扩展,能够实现在线扩容。
f)随着用户访问量增长和视频清晰度提高带来的带宽增长等诸多增长因素的影响,对存储
带宽的增长需求,要求存储系统实现带宽随容量呈线性增长。
g)合理的成本控制是一个恒久的话题,需要存储系统的总体拥有成本随容量的扩展而合理
的扩展,不能出现突变式的增长。
h)稳定性自然不用说,需要存储系统采用冗余结构以提高系统的稳定性。
2.如何在各个技术层面上满足需求
a)在编解码技术层面:编解码技术不断推陈出新,可以看到解码效果更好,编码压缩率更
高的编解码方式等诸多方面均有良好进展。尤其是由中科院计算所牵头制定的AVS标准,是具有我国自主知识产权的新一代编解码标准,将促进我国网络视频行业的健康发展。
b)在媒体的传输层面:CDN(Content Delivery Network)技术已经比较成熟,P2P技术的
发展也非常的迅速,虽然存在缺乏统一标准等问题,但无法掩盖P2P技术的锋芒。目前,已有不少的视频平台运营商采用了P2P技术。此外,CDN+P2P的复合技术也有了比较好的发展。
c)在媒体的服务提供层面:服务器集技术已经相当成熟:双机到多机的数据库集、由
DNS轮询或相关技术实现的Web服务器集、由相关查询指向技术实现的流媒体服务器集等都可以比
较方便的实现。成熟的服务器集技术可以实现按需增加相应应用服务器来应对业务需求,足以为网络视频行业提供良好的支撑。
d)在媒体资源存储方面:需要有大容量、高带宽、可共享的存储技术来支撑,而传统的存
储结构和存储技术,却不能很好的满足视频网站的存储需求。
由此可见,视频网站效率的瓶颈体现在媒体资源的存储方面。传统的集中式文件存储有两种:集中式和分布式。集中式存储的有点在于可以实现服务的负载均衡,提高了存储资源的利用率,实现高Raid级别保护但是成本较低,数据恢复容易且能实现远程容灾,集中存储方案管理复杂度相对较低。而分布式存储解决了集中式存储的I/O瓶颈,但是失去了集中式存储具备的优点。显然,如果将分布式和集中式联合起来使用,取长补短,以提高存储效率。当集存储技术的出现时,这种想法变得具有可行性。目前,行业流行的集文件系统有:Google File System、PanFS File System 、Blue Whale File System、General Parallel File System 和Lustre File System。这五种分布式集中存储系统各有千秋。但是它们有着类似的优点:采用统一的全局命名空间,支持文件级共享,且采用分布式存储结构,能实现高聚合I/O带宽,并且跨Linux平台和Windows平台的文件共享,还能够线性扩展I/O带宽,拥有良好的系统负载平稳性,并能够动态扩展存储容量,实现成本可控。
3.视频网站的架构图
图2 视频网站的架构图
据图2分析该体系结构的特点如下:
a)易集成
由于采用的集文件系统能够实现跨Linux平台和Windows平台的文件共享,因而不同平台的流媒体服务器、上传和其他服务器之间可以共享数据。
b)高性能
集文件系统所具备的统一的全局命名空间的特点实现了上传服务器和流媒体服务器之间的文件可见性。同时,多台存储设备间的存储速度的聚合实现了流媒体服务器可用的存储速度负载均衡。这样就可以提高对视频文件的访问速度。另一个优势在于带宽随着容量线性增长。这样使得流媒体服务能应对不断扩大的用户访问量。同时,容量线性可扩展,使流媒体服务能应对不断扩大的存储容量需求。
c)大容量
集文件系统所具备的文件共享的特点实现了多台流媒体服务器件的存储容量共享。
d)安全
如图2所示的存储方式可以实现全冗余结构,因而保证了一个稳定的强壮的存储系统。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。