云媒资系统中的存储设计与实现
孙强
【期刊名称】《《山西电子技术》》
【年(卷),期】2019(000)006
【总页数】4页(P71-74)
【关键词】云; 媒资; 存储
【作 者】孙强
【作者单位】太原广播电视台 山西 太原030024
【正文语种】中 文
【中图分类】TP333
媒资系统用于存储台内节目素材，与云制作系统共同完成节目制作生产。云媒资系统与云制作系统统一技术架构标准，媒资系统采用与云制作系统可互联互通的私有云技术架构替代解决，依靠云媒资系统来实现两个系统之间的数据交互、流转。
1 存储方案设计原则
1) 高可靠性：对于存储的高可靠性应该从几个方面来进行考虑。首先，对于磁盘存储进行较高级别的RAID冗余。其次，磁盘阵列系统本身的设计中不能存在部件的单点故障。还有，磁盘阵列与应用系统之间的连接上也不能存在单点故障。
2) 高性能：方案设计的集中存储不能以牺牲性能为代价，这需要对数据传输的各个过程具体分析性能瓶颈。
3) 可扩展性：方案的可扩展性的要求表现在以下几方面：
◆容量的可扩展性：存储系统可以在现有容量的基础上，为未来的应用提供足够的扩展空间。
◆接口的可扩展性：随着用户业务的增长，有更多的服务器可以很方便地使用存储系统，以实现数据的集中存储和备份。
◆新技术的可扩展性：方案采用的硬件设备和软件产品都是业界相关领域的开放型主流产品，采取开放性模块化设计，当新的存储技术出现后，可以通过升级相应的模块实现向新技术的扩展。
4) 兼容性：方案提供的磁盘阵列系统可以同时支持Windows、Linux、Unix等操作系统。
5) 高性价比：首先要从系统的实用性角度出发，满足不同的业务系统的实际需要和前瞻性的同时，选择最高性价比的设计方案。
2 存储设计
系统建设完成后，所有节目生产都在此系统进行，生产业务对存储的需求主要为汇聚媒体的写入、编辑工具的读写访问、媒体处理转换、媒体数据索引的读写等。网络化建设后，非编的上下载、编辑、审片、送播等关键业务都依赖存储系统的稳定性，因此，采用分布式集存储架构，为系统提供多种数据安全策略，保证了系统核心数据的安全和系统高稳定性，同
时满足灵活的编辑、扩展需求。
2.1 存储总体设计
本次存储架构设计采用目前业内成熟先进的非编制作系统素材安全解决方案——单存储架构。单存储采用IP分布式集存储，可进行节点式扩展，为后期系统扩容提供线性增长的带宽及存储容量。在线存储支持对汇聚、生产、发布全流程的媒体访问支持，针对不同业务应用提供合适的存储容量和带宽访问。存储资源对可以为生产业务提供必要的容量和带宽支撑，并根据安全性需求提供必要的备份和切换手段
本次分布式存储采用现最先进IP集存储，配置5个全对称节点，可实现高安全性以及带宽、容量的平滑扩展。分布式存储架构采用Scale-out存储架构，将海量数据压力分散到多个并发存储节点，数据和元数据均匀分布于各个节点上，避免资源争用，系统性能(吞吐量)按照比例扩展，并且各个存储节点之间负载均衡，有效避免单节点性能瓶颈。这种架构，不仅保持了对象存储系统高可靠、高性能的优点，而且使得分布式存储架构系统具有更好的扩展性。分布式存储架构通过Scale-out架构，轻松实现容量扩展，可实现从3节点到288节点的轻松扩容。
图1 分布式存储系统图
华为linux系统下载分布式存储架构能够根据业务增长进行平滑扩容，系统每增加一个存储节点，都能够自动识别，并将该存储空间加入到整系统中，并根据负载均衡的原则，优先选择新的节点存储，从而简化了系统扩容的管理，降低了操作成本。扩容时容量和性能支持线性扩展，最大可提供40PB规模的单一文件系统，真正实现“应需而变”，为业务的长期高性价比提供保障。
分布式存储系统分为三层：分布式节点层，大数据处理层及应用层。
◆分布式节点层：物理设备层，由集存储中的所有分布式节点组成，所有节点全部采用对称式连接。
◆大数据处理层：文件系统层，实现对所有节点的元数据管理，物理数据管理，物理数据读取，写入，全部由分布式文件系统进行管理；分布式文件系统通过对外输出NFS或者CIFS文件系统，为各终端提供数据访问。
◆应用层：各个终端应用通过存储提供的NFS或CIFS文件系统对存储进行数据访问。
2.2 分布式存储逻辑架构
本次系统建设采用的OceanStor 9000云存储平台架构可分为硬件平台和存储软件。
◆硬件平台：包括网络和物理节点及节点内的硬盘、网卡、NVDIMM、内存等；
◆软件系统：主要是DFS分布式文件系统和多种增值特性、提供对外共享的NAS共享服务、性能负载均衡、多种策略管理、提供对整个系统统一管理的管理系统。
系统逻辑架构如图2所示。
图2 系统逻辑架构
OceanStor 9000存储系统中的核心部件是分布式文件系统OceanStor DFS，DFS将系统中所有节点的硬盘整合成一个统一的资源池，对外提供统一命名空间。同时对用户数据提供跨节点、跨机架、不同级别的数据冗余保护，可以兼顾高硬盘利用率和高可用的需求，避免了传统存储的烟囱式弊端。
OceanStor DFS支持节点动态扩展，节点数目从3～288随需而定，单一文件系统可扩容至50PB，而且节点扩展中业务不中断。随着节点数的增加，存储容量和计算能力线性增加，
最终给用户提供呈线性递增的带宽、并发数。OceanStor DFS提供了全局一致的缓存，缓存容量随着节点增加而线性增长，随着节点数目的增加，越来越多的热点数据可以被缓存命中，大大减少硬盘随机I/O，提高整系统性能。
OceanStor DFS使用了NVDIMM和RDMA等技术。NVDIMM使得数据即使在缓存中也可以得到持久化保护，而RDMA则有效减少了网络传输过程中内存拷贝次数。这样在不降低可靠性的前提下，进一步提升整系统响应速度。
OceanStor DFS对外提供CIFS、NFS接入功能，并提供对CIFS、NFS的统一域名访问机制，让用户业务轻松接入存储系统。同时支持集节点间负载均衡及管理功能。在这些功能特性基础上，由于全对称的架构设计使得OceanStor 9000每个节点都可以对外提供全局的NAS业务访问，且任何单节点故障时可自动切换。
在权限管理方面，OceanStor DFS支持AD、LDAP、NIS多种权限管理方式，可直接与域控服务器对接，对域用户访问权限进行控制。

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。