“职业素质教育”讲座记录表
学号
184476
程强
序号
讲座名称
报告人
1
201812 4
《容器技术在高性能计算中的应用》
潘勋
2
20181216
《深度学习概览与开发实践》
王占伟
3
20181216
IBM SPSS大数据算法与应用》
王琎
4
2019111
《数据安全及用户信息保护》
王小鹏
5
2019114
1.《基于分布式架构的网络安全事件采集生态》
2.《图像识别技术及其应用》
卢山
6
2019115
《新时代 新科技 新经济》
张晓东
7
   
8
   
9
   
10
   
             
教师
签名
                                           
说明: 听讲报告不少于6次,每次报告要有书面记录和撰写的心得体会。
容器技术在高性能计算中的应用
124号上午在纪忠楼报告厅举办了一场由IBM公司高级工程师潘勋带来的关于容器技术在高性能计算中的一些具体应用。
随着互联网的发展,云计算作为一种商业计算模式在搜索服务、移动商务、开放协作等多样化需求的推动下迅速发展起来。云计算就提供了多种基础设施,基础设施即服务(Infrastructure as a SericeIaaS),平台即服务(Platform as a ServicePaas)和软件即服务(Sofcvvare as a Sericesaas)。基于PaaS平台,用户,开发者可以便捷地开发和部署应用程序,将应用程序托管在PaaS管理的云基础设施中,从而节省大量的平台搭建和维护工作,并达到缩短开发周期,降低运维成本的目的川。Docker作为轻量级的虚拟化方式,实现了PaaS平台的高效部署、运行和维护。
PaaS的核心技术之一就是虚拟化。虚拟化主要分为两大类,即基于硬件的虚拟化和基于软件的虚拟化。基于软件的虚拟化分为应用虚拟化和平台虚拟化。虚拟机(VirtuaI Machine
VM)技术属于平台虚拟化。应用虚拟化可细分为完全虚拟化、硬件辅助虚拟化、部分虚拟化、超虚拟化、操作系统级虚拟化。管理程序虚拟化通过中间层将一台或者多台独立 的机器虚拟运行与物理硬件之上,而容器则是直接运行在操作系统内核之上的用户空间。Docker属于操作系统级的虚拟化。
和传统的虚拟化技术不同, Docker是一个开源的应用容器引擎, 让开发者可以打包其应用以及依赖包到一个可移植的容器中, 然后发布到任何流行的Linux机器上来实现虚拟化。容器是在操作系统层面上实现虚拟化, 直接复用本地主机的操作系统, 而传统方式则是在硬件的基础上, 虚拟出自己的系统, 再在系统上部署相关的APP应用。容器是完全使用沙箱机制, 相互之间不会有任何接口, 几乎没有性能开销, 可以很容易地在其他机器和数据中心中运行。最重要的是,Docker不依赖于任何语言、框架或包括系统。
容器可以提供隔离性,可以为各种测试提供一个良好的沙盒环境。并且,容器本身就是具有“标准性”的特征,非常适合为服务创建构建块。它可以加速本地开发和构建流程,使其更加高效、更加轻量化。本地开发人员可以构建运行并分享Docker容器。容器可以在开发环境中构建,然后轻松的提交到测试环境,最终 进入生产环境。并且能够让独立服务或者应
用程序在不同的环境中,得到相同的运行结果。构建一个多用户的平台及服务基础设施。并且为开发、测试提供一个轻量级的独立沙盒环境,或者将独立的沙盒环境用于技术教学。
容器技术的特点主要有以下几点,首先,它资源独立、隔离,Docker通过Linux NamespaceCgroup限制了硬件资源与软件运行环境,与宿主机上的其他应用实现了隔离,做到了互不影响,这也是云计算平台的最基本需求。其次,环境的一致性,开发工程师完成应用开发后构建一个docker image,基于这个image创建的container像是一个集装箱,里面打包了各种散件货物(运行应用所需的程序、组件、运行环境、依赖)。无论这个集装箱在哪里:开发环境、测试环境、生产环境,都可以确保集装箱里面的货物种类与个数完全相同,软件包不会在测试环境缺失,环境变量不会在生产环境忘记配置,开发环境与生产环境不会因为安装了不同版本的依赖导致应用运行异常。最后,容器包含了应用和所需的依赖,但不需要独占资源,没有一个虚拟系统,而是和宿主机共享硬件资源和操作系统,和其他容器共享内核,从而实现资源的动态分配。多个容器在同一个宿主机操作系统中的用户空间以独立的进程运行。因此,容器相比虚拟机要轻量许多。
随着系统虚拟化和云计算技术的发展,高性能计算云(HPC Cloud)已逐渐成为一种新兴的高性能计算服务模式。高性能计算云是一种基于云计算的高性能计算资源管理和服务提供模式。它的主要特征包括:(1) 使用虚拟化技术管理和组织计算资源,将虚拟机作为资源供应的基本单位;(2) 通过IaaS或者PaaS方式对用户提供HPC服务。
容器可以为各种测试提供很好的沙盒环境。并且,容器本身就具有“标准性”的特征,非常适合为服务创建构建块。Docker 的一些应用场景如下:加速本地开发和构建流程,使其更加高效、更加轻量化。本地开发人员可以构建、 运行并分享 Docker 容器。容器可以在开发环境中构建,然后轻松的提交到测试环境中,并最终进入生产环境。能够让独立的服务或应用程序在不同的环境中,得到相同的运行结果。这一点在面向服务的架构和重度依赖微型服务的部署由其实用。用Docker创建隔离的环境来进行测试。例如,用Jenkins CI 这样的持续集成工具启动一个用于测试的容器。Docker可以让开发者先在本机上构建一个复杂的程序或架构来进行测试,而不是一开始就在生产环境部署、测试。
当然,Docker缺少容器之间的高层次联网功能。问题的一方面在于,Docker最佳实践并不鼓励在一个容器中运行多个服务;而这意味着与其他容器进行联系显得至关重要。在大规模
环境下,如果容器需要与可能不在同一个Docker主机上的其他容器进行联系,这可能成为一大问题。由于许多应用程序出于安全和功能的考量而需要特定的联网环境,试图解决这个大规模问题时,Docker的原生联网功能多少受到了限制。这个联网问题的另一个方面是,Docker缺少原生服务发现功能。由于应用程序和服务可能有众多广泛的组件,如果我们谈论大规模应用程序,服务发现功能变得必不可少。Docker社区在处理这个问题,一个办法就是实施etcdskydns
并且安全性问题是容器技术的一个主要弱点,尽管当前的Docker版本已经在安全性方面有了很大的提高,但是相对于虚拟机来讲,安全性问题仍然是Docker容器技术的一个主要弱点。相对于虚拟机可以部署多个系统或应用的场景来讲,容器管理平台需要管理的容器的数量会远远多于虚拟机管理平台需要管理虚拟机的数量。最后,老师也谈到云计算是一种融合了多项计算机技术的以数据和处理能力为中心的密集型计算模式,其中以虚拟化、SDN、分布式存储等技术最为关键。经过十多年的发展,云计算技术已经从发展培育期步入快速成长期,越来越多的企业已经开始使用云计算服务。与此同时,云计算的核心技术也在发生着巨大的变化,新一代的技术正在优化甚至取代前一代技术。Docker容器技术以其轻便、灵活和快速部署等特性对传统的基于虚拟机的虚拟化技术带来了颠覆性的挑战,正在改
变着基础设施即服务(IaaS) 平台和平台即服务 (PaaS) 平台的架构和实现。Docker容器技术是一个风头直追docker进入容器 OpenStack 的云计算开源项目,关于它的热议已席卷虚拟化乃至云计算行业,业内各大厂商(包括亚马逊、红帽、IBM VMware 等)都加入了容器的行列。
心得体会
作为云平台必不可少的核心要素之一,虚拟化技术在很大程度上影响到整个云平台的性能,因而对高性能虚拟化技术的研究也随着云平台应用的深入逐渐成为热点。现有的被广泛采用的虚拟机技术作为一种重型的、面向系统架构的虚拟化技术,虽然很好地实现了物理硬件抽象化和隔离等虚拟化的初衷,但是同样也带来了资源消耗过高、启动较慢等问题,在强调快速、大量部署的以应用为中心的场合并不十分合适。作为一种新的虚拟化技术,Docker 以其极小的性能损耗、秒级别的启动速度和优秀的可移植性在很多场合显现出了相对传统虚拟机技术的优势,虽然同样作为虚拟化技术,Docker 和虚拟机技术存在着很多相似之处,但是从本质上说,Docker 是一种面向应用的虚拟化技术,它以应用为中心,因而适合于大量应用的快速部署和管理,同时由于容器镜像小,也便于网络传输。
深度学习概览与开发实践
1216日上午在九龙湖校区举行了第三次职业素质教育报告,来自IBM 资深的工程师王占伟给我们带来了一场十分精彩的关于深度学习概览与开发实践的讲座,我不仅收获到了丰富的理论知识,也了解了一些实践方面的知识。
深度学习是机器学习和人工智能研究的最新趋势之一。它也是当今最流行的科学研究趋势之一。深度学习方法为计算机视觉和机器学习带来了革命性的进步。新的深度学习技术正在不断诞生,超越最先进的机器学习甚至是现有的深度学习技术。近年来,全世界在这一领域取得了许多重大突破。
浅层学习是机器学习的第一次浪潮。20世纪80年代末期,用于人工神经网络的反向传播算法的发明,给机器学习带来了希望,掀起了基于统计模型的机器学习热潮。这个热潮一直持续到今天。人们发现,利用BP算法可以让一个人工神经网络模型从大量训练样本中学习统计规律,从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统,在很多方面显出优越性。这个时候的人工神经网络,虽也被称作多层感知机,但实际是种只含有一层隐层节点的浅层模型。2006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生在《科学》上发表了一篇文章,开启了深度学习在学
术界和工业界的浪潮。这篇文章有两个主要观点:1)多隐层的人工神经网络具有优异的特征学习能力,学习得到的特征对数据有更本质的刻画,从而有利于可视化或分类;2)深度神经网络在训练上的难度,可以通过逐层初始化来有效克服,在这篇文章中,逐层初始化是通过无监督学习实现的。
深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
目前深度学习神经网络已经有成熟应用的算法,主要有以下几种:卷积网络CNNRNN。其中卷积神经网络主要用于图像处理领域,因为在图像识别过程中,图片中物体在图片中的位置、姿态,都会影响识别的效果,经过卷积操作,可以对图片中的物体进行大小、位置、角度方面的处理,进行归一化,从而提高图片的识别率.
深度学习目前主要的运用在图片增强、文本转换为语音、音乐合成、图片摘要以及自动驾
驶等方面。计算机视觉通过传感器给机器周围的物理世界提供知识。过去,这是一个非常脆弱和复杂的任务,需要特定的量身定制的算法来分析像素。这些算法不灵活,必须在特定的情况下使用,并且对旋转和光照特别敏感。硬件GPU最近发展的速度和规模支持计算机视觉利用深度学习网络,深度学习网络有助于减轻标准计算机视觉算法所经历的问题。计算机视觉中比较成功的深度学习的应用,包括人脸识别,图像问答,物体检测,物体跟踪。
自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。因此,自然语言处理是与人机交互的领域有关的。在自然语言处理面临很多挑战,包括自然语言理解,因此,自然语言处理涉及人机交互的面积。最近两年,基于深度学习的自然语言处理逐渐取得了一定进展,在人机对话、问答系统、语言翻译等方向的应用也一直是自然语言处理中的热门话题,而这些应用的实现,基本依赖于底层技术和模型的进步,再加上自然语言处理领域也算是一个多学科交叉的行业,自然语言处理的未来发展对于很多相关学科和方向都具有深远的影响力。

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。