第31卷 第10期 计算机辅助设计与图形学学报
Vol.31 No.10 2019年10月
Journal of Computer-Aided Design & Computer Graphics
Oct. 2019
收稿日期: 2019-07-14; 修回日期: 2019-08-22. 基金项目: 国家社会科学基金重大研究专项(18VDL001). 朱梦泽(1995—), 男, 硕士研究生, 主要研究方向为文化计算与叙事式可视化; 赵海英(1972—), 女, 博士, 副教授, 硕士生导师, 论文通讯作者, 主要研究方向为文化计算与媒体信息挖掘.
① www.openculture/2016/03/florence-nightingale-created-revolutionary-visualizations-of-statistics-that-saved-lives-1855.html
叙事式可视化综述
朱梦泽1), 赵海英2)*
1)
(北京邮电大学网络技术研究院  北京  100876) 2)
(北京邮电大学计算机学院  北京  100876) (zhaohaiying@bupt.edu)
摘  要: 可视化将数据及信息以故事叙述方式生动呈现, 形成了叙事式可视化研究. 本文整理了叙事式可视化的发展现状, 分析了已有的叙事式可视化案例; 其次结合叙事视角理论和可视化过渡技术理论, 提出叙事式可视化的分类方法, 同时简述叙事式可视化的评价方法; 最后, 分析了叙事式可视化的应用场景, 并结合叙事式可视化特点设计了可视化案例, 进一步展望叙事式可视化的未来前景.
关键词: 叙事式可视化; 叙事视角; 过渡技术; 叙事式可视化案例 中图法分类号: TP391.41      DOI: 10.3724/SP.J.1089.2019.18010
A Summary of Narrative Visualization
Zhu Mengze 1) and Zhao Haiying 2)*
1) (Institute of Network Technology, Beijing University of Posts and Telecommunications, Beijing  100876)  2)
(School of Computer Science, Beijing University of Posts and Telecommunications, Beijing  100876)
Abstract: Visualization is capable of vividly presenting data and information in a narrative way, promoting the study of narrative visualization. We survey the state-of-the-art of narrative visualization, analyze existing cases, and proposes a narrative visualization classification method by combining narrative perspective theory and transition technology theory in visualization. We also briefly describe the evaluation method, and ana-lyze the application scenarios of narrative visualization. We design a case with the characteristics of narra-tive visualization, and present the future prospect.
Key words: narrative visualization; narrative perspective; transitions technology; narrative visualization cases
1  叙事式可视化的发展与定义
1.1  叙事式可视化的发展
纵观历史, 故事的讲述一直是传递信息和知识的有效方式[1]. 从远古时期使用声音结合手势和表情, 到现代多媒体技术, 故事叙述拥有悠久的历史, 它包含口头故事、壁画、雕刻、小说和电影等多种形式. 如今, 故事叙述日益成为影响各类工作
的核心因素, 它在教育、教学、管理、文化、历史和营销等多种行业以及多种活动中都十分重要[2]. 尽管
可视化研究的主要方向之一信息可视化注重数据的探索和分析, 但最早的数据可视化的实例是用于展示和解释而非分析的. Nightingale 制作的图表①不是为了分析克里米亚战争死亡原因的数据, 而是为了让当时对数学了解不足的政客们意
1720 计算机辅助设计与图形学学报第31卷
识到问题的严重性; Snow在1850年绘制的病例地图①并不是用来寻作为病菌污染源的水泵, 而是在Snow用其他方法确定了最有可能的病因后, 整理作为证据; Minard制作的《1812—1813对俄战争中法军人力持续损失示意图》②主要是讲述士兵困境, 而不是理解复杂数据的分析工具[3]. 随着计算机技术和多媒体技术的进步, 非数据分析人员对可视化技术提出更多需求, 这使得研究者开始考虑将可视化技术与故事的讲述融合, 追求表达更有效率且易于理解记忆的可视化技术. 在讨论如何使可视化得到类似讲故事效果的过程中, 研究者提出了叙事式可视化的相关技术.
故事叙述(Storytelling)一词在很多领域中都有应用, 而在可视化领域中的使用也由来已久, Ger-shon等[4]讨论了故事叙述在可视化应用中的问题, 认为故事叙述可以用相对较少的单词传达大量信息, 更容易被听众所吸收, 通过将故事叙述转换到可视域, 能让可视化结果如同电影一样直观展示. Wojtkowski等[5]认为, 计算机技术提供的新媒体和模式使得信息传递可以用类似故事的风格, 并讨论了故事叙述对于信息可视化的有效性. 随后, 越来越多的研究者对可视化驱动的故事叙述设计进行了探索. 2006年, 基于Storytelling
思想提出了叙事式可视化(narrative visualization), Wohlfart[6]提出一种交互式的可视化方法, 其在故事叙述中将一部分故事通过交互让观众控制, 剩余部分从预先设置的故事脚本执行, 并提出了基于故事节点的故事录制方法. 2008年, Lu等[7]设计的交互故事板以清晰的故事板布局来可视化时变数据集整体时间演化和显著数据特征. 2010年, Segel等[8]整理了叙事式可视化在新闻叙事、教育媒体等领域的发展, 提出了叙事式可视化的设计策略. 2012年, Lidal等[9]设计了地质故事可视化方案, 它能帮助地质专家快速绘制地质故事, 将地质模型以故事形式呈现, 也能展示地质模型的推导过程. 2013年, Hullman等[10]研究了叙事顺序对可视化的影响, 并提出一种图形驱动的方法来自动识别一组线性可视化序列的有效顺序. 2015年, Amini等[11]系统研究了数据视频的元素和创建过程, 提出了数据视频创作工具的定义. 2017年, Brehmer等[12]提出了一个兼具表达性和有效性的用于故事叙述的时间线可视化设计空间, 并实现了叙事节点间平滑的动画过渡效果, 使故事叙述连贯性有了极大提高. 同年, IEEE Information Visualization Confer-ence讨论了Storytelling/Presentation话题. 2018年, 该会议讨论了Design & Storytelling话题; 其中, Wang等[13]介绍了幻灯片制作工具Narvis, 协助教师和专家解释数据可视化, 帮助学生和非专家理解可视化设计. 图1显示了从IEEE Xplore中检索获得的关于叙事式可视化和以Storytelling为目的的相关文章按年份的分布情况. 可见叙事式可视化的相关研究正获得越来越多的关注.
图1 IEEE Xplore叙事式可视化相关论文数量变化
从叙事式可视化的应用来看, 其应用领域也在逐步扩展, 使可视化在体育比赛、会议、电影、文学和教育等领域中呈现出故事叙述一样的表现力. Chen等[14]设计了可视化工具GameFlow, 他们以篮球赛作为示
例, 结合赛中比赛数据与视频, 提高篮球赛可视化的表现力, 描述了比赛状态和激烈对抗. Shi等[15]设计的MeetingVis系统可以替代会议摘要完成对会议内容的回顾, 通过将会议故事映射到时间线, 结合参会者活动、主题演进和任务分配构成其会议总结方法. Kim等[16]提出了Story curves可视化技术, 结合Story Explorer工具将非线性叙事电影的时间线映射到实际时间线上, 从而完成对故事的整理与叙事模式的分析. Doyle[17]展示了一个由艺术家、科学家和技术专家组成的跨学科团队设计的混合现实系统, 该系统利用动作捕捉技术和生理传感器进行互动, 观众通过交互来探索未来月球、火星及地球上的生活, 游戏化的讲故事方式能有效地让观众沉浸其中. Ma等[18]提出Storytelling也应被引入科学可视化, 使用复杂的工具展示研究成果时, 叙事式可视化将会是很重要的技术. 叙事式可视化因其更富感染力的表现方式, 使观众更能沉浸于可视化故事中, 有效地提高了对于数据信息理解性和记忆性.
①/wiki/John_Snow
②/wiki/Charles_Joseph_Minard
第10期朱梦泽, 等: 叙事式可视化综述1721
1.2叙事式可视化的定义
虽然对Storytelling的研究逐渐增多, 但在可视化领域仍然没有一个公认的定义. Wojtkowski等[5]认为, 具
有以下3个属性的信息可视化可以称为Storytelling或类似故事的可视化: (1) 构建并提供的信息能有效地呈现; (2) 像好的故事一样详略得当; (3) 将信息以具有吸引力的方式呈现, 以便能被更快地理解. 在之后的研究实践中, 提出类似故事叙述对于上下文关联的呈现, 通过可视化技术的视觉效果对数据信息修饰, 且允许跨媒体的冗余信息; 其核心仍是让可视化结果具有类似故事的效果, 以提高数据解释的效率与记忆性. Riche 等[19]则指出, 数据驱动的故事叙述关注的是通过可视化围绕数据进行有效的通信. 以Storytelling 为可视化目标, 提出了叙事式可视化.
可视化技术与将故事连贯表现的视频技术不同, 故事是以关键的故事节点为基础展开的, 但故事节点间仍具有上下文联系, 且能表现出故事节点间的变化. 通过运用修饰方法, 能像故事一样为呈现的信息添加上下文联系, 有效地帮助读者理解内容. 尤其是对于非数据分析人员而言, 如决策人员, 他们没有足够的背景知识, Storytelling可以更好地支持讨论和决策过程, 完成对数据资源直观且快速的探索. 在文学和影视领域, 要求故事具有趣味和情感以吸引观者, 新闻中要求故事准确易读, 在利用可视化技术讲述故事时也有类似要求, 使用合适修饰方法帮助读者分析理解数据, 并提高专注度与记忆性. 同时, 通过强化修饰方法, 可以使读者对于数据更感兴趣, 将视觉化和修饰结合能对记忆产生积极的影响, 让修饰后的图表更容易记忆, 且能防止过量的数据分散注意力.
2 叙事式可视化的分类方法
2.1可视化案例检索范围
在深入分析叙事式可视化的分类方法前, 本节将介绍构建可视化案例集合的方法和范围.
首先, 在Google Scholar, ACM DL Library以及IEEE Xplore中使用诸如story, narrative, story-telling, narrative visualization, presentation等关键词检索相关论文, 从检索获得的论文及其相关论文中筛选出符合叙事式可视化定义的可视化案例、设计方案或可视化工具共计29篇.
其次, 为了扩大搜集范围, 从The Kantar In-formation is Beautiful大赛至今所有入围作品中选取符合叙事式可视化定义的作品, 将获得的88项作品加入案例集, 最终获得的相关论文和作品共计117篇.
2.2叙事式可视化的分类
2010年, Segel等[8]从视觉元素和视觉场景出发提出叙事式可视化的7种基本类型, 分别为杂志样式、带注释的图表、分区海报、流程图、连环画、幻灯片以及电影/视频/动画. 这一分类方法以视觉元素和视觉场景为分类依据, 能帮助设计者依据故事类型确定叙事式可视化的整体视觉框架. 2018年, Tong等[20]参考小说分类提出另一种叙事式可视化的分类方法, 分为3大类: 谁(who)、如何(how)、为何(why). 其中, 第1类“谁”分为创作工具和用户参与, 第2类“如何”分为叙事、静态转换和动画转换, 第3类“为何”分为记忆性和解释. 该分类方法中, 对于各分类的定义不够明确, 且后2类的次级分类区分不明显.
对比叙事式可视化和其他类型可视化来看, 信息可视化用选择、转换和表示抽象数据的形式, 以促进人类
交互的探索和理解, 其注重的是可视化表示的动态性和交互性. 由此可见, 信息可视化与叙事式可视化最为相近, 一般将叙事式可视化视为信息可视化的一个分支. 通过对比两者的定义和案例, 整理归纳出叙事式可视化具有区别性的特点:
(1) 故事化. 对可视化的表现力有更高要求, 如前文所述, 叙事式可视化类似于信息图, 允许更多的冗余信息, 以提高可视化的记忆性和可理解性.
(2) 视角变化. 可视化设计中常通过交互性提供探索空间, 而在叙事式可视化中, 通过交互性可以实现观众体验故事时的视角变化, 直接影响故事的讲述方式.
(3) 过渡方式. 叙事式可视化中无论静态过渡或动态过渡都需要包含上下文关系, 使其过渡方式有别于其他可视化.
由于视角变化和过渡方法直接影响叙事式可视化的整体设计且能进一步分为不同类型, 本文基于这些具有区别性且影响可视化设计的特点, 提出一种叙事式可视化的分类方法. 视角变化中, 依据观众能否交互和探索故事, 即观众能否以自己的视角体验故事, 可分为线性叙事和探索型叙事. 过渡方法中, 依据对上下文的过渡方法分为静
1722 计算机辅助设计与图形学学报第31卷
态过渡和动态过渡. 使用本文分类方法对案例集分类结果统计信息如图2所示, 线性叙事方法与静态过渡方法目前仍是叙事式可视化中使用最多的方法. 图3统计了不同分类组合所占的比例, 线性叙事与静态过渡结合的方式为主流, 而可探索型叙事与静态过渡结合次之, 对于动态过渡的应用不足.
图2 案例集各分类数量
图3 案例集各类组合所占比例
2.3依据观众视角的分类方法
2018年, Vertice Festival/Transmedia会议中Thalhofer[21]针对现代媒体技术下观众视角问题, 分享了题
为Future of Storytelling - Future of Thinking的演讲. Thalhofer[21]指出, 很多人觉得人们生活在一个混乱的时代, 原因是如今人们讲故事的方式发生了巨大的变化, 故事叙述不再是线性的, 而是多视角的. 多视角叙事兴起的原因有2个方面: 一方面, 叙事方式与思考方式密切相关, 且由于科学技术发展使得全球联系更加紧密, 不同文化背景的人交流更加便捷和频繁, 不同思维模式下的观念碰撞使人们认识到多视角的重要性, 并以多视角的模式进行思考, 从而改变了叙事方式. 另一方面, 将多视角的思维模式与旧媒体结合, 扩展了其叙事方式. 新媒体技术的巨大进步也为多视角叙事提供了新的载体, 例如, 在YouTube、优酷、bilibili等视频网站中, 对同一话题有不同视频, 提供不同视角, 并通过评论或弹幕给予用户讨论空间. 互动视频则是近来较为受欢迎的新模式, 观众通过视频结尾选项选择下一步观看的视频, 从而决定故事走向, 获得属于自己视角的故事.
多视角叙事的兴起并不意味着单视角的衰落, 当前主流的方式仍是单视角叙事, 而且叙事方式的选择需要考虑单视角和多视角叙事的应用情况, 结合叙事内容与叙事目的做出适当选择. 单视角叙事与旧媒体(如小说、绘画、戏剧等)类似, 叙事由作者决定, 思考模式即作者的思考模式, 观众只能通过作者的叙事视角并尝试理解其思考模式, 因其视角单一、思考模式固定且故事结构唯一, 将其称为线性叙事. 以Aufrichtig等的可视化作品“Want to fix gun violence in America? Go local”①为例, 其变化过程如图4所示, 用户通过鼠标滚轮浏览圣路易斯的持杀人案例, 整个故事完全由作者决定且将所有故事信息传递给观众.
图4 Aliza Aufrichtig等可视化作品变化过程
与之对应, 把整个故事分解为多个故事块, 通过交互性和可探索性允许观众决定获取哪些信息, 也可以允许观众决定故事块顺序, 甚至影响故事走向, 以此实现多视角叙事. 其中, 思考模式为观众的思考模式, 故
事结构多样化, 观众通过探索来影响叙事, 故称为探索型叙事. 以Galán等的可视化作品“Historia de Zainab”②为例, 如图5a所示, 该作品以漫画的形式简述故事, 通过点击每一页漫画的右上角的按钮, 可以获取如图5b所示路线图、折线图、饼状图等数据可视化信息和部分文本信息作为故事的补充. 观众虽然不能决定故事顺序, 但可以选择是否探索按钮对应的信息, 由于信息获取不同会导致观众最终获取的整体故事有所不同.
对比来看, 由于可以选择是否加入交互性和可探索性功能, 相较于可探索型叙事, 线性叙事的
① www.theguardian/us-news/ng-interactive/2017/jan/09/special-report-fixing-gun-violence-in-america
②/
第10期朱梦泽, 等: 叙事式可视化综述1723
a. 漫画部分
b. 数据部分
数据可视化设计案例
图5 Galán等的可视化作品
设计成本低, 且适用载体广泛, 如网页、定制系统和海报等. 因为叙事完全由作者决定, 能保证所有信息全部被接收, 且故事内容及作者的思想能够被正确表达. 可探索型叙事要求可视化具有交互性和可探索性,
并要保证交互和探索过程适当且有效, 因此设计成本更高, 且需要交互设备, 如触控屏、体感设备、AR设备和VR设备等. 故事结构受观众探索影响, 故事块获取具有可选择性, 观众不一定探索到所有信息, 会导致最终获得的信息不完整, 使观众对故事理解产生偏差. 但交互性和可探索性能够吸引观众, 通过合理的引导方式可以尽可能地避免观众丢失信息; 且通过适当的交互探索过程, 可以有效地保持观众的注意力, 并提高对信息的理解和记忆力.
2.4依据过渡方式的分类方法
叙事可视化中强调信息间的上下文关系, 因此需要适当的过渡方式表现上下文关系, 以使其易于理解, 对上下文变化的过渡方式可分为静态过渡和动态过渡2种.
静态过渡使用颜、形状、位置等特征来表现故事节点内容的上下文关系, 需要用户通过这些特征来分析理解上下文. 例如, 对饼状图每个扇形上, 通过对比2个饼状图同一颜扇形面积的变化, 就能获得其对应的信息变化即上下文关系. 由于不需要动态效果, 使用静态过渡的叙事式可视化可以在海报、书籍、杂志等纸媒上呈现. 例如, Porat等的可视化作品“What Happened to All the Jobs Trump Promised?”①, 其过渡方式如图6所示, 图中圆形里每个人形代表4000个工作, 高亮部分根据左侧文字对应改变, 不需要动态地表现高亮部分的缩小放大, 观众也可以轻易地理解该变化过程. 静态过渡设计的主要问题在于, 如何在没有直接动态变化的情况下, 保证过渡前后上下文关系能被准确且容易的理解. 尤其需要注意过度或过量使用颜、形状、位置等特征带来的信息冗余会让可视化的信息难以理解, 甚至产生误解.
图6 Porat等可视化作品变化过程
静态过渡类似于漫画, 而动态过渡类似于动画, 通过使用动态变化效果可以直观、动态地展现上下文的变化关系. 尽管对内容的修饰(如绘制的图案、音乐、动态过渡等)会增加视觉检索的时间或不利于部分分析工作, 如今普遍认为对内容的修饰并非毫无作用, 适当的修饰可以帮助传达上下文内容, 使其更容易理解和记忆[22]. 因此, 动态过渡设计的主要问题在于合理安排动态效果, 保证观众不会接受过多冗余信息且不会分散注意力. 另外需要注意的是, 只有使用动态效果表达上下文关系才是动态过渡, 在作品中使用动态效果但上下文关系没有直观、动态地展现的可视化作品仍属于使用静态过渡的可视化.
Periscopic制作的可视化作品《U.S. Gun Deaths》②是对动态过渡应用的较好例子. 如图7所示, 该作品使用动态过渡展现了曲线从坐标轴原点升起, 到橙部分在中间停止, 再到灰部分落回坐标轴, 动态过渡使观众很容易就可以理解
①/graphics/trump-job-promises
②guns.periscopic/?year=2013

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。