大数据环境下舆情分析的决策支持系统分层模型
   来源:知于大数据分析     2018年07月23日 19:43

在已有的舆情系统中,决策支持模块一般处于舆情监控系统的服务层,其功能是通过可视化的界面为用户提供决策依据。当前舆情监控系统中决策支持层的主要功能有:利用现有模型对舆情信息进行分析,掌控舆情的热度和发展态势;自动生成各类统计数据和舆情报告辅助决策;实时监控,发现重要信息和敏感信息及时预警。在当前舆情监控系统中,舆情的应对策略最终由人制定的,缺少智能化的策略推荐系统。Feng Cao,Jie Ding等提出的舆情监测模型中决策支持模块为一种决策辅助工具,不能自主生成舆情决策策略。当前许多人主要从数据的采集和清洗模块、数据的分析模块和决策支持三大模块来构建舆情分析和决策支持系统。因此,鱼君根据大数据处理的相关技术提出大数据时代舆情分析及决策支持系统构架。

麻烦不断,挑战不断

大数据处理的相关技术与大数据时代的到来对现有的数据处理技术带来了巨大的挑战, Jin从大数据的储存和管理、计算和分析以及大数据安全三个角度分析了大数据给现有技术带来的挑战。在数据存储上,当前的数据存储技术远远不能满足数据的增长速度。知于数据统计表明,当前数据的增长速度仍高于网络的承载能力,同时数据异质性问题减缓了数据存储的速度。为应对数据存储方面的挑战,商务智能云推出了各种类型的云服务用于解决大数据的存储问题。云服务可以实现以最少的工作或服务建立一个共享的结构化的计算资源 供应平台,从而缓解大数据存储问题。但是云服务相关的技术目前处于未成熟期,面临着数据安全、成本、 技术融合、服务水平协议等采纳方面的挑战和云协同性问题。

在数据的分析和计算方面,处理问题的速度是一个重要的现实需求,但是在解决现实问题时需要遍历数据库中的所有相关的数据,这在大数据时代将花费大量的时间。通过数据索引技术解决数据遍历问题是当前的一个重要优化手段,但是该方法仅适用于数据结构单一的情况。大数据结构多样性的特点要求将合适的索引技术同持续更新的预处理技术结合来处理该 问题。目前并行处理和分治算法是处理大数据问题的通用模式,基于云技术可以实现成百上千的计算机同时处理大数据计算问题,从而降低模型成本和时间成本。Hadoop是当前学术界和企业界用来解决大数据存储和分析问题的一个主流技术,它是 A- pache开源分布系统的构架基础,由 HDFS、MapRe- duce和 HBase组成。陈彦舟等设计了一个基于 Hadoop的微博舆情监控平台,并通过实验证明该平台在分析大规模微博舆情数据的有效性。

大数据舆情分析及决策支持的分层构架模型

鱼君通过对Feng Cao,Cheng Xian-Yi,陈彦舟构建的舆情预警系统的模型的归纳并结合大数据处理的相关技术和决策支持系统的相关理论,提出了大数据舆情分析与决策支持的分层模型(如 图3)。该模型分为数据搜集与存储、数据分析和决策支持三个模块,其中数据搜集与存储和数据分析模块在原有的舆情分析系统基础上增加了大数据存储和分析的技术,在决策支持模块增加了专家知识库。该模型在解决大数据存储和分析问题的同时利用专家知识库对舆情处理提供针对性的策略,弥补了舆情预警系统中决策支持模块仅能被动提供决策辅助的缺陷。

舆情 数据 技术