城市交通大数据技术及智能应用系统.docx

摘要：城市交通大数据具有种类繁多、异质性、时空尺度跨越大、动态多变、高度随机性、局部性和生命周期较短等特征，如何有效地采集和利用交通大数据，满足高时效性的交通行政监管、交通企业经营管理、交通市民服务等应用需求，是城市交通和智越城市面临的前所未有的机遇和挑枝。重点分析总结r城市交通大数据的若干研究内容及核心技术，提出了城市交通大数据智能应用系统解决方案，列举了几种典型应用，在城市交通和智微城市领域的大数据研发和应用领域进行了初步探讨。关键词：城市交通；大数据：云计算；物联网I引言2015年两会上，“大数据(bigdata)”一词首次写入政府工作报告。在交通领域，大数据直被视作缓解交通压力的技术利器。应用大数据有助于了解城市交通拥堵问题中人的出行规律和原因，实现交通和生活的和谐，提高城市的宜居性，为政府精准管理提供基于数据证据的综合决策I。同时，大数据的挖掘和使用还有利于催生信息消费新模式，促进信息消费产业发展。随着手机网络、全球定位系统(g1.oba1.positioningsystem,GPS)/北斗乍我导航、车联网、交通物联网的发展，交通要素的人、车、路等的信息都能够实时采集，城市交通大数据来源日益车友2。在日益成熟的物联网和云计算平台技术支持卜.，通过城市交通大数据的采集、传输、存储、挖掘和分析等，有望实现城市交通体化，即在个平台上实现交通行政监管、交通企业运营、交通市民服务的集成和优化3“城市交通大数据的集成与分析技术研究，对我国智慧城市的发展具有战略性意义。交通大数据具有种类繁多、异质性、时空尺度跨越大、动态多变、高度随机性、局部性和有限生命周期等特征，如何有效地集成交通大数据，满足高时效性和知识牵引等城市交通智慧化需求.是各个大中城市所面临的前所未有的发展机遇和挑战48.本文首先荷维介绍了大数据的发展状况及由垮，然后重点分析总结了城市交通大数据的若干核心技术，并提出城市交通大数据的智能应用系统解决方案，最后重点列举几种典型应用.2大数据的发展状况及趋势近年来，数据的快速增长成了许多行业共同面对的严峻挑战和宝贝机遇，信息社会正在进入大数据时代。大数据指的是涉及的资料量规模巨大到无法透过目前主流软件工具在合理时间内达到感知、撷取、管理、处理和服务的数据集合。从2009年左右开始，“大数据”开始成为互联网信息技术行业的流行词汇。根据比联网数据中心(IDC)估测，数据一直以每年50%的速度增长(大数据摩尔定律)，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量,预计到2020年，全球将总共捕有35亿GB(35ZB)的数据.大数据处理的数据规模从TB级上升到PB、EB甚至ZB级，人们面临着如何降低数据存储成本、充分利用计算资源、提高系统并发吞吐率、支持分布式非线性迭代算法优化等众多难题。为应对大数据的发展趋势，更好地为行业用户和个人提供数据分析的服务，亟需构建各类不同的大数据平台，支持用户对数据的多种需求。构建大数据平台就是要将不同渠道、不同来源、不同结构的数据进行有机的整合。与传统数据平台不同的是，大数据海量的规模、多样的类型、快速的流动和动态的体系以及巨大的价值是大数据平台构建需耍重点考虑的几个因素.除此之外，数据的分类存储、数据平台的开放性'数据的智能处理以及数据平台与用户的交互都为大数据平台的建设带来前所未有的挑战。大数据平台处理的数据类型是多种多样的。目前这些平台的搭建已经有了些有代表性的成果，如Goog1.e公司的Freebase、微软公司的Probase、国内著名的中文信息结构库一中国知网。在商用数据平台方面，IBM公司的InfoSPhCK大数据分析平台、天睿公司的TCmdata统一数据环境以及由国内天猫、阿里云、万网联合推出的国内首个电商云工作平台聚石塔是3个典型的数据平台。“大数据”本身是一个现象而不仅仅是一种技术，这是信息科技历史发展的必然结果。大数据的采集、传输、处理和应用所需的相关大数据处理技术，是通过系列地使用非传统工具来对大量的结构化、半结构化和非结构化数据进行处理，从而获得分析和预测结果的系列大数据处理技术。大数据技术的战略意义也不仅在于掌握庞大的数据信息，而更在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现等功能的有力武器。大数据发展呈现以下趋势.（1）基于云计党的数据分析平台云计算为大数据提供了可以抑性扩展、相对便元的存储空间和计算资源，使得中小企业也可以像亚马逊公司样通过云计算来完成大数据分析。云计算IT资源庞大、分布较为广泛，是异构系统较多的企业及时准确处理数据的有力方式，甚至是唯一的方式。大数据要走向云计算，还有赖于数据通信带宽的提高和云资源池的建设，需要确保原始数据能迁移到云计算环境以及资源池可以随需弹性扩展。（2）数据分析集逐步扩大，企业级数据仓库将成为主流当人们从大数据分析中尝到甜头以后，数据分析集就会逐步扩大。R前大部分的企业分析的数据量一般以TB为堆位。按照目前数据的发展速度，数据量很快将会进入PB时代。特别是目前在100500TB和50（HTB范闱的分析数据集的数砥会成倍增长.随着数据分析集的扩大，以前部门层级的数据集将不能满足大数据分析的需求，它们将成为企业级数据库（EDW）的一个子集。因此，企业内的数据分析将从部门级过渡到企业级，从面向部门需求转向而向企业需求，从而也必将获得比部门视角更大的益处.随着政府和行业数据的开放，更多的外部数据将进入企业级数据仓库，使得数据仓库规模更大，数据的价值也更大。（3） Hadp对MaPRCdUCC的依赖程度越来越小Hadoop是个能够对大量数据进行分布式处理的软件框架,能够处理PB级数据，具有高可靠性、高扩展性、高效性和高容错性等特点。其新版本不只为MapRcducc服务，而是和CIO1.KIera的ImPHhI一样用一个SQ1.隹询弓I擎或者其他的方法来皆代MapRcduccHBascNoSQ1.数据库就是Hadoop离开MapRcducc约束后的个很好的例子。未来HadoOP平台将在大数据处理中发挥越来越重要的作用。3城市交通大数据3.1 城市交通大数据的主要研究内容城市交通大数据的研究内容主要包括以下方面。（1）时效约束的大数据多尺度汇聚计算和动态图谱交通大数据存在多源、异质、局部性、时空关联、异步性、信息稀疏性和并发性等特点，而城市交通系统存在着对大数据汇聚处理的高时效性以及对“大而信息稀疏”的交通大数据的援域知识牵引要求。现仃的数据融合、计算理论与方法难以满足而时效性的大数据处理和基r数据的知识构建与转换等需求，亟需提出时效约束的大数据多尺度汇聚计算和动态图谱的交通大数据处理新理论与新方法。（2）高维空间的隐性知识序贺挖掘与演化模型交通主体、行为、态势、路网拓扑和环境形成J'高维生态系统闭空间，相互之间存在若容度非线性、随机性和动态的耦合关系。交通态势及其演化是交通系统的宏观体现，具有约束条件卜的动态性、序贯性、自组织、随机性等特点，交通态势机理解释对解决城市交通的难题非常重要。传统的交通理论难以发现院含在如此悬维空间的知识，对交通出行规律及其时空演化,大面积交通拥堵演变规律、环境与交通行为等进行综合知识和数据支撑的解群与评价，高维空间的隐性知识序贯挖掘与演化将为此提供坚实的理论与技术支撑。（3）交通态势的预测机理与调控策略交通态势是城市交通系统运行状态的反映，受到交通需求、网络拓扑、多交通子系统、环境、管理和调控策略等众多因素的相互影响与作用。由于城市交通态垮具有时变性、不神定性、非马氏性以及影响因素之间的相关性等特点，是一个超维的宏杂巨系统，其调控与预测是世界性的难题，目前尚缺乏相关的理论与方法.交通态势的预测机理与调控策略的研究，将创建芨杂交通巨系统的预测及其控制的新理论与途径.3.2 城市交通大数据相关处理技术在城市交通蓬勃发展的过程中，其数据采集量必然成倍增长，形成海员、动态、实时的交通大数据.因此，以大数据处理技术为支捽的城市交通信息服务将成为未来智能交通发展的增长点。城市交通所涉及的大数据技术，总结起来大致包括如卜内容。（1）基于Hadoop框架的MapReduce模式技术Hadoop是一个能够对大员数据进行分布式处理的软件框架，而map/reduee是HadOOP的核心计算模型，它将过杂地运行于大规模集群上的并行计算过程高度地抽象到了两个函数.Hadoop实现了一个分布式文件系统（Hadoopdistributedfi1.esystem,HDFS）eHDFS仃着高容错性的特点，用来部署在低廉的硬件上。而且它能提供高传输率来访问应用程序的数据，适合那些有着超大数据集的应用程序。（2）数据仓库技术数据仓库是决策支持系统（DSS）和联机分析应用数据源的结构化数据环境，研究和解决从数据库中获取信息等问题.数据仓库的特征在了面向主题、集成性、稳定性和时变性，其主要功能是将组织通过资讯系统的联机交易处理（O1.TP）经年累月所累枳的大量资料、数据仓库理论所特有的资料存储架构进行系统的分析整理，以利于各种分析方法如线上分析处理（O1.AP）、数据挖掘（datamining）的进行，进而支持决策支持系统,主管资讯系统（EIS）等系统的创建，帮助决策者快速、有效地从大量数据资料中分析出有价值的信息，以利于决策拟定及快速回应外在环境变动，帮助构建商业智能。（3）中央数据登记簿技术中央数据登记簿系统是平台数据统一管理、综合交通信息服务的基础，包括与交通信息有关的数据表示和交互以及交通信息服务、适合于综合交通环境的数据字典和消息模板、交通数据项定义规则、注册和管理机制等。（4）平台GIS-T应用技术平台GIS-T应用技术是交通地理信息系统的支拽技术，可为交通信息服务提供高效的信息查询功能、海域的存储功能，包括出租车、公交车、综合交通视频信息等数据：提供优秀用户体验的WCbGIS引旗，让用户享受基于浏览器的交通信息服务。（5）基石非序列性数据操作技术基于非序列性数据操作技术包括虚拟化环境以及流数据处理技术，通过网络招大量:服务器的内存空间统合在起，使之形成个电大型的虚拟内存,然后在其上进行数据配置，可实现对现有设备资源的最大使用效率，同时实现对即时性数据的反削能力。（6）视频大数据处理技术视频大数据处理技术将目前各个专用性的视频监控系统有机地整合在一起，实现视频资源统一接入、统转码、统分发、统管理和统运营的“五统”目标.它可整合包括交通视频,站台视频、客运站视频、离速公路视频,社会治安视频、车毂视频等在内的多种视频资源，提得整体视频监控的效率，且基于视频监控基础设施之上创造更多增值性的应用，从而实现视频监控系统的爆火化效用。（7）大数据处理技术大数据预处理技术是将接入平台的数据根据具体的业务规则进行进一步的处理，包括对接入的数据进行有效性的检验、大数据清洗等。大数据标准化处理技术从数据库中取出经过清洗后的数据，根据业务规则将外部系统的数据格式转化为平台定义的标准格式.（8）大数据融合处理技术大数据眼合处理技术是指采用多源交通信息融合方法，结合特征融合技术（识别/分类、神经网络、贝叶斯网络等）、目标机动信息处理技术（自适应噪声模型等）及多目标跟踪的信息融合技术，提高信息系统的顽健性及可靠性。多源交通大数据信息融合分为3级：基础级是数据级融合，它只完成数据的项处理和简堆关联：第二级是特征级融合，就是根据现有数据的特征预测交通参数：第三级是状态级融合，根据当前交通流信息判断交通状态。交通流信息融合的基本过程包括多源信息提取,信息预处理、融合处理以及目标参数获取和状态估计。（9）实时