基于ETC门架数据的营运数据分析平台建设
论 文
作者：王刚1，王领1，陈航锋1，陈剑2，袁红叶2，何日升3，郭聪3，林为政3，刘薇3（1.浙江省交通投资集团有限公司高管部；2.浙江交投高速公路运营管理有限公司；3.浙江综合交通大数据开发有限公司）
摘要：全国高速公路进入了“一张网”运营时代之后，高速公路的收费业务、数据类型等发生了巨大变化，精准、智能化的运营体系应运而生。本文通过分析省界收费站取消后高速公路建设现状和需求，提出了基于ETC门架数据的营运数据分析平台，平台利用大数据分析技术，构建流量、通行费、稽核打偷等模型，并形成流量、营收、车辆画像等主题库。该平台已在浙江交通集团得到全面应用，赋能监控、养护、机电等业务系统，大幅提升了稽核业务水平和营运分析工作效能。
省界收费站取消后，门架产生了大量的交易数据和抓拍数据，数据量较以前增加了10~20倍，传统的数据分析技术已不能支撑当前的应用需求。随着道路信息化建设的日益发展，高速公路行业进入智能化管理阶段，大数据智能分析技术成为行业数据分析的航向标。通过大数据技术和手段对营运数据进行挖掘分析，一方面，可以应用于流量预警、车辆OD、流量迁徙、营收测算、稽核打偷、交通调查、重点车辆管理等营运管理方向；另一方面，可以和道路建设期数据、道路监控数据、高速事件数据以及外在气象等数据进行数据融合分析，应用于交通流预测和仿真、通行费预测、拥堵预测、堵点分析、道路管控和道路建设规划等方面，提升高速公路通行水平和人民群众的满意度。基于当前数据的现状和需求，本文提出了基于ETC门架数据的营运数据分析平台，平台对新收费模式下的营运数据进行采集和汇聚，对数据进行处理并建立和高速业务相关主题库和算法模型，赋能高速公路应用场景。
平台建设
（一）总体架构设计
平台总体架构如图1所示，基于高速信息安全管理体系和高速信息标准管理体系，高速公路营运分析平台的整体架构包含基础层、采集层、大数据存储分析层、高速场景应用层，涵盖了高速营运数据采集、清洗、存储、模型、算法、应用等各个环节。
图1 平台总体架构
1、基础层：高速营运数据产生原始层，包含门架交易流水、抓拍流水、车道交易流水、收费费率、设备状态和运营监测等数据，离散分布在门架或车道工控机上。
2、采集层：通过搭建数据总线对基础层的营运数据进行采集，实现数据汇聚。为了满足业务场景和实时性的要求，采集需要支持并发机制、日志采集、重连机制、数据补采、数据校验、传输监控和管理、采集优先级管理等功能。
3、大数据存储分析层：数据汇聚到大数据平台后，先对数据进行清洗、分类、聚合和分层，之后运用业务规则和大数据的能力进行主题库和算法模型的构建。
4、高速场景应用层：可以使用单个主题库和算法模型解决一类应用场景问题，或使用多个主题库和算法模型进行组合解决复杂应用场景问题。本文将应用场景分为三大类：经营分析、流量分析和辅助稽核。
（二）数据采集
数据采集逻辑架构由下往上分为三层；基础层、数据采集层、数据汇集层。采集架构如下图2所示。
图2 采集架构
1、基础层。各路公司的收费系统设备每日产生大量的数据，这些数据分散存储在当地数据库当中，包含门架和车道的交易和抓拍信息。
2、数据采集层。考虑到业务影响、采集质量、采集效率和采集效果，数据采集层设计模块组成包括并发机制、采集配置、增量采集、重连机制、日志采集、服务管理、权限管理、传输管理、采集策略等。
3、数据汇集层。数据汇集层对采集层的服务进行监控和管理，常用的功能有数据补传、传输监控、服务监控、数据校验、数据管理、数据质量管理、汇聚策略、权限管理等。
（三）数据处理
1、去除异常流水。采集到的数据是JSON结构，需要进行解析入库，解析过程中，需要对重复和异常的流水进行去除，这些重复的流水包含对向门架干扰、前序门架已交易、一车多签等流水。
2、车牌还原。基于现有的交易方式和模式，门架和出入口流水和对应的图片，容易发生错位的现象，本文通过对比前后5条流水和相应的抓拍图片，按业务规则进行修正。
3、节假日流量还原。法定特殊节假日期间，小于8位的客车进行可免费通行。若这些车辆没有安装OBU设备，也没有在入口取CPC卡，门架则无法识别到类型。本文通过对比相应门架的抓拍记录，对相应的断面流量进行还原。
（四）主题和模型建设
1、流量主题库。通过收费站通行流水、门架通行流水、设备采集地址、通行时间等数据，建立流量主题库，时间维度为年、月、日、小时和分钟级别；车辆类型维度为客车、货车和专项作业车，其中客车分1-4类、货车分1-6类、专项作业车分1-6类；地点维度为收费站、门架、路段、地级市、省份等；特殊车辆维度为绿通车、减免车、集装箱和大件运输车等；流量度量以车辆通行车次（不同的PASSID）为统一口径，提供报表、对内接口、对外服务等方式的输出。
2、营收主题库。通过收费站交易流水、门架交易流水等数据，建立营收主题库，时间维度为年、月、日、小时级别；车辆类型维度为客车、货车和专项作业车其中客车分1-4类、货车分1-6类、专项作业车分1-6类；地点维度为收费站、门架、路段、地级市、省份等；交易类型维度为ETC交易和CPC交易；支付类型度维度为现金支付、移动支付、ETC支付、免支付等；特殊车辆维度为绿通车、减免车、集装箱和大件运输车等；费用度量为车辆收费金额，提供报表、对内接口、对外服务等方式的输出。
3、车辆主题库。通过收费站通行流水、门架通行流水、通行时间等数据，建立车辆主题库，车辆种类维度为普通车、公务车、军警车、紧急车、免费车、绿通车、联合收割机、抢险救灾、集装箱、大件运输车、应急车和汽车列车等；车辆类型维度为客车、货车和专项作业车，其中客车分1~4类、货车分1~6类、专项作业车分1~6类；车辆通行介质维度为ETC、CPC和纸券等；车辆年通行次数维度分为五个等级，分别为0~30次、30~80次、80~200次、200~300次、300+次；车辆年通行里程维度分为五个等级，分别为0~500公里、500~5000公里、5000~10000公里、10000~20000公里、20000+公里；惯驶路线维度为出发点、到达点、通行次数、平均通行里程、平均通行费用和平均通行时间等；度量为车辆，提供报表、对内接口、对外服务等方式的输出。
4、通行费拆分模型。在车辆门架的通行记录基础上，对出口的特殊车辆进行修正，根据通行的PASSID关联门架交易记录，对出口为公务车、绿通车、联合收割机、应急车等免费车辆，以及集装箱车、挂车等固定车种的车辆进行金额的二次计算，根据浙江省各类车辆对应的里程费+叠加费费率标准，修正门架上几种特殊车种的交易金额，使门架的整体交易金额与实际拆分金额趋于一致，最终形成各路段的测算拆分金额，用于后期的路段金额测算等功能。
5、营收预测模型。利用历年的拆分金额、出入口流量等数据，通过算法研究，挖掘出入口流量与拆分金额的关联关系，结合路段的流量增长、车型部分比例、路段里程等因素，预测路段的未来营收情况。
6、打偷稽核模型。以营运数据和大数据平台分析能力为基础，通过数据和稽核业务深度关联，对ETC发行错误、假冒免通、兜底收费、车型不符专项、屏蔽通行介质、通行超时和灰名单7大稽核模型进行建设。
7、流量迁徙模型。对重点路段、断面、站点的车辆来源（路段、地区、省份）和去向的大数据OD轨迹进行迁徙分析，辅助车辆流量分析及差异化分析。
（五）业务应用
1、经营分析
（1）通行费测算：以门架交易数据为基础，结合出口的交易数据，对公务车、绿通车、集装箱车、挂车等车辆的交易金额进行修正，最终测算每个门架上的实际交易金额，从而测算路段每天的拆分金额。
（2）通行费分析：利用通行费测算数据，按日、月、年的时间维度，管理处、路公司、板块、集团的管理维度，车辆类型、车种的车辆维度，客货、通行介质、支付方式（现金、ETC、第三方）的交易方式维度，免费车、优惠额分类的优惠方式维度，分析各维度的通行费金额情况，并以表格和图形的方式进行呈现。
（3）经营报表：根据集团、路公司、管理中心、管理中心等层级，按月、年的时间维度，图形化的方式展示整体经营情况。
2、流量分析
（1）混合量分析：对车道、门架等位置的车流量进行分析，按日、月、年的时间维度，公司管理维度，车辆类型、车种的车辆维度，客货、通行介质、支付方式（现金、ETC、第三方）的交易方式维度，免费车、优惠额分类的优惠方式维度，分析各维度的流量情况，并以表格和图形的方式进行呈现。
（2）当量分析：对混合量统一折算成小车流量进行分析，分析结果可应用到高速路段的饱和度分析、服务水平等级分析、收费站分级联动、主线管控分析等方面。
3、辅助稽核
（1）ETC发行错误：对ETC车辆发行时车种和实际车种不符的车辆数据进行筛选供稽核人员判别。
（2）车型不符：对入口称重系统轴型判断错误（或者人工判断车型错误）的车辆数据进行筛选供稽核人员判别。
（3）假冒优免：利用浙江省优惠政策,假冒集装箱、绿通车等车辆数据进行筛选供稽核人员判别。
（4）屏蔽通行介质：通过屏蔽通行介质的手段，触发收费系统特情计费规则，造成兜底收费车辆进行筛选供稽核人员判别。
（5）服务区甩挂：通过两车换挂，从而改变车辆收费车型,达到少缴通行费的目的车型数据进行筛选供稽核人员判别。
（6）倒卡：对两辆车互相倒卡或者自倒卡的车辆数据进行筛选供稽核人员判别。
（7）无入口信息：高速通行过程产生无入口信息的车辆数据进行筛选供稽核人员判别。
（8）多次兜底计费：高速通行过程中，对3个月以内超过3个兜底计费的车辆进行分析，供稽核人员判别。
（9）多次在线计费：高速通行过程中，对3个月以内超过5个在线计费的车辆进行分析，供稽核人员判别。
（10）一车多签：通过门架数据的分析，发现高速公路通行过程中存在多个通行介质的车辆，供稽核人员判别。
（11）灰名单审核：在异常车辆分析的基础上，根据浙江省灰名单管理条例的规定，对符合灰名单的车辆进行审核，提供车辆的出口信息、门架交易信息、牌识信息、特情信息、图片等查询，并提供审核的功能，用户可对异常记录进行审核，审核通过后车辆进入灰名单，通过省稽核平台下发至车道。
4、数据服务
（1）车辆档案查询。根据历史车辆通行信息，建立车辆档案库，提供车辆档案查询，包含通行车辆车牌通行卡号、车牌颜色、车牌归属地市、客货车类型、车辆类别、轴型、轴限、ETC标记、OBU编码、车辆图片等。
（2）轨迹查询。用户可自行定义车辆的车牌、ETC卡号、时间等信息，查询该车辆在固定时间内的行驶记录。行驶记录分为交易流水记录和牌识流水记录，分别从收费路径和实际路径两个口径显示该车辆的驾驶行为，并利用GIS技术，对行驶记录进行位置打点，用在线地图的方式还原车辆的行驶轨迹。
（3）交易流水查询。用户可自行定义车辆的车牌、ETC卡号、时间等信息，查询该车辆在固定时间内的行驶交易记录，根据时间、门架的排序进行展示，并可关联相关的图片。
建设原则
基于大数据存储和分析的结果，紧密结合路公司的实际业务需求，开展通行费、流量、异常车辆等方面的分析，同时通过算法提供金额、流量的预测。开发B/S架构下的软件系统，辅助管理人员高效、有效地完成高速公路运营数据的分析与分析结果的展示，原则如下。
技术先进性原则。数据采集、大数据存储和分析、高速业务应用系统开发的技术选型须考虑技术的行业应用案例、技术成熟性和创新性。
2、实用性原则。以实用为核心，紧密围绕高速公路运营数据分析业务，摒弃华而不实的功能和太过于前卫的技术和工具，以务实性、易用性和人性化为主。
3、可靠性原则。数据采集、大数据存储和分析、高速业务应用系统须长时间二十四小时运转，必须对安全性、可靠性和容错能力予以高度重视。
4、标准型原则：设计系统时须依照国家和地区、行业与集团的有关标准和优良实践，确保系统具有良好的可扩展性和可维护性。
技术难点及要求
对门架ETC多维度数据进行实时采集时，收费站门 架基数较大，对软件的并发要求较高，当遇到网络延迟或者断掉的情况，对系统自动恢复维护要求较高，且数据量大，需要大容量存储、备份空间。
（一）技术要求
基于大数据平台中建好的主题库和和业务算法模型，根据营运分析系统的业务场景需要，对离线分析和实时分析二种技术栈进行数据分析。离线分析是针对数据量大和非实时性业务的场景需求，以T-1的数据实现数据分析和服务，例如经营分析、测算分析、用户习惯分析等。实时分析是对实时性要求比较高的业务场景需求，例如实时跟踪、预警预测、危化品车告警等，实现第一时间分析和响应服务。
（二）性能要求
实现系统高性能运行的具体指标如下：（1）提交批量数据的处理时间：一个月内的台账不多于17秒；（2）复杂查询的完成时间：17秒内；（3）一般操作的相应时间：3秒内；（4）支持的同时在线用户数量：电脑端不低于1000；（5）支持的用户数量不小于10000。
平台创新点
本文使用当下主流的开发技术SpringBoot架构，支持大数据组件，支持多数据源，拥有灵活的权限控制，同时能够保证极高的系统安全性；拥有完善的XSS防范及脚本过滤，可彻底杜绝XSS攻击，具有Redis缓存动态开启与关闭、云存储等技术特点，系统配置灵活。本文所阐述的主要业务核心是把高速路收费站出入口数据、门架天线数据、高速卡口数据、车检器数据进行融合并实时分析。技术框架前端采用JavaScript+Jquery+Vue2.x+Bootstrap+HTML5+CSS3等技术；后台使用SpringBoot、SpringMVC、Mybatis、Shiro；数据库采用多数据源Mysql、Impala、Kudu、Oracle、Sqlsever。整个系统架构横向可拓展，开发语言使用主流的Java，可塑性和维护性比较高。系统支持分布式部署和远程运维，能处理TB级数据量，响应时间在秒级。
结束语
通过充分调研路公司对业务变化的新需求，本文完成了如下工作：1、以综合交通大数据池为基础，采集原收费站和门架的交易等数据；2、依托于云平台和大数据平台，进行营运类数据的清洗、分类、聚合重组，利用大数据的算力和建模能力，建立高速业务相关的各种主题库；3、围绕高速公路运营数据分析业务开发应用系统，帮助高速公路运营提高管理的精细化水平，发现收费过程中存在的问题，减少收费过程中的经济损失，同时拓展新模式下营运数据的拓展分析能力。后期，平台会融合建设期数据、道路监控数据、高速事件数据以及外在气象等数据，开展交通流预测和仿真、通行费预测、拥堵预测、堵点分析、道路管控和道路建设规划等方面应用，提升高速公路通行水平。
