? ?
港口大数据分析中的大数据挖掘方法
作者: ???? 来源: 港口大数据观察???? 编辑: zhm???? 发布时间: 2018-2-28???? 浏览量: 8584????

港口企业要实现对“港口大数据”这座金矿的开采,就不得不提到一门技术学科“大数据挖掘技术”。大数据挖掘Data mining的中文又译为资料探勘、数据采矿。一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。港口大数据观察从实际应用的角度总结归纳的几种在港口大数据分析中常用的大数据挖掘方法

1、常见的大数据挖掘算法

近年来,港口大数据的深入应用引起了港口信息化的关注,其主要原因是港口自身作为供应链的核心节点,实际生产过程中沉淀了海量的数据,可以广泛使用,港口企业都迫切需要将这些港口大数据转换成有用的信息和知识、支撑日常的经营中的管理决策。这些港口企业都将自身所拥有的港口大数据堪称“港口数据资产”或“港口数据资源”,认为港口大数据是港口企业的一座尚未开采的金矿、是可以通过一系列采矿技术获得黄金的场所,港口企业要实现对“港口大数据”这座金矿的开采,就不得不提到一门技术学科“大数据挖掘技术”。大数据挖掘Data mining的中文又译为资料探勘、数据采矿。一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。港口大数据观察从实际应用的角度总结归纳的几种在港口大数据分析中常用的大数据挖掘方法,以供港口业内人士参考,也希望各位读者朋友们在港口大数据观察的文章评论中积极互动与探讨。

在港口大数据分析应用中,所涉及的大数据挖掘方法通常包括如“聚类”、“分类”、“回归”、“关联规则”、“事件序列”等,具体原理如下:

l回归是确定因素与因素或原因与结果之间的函数关系。通常指连续要素之间的模型关系。主要用于连续量的预测;是因果关系分析的基础。

l聚类是指对具有共同趋势或结构的数据进行分组(数据划分)。将数据项分组成多个类, 类之间的数据差别应尽可能大,类内的数据差别应尽可能小。即“最小化类间的相似性, 最大化类内的相似性”。聚类分析可以建立宏观的概念,发现数据的分布模式。是知识发现的基础。根据客户的发货量、物流多个特征的综合比对,对客户进行聚类分析,对客户进行等级划分。

l分类是研究己分类资料特征,分析对象属性,据此建立一个分类函数或分类模型,再运用该模型将其他未经分类或新的数据分派到不同的组中。

l关联规则反映一个事物与其它事物之间的相互依存性和关联性;如果两个事物或者多个事物之间存在一定的关联关系,那么其中一个事物就能够通过其它事物预测到,最着名的应用就是大家耳熟能详的沃尔玛公司的啤酒和尿布的试验,把啤酒和尿布摆放到一起销量就会增加。关联是某种事物发生时其他事物会发生的这样一种联系。

l时间序列是指变量随时间变化,按等时间间隔所取得的观测值序列,称时间序列。时间序列分析法主要通过与当前预测时间点相近的历史时刻的数据来预测当时时刻的值。

2、港口大数据挖掘的应用设想?

港口的业务流程大体上可以分为:等待船舶抵达→执行卸货/装货操作→运送集装箱到堆场→在堆场和货运代理商之间运送集装箱。

未来业务量预测:在上述的业务流程中会涉及了大量历史装卸及EDI报文数据,我们可以结合这些数据,考虑经济周期、行业周期、季节周期等因素,分行业、地域、客户、产品种类等预测未来某段时间内的业务量,并汇总得到港口的总业务量预测,为港口经营与港口建设等提供决策支持。这种预测分析通常会采用的大数据挖掘算法是时间序列中的ARIMA算法模型。

港口机械设备维修预测:在上述的业务流程的执行过程中会涉及如岸桥、场桥、正面吊、拖车、叉车等参与作业的设备。根据港口机械设备的使用记录、PLC数据记录、巡检记录、故障记录、维修记录等历史数据,分析设备的使用模式及相关人员的行为模式,预测设备在未来某段时间的可用性,为设备资源的配置、调度等提供决策支持。这种预测分析通常会采用的大数据挖掘算法是Support Vector Machine, Logistic Regression。

港口设备备件采购供应链优化:通过设备维修预测带来的另一个好处是降低维修成本,可以通过设备的各类数据预测出各种设备的核心零部件未来的可用性并提前做出预警,有了这样的事前可用性预测预警,在此基础上提前安排合理的维修计划,由此每台个设备的每个核心零部件只有在需要更换的时候才被更换。基于这样的数据我们就可以清晰的知道在未来相应的时间段内,每一种核心备件应该有多大的库存量、备件的供应商都有哪些、性价比如何等,基于这些数据的综合分析就可以对港口备件采购供应链中的采购计划库存、进行优化,还可为港口与备件供应商的商务谈判策略提供权威的分析数据支撑。

总之大数据挖掘技术在港口行业中的应用,可以从港口大数据的海洋中挖掘出新的价值信息,用于指导港口企业生产运营效率,这对港口企业综合竞争力的提高。有着十分重要的意义。后续我们也将继续分享数据挖掘在港口的实际应用案例,感兴趣的读者可以通过留言或订阅的方式与我们互动,港口大数据观察日后将综合考虑读者的需求和关注点,联合行业专家推出新的专辑系列。


支持

反对

高兴

难过

气愤