编辑推荐: |
本文以某物流公司为例,详细介绍一下大数据分析平台建设过程,希望对您的学习有所帮助。
本文来自知乎,由火龙果软件Alice编辑、推荐。 |
|
一、企业数据化有什么难题?
1. 业务板块独立。有不同的人做不同的事,相互之间几乎没有任何沟通和联系;
2. 业务系统孤立。各个板块都对应着一个业务系统,数据存储独立,数据之间无交集;
3. 数据孤岛。在获取数据时,往往需要登录多个系统,数据编码独立,缺失关联性;
4. 分析指标孤立。各个业务系统,数据的分析指标不统一,相对孤立,价值含量单一。
原因分析图
上述的四点问题的存在,导致数据处理复杂,耗时耗力,员工把精力更多的困在数据处理上,为数所困。最终会致使管理层决策依据不完善、不准确、不全面,出现决策失误、丢单、丢信誉的情况。
二、数据技术转型历程
在充分分析了目前企业为何为数所苦的原因之后,该公司决心要从底层整合业务数据,顶层构建数据决策平台两个方面入手,进行数据技术转型。
(一)底层整合业务数据
面对上面分析得出的业务系统孤立、数据孤岛等数据问题,长久物流提出了三种数据解决方案
方案一:先整合系统应用,再整合数据;
方案二:通过后台对系统间数据进行中间映射表关联,进而实现数据整合;
方案三:梳理目前所有的业务板块的主数据,针对共同的基础因子,进行数据标准建设,最终统一到数据仓库进行建设。
其中,公司涉及大量的业务,各个业务场景不同,对系统应用及数据进行整合时工作量太大,方案一不可行;并且随着业务的扩展,数据业务系统增加,数据整合便会越来越多,最终会形成一个蜘蛛网,给数据运维造成很大的工作难度,使技术人员疲于应对,因此方案二也不可行。通过多次讨论研究,最终选定第三种方案。
1. 整改现有系统数据标准
将原有的主数据转化为业务数据和公共数据,按照行业标准、内部规范、技术属性等标准和原则对交付及时率、回单及时率、金额、日期等数据类型进行重新定义,重新划分。
通过统一的数据标准对一些比较繁琐、混乱的业务系统数据进行规范,再将其抽取到数据仓库。
标准整改流程
2. 设计数据仓库数据流程
从源系统层面抽取数据,通过ETL层对数据进行清洗、转化,最终上传;然后根据统一数据标准的规范,在应用层进行数据主题的建模;最后在展示层通过数据报表进行展示并采用柱状图、趋势图等方式增强数据的可读性,搭建企业的统一驾驶舱。
数据仓库数据流程设计图
(二)顶层构建数据决策平台
在完成了底层业务数据整合工作之后,长久物流在整合业务系统数据的基础上,通过帆软产品自带的数据决策系统,有效集成了各个业务系统的实时数据,并根据各个部门的需求搭建了数据分析模板。
帆软PC端决策系统
同时,还利用FineReport与钉钉、微信等移动端应用可集成的特性,开发了移动管理平台,能够随时随地,实时访问数据报表,获取数据。管理者实时了解掌握公司各业务部门报表数据,实时运营数据,运营异常预判等数据信息。
移动端
各业务部门通过统一入口,可快速查看数据报表,使得工作人员在出差时,不必打开厚重的电脑,登录多个系统;应标时,不必为客户问题统计数据熬夜加班,给竞争对手可乘之机;重要论坛时,不必为数据信息统计不及时而丧失行业信息交流的良机。
三、数据技术转型成效
在底层业务数据整合完毕,顶层数据决策平台构建完成之后,公司不再为各项业务中的数据填报、获取、整理所困,对于各项业务的数据分析及实时管控有了极为明显的提升。下面从公司主营业务中的管理驾驶舱、月度运营会分析及仓储业务统一管控为例,进行介绍。
(一)主营业务分析
1. 管理驾驶舱
通过管理驾驶舱系统,实时把数据从各系统抓取过来,经过加工处理,把不同的系统、不同业务的数据实时显示到管理驾驶舱系统中,并可通过移动端应用进行展示,方便管理部门人员实时掌握公司当日运营情况。
finereport管理驾驶舱
移动端全国集中统计分析
2. 月度运营会公司
每个月都会召开关于主营业务的月度运营会,统计每月各大区单月的发运,当月的完成率,并且需要数据进行同比和环比等计算。
月度运营分析会是为了帮助各个区域了解上月份的运营情况,总结经验然后有针对性的对本月运营方式做调整。从表1中我们可以看出在决策系统实施前,月度运营分析会的召开时间是下月中旬,召开时间是不是晚了些?
这正是由于各个业务之间相对独立,数据的处理材料汇总需要等到月中才能上交。在实施应用了决策系统之后,月度数据在月初就可以直接在决策系统中查询,截图便可直接进行汇报分析,帮助管理层及时调整运营方式,极大的减轻了人力成本,增加了人均产出,效率大大提高
商用车发运情况通报表
(二)仓储业务管控
仓储是指通过仓库对物资进行储存、保管及仓库相关储存活动的总称,是物流活动的重要支柱。没有控制和管理物流仓库的能力,就难以发展成为有竞争力的大型物流企业。
在未应用数据决策平台时,公司常常被这些数据问题所苦:
1.如何实时掌握7个大区的车辆存放情况;
2.如何了解仓库使用了多少,空置了多少;
3.新业务来临时,如何准确的统筹调度。
数据决策平台完美的解决了上述数据问题。仓储事业部可以实时掌握全公司的库存情况,提前做好调度,几万平米的库区分区品牌、分时间段进行维护,业务人员不需要再为这些报表制作、填报等问题烦恼痛苦,可以将工作的重心放在日常车辆维护以及质量检测上。
各大区库存空置率、使用率统计表
之后该公司进一步实现对经营数据的抽取、分析、展示,与其他企业进行数据共享、数据交换,实现智能调度和智能拼接,最终构建行业全产业链的大数据平台!
|