苏宁物流天眼系统介绍
物流天眼系统是苏宁易购集团面向物流及售后领域的实时数据监控、多维度数据分析和大数据服务的可视化平台。
主要业务场景:
1.订单的全链路实时跟踪监控,监控了物流作业的20多个系统140多中场景,顾客从易购下单,到商品仓库出货到中转运输,到最后的快递点配送销单以及商品的售后服务,所有环节的异常都在天眼系统的掌控之中
2.仓储作业:监控商品的拣选包装完成进度;箱包推荐算法的实施降低了包装成本
3.包裹分拨监控:分拨包裹在库,发件及时率,发车及时率,入站及时率
4.车辆线路的实时监控。对车辆运输计划进行编排与动态调整
实时技术架构演进
该架构定位是为了解决传统BI的问题,LOS订单系统、DWMS仓库系统、TMS运输系统、LDCS调拨系统数据经过复杂的etl数据处理,存储到数据仓库中。该架构简单易懂,但是随着数据量的提升、性能需求的提高、实时性的等问题导致系统无法正常使用。
随着大数据hadoop、spark等计算框架的在实时性、扩展性方面的优势,逐步替换存储过程。数据存储也引入了分布式数据库postgresql,hbase,elaticseach等。Hbase主要存储接收源系统的数据,postgresql结合elaticseach为处理好的数据存储地,为上层报表提供数据服务。
为应对数据采集与传输的瓶颈,我们有引入了kafka、flume解决数据传输的问题,提供一下缓冲,防止计算框架一次处理过多数据
改技术架构相比1.0,只是在技术组件上进行的替换,仍然是批处理方式,对实时性支持稍微欠缺。
架构3.0,采用Spark streaming流式计算,解耦,细分各个业务处理逻辑,保证系统的稳定性。
数据存储方案
明细下载
•并发下载量1万+
•全国分拨中心和10万+快递点全覆盖
•最大下载数据量百万+
•实时下载时长控制在30秒内
下载需求量大,直接从postgreSQL出,会造成大量链接以及IO开销,所以对明细下载应该另辟蹊径。
经验分享
责任编辑:
声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。