位置:科技大田大数据产业专题>>资讯>>市场>>内容阅读
苏宁物流实时大数据的探索与实践
原标题:苏宁物流实时大数据的探索与实践

苏宁物流天眼系统介绍

物流天眼系统是苏宁易购集团面向物流及售后领域的实时数据监控、多维度数据分析和大数据服务的可视化平台。

主要业务场景:

1.订单的全链路实时跟踪监控,监控了物流作业的20多个系统140多中场景,顾客从易购下单,到商品仓库出货到中转运输,到最后的快递点配送销单以及商品的售后服务,所有环节的异常都在天眼系统的掌控之中

2.仓储作业:监控商品的拣选包装完成进度;箱包推荐算法的实施降低了包装成本

3.包裹分拨监控:分拨包裹在库,发件及时率,发车及时率,入站及时率

4.车辆线路的实时监控。对车辆运输计划进行编排与动态调整

实时技术架构演进

该架构定位是为了解决传统BI的问题,LOS订单系统、DWMS仓库系统、TMS运输系统、LDCS调拨系统数据经过复杂的etl数据处理,存储到数据仓库中。该架构简单易懂,但是随着数据量的提升、性能需求的提高、实时性的等问题导致系统无法正常使用。

随着大数据hadoop、spark等计算框架的在实时性、扩展性方面的优势,逐步替换存储过程。数据存储也引入了分布式数据库postgresql,hbase,elaticseach等。Hbase主要存储接收源系统的数据,postgresql结合elaticseach为处理好的数据存储地,为上层报表提供数据服务。

为应对数据采集与传输的瓶颈,我们有引入了kafka、flume解决数据传输的问题,提供一下缓冲,防止计算框架一次处理过多数据

改技术架构相比1.0,只是在技术组件上进行的替换,仍然是批处理方式,对实时性支持稍微欠缺。

架构3.0,采用Spark streaming流式计算,解耦,细分各个业务处理逻辑,保证系统的稳定性。

数据存储方案

明细下载

•并发下载量1万+

•全国分拨中心和10万+快递点全覆盖

•最大下载数据量百万+

•实时下载时长控制在30秒内

下载需求量大,直接从postgreSQL出,会造成大量链接以及IO开销,所以对明细下载应该另辟蹊径。

经验分享

返回搜狐,查看更多

责任编辑:

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
免责声明:本网站部 分文章和信息来源于互联网,本网转载出于传递更多信息和学习之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请立即联系管理 员,我们会予以更改或删除相关文章,保证您的权利。对使用本网站信息和服务所引起的后果,本网站不作任何承诺。
Copyright 版权所有 Copyright 2013-2014 福建省云创集成科技服务有限公司
All Rights Reserved. 运营维护:三明市明网网络信息技术有限公司 业务咨询:0598-8233595 0598-5831286 技术咨询:0598-8915168