位置:科技大田大数据产业专题>>资讯>>市场>>内容阅读
21分钟教会你分析MaxCompute账单
原标题:21分钟教会你分析MaxCompute账单

背景

阿里云大计算服务MaxCompute是一款商业化的大数据分析平台,其计算资源有预付费和后付费两种计费方式。并且产品每天按照project为维度进行计量计费(账单基本情况下会第二天6点前产出)。本文使用的为云上客户真实数据,故在下文中的截图都mask掉了。

关于MaxCompute计量计费说明,详见官方文档:

step3:在费用中心-消费记录-消费明细中,选择产品和账单日期。

下载csv文件如下,可以在本地打开进行分析。

数据以逗号分隔,且单元格值都带有双引号。

② 数据预处理:替换掉文档所有双引号,以方便使用Tunnel等上传工具。

替换为不用填写。直接点击全部替换。

④ Tunnel上传数据,具体Tunnel的配置详见官方文档。

odps@ sz_mc>tunnel upload /Users/yangyi/Desktop/ODPS_2019-01-12_2019-01-14.csv maxcomputefee -c "UTF-8" -h "true" -dfp "yyyy-MM-dd HH:mm:ss";

通过SQL分析账单数据

1、分析SQL费用

云上客户使用MaxCompute,95%的用户通过SQL即可满足需求,SQL也在消费成长中占据了绝大部分。 SQL费用=一次SQL计算费用 = 计算输入数据量 SQL复杂度 0.3元/GB

根据此段SQL执行结果可以得到如下结论:

  • 大作业可以优化的点:**是否可以减小数据读取量、降低复杂度来优化费用成本。
  • 也可以按照ds字段(按照天)进行汇总,分析某个时间段内的SQL消费金额走势。比如利用本地excle或云上QuickBI等工具绘制折线图等方式,更直观的反应作业的趋势。
  • 拿到具体的instanceid,在console或者DataWorks脚本中进行wait instanceid;查看具体作业和SQL。
  • 从logview中获取DataWorks节点名称:

    在logview中打开SourceXML可以查看到具体执行信息,如SKYNET_NODENAME表示DataWorks的节点名称(当然只有被调度系统执行的作业才有值,临时查询为空,如下图所示)。拿到节点名称可以快速的在DataWorks找到该节点进行优化或查看责任人。

    --执行结果--

    --执行结果--

    按照执行结果也可以分析出某个时间段内的下载费用走势。另外可以通过tunnel show history查看具体历史信息,具体命令详见官方文档。

    6、分析外部表作业(OTS和OSS)

    SQL外部表功能计费规则:一次SQL计算费用=计算输入数据量SQL复杂度0.03元/GB

    返回搜狐,查看更多

    责任编辑:

    声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
    免责声明:本网站部 分文章和信息来源于互联网,本网转载出于传递更多信息和学习之目的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请立即联系管理 员,我们会予以更改或删除相关文章,保证您的权利。对使用本网站信息和服务所引起的后果,本网站不作任何承诺。
    Copyright 版权所有 Copyright 2013-2014 福建省云创集成科技服务有限公司
    All Rights Reserved. 运营维护:三明市明网网络信息技术有限公司 业务咨询:0598-8233595 0598-5831286 技术咨询:0598-8915168