GZ033 大数据应用开发赛项评分标准-2023年全国职业院校技能大赛赛项正式赛卷.docx

2023年全国职业院校技能大赛评分标准(02)赛项名称：大数据应用开发英文名称：BigDataAPPliCatiOnDeVeIOPment赛项组别：高职组赛项编号：GZ033任务子任务主要知识与技能点分值任务A：大数据平台搭建（容器环境）子任务一：Hadoop完全分布式安装配置JDK的解压安装1JDK的环境变量配置1Host配置及三个节点的分发1Hadoop解压安装及环境初始化2Hadoop集群启动并查看2早住攵1RIllrnC七FlUnle的解压安装、配置文件配置、运行测试等1于廿分一：riume女装配置环境变量配置1Hadoop日志传输2子任务二：Flink0nYarn安装配置Flink的解压安装1环境变量配置1运行测试2小计15任务B：离线数据处理子任务一：数据抽取从MySQL中将USeJinfo表的离线数据抽取到Hudi的OdSdShUdi对应表中1从MySQL中将sku_inf。表的离线数据抽取到Hudi的OdS_ds_hudi对应表中1从MySQL中将base_province表的离线数据抽取到Hudi的ods_ds_hudi对应表中1从MySQL中将base_regiOn表的离线数据抽取到Hudi的ods_ds_hudi对应表中1从MySQL中将OrderJnfo表的离线数据抽取到HUdi的OdS_ds_hudi对应表中1从MySQL中将OrdeJdetaiI表的离线数据抽取到Hudi的OdS_ds_hudi对应表中1早在幺一w尾洁；从Hudi的ods_ds_hudi到dwd_ds_hudi的进行user_info表的数据合并清洗1从Hucli的odsds_hudi到dwddshudi的进行sku_info表的数据合并清洗1从HUdi的odsds_hudi到dwddshudi的进行base_province表的数据合并清洗1JIJ-¾从Hudi的ods_ds_hudi到dwd_ds_hudi的进行bascregion表的数据合并清洗1从Hudi的ods_ds_hudi到dwdds_hudi的进行order_info表的数据抽取1从Hudi的ods_ds_hudi到dwd_ds_hudi的进行order_detail表的数据抽取1子任务三：指标计算在dwd层基于Azkaban进行工作流任务调度1统计每人每天下单的数量和下单的总金额存入HUdi的dwsdshudi层1统计每个省每月下单的数量和下单的总金额存入HUdi的dws_ds_hudi层1计算出每个省份2020年4月的平均订单金额和该省所在地区平均订单金额相比较结果存入CliCkHOUSe1按照id进行升序累加订单的金额，取出累加值与目标值2023060600相差最小的前10条的订单id,按照差值从小到大进行排序，将计算结果存入MySQL2数据库按照id进行升序排序，取id小于等于20000的订单，求出连续订单中平均金额数最大前1000000的连续订单序列，将计算结果存入MySQL数据库7小计25任务C:数据挖掘子任务一：特征工程对推荐系统的数据集进行数据预处理2利用特征工程进行特征提取3子任务二：推荐系统基于用户的推荐系统设计开发操作5小计10任务D：数据采集与实时计算子任务一：实时数据采集基于Flume的实时数据采集，将数据注入Kafka4将数据同时备份到HDFS4子任务二：使用Flink处理Kafka中的数据实时统计商城实时订单数量存入RediS3实时统计每分钟申请退回的订单数量存入RediS4实时统计每分钟内状态为取消订单占所有订单的占比存入Redis5小计20任务E：数据可视化子任务一：用柱状图展示各省份消费额的中位数正确使用VUe.js框架，结合EChartS绘制柱状图3子任务二：用玫瑰图展示各地区消费能力正确使用Vue.js框架，结合EChartS绘制玫瑰图3子任务三：用折线图展示每年上架商品数量变化正确使用VUe.js框架，结合EChartS绘制折线图2子任务四：用条形图展示消费总额最高的省份正确使用VUe.js框架，结合EChartS绘制条形图3子任务五：用折柱混合图展示省份平均消费额和地区平均消费额正确使用VUe.js框架，结合ECharts绘制折柱混合图4小计15任务F：综合分析子任务一:MySQL数据库事务正确分析MySQL数据库事务及其隔离级别4子任务二：FIink的反压机制正确分析FIink的反压机制3子任务三：Spark执行计划正确分析Spark的执行计划3小计10任务G：职业素养考察职业素养竞赛团队分工明确合理、操作规范、文明竞赛5小计5总分100