《数据清洗与预处理》课程标准.docx

数据清洗与预处理课程标准课程代码26311026XQX适用专业大数据技术应用专业适用学制3年（5年一贯制、5+2贯通培养）编制人审核人版本号202302一、课程名称数据清洗与预处理。二、适用专业大数据技术应用专业。三、课程学时与学分72学时，4学分。四、课程性质本课程是大数据技术应用专业的一门专.业核心课程，是从事数据采集工程师、数据分析师等岗位必须学习的课程，将为后续学习数据可视化、大数据分析等课程奠定基础。本课程开设在第4学期，学习该课程之前需具备一定的数据采集、数据存储能力，Python程序设计基础、数据库技术应用是该课程的前导课程。本课程学习的知识和技能可以为考取大数据分析与应用X证书（初级）做知识和技能准备。五、课程目标通过本课程的学习，能完成电商商品数据清洗与预处理任务、电商用户评论数据清洗与预处理任务、智能制造数据清洗与预处理任务、学生信息管理数据清洗与预处理任务、动物图像数据清洗与预处理任务，达到以下具体目标：（一）素养目标1 .培养学生的政治思维、政治洞察力与政治敏感性，培养学生的社会主义核心价值观、爱国主义情操。（培养规格1）2 .了解大数据、网络信息等产业文化，遵守职业道德准则和行为规范，具备社会责任感和担当精神。（培养规格3）3 .具备大数据思维，具备较强的逻辑思维能力。（培养规格7,培养规格8）4 .形成诚实、守信、善于沟通、合作和富有爱心的思想品质。（培养规格9）5 .具备创新、创意的思维和团队协作精神。（培养规格9）6 .具备吃苦耐劳的优秀品质与较强的抗压能力。（培养规格10）（二）知识目标1 .了解数据清洗与预处理在大数据真实项目分析流程中的重要作用。（培养规格6）2 .掌握数据清洗工具KettIe的安装、配置与基本使用方法。（培养规格16）3 .掌握PythOn第三方库PandaS的安装、配置与使用方法。（培养规格11）4 .掌握结构化数据去重、缺失值处理、数据转换等基本的预处理方法。（培养规格16）5 .掌握非结构化数据文本编码、文本替换、分词等处理方法。（培养规格16）6 .了解图像数据的预处理方法与实践工具。（培养规格16）（三）能力目标1 .能够使用数据清洗工具Kettle处理结构化数据。（培养规格16）2 .能够使用数据清洗工具Kettle处理非结构化文本数据。（培养规格16）3 .能够使用PythOn第三方库读取、处理结构化数据，并能导出数据。（培养规格16）4 .能够使用Python第三方库处理文本数据，进行文本编码检测、简单的分词处理。（培养规格16）5 .能够使用Python第三方库读取、展示图像数据，并能完成简单的预处理。（培养规格16）6 .具备考取大数据分析与应用X证书（初级）的能力。（培养规格16）六、课程内容与要求本课程以多种行业场景下的数据清洗与预处理任务为载体，坚持立德树人的根本要求,结合学生学习特点，遵循职业教育人才培养规律，落实课程思政要求，有机融入思想政治教育内容，紧密联系工作实际，突出应用性和实践性，注重学生职业能力和可持续发展能力的培养。合理设计：学习单元、能力点、学习内容与要求。本课程按照数据类型和复杂性、数据清洗工具的使用复杂程度、技能水平从单一技能到综合技能、技术沿革从传统技术到智能技术的规律编排学习单元，合理序化教学内容。学习单元15在知识体系上是并列关系。其中，1、4属于结构化数据清洗与预处理，使用KettIe数据清洗工具；2、3、5属于非结构化数据清洗与预处理，使用Python语言进行数据清洗与预处理任务。表1课程内容与要求序号学习单元能力点学习内容与要求学习成果建议学时1电商商品g、土数据清洗与预处理L在数据脏、舌L、差的情况下，能够使用Kettle数据清洗工具执行数据替换、删除等操作，以保证数据准确性。2.能够熟练掌握数据去重、缺失值填补等常用的数据预处理方法与实现方式。3.在数据不规范的情况下，能够利用人工检验或脚本校准处理数据，保证数据内容的符合行业标准。L了解电商网站商品相关数据的含义、特点及意义。2 .掌握数据清洗工具Kettle的安装步骤。3 .了解Kettle的概念模型，掌握Kettle的操作规范流程。4 .掌握使用Kettle校验将电商商品数据源基本格式规范的方法。5 .掌握在Kettle中创建、执行商品数据去重、缺失值替换等转换实例的操作过程，掌握使用Kettle导出处理数据的方法。6 .了解数据清洗与预处理专有名词、规范专业术语与行业用语的使用方式，与团队保持顺畅沟通交流。L经过数据预处理的高质量商品数据集1份。167.了解大数据行业法规法则，自觉维护行业良好风气。2电商用户评论数据清洗与预处理1 .能够编写Python脚本程序对商品用户评论数据进行预处理。2 .能够使用正则表达式对文本字符串进行处理，去除多余字符、空格等。3 .能够使用分词工具对文本数据进行分词。4 .能够使用Python第三方库对中文编码格式进行处理，保证数据内容的符合行业标准。1 .了解电商用户评论数据数据的含义、特点。2 .了解中文分词的含义、停用词表的作用。3 .掌握Python第三方库Pandas>chardet的安装配置步骤、基本使用方法。4 .了解正则表达式的语法规则,学习Python内置标准库re的使用方法。5 .掌握使用Pandas对文本数据进行预处理的步骤。6 .掌握Pandas、chardet对文本数据编码格式进行判断的方法，根据需求进行编码转换。7 .熟悉使用正则表达式进行文本替换的语法规则。8 .掌握使用Pandas对文本数据进项简单分1.经过数据清洗与预处理的高质量电商用户评论数据集1份。16词处理的基本流程。9.了解了解软件与信息技术行业信息，掌握大数据行业前沿技术动态，不断进行自我知识更新与学习。3智能制造数据清洗与预处理L能够熟练使用Python第三方库PanClaS的核心数据结构DataFrame完成数据读入、简单数据处理任务。2 .能够使用Python工具完成数据替换、删除、去重等数据预处理任务，保证数据无噪声。3 .能够使用数据清洗工具利用将数据按比例缩放，使数据之间具有可比性。1 .了解智能制造设备运行数据的特点、字段含义及意义。2 .掌握Python第三方库Pandas的安装配置步骤、基本使用方法。3 .掌握使用Pandas对智能制造设备运行数据进行初步诊断的步骤。4 .熟悉使用Pandas进行数据去重、缺失值处理、标准化、格式转换等清洗任务的方法。5 .掌握使用Pandas导出数据的方法与常用配置项。6 .了解行业发展动态了解行业现状与热门资讯，分析行业未来发展趋势与底层逻辑，随时调整自我职业规划。7 .掌握与团队协作、沟L经过数据清洗与预处理的高质量:招聘网站数据集1份。16通解决问题的方式方法，开展外部交流，有效跨部门推进工作进程。4学生信息管理数据清洗与预处理1 .能够使用数据清洗工具KettIe对接主流数据库，完成多源数据整合。2 .能够使用数据清洗工具Kettle完成数据预处理任务，保证数据准确性。3 .在数据不规范的情况下，利用人工检验或脚本校准处理数据，保证数据内容的符合行业标准。1 .了解学生信息管理数据在各个业务数据库的分布情况，为多源数据整合做准备。2 .根据学生信息管理数据的特点和业务需求，学习制定数据清洗与预处理的策略。3 .掌握数据清洗工具Kettle的操作规范流程。4 .掌握使用Kettle完成多个数据源整合的步骤，顺利导入目标数据库。5 .熟悉在Kettle中创建、执行学生管理数据合并、转换、去重、排序等转换实例的操作过程。6 .掌握使用Kettle导出处理数据的方法。7 .掌握与团队协作、沟通解决问题的方式方法，开展有效跨部门沟L经过数据清洗预处理的学生信息管理数据集若干份。12通，推进工作进程。8.了解大数据行业最新前沿技术发展动向，不断进行自我知识更新与学习。5动物图像数据清洗与预处理1 .能够使用Python图像处理工具完成图像数据读取、图像展示、简单预处理等任务。2 .能够使用Python图像处理工具对不规范的图像处理进行处理，统一输出标准化的图像数据。3 .能够熟练使用Python图像处理工具调用常用的数字图像处理算法完成图像处理的预处理任务，保证图像数据符合行业标准。1 .了解数字图像处理的基础知识，理解数字图像的存储方式。2 .掌握Python第三方库OpenCV>NumPyPillow的安装与配置步骤。3 .熟悉使用Python图像处理工具读取图像数据、渲染展示图像的步骤。4 .掌握使用Python图像处理工具进行动物图像旋转、缩放、平移、裁剪等操作的方法。5 .掌握使用Python图像处理工具进行图像模糊、图像锐化、图像阈值化等图像预处理的步骤。6 .自学能力：能够主动通过自学了解软件与信息技术行业信息，掌握大数据行业最新技L经过预处理的动物图像数据集1份。12术，熟悉数据采集处理等岗位相关技能。7.了解大数据行业法规法则，自觉维护行业良好风气。七、课程实施（一）师资队伍1 .专任教师职业能力：具备优秀的专业课教学开展与组织能力，掌握Python编程能力、大数据组件使用能力、数据清洗与预处理能力，能够以情境任务要求处理数据。知识结构：了解数据处理工程师、数据分析师的各项职业岗位要求；在专业领域中，具备大数据技术、数据分析等较为深入的专业知识背景。资质：具备中职学校专业课任教资格和企业实践经历。2 .兼职教师职业能力：企业优秀讲师或行业企业专家，具备有3到5年的数据处理相关行业从业经验，参与过多个大数据分析项目开发过程，具有较强的专业技能，具备良好的专业课教学开展与组织能力，具备优秀的Python编程能力，掌握主流的大数据组件，数据清洗与预处理实战工具，能够以情境任务要求处理数据。知识结构：在行业领域中，深入了解数据处理工程师、数据分析师、算法工程师的各项职业岗位要求；在专业领域中，具备大数据技术、数据分析等深入的专业知识背景。资质：具备数据清洗、数据处理相关行业从业背景和企业工作经历。（二）实验实训条件1 .校内实训基地根据不同的项目学习需要，选择教室、校企合作实习实训基地、实训设备等进行教学。（1）实训场地：数据清洗与预处理实训室、大数据实践创新中心；（2）实训设备：笔记本电脑45套、可视化大屏6套、台式计算机40台、服务器1台，满足数据清洗与预处理的要求。2 .校外实训基地目前大数据技术应用有1个联想校外实训室,能够同时满足50名学生进行实习实训。能够满足学校教师、企业专家共同办公，满足专业人才学徒制人才培养要求，符合企业研发、生产要求。本校外实训基地具备如下条件：（1）联想组织机构健全，领导和工作（或技术）人员素质高，管理规范，在新一代信息技术领域发展前景好。（2）基于联想“端一边一云一网一智”技术框架下，其研究方向与经营的业务与本专业对口，且联想属于世界五百强企业，社会形象好。（3）符合学生专业实习实训条件，并且能够满足学生顶岗实训一个月以上。（4）有相应的技术人员担任实训指导教师。（三）教学资源1.教材按照教材必须在政治上坚持四项基本原则，符