Python数据分析技术在政府投资审计中的应用.docx

Python数据分析技术在政府投资审计中的应用在政府投资审计中，建设项目招投标环节的审查是一项重点内容。传统的审计工作方法是人工比对非结构化招投标文件，查找围标串标问题线索，不仅耗费大量人力、时间，而且比对结果主观性较强，缺乏数据支撑。襄阳市审计局在某政府投资审计项目中运用OCR文字识别技术和Python数据分析方法将非结构化招投标文件转化为结构化文本数据进行分析，精准定位疑点线索，高效解决审计难题。一、结构化文本数据转换根据项目特性，确定目标文本。经初步审查，某政府投资审计招投标文件综合报价未呈现规律性差异，为精准定位围标串标疑点线索，审计人员选取投标文件中项目实施方案作为目标文本，锁定分析范围，比对是否存在投标文件雷同的情况。首先对扫描后的文档图像预处理，进行必要的修正。其次利用有效的OCR文字识别系统提取文本数据，批量将图像转换为文本文件储存。最后，进行数据清洗，校核文本数据逻辑性、准确性，整理为格式统一、规范的电子文档。二、文本数据预处理某政府投资审计项目招投标环节的审查需分析12个投标文件中项目实施方案，每份实施方案均在1万字以上，文本数据体量大，比对难度高。首先导入外部模块DOCX,获取文本数据。运用PythOn内置模块OS对文本进行数据清洗，做好数据准备。其次，导入外部模块Jieba实现智能拆分，将文档内容分割为若干词组、短句。最后，遍历文本数据，计算词组出现频次、长度。主要代码如下图所示：defcutDoc(filePath):doc三docx.Document(filePath)ps=doc.paragraphscuts三forpinps:ifIen(p.text)>0:words三jieba.Icut(p.text)forwordinwords:ifIen(word)>1:cutsword=cuts.get(word,0)+1returncuts三、文本数据分析要审查不同投标单位投标文件是否存在雷同情况，需计算文本数据两两之间相似比率。首先，将某政府投资审计项目文本数据放入字典，遍历两个字典，设置重复字数算法，获取重复词组情况。如某词组长度为2,在A文档出现3次，B文档中出现5次，则A、B文档间重复字数为该词组长度乘两篇文档出现次数最小数，重复字数为6个字。其次,需计算相似比率的文本数据共12份，两两比对66组，循环嵌套遍历各文本数据，计算总字数，选取每组总字数最小数,用重复字数除文本总字数得出每组文本数据相似比率。主要代码如下图所示：#计算文档重复字数defdoclnter(fHePathAjfilePathB):jg=OcutsA三cutDoc(filePathA)cutsB=cutDoc(filePathB)foriBincutsB.keys():ifiBincutsA.keys():jgiB=min(cutsAiB,cutsBiB)wc=0fork,vinjg.items():wc+«len(k)*vreturnwc#计算文档总字数defgetWordsCnt(filePath):doc=docx.Document(filePath)ps=doc.paragraphswc=0forpinps:wc+=len(p.te×t)returnwcfl=os.listdir(path)foriinrange(len(fl)-1):forjinrange(i+1,len(fl):fa=path+flifb=path+fljwci=doclnter(fajfb)wca=min(getlordsCnt(fa),getWordsCnt(fb)print('.2f;.format(fli,flj,wci/wca*100)四、应用效果某政府投资审计项目对投标文件中项目实施方案运用PythOn数据分析方法计算相似比率，该算法定位精准率达100%,相似比率达50%以上的有16组，最高65.82%,确定疑点16个。本次政府投资审计项目运用的PythOn数据分析方法丰富了审计工具库，提升了审计工作质效。一是实现了政府投资审计项目资料电子化、标准化转换。二是实现了文本数据的分析处理，为后续审查工作提供了数据支撑。三是实现了审计质效的提升，将本应人工比对的66组文档缩减为16Mo