基于深度学习的验证码识别方法设计与实现分析研究电子信息工程专业.docx

目录中文摘要-O-Abstract-1一第一章绪论-3-1.1 课题研究背景及意义-3-1.2 国内外研究现状-4-1.3 研究内容-5-1.4 论文结构-5-第二章深度学习的基本理论-7-2.1 神经元的数学模型-7-2.2 多层前向神经网络-8-2. 3深度神经网络-9-2.4神经网络的学习方式-10-第三章验证码图像处理技术-11-3. 1图像预处理-11-3. 2字符定位和分割-12-第四章卷积神经网络的设计与实现-15-4. 1网络结构-15-4. 2网络初始化-18-4.3误差反向传播-20-4.3.1全连接层的反向传播-21-4.3.2池化层的反向传播-22-4.3.3卷积层的反向传播-23-第五章网络性能分析-24-5. 1参数的选择-24-5. 2识别结果-24-5.3 隐层神经元数量对网络性能的影响-25-5.4 学习率对网络性能的影响-27-第六章总结-29-6. 1工作总结-29-6.2不足与展望-29-参考文献-31-致谢错误!未定义书签。中文摘要验证码是一个系统区分人类与非人类行为的有效方式。验证码识别技术能够使计算机程序输入正确的验证码，伪装成人类用户进入目标系统。另一方面，系统方面需要考虑破解验证码识别技术，修补验证方式的可能漏洞，使之能够更有效地区分人类与计算机的行为。深度学习能够使计算机更好地处理复杂的输入，因此能够识别更为复杂的验证码。深度学习是人工智能的一个重要分支，对于识别验证码图像，相对一些其他的学习算法，深度学习在同样的计算资源的条件下，具有更为优秀的性能，因此在处理同样的问题时深度学习能够节省一定的计算资源。本课题主要讨论了基于深度学习的验证码识别方法设计与实现。具体地，第一步采集验证码图像。这些验证码图像来源有两种：一是通过编程仿照常见的验证码图像生成数据集；二是从网站上下载验证码图像保存成数据集。第二步对验证码数据集进行去噪、定位等预处理，再使用垂直投影法进行分割，将分割出来的字符保存为学习样本。第三步构建卷积神经网络，使用采集的部分验证码图片对网络进行训练，调整参数。最后一步使用剩余的验证码图像对训练好的网络测试，整理测试结果，统计正确率，分析不同参数对神经网络性能的影响。经过测试，本论文设计的卷积神经网络基本能够成功地识别验证码图像，对仅包含数字的验证码图像识别效果较好，正确率达99.28%0关键词：深度学习，卷积神经网络，验证码识别，图像处理AbstractTheverificationcodeisaneffectivewaytodistinguishhumanornon-humanbehavior.Theverificationcoderecognitiontechnologyenablesthecomputerprogramtoinputthecorrectverificationcode,disguisedasahumanusertoenterthetargetsystem.Ontheotherhand,thesystemneedstoconsidercrackingtheverificationcoderecognitiontechnology,repairthepossibleholesintheverificationmethods,sothatitcanmoreeffectivelydistinguishthebehaviorofhumanandcomputer.Deeplearningenablescomputerstoprocesscomplexinputsbetter,andthereforetorecognizemorecomplexverificationcodes.Itisanimportantbranchofartificialintelligence.Fortherecognitionofverificationcodeimages,comparedwithsomeotherlearningalgorithms,deeplearninginthesameconditionofcomputingresources,hasbetterperformance.Therefore,deeplearningcansavecertaincomputingresourceswhendealingwiththesameproblemsthanothergeneralalgorithms.Thispapermainlydiscussesthedesignandimplementationofverificationcoderecognitionmethodbasedondeeplearning.Specifically,thefirststepistocapturetheimagesoftheverificationcode.TherearetwosourcesoftheseCAPTC-codeimages:oneistogeneratebyprogrammingtoemulatecommonCAPTC-codeimages;theotheristodownloadtheCAPTC-codeimagesfromwebsitesandsavethemintodatasets.Thesecondstepistopre-processthedatasetofverificationcodesuchasde-noising,locating,andthenusingverticalprojectionmethodtosegmentthecharactersandsavethecharactersastrainingsamples.ThethirdstepistoconstructtheconvolutionalneuralnetworkandtotrainthenetworkusingsomepicturesoftheCAPTCAtoadjusttheparameters.Thelaststepistousetherestoftheverificationcodeimagestotestthenetwork.Andthencollatethetestresults,countthecorrectrateandanalyztheeffectofdifferentparametersontheperformanceofneuralnetwork.Aftertesting,theconvolutionalneuralnetworkdesignedinthispapercanrecognizetheimageofverificationcodesuccessfully,anditisbettertorecognizetheimagewhichonlycontainnumbers,thecorrectrateis99.28%.Keywords:DeepLearning,ConvolutionalNeuralNetwork,VerificationCodeIdentification,ImageProcessing第一章绪论人工智能指的是模仿生物神经学，构建神经元的数学模型，使其能对复杂的信息进行处理。自从西班牙解剖学家CajaI在19世纪末创立神经元学说之后，神经元的一些生物学特征和相关的部分电学性质相继被发现。1943年，神经元的M-P模型被首次提出，创建该模型的是来自美国的心理学家MCCUnoCh以及另一位数学家Pitts。来自加拿大的神经心理学家Hebb在1949年提出了“Hebb法则”，他认为学习现象的发生在于神经元突触的产生和变化。来自美国的心理学家Rosenblatt结合了以上三人的理论，首次用精确的数学算法来定义神经网络，提出了“感知机”模型。神经网络的基础就是感知机。一般的神经网络也叫多层感知机，分为输入层、隐藏层和输出层，而具有多个隐藏层的神经网络就是深度神经网络。深度学习就是运用深度神经网络，模仿人脑对声音、图像等数据进行解释的过程，能够很好地将复杂多变的输入映射为具体输出，具有从少量样本中学习集中特征的能力。1.1 课题研究背景及意义深度学习的应用领域有很多，其中之一就是验证码识别。验证码是一个系统区分人类与非人类的有效方式。验证码识别技术能够使计算机程序输入正确的验证码，伪装成人类用户进入目标系统。另一方面，系统方面需要先了解然后破解验证码识别技术，修补自身验证码的可能漏洞，使之能够更有效地区分人类与计算机的行为。随着互联网技术的发展，人们在使用互联网的同时越来越注重验证码的有效保护，希望网络的能够做到人类能识别而拦截所有机器程序的程度。当遇到黑客对网站发起攻击的时候，验证码就是网站安全的第一道防线【2】，27】，因此针对验证码识别的研究的实践意义不容小觑。我们可以通过研究验证码的识别技术，从根本上了解验证码的识别细节，从而做出针对性措施，加强验证码的保护能力，使验证码能够继续实现本身的价值。深度学习的初衷就是为了让计算机在处理某些问题时，能够拥有近似于人类的处理能力，这与验证码存在的意义是相对立的。验证码不希望机器能够像人类一样识别图像中的字符，而深度学习则努力使计算机能够尽可能地接近甚至超越人类。这一点一般的机器学习手段也能够实现，但是深度学习的优势在于能够将目标的特征逐级提取，比如我们学习汉字，先从基本的横、竖、撒、捺开始，最后将这些基本的特征进行组合，形成目标的完整特征，据此能够进行学习将目标分类或者预测。1.2 国内外研究现状早在1986年，Rumelhar>Hinton等人就初步将反向传播算法(BP,BackPropagation)应用于神经网络的学习之中川，使神经网络的学习过程变得简单可行。但是，第一因为训练数据集规模太小，第二由于计算资源有限，即使训练一个比较简单的网络都可能需要非常长的时间。与其它的机器学习模型相比较，当时的BP网络模型在正确率上并没有明显优势，更多的学者普遍青睐其他的浅层的机器学习模型，比如支持向量机模型、BoOSting模型等。直到1989年，LeCun根据误差的反向传播算法，成功地将神经网络应用于识别美国邮政服务提供的手写邮政编码数字。根据这一成果，并结合FUkiShima在1980年提出的关于卷积(COnVOlUtiOn)、池化(Pooling)的概念(当时还不称为卷积和池化)，1998年LeCUn提出了LeNet-5网络模型叫LeNet-5具有多层神经元，使用合适的梯度学习方法和反向传播算法，能够对图像进行特征的逐级提取，在针对手写字母的识别中取得了非常好的效果，是深度学习史上第一个可称为完善的卷积神经网络(CNN,ConvolutionalNeuralNetworks)。至此，人们对卷积神经网络的研究步入了第一次高潮时期。但是在之后近十年的时间里，有关卷积神经网络的研究渐渐陷入泥沼，其中的主要原因分为两点：第一是当时的人们发现深度神经网络在根据BP算法进行训练时所需的计算资源非常多，仅仅凭借当时的硬件方面的研究水平几乎不可能实现那种大规模的计算；第二是包括支持向量机(SVM,SupportVectorMachine)在内的许多浅层机器学习算法也渐渐开始崭露头角，人们投入到卷积神经网络中的研究热情和精力渐渐稀少。一直到2006年Hinton指出“多隐层神经网络具有更为优异的特征学习能力，并且其在训练上的复杂度可以通过逐层初始化来有效缓解”卬叫有关深度学习和卷积神经网络的研究才再度为人们所关注，深度学习的研究再一次涌起热潮。2012年，Hinton的学生Al