金融大数据证券项目简介.docx
金融大数据证券项目简介XX科技股份有限公司编制目录一、金融大数据证券项目背景3二、客户情况及市场情况41客户情况42市场情况5三、技术选型5四、项目团队构成错误!未定义书签。五、团队成员技能需求错误!未定义书签。一、金融大数据证券项目背景大数据时代，券商们已意识到大数据的重要性，券商对于大数据的研究与应用正在处于起步阶段，相对于银行和保险业，证券行业的大数据应用起步相对较晚。目前国内外证券行业的大数据应用大致有以下两个方向：第一方面：股价预测2017年5月英国对冲基金DerWen1.CapitaiMarkets建立了规模为4000万美金的对冲基金，该基金是首家基于社交网络的对冲基金，该基金通过分析TWitter的数据内容来感知市场情绪，从而指导进行投资。利用Twitter的对冲基金DerwentCapita1.Markets在首月的交易中确实盈利了，其以1.85%的收益率，让平均数只有0.76%的其他对冲基金相形见细。第二方面：投资景气指数国泰君安研究所对海量个人投资者样本进行持续性跟踪监测，对账本投资收益率、持仓率、资金流动情况等一系列指标进行统计、加权汇总后得到的综合性投资景气指数。31指数通过对海量个人投资者真实投资交易信息的深入挖掘分析，了解交易个人投资者交易行为的变化、投资信心的状态与发展趋势、对市场的预期以及当前的风险偏好等信息。在样本选择上，选择资金100万元以下、投资年限5年以上的中小投资者，样本规模高达10万，覆盖全国不同地区，所以，这个指数较为有代表性。在参数方面，主要根据中小投资者持仓率的高低、是否追加资金、是否盈利这几个指标，来看投资者对市场是乐观还是悲观。"31指数'每月发布一次，以100为中间值，100-120属于正常区间，120以上表示趋热，100以下则是趋冷。二、客户情况及市场情况1 .客户情况（1）客户细分。通过分析客户的账户状态（类型、生命周期、投资时间）、账户价值（资产峰值、资产均值、交易量、佣金贡献和成本等）、交易习惯（周转率、市场关注度、仓位、平均持股市值、平均持股时间、单笔交易均值和日均成交量等）、投资偏好（偏好品种、下单渠遒和是否申购）以及投资收益（本期相对和绝对收益、今年相对和绝对收益和投资能力等），来进行客户聚类和细分，从而发现客户交易模式类型，找出最有价值和盈利潜力的客户群，以及他们最需要的服务，更好地配置资源和政策，改进服务，抓住最有价值的客户。（2）流失客户预测。券商可根据客户历史交易行为和流失情况来建模从而预测客户流失的概率。如2017年海通证券自主开发的“给子数据挖掘算法的证券客户行为特征分析技术”主要应用在客户深度画像以及基于画像的用户流失概率预测。通过对海通100多万样本客户、半年交易记录的海量信息分析，建立了客户分类、客户偏好、客户流失概率的模型。该项技术最大初衷是希望通过客户行为的量化分析，来测算客户将来可能流失的概率。2 市场情况目前，办公管理信息数据、交易信息数据和情报信息数据规模已经发展得非常庞大，信息化平台已日益变成业务运营与管理的重要支撑平台。在信息化平台建设的过程中，各个应用系统的业务之间的联系非常紧密，流程自动化程度非常高。因此在信息化高速发展的形势下，急需形成统一完备的综合技术集成体系，能提供一体化的数据存储共享，应用集成和统一展现能力。随着信息化建设和应用工作的进一步深入，对信息网络传输能力，数据中心存储能力和处理能力提出了更高要求，为支撑流程集成和业务应用的深入融合，需要提供统一高效的流程处理能力，数据转换能力以及数据分析能力；需要建立和完善统一的踪合技术平台体系，涵盖数据采集，存储，共享，交互和展现能力。三、技术选型 CDH/F1.umeKafka数据采集，结合数据流技术对接各类应用系统及数据库的数据资源 CDH/HDFS文件类数据整合与存储，HADOOP技术路线 C)HHBSE格式类数据整合与存储，HADOOP技术路线 CDH/HIVE数据清洗 HADOOP数据清洗工具 CDHYRN+CM数据负栽及集群管理 CDH/HIVESparkM1.数据分析及智能 TAB1.EAU针对数据分析及智能提供自助式或嵌入式的可视化分析图表 E1.ASTICSEARCH针对数据分析及智能提供面向用户的全局数据探索或面向应用的全局数据搜索HADOOPYARN针对数据服务及安全类应用的定制开发提供徽服务运行环境技术管理工具四、项目团队构成姓名性别学历专业工作单位项目中的分工年工作时间()婆字成员A男本科高级大数据工程师应用电子技术XX科技股份有限公司项目管理12成员B男本科高级大数据工程师体育医学技术总监12成员C男本科中级软件工程肝计算机科学与技术软件开发12成员D男本科高级大数据讲炜计算机科学与技术软件开发12成员E男本科中级软件工程府数学与应用数学软件开发12成员F男本科高级运维工程师信息管理架构设计12五、团队成员技能需求(1)成员A云计算、大数据市级工程师擅长：负责企业级云计算、大数据平台项目，大数据应用开发项目的立项、论证、骏收等项目过程管理，云计算和大数据相关通识性培训。项目经历：区域医疗云计算中心、重庆三峡银行大数据平台、电信分析云项目、重庆移动业务支撑大数据平台建设。(2)成员BQOUdera大数据专家高级软件工程师长期从事技术管理工作，对技术团队的管理和认识有自己独到的见解，善于将人员提升和管理经营有机结合。擅长技术：Windows.1.inux、Exchange.数据库、Hadoop»项目管理等系统开发与管理。(3)成员C高级软件工程师擅长技术：网络通信、网络安全、数据库操作、dui1.ib,cc+0(4)成员D商皴软件工程师擅长技术：Py1.hOn爬虫程序开发、Python数据分析、1.inux系统管理、大数据存储与管理、Hadoop大数据开发、Sca1.a函数式编程、数据挖掘、云计算平台架构、Exce1.高级数据分析、图像识别、机器学习、分布式计算、数据可视化分析等。(5)成员E大数据分析师擅长技术：R语言统计分析、EXCe1.数据分析、Q1.ik数据可视化、数据可视化建模、概率论与数理统计。(6)成员FCknKiera大数据专家高级软件测试工程师曾在上海惠普、IBM、MOTORO1.A,北京融信恒通等公司任职,擅长技术：hadoop工台设计、运维，熟悉yam»hdfs/HA、mareducev1.v2,f1.ume,SqoOp、pig,impa1.a、hive、zookeeper.等相关组件集群的搭建和维护管理。
