-
formax金融圈担任职位:大数据总监
工作时间:2015.05- 至今 【9年2个月】
工作职责: 项目经验
1、牛人小白撮合,小白自动寻找相似度最高的牛人。
2、用户流失预测,通过流失用户的行为分析,找出共同点,然后检查正常用户行为,针对可能流失用户,推送信息
3、PUSH 推广,对用户进行精准营销。
4、智能投顾,自动买卖,通过智能机器人,实现交易。
离线分析,
ETL,统计,训练数据,建立数据模型
在线分析,
风控,高并发数据处理
根据风控部门提供的各种风险指标,采用kafka技术
技术架构
基础平台 hadoop CDH5,yarn,
Hue: Workflow 编辑器编辑任务 ,Coordinator 编辑器,编辑作业,Oozie分析作业日志
数据存储 hdfs,hbase,mysql
数据分析 hive,pig
数据抽取 sqoop,kettle
协调服务 zookeeper
在线分析 kafka,storm
数据挖据 python,R
团队管理
团队十三人。
分组:
1、大数据平台,2、大数据开发,3、数据仓库,4、数据挖掘,5、数据展示,6、数据产品经理
大数据平台:负责平台部署,监控,运维,
大数据开发:读取运算好了的数据,写入mysql ,hbase ,写API接口
数据仓库:负责ETL过程,抽取外汇,理财,股票,life,消费等外部数据,然后做数据清洗,逻辑处理等
数据挖掘:针对各种维度数据,进行算法分析,建立数据模型
数据展示:提供WEB,手机等方式数据查看
数据产品:收集各部门提供的需求,和推广大数据所特有的功能,告知各部门,金融大数据可以为各个部门解决那些痛点。
-
平安担任职位:资深DBA
工作时间:2011.01- 2015.05 【4年5个月】
工作职责:1、2010年获取“第三方支付牌照”
项目内容: 升级系统改造包括网络改造,主机安全改造,业务连续性,数据库安全改造等。
我负责改造数据库。期间搭建高可用,多重容灾备份,建立监控检查机制等,撰写相关专业技术文档。配合人民银行, 根据人民银行
要求,建立复杂的数据安全机制和制度,经过与人民银行反复接触,人民银行检查人员高度认可我们的系统
2、2012年运维高阳系统,主要功能:支付,收单(平安购买高阳公司的软件)。
3、2013年开发并并运维平安付壹钱包,万里通积分,天下通(这三套软件开发参与人员多达700)
后期项目内容:
1、数据库管理
负责监控和制定各种数据库设计方案(壹钱包,万里通积分,天下通,网银,无卡支付,400网站,代购,招行代售,工行代
售,CRM等项目),我负责业务平台数据库开发团队的架构设计及集群设计;处理核心系统运维和高级经理交办的其他工作。
2、需求调研BI开发
通过对各种来源且大量数据采集,分析,建立能够展示公司所有业务的各种模式的数据仓库,提供给高层做战略分析,其中2013年的
公司战略就完全依照我们团队对客户消费行为深度分析出来的结果。
其他专业技术:生产主机核心系统数据库维护方案制定、运行维护、问题诊断及排除
1、进行业务系统数据库的规划、设计、实施,设计并优化数据库物理建设方案;
2、对数据库进行管理,负责数据库应用系统的运营及监控;
3、业务系统数据库的定期维护和异常处理;
4、对数据库性能分析与调优,排错,保证数据安全及业务连续运行;
5、对数据库进行定期备份和按需恢复;
6、配合其他部门进行的数据处理、查询,统计和分析工作;
7、针对全网收单、储值卡业务以及未来各产品的容量(及性能)规划;
8、各产品业务系统的数据库设计,并参与前端应用架构的设计;
9、各业务系统对数据库压力进行准确预评估;
10、对应用开发人员进行数据库开发的培训和指导,尤其是针对RAC数据库进行应用开发上的日常指导
-
中青宝网担任职位:项目经理/主管
工作时间:2008.08- 2011.01 【2年6个月】
工作职责:在这里我积极的努力工作,尽力的为自己理想而不断埋头苦干,值得欣慰的是在我工作期间,我独自设计通行证,一卡通系统于09年8月11号顺利上线,并在后来证明给公司带来很大利益。
主要工作成果有:
1、一卡通充值系统(已上线)
2、通行证登陆认证系统(已上线)
3、推广员推广系统(已上线)
4、客服管理系统(已上线)
5、报表分析系统(已上线)
6、游戏《梦幻东游》数据库设计 (开发中)。
我们用到的技术有:oracle,sqlserver,java,c#,Shell脚本语言。
我们环境是在redhat5上搭建的两个oracle RAC节点,采用RAC技术,可以放眼未来业务加大,增加节点。
这样实现高并发,高效游戏登陆。
异地容灾采用的是一个dataguard技术。
本地采用rman每天备份。
另搭建一个OLTP报表数据库,用于每天采集数据,采用ETL思想,分析数据,
最后呈现给用户。
各种系统上线前后其他的工作是:
日常健康检查、安全管理、故障处理和应用优化,数据迁移,
提出数据不断增长下的可行方案,
-
航天星网担任职位:项目经理/数据库管理
工作时间:2005.10- 2008.08 【2年11个月】
工作职责:1、 负责公司整套系统全新设计,开发 .并维护正在运营的数据库。
2、 在公司是绝对骨干和项目主管,协助整个团队正常运作,并随时接手公司在外面接的各种 业务,按时保质完成。能够承担很强压力。
3、后来升为项目经理,手下5人,负责物流GIS系统,计费系统,和业务管理系统 ,cti系统。
4、 在公司用到开发工具有 toad,plsql Developer ,c# 。
5、 精通操作系统有NT和LINUX ,unix,centos,精通oracle, ms sql ,mysql 设 计与开发和服务器搭建。
6、 熟练oracle dataguard,oracle rac,ms sql,mysql群集。
7、 精通c# b/s,c/s ,webservice,crystal reports,powerdesign等。
8、 期间熟悉c++ ,并开发实用通信,加密软件。
9、 对数据仓库有非常深入的了解.
-
亚奥数码担任职位:计算机软件
工作时间:2004.04- 2005.10 【1年7个月】
工作职责: 1、主要是负责各个项目数据库安装、维护,oracle数据库日常管理工作,健康检查,备份,恢复问题解决和性能调优;
2、数据库后台代码的编写 ,为开发人员提供环境搭建,优化SQL,协助数据库相关协调工作;
3、从事数据库性能调整、数据的备份;
4、应用系统的数据库设计与开发;
5、数据库应用平台主机性能调整;
备注: 期间为公司独立开发过一套统计分析报表和一套办公oa系统,多套报表系统。