一名数据挖掘工程师给新人整理的入门资料

一名数据挖掘工程师给新人整理的入门资料



四年前我一次听说数据挖掘这个词，三年前我学习了数据挖掘理论知识，两年前我做了几个与数据挖掘有关的项目，一年前我成为一名数据挖掘工程师，今天我把数据挖掘入门资料整理了一下，希望能够对新人有帮助。
一、python

推荐粗读《Head First Python》一书，该书浅显易懂，有C语言基础的人只需一天就能读完，并能够使用python进行简单编程。“Head First”系列的数都很适合初学者，我还读过《Head First 设计模式》和《Head First Statistics》，感觉都不错。不过后两本，我读得比较细也比较慢，毕竟当时是首次接触设计模式和统计学相关知识，书中很多东西对我而言都是全新的。而当我读《Head First Python》时，我已经掌握了C、C++、java等多种编程语言，所以再看python就觉得比较简单了。学任何一种编程语言，一定要动手练习。python的集成开发环境有很多，我个人比较青睐PyChARM。


用python做数据挖掘的人一般都会用到pandas数据分析包。推荐阅读《pandas: powerful Python data analysis toolkit》文档，其中《10 Minutes to pandas》这一节能让你轻松上手pandas。读了这一节你会知道怎么用一句话得到数据的一些基本统计量(每一列特征的均值、标准差、最大最小值、四分位点等)，怎么简单地实现多条件的过滤，怎么将两张表按key连接，怎么将数据可视化。除了这篇文档，我还想推荐一本书《利用Python进行数据分析》，这本书和之前文档的主要内容差不多。可以书和文档交叉看，加深印象。与文档相比，书增加了数据应用等内容。与书相比，文档增加了与R、SQL对比等内容。即使是主题相同的章节，例如绘图，文档和书将知识组织起来的方式以及侧重点也有所不同。个人认为，文档和书都值得一看。
二、统计学

虽然我也粗读过统计学的几本书，但从易懂性来说，都没有学校老师给的ppt好，或者说自己看书比较困难，但是听老师讲课就很容易懂。所以，我建议有条件的同学能够选修统计学这门课，没条件的同学可以去网上找一些相关视频，配套书籍可以选择茆诗松的《概率论与数理统计》。另外，《Head First Statistics》一书可以用来预热。


学了统计学，你至少应该知道基本的抽样方法、偏差与方差的区别、怎样进行数据预处理、怎样整理和显示数据、数据分布的描述统计量有哪些、假设检验是用来做什么的、置信区间的概念、R-squared的含义等等。你需要了解各种图的作用和适用场景，常用图包括条形图、饼图、直方图、折线图、箱线图、散点图、雷达图等。你需要了解各种统计量的含义，常见统计量包括均值、方差、中位数、四分位数、加权平均数、偏态、峰态等。你需要了解一些重要的分布，比如正态分布、chi-square分布、t分布、F分布等。
三、机器学习和数据挖掘

机器学习资料首推吴恩达的《斯坦福大学公开课：机器学习课程》视频。这20集视频确实是好视频，但对初学者来说难度偏大。我有了一点机器学习方面的基础后，再去看该视频，还花了2.5倍的时间才基本看懂。每当我跟不上视频时，就会暂停或者回退，再仔细看看课件，所以看完视频花掉的时间是视频原时长的2.5倍。另外，周志华的《机器学习》和李航的《统计学习方法》可以作为机器学习入门书籍，经典教材《Pattern Recognition and Machine Learning》可以作为机器学习进阶书籍，而《机器学习实战》一书能手把手地教你怎么实现机器学习模型的底层算法(书中包含了大量的程序清单)。


数据挖掘方面，推荐Jiawei Han的《数据挖掘概念与技术》。该书比较容易读懂，内容广泛且实用性强，特别适合初学者。


以上信息具体可以访问老男孩教育网站  www.oldboyedu.com