更新时间:2019-12-11 来源:黑马程序员 浏览量:
数据挖掘的定义
数据挖掘可以简单的理解为从大量数据中提取或挖掘知识或者说是知识发现。
数据挖掘其实是一种深层次的数据分析方法。数据挖掘可以描述为:按企业既定业务目标,对大量的企业数据进行探索和分析,揭示隐藏的、未知的或验证已知的规律性,并进一步将其模型化的先进有效的方法。
数据挖掘前景怎么样
数据挖掘利用计算机技术获取隐藏在大量数据背后的信息,满足一个行业或企业的需求,为企业或管理层的决策提供依据。从目前大数据公司的发展来看,它们正处于信息收集和简要分析阶段,规模经济效应相对较少。
从目前该行业的发展前景来看,未来是巨大的,能够产生的经济效应可以说是几何倍数的。迫切需要的是数据分析师或模型架构师来构建满足行业需求的数据挖掘模块并进行需求分析。换言之,前景无限,目前专业人才短缺。
数据挖掘的应用
数据挖掘的应用场景很多。比如,数据挖掘能帮助零售商了解“谁是最有价值的顾客”、“什么产品可以交叉销售或提升销售”、“公司明年的营收前景如何”;可以帮助地球科学家了解“干旱和飓风等生态系统扰动的频度和强度与全球变暖之间有何联系”、“海洋表面温度对地表降水量和温度有何影响”、“如何准确地预测一个地区的生长季节的开始和结束?”等等。
数据挖掘应用了众多领域的思想,包括来自统计学的抽样、估计和假设检验;来自人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论等。
数据挖掘的核心思想
贯穿数据挖掘的的思想主要有四个:关联,分类,回归分析和聚类。前两条是为了寻找差异基因,后两条是预测差异基因的可能的属性。
数据挖掘基本步骤
第一步:数据清理(消除噪声和不一致数据)
第二步:数据集成(不同来源与格式的数据组合到一起)
第三步:数据选择(挖掘所需的数据)
第四步:数据变换(数据变换成适合挖掘的形式,如汇总,聚集操作)
第五步:数据挖掘(方法,建模)
第六步:模式评估(结果模型)
第七步:知识表示(可视化)
数据挖掘要学什么
数据挖掘涉及的内容比较泛,与之相关的内容包括数据库、数据仓库、机器学习、信息检索。
学习数据挖掘基础:数据库理论、数学基础(包括数理统计、概率、图论等)、熟练掌握一种编程语言(java,python)、会使用数据挖掘工具软件(weka、matlab、spss)等。
数据挖掘的内容包括分类、关联分析、聚类和异常检测等几个方面。
数据挖掘常用算法
分类算法:C4.5,朴素贝叶斯(Naive Bayes),SVM,KNN,Adaboost
聚类算法:K-Means,EM
关联分析: PageRank
……
详情请参考《数据挖掘十大算法》