您的位置 首页 大学专业课程

数据挖掘需要学什么内容

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。数据挖掘需要学什么数据挖掘涉及的内容比较泛,机器学习、数据挖掘、人工智能,但实际上这些知识大多是相

数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关,并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。

数据挖掘需要学什么内容插图

数据挖掘需要学什么

数据挖掘涉及的内容比较泛,机器学习、数据挖掘、人工智能,但实际上这些知识大多是相通的,机器学习实战这本书是我看的启蒙书里很好的一本了,该有的都有,难度较小,有理论有实践,可以较快的对各种知识有个大概的了解,但是想要长期在这个行业发展,还需要学习更多的知识,比如说提到回归模型,你不仅仅要知道最小二乘法,你还要想到怎么进行数据清洗、哪些数据需要清洗,怎么规范数据,数据是否过多,要不要进行归约和降维,采用哪种回归模型,精确度大致要达到什么水平,要不要考虑过拟合和欠拟合,要不要进行交叉验证,几折交叉验证效果好,如果回归模型不适用,有哪些备选方案等等。

数据挖掘步骤

(1)定义问题。在开始知识发现之前最先的也是最重要的要求就是了解数据和业务问题。必须要对目标有一个清晰明确的定义,即决定到底想干什么。比如,想提高电子信箱的利用率时,想做的可能是“提高用户使用率”,也可能是“提高一次用户使用的价值”,要解决这两个问题而建立的模型几乎是完全不同的,必须做出决定。

(2)建立数据挖掘库。建立数据挖掘库包括以下几个步骤:数据收集,数据描述,选择,数据质量评估和数据清理,合并与整合,构建元数据,加载数据挖掘库,维护数据挖掘库。

(3)分析数据。分析的目的是找到对预测输出影响最大的数据字段,和决定是否需要定义导出字段。如果数据集包含成百上千的字段,那么浏览分析这些数据将是一件非常耗时和累人的事情,这时需要选择一个具有好的界面和功能强大的工具软件来协助你完成这些事情。

(4)准备数据。这是建立模型之前的最后一步数据准备工作。可以把此步骤分为四个部分:选择变量,选择记录,创建新变量,转换变量。

(5)建立模型。建立模型是一个反复的过程。需要仔细考察不同的模型以判断哪个模型对面对的商业问题最有用。先用一部分数据建立模型,然后再用剩下的数据来测试和验证这个得到的模型。有时还有第三个数据集,称为验证集,因为测试集可能受模型的特性的影响,这时需要一个独立的数据集来验证模型的准确性。训练和测试数据挖掘模型需要把数据至少分成两个部分,一个用于模型训练,另一个用于模型测试。

(6)评价模型。模型建立好之后,必须评价得到的结果、解释模型的价值。从测试集中得到的准确率只对用于建立模型的数据有意义。在实际应用中,需要进一步了解错误的类型和由此带来的相关费用的多少。经验证明,有效的模型并不一定是正确的模型。造成这一点的直接原因就是模型建立中隐含的各种假定,因此,直接在现实世界中测试模型很重要。先在小范围内应用,取得测试数据,觉得满意之后再向大范围推广。

(7)实施。模型建立并经验证之后,可以有两种主要的使用方法。第一种是提供给分析人员做参考;另一种是把此模型应用到不同的数据集上。

免责声明:文章内容不代表本站立场,本站不对其内容的真实性、完整性、准确性给予任何担保、暗示和承诺,仅供读者参考,文章版权归原作者所有。如本文内容影响到您的合法权益(内容、图片等),请及时联系本站,我们会及时删除处理。

作者: 791650988

为您推荐

历史的意义与价值是什么插图

历史的意义与价值是什么

历史的问题在于不断发现真的过去,在于用材料说话,让人如何在现实中可能成为可以讨论的问题。那么历史的意义与价值有哪些呢?

大数据技术与应用学的是什么内容插图

大数据技术与应用学的是什么内容

大数据技术与应用需要学习Hadoop实用技术、数据挖掘、机器学习、数据统计分析、高等数学等内容。在“大数据”背景之下,精通“大数据”的专业人才将成为企业最重要的业务角色,“大数据”从业人员薪酬持续增长,人才缺口巨大,就业前景十分可观。

课程目标的特点插图

课程目标的特点

课程目标有整体性,各级各类的课程目标是相互关联的,而不是彼此孤立的;阶段性,课程目标是一个多层次和全方位的系统,如小学课程目标、初中课程目标、高中课程目标;持续性,高年级课程目标是低年级课程目标的延续和深化等特点。

中国园林特点是什么插图

中国园林特点是什么

园林是人们为了游览娱乐的方便,用自己的双手创造风景的一种艺术。那么中国园林特点是什么呢?下面是小编整理的相关信息,让我们一起看一下吧。

义和团运动的性质是什么插图

义和团运动的性质是什么

义和团又称义和拳、义和团事件、庚子事变,拳匪、拳乱、庚子拳乱等。那么义和团运动的性质是什么呢?下面就和小编一起去看一下相关信息吧,希望可以给大家带来帮助。

返回顶部