随着数据生成、采集方式的变化，我们收集到的数据越来越多，对这些数据进行分析所需的运算量早已远远超出了单台计算机处理能力。伴随而来的便是存储、分析环境等的变化与更新。文本针对想了解大数据分析环境的订阅用户，对相关内容进行了总结。 1、数据与存...

总体来说，数据分析的应用主要包含以下几个步骤： 1、数据的获取：目前来说主要是来自企业自有数据，对互联网公司来说，主要就是数据库信息和用户使用日志。 2、数据的存储：这里指的是在数据分析平台上的存储，目前主要以HDFS为主。 3、数据的清洗：将...

随着移动互联网、物联网等的迅速发展，新数据源不断出现，而中国数据总量的不断增长，使大数据成为一种重要资源，有利于推动零售、旅游、医疗、金融、电信、政府公共服务各个领域的业务创新。 2016 年，国家加大了对大数据应用的推动力度，批复了京津冀等7个国家...

当今是大数据的时代。随着技术的发展，企业可以获取比以往更多的数据，而且由于存储成本的降低，这些数据得以长久保存。 但是大多数企业暂时不具备从数据中获取重要信息的能力，而分析能力必将成为使企业立于不败之地的重要基石之一。对企业而言，可以采用如下策...

（格物课堂原创文章，转载请给出链接） 早在大数据这个词汇被提出、被炒作之前，海量数据在科研领域早就已经存在了：对于科学家与数据分析师来说，类似于海量的文本信息集合、DNA序列信息，以及来自射电望远镜的数据等海量信息的处理一直是个棘手的问题。 由于...

2017年4月8日，在武汉东西湖国家网络安全人才与创新基地召开的全国信息安全标准化技术委员会2017年第一次工作组“会议周”上，发布了《大数据安全标准化白皮书（2017）》，为大数据安全标准化工作提供指导，呼吁社会各界共同关注大数据安全。 据介绍，白皮书从法规...

Netflix资深软件工程师Tom Gianos和Netflix大数据计算工程经理Dan Weeks在2016年度QCon旧金山活动中介绍了Netflix的大数据策略和分析基础架构，此外还概括介绍了他们的数据规模、S3数据仓库，以及他们的大数据大数据联合编排系统（Federated orchestration system）G...

O'Reily官网上有大量关于数据分析的免费书籍，其中的《Analyzing the Analyzers》专门对数据分析从业者进行了分析。 书中提及，数据分析从业人员都应精通或熟悉数据分析的理念、数据分析流程以及大数据分析技术与技巧等，具体来说，可以将他们分为四类： ...

通常来说，数据分析的整个过程是非常复杂并且难以预测的。不过对大多数分析任务来说，它们的步骤大都是一致的。今天，我们将简要介绍一下数据分析的流程和步骤，让初学者了解数据分析人员是如何从海量的数据中抽取出有效的信息和结论的。 1、数据的收集 此项工...

在当前BI商业智能市场打开并被广泛应用的背景下，国内外涌现出一大批优秀的BI产品。当然好的BI产品一定离不开好的BI公司，在最新发布的Gartner 2017 年《商业智能和分析平台魔力象限》报告中，Tableau、Microsoft、Qlik这三家BI厂商被评为行业的“领先者”。IT巨头Orac...