其他教程

OOZIE 是什么鬼? Apache Oozie是事情流调治用在Hadoop中。它是一个运行相关的功课事情流系统。这里，用户被答允建设向非轮回图事情流程，其可以在并列 Hadoop 并顺序地运行。 它由两部门构成： 事情流引擎：一个事情流引擎的职责是存储和运行事情流程，由 Hadoop 功课构成：MapReduce, Pig, Hive. 协调器引擎：它运行基于预界说的时间表和数据的可用性事情流程功课。 Oozie可扩展性和可打点实时执行成千上万的事情流程(每个由几十个功课)的Hado … 继续阅读“OOZIE 五分钟入门进修”

Hadoop文件系统利用漫衍式文件系统设计开拓。它是运行在普通硬件。不像其他的漫衍式系统，HDFS是高度容错以及利用低本钱的硬件设计。 HDFS拥有超大型的数据量，并提供更轻松地会见。为了存储这些复杂的数据，这些文件都存储在多台呆板。这些文件都存储以冗余的方法来拯救系统免受大概的数据损失，在产生妨碍时。 HDFS也使得可用于并行处理惩罚的应用措施。 HDFS的特点 它合用于在漫衍式存储和处理惩罚。 Hadoop提供的呼吁接口与HDFS举办交互。 名称节点和数据节点的辅佐用户内置的处事器可以或许轻 … 继续阅读“Hadoop HDFS”

Node.js 文件系统 Node.js 提供一组雷同 UNIX（POSIX）尺度的文件操纵API。 Node 导入文件系统模块(fs)语法如下所示： var fs = require(“fs”) 异步和同步 Node.js 文件系统（fs 模块）模块中的要领均有异步和同步版本，譬喻读取文件内容的函数有异步的 fs.readFile() 和同步的 fs.readFileSync()。 异步的要领函数最后一个参数为回调函数，回调函数的第一个参数包括了错误信息(error)。 发起各人是用异步要领， … 继续阅读“Node.js 文件系统”

在本教程中，我们将接头 Pig & Hive Pig简介 在Map Reduce框架，需要的措施将其转化为一系列 Map 和 Reduce阶段。 可是，这不是一种编程模子，它被数据阐明所熟悉。因此，为了补充这一差距，一个抽象观念叫 Pig 成立在 Hadoop 之上。 Pig是一种高级编程语言，阐明大数据集很是有用。 Pig 是雅虎尽力开拓的功效 Pig 使人们可以或许更专注于阐明大量数据集和花更少的时间来写map-reduce措施。 雷同猪吃对象，Pig 编程语言的目标是可以在任何范例 … 继续阅读“Pig Hive先容”

Hadoop由GNU/Linux平台支持(发起)。因此，需要安装一个Linux操纵系统并配置Hadoop情况。假如有Linux操纵系统等，可以把它安装在VirtualBox(要具备在 VirtualBox内安装Linux履历，没有装过也可以进修试着来)。 安装前配置 在安装Hadoop之前，需要进入Linux情况下，毗连Linux利用SSH(安详Shell)。凭据下面提供的步调设立Linux情况。 建设一个用 在开始时，发起建设一个单独的用户Hadoop以从Unix文件系统断绝Hadoop文件系 … 继续阅读“Hadoop情况安装配置”

Node.js 常用东西 util 是一个Node.js 焦点模块，提供常用函数的荟萃，用于补充焦点JavaScript 的成果 过于精简的不敷。 util.inherits util.inherits(constructor, superConstructor)是一个实现工具间原型担任 的函数。 JavaScript 的面向工具特性是基于原型的，与常见的基于类的差异。JavaScript 没有 提供工具担任的语言级别特性，而是通过原型复制来实现的。 在这里我们只先容util.inherits … 继续阅读“Node.js 常用东西”

Apache Hadoop 是用于开拓在漫衍式计较情况中执行的数据处理惩罚应用措施的框架。雷同于在小我私家计较机系统的当地文件系统的数据，在 Hadoop 数据生存在被称为作为Hadoop漫衍式文件系统的漫衍式文件系统。处理惩罚模子是基于“数据局部性”的观念，个中的计较逻辑被发送到包括数据的集群节点(处事器)。这个计较逻辑不外是写在编译的高级语言措施，譬喻 Java. 这样的措施来处理惩罚Hadoop 存储 的 HDFS … 继续阅读“Hadoop先容快速入门”

Hadoop是利用Java编写，答允漫衍在集群，利用简朴的编程模子的计较机大型数据集处理惩罚的Apache的开源框架。 Hadoop框架应用工程提供跨计较机集群的漫衍式存储和计较的情况。 Hadoop是专为从单一处事器到上千台呆板扩展，每个呆板都可以提供当地计较和存储。 Hadoop的架构 在其焦点，Hadoop主要有两个条理，即： 加工/计较层(MapReduce)，以及 存储层(Hadoop漫衍式文件系统)。 MapReduce MapReduce是一种并行编程模子，用于编写普通硬件的设计， … 继续阅读“Hadoop是什么？”

Node.js 全局工具 JavaScript 中有一个非凡的工具，称为全局工具（Global Object），它及其所有属性都可以在措施的任那里所会见，即全局变量。 在欣赏器 JavaScript 中，凡是 window 是全局工具， 而 Node.js 中的全局工具是 global，所有全局变量（除了 global 自己以外）都是 global 工具的属性。 在 Node.js 我们可以直接会见到 global 的属性，而不需要在应用中包括它。 全局工具与全局变量 global 最基础的浸染 … 继续阅读“Node.js 全局工具”

在我们相识Flume和Sqoop之前，让我们研究数据加载到Hadoop的问题： 利用Hadoop阐明处理惩罚数据，需要装载大量从差异来历的数据到Hadoop集群。 从差异来历大容量的数据加载到Hadoop，然后这个进程处理惩罚它，这具有必然的挑战。 维护和确保数据的一致性，并确保资源的有效操作，选择正确的要领举办数据加载前有一些因素是要思量的。 主要问题： 1. 利用剧本加载数据 传统的利用剧本加载数据的要领，不适合于大容量数据加载到 Hadoop;这种要领效率低且很是耗时。 2. 通过 Map … 继续阅读“Flume和Sqoop”