hadoop

用Virtual Box搭建集群环境

引言

前段时间一直在实验各种大数据查询和存储工具,由于公司的机器是特别定制的,搭环境不是很方便,而且不能随时上去玩,所以就考虑用Virtual Box搭建集群的方式测试各种工具。

环境

这里选用了 Cen OS 6.3 min 是为了和公司的环境保持一至,并且min版本没有图形界面,节省资源。

  • Virtual Box 4.3.6
  • Cent OS 6.3
  • image CentOS-6.3-x86_64-minimal.iso

创建虚拟机

Pig On Mac

Install

首先是 Mac OS 下的安装

1
2
 export JAVA_HOME=$(/usr/libexec/java_home)
 brew install pig

Run

Pig 运行分为两种模式,如果需要在本地调试的话,可以使用 shell 模式。

通过运行下面的 command 就行了

Shell mode

1
 pig -x local

Count Words

下面我们用个简单的统计单词次数的例子做进入 pig 世界的 hello world。

首先我们在网上随便找一篇文章做实验。