一、環境準備

1.CentOS配置

最好是用新克隆的虛擬機 ，虛擬機內存設置大一點（我設置的4G），配置網絡，主機名，關閉防火墻，關閉selinux
注意：采用root角色編譯，減少文件夾權限出現問題

2.jar包準備(hadoop源碼、JDK8、maven、ant 、protobuf)

（1）hadoop-2.7.2-src.tar.gz
（2）jdk-8u144-linux-x64.tar.gz
（3）apache-ant-1.9.9-bin.tar.gz（build工具，打包用的）
（4）apache-maven-3.0.5-bin.tar.gz
（5）protobuf-2.5.0.tar.gz（序列化的框架）

3.jar包安裝（注意：所有操作必須在root用戶下完成）

JDK

1.解壓

tar -zxf jdk-8u141-linux-x64.tar.gz -C /export/compile

2.配置環境變量

vim /etc/profile
export JAVA_HOME=/export/compile/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

3.更新profile文件

source /etc/profile

4.驗證安裝是否成功

驗證命令：jps  出現jps進程表示安裝配置成功

2.Maven

1.解壓重命名

tar -zxf apache-maven-3.0.5-bin.tar.gz -C /export/compile
mv /export/compile/apache-maven-3.0.5-bin.tar.gz /export/compile/maven

2.修改配置文件

vim /export/compile/maven/conf/settings.xml

添加阿里云鏡像地址：

mirrors>
 mirror>
 id>nexus-aliyun/id>
 mirrorOf>central/mirrorOf>
 name>Nexus aliyun/name>
 url>http://maven.aliyun.com/nexus/content/groups/public/url>
 /mirror>
/mirrors>

3.配置環境變量

vim /etc/profile
export MAVEN_HOME=/export/compile/maven
export PATH=$PATH:$MAVEN_HOME/bin

4.更新profile文件

source /etc/profile

5.驗證安裝是否成功

驗證命令：mvn -version   出現版本信息表示安裝成功

3.ant

1.解壓重命名

tar -zxf apache-ant-1.9.9-bin.tar.gz -C /export/compile
mv apache-ant-1.9.9 ant

2.配置環境變量

vim /etc/profile
export ANT_HOME=/export/compile/ant
export PATH=$PATH:$ANT_HOME/bin

3.更新profile文件

source /etc/profile

4.驗證安裝是否成功

驗證命令：ant -version   出現版本信息表示安裝成功

4.glibc-headers

yum -y install glibc-headers
yum -y install gcc-c++

5.make和cmake

yum -y install make
yum -y install cmake

6.protobuf

1.解壓重命名進入protobuf根目錄

tar -zxf protobuf-2.5.0.tar.gz -C /export/compile
mv protobuf-2.5.0/ protobuf
cd /export/compile/protobuf

2.依次執行如下命令

1 ./configure
2 make
3 make check
4 make install
5 ldconfig

3.配置環境變量

vim /etc/profile
export LD_LIBRARY_PATH=/export/compile/protobuf
export PATH=$PATH:$LD_LIBRARY_PATH

4.更新profile文件

source /etc/profile

5.驗證安裝是否成功

驗證命令：protoc --version  出現版本信息表示安裝成功

7.安裝openssl庫

yum -y install openssl-devel

8.安裝 ncurses-devel庫

yum -y install ncurses-devel

二、編譯源碼

1.解壓

tar -zxf hadoop-2.7.2-src.tar.gz -C /export/compile

2.進入hadoop源碼主目錄

/export/compile/hadoop-2.7.2-src

3.通過maven執行編譯命令

mvn package -Pdist,native -DskipTests -Dtar

4.然后就是漫長的等待...（大約等待時間30分鐘左右，最終成功是全部SUCCESS，如下圖所示）

5.成功的64位hadoop包在/export/compile/hadoop-2.7.2-src/hadoop-dist/target目錄下

三、編譯源碼過程中常見的問題及解決方案

（1）MAVEN install時候JVM內存溢出

原因以及處理方式：在環境配置文件和maven的執行文件均可調整MAVEN_OPT的heap大小。
（詳情查閱MAVEN 編譯 JVM調優問題，如：http://outofmemory.cn/code-snippet/12652/maven-outofmemoryerror-method）

（2）編譯期間maven報錯

原因以及處理方式：可能網絡阻塞問題導致依賴庫下載不完整導致，多次執行命令（一次通過比較難）：

mvn package -Pdist,nativeN -DskipTests -Dtar

（3）報ant、protobuf等錯誤

原因以及處理方式：插件下載未完整或者插件版本問題，最開始鏈接有較多特殊情況。

總結

到此這篇關于Hadoop2.7.2 編譯64位源碼的文章就介紹到這了,更多相關Hadoop 編譯源碼內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！