在家搭建大数据分布式计算环境！

0. 前言

分布式并行编程可以大幅提高程序性能，实现高效的批量数据处理。分布式程序运行在大规模计算机集群上（廉价的服务器），可以并行执行大规模数据处理任务，从而获得海量的计算能力。因此目前常用的大数据软件都可以部署在分布式计算环境种。

关于大数据的概论，在前面的文章中已经详细讲解，这里就不再赘述。对于想学习大数据的同学而言，自己在家买设备显然成本过高，租用云服务器的价格也不便宜，对于初学者而言相当的不划算。

如果我们在家也想体验一下大数据软件分布式计算的感觉，那就动手一起来搭建吧！

1. 安装VirtualBox

为了体验分布式的计算环境，就需要有多台设备，但是家用一般也只会有1台物理机器，想体验分布式计算就需要使用虚拟机搭建多个虚拟电脑。

这里我们推荐VirtualBox软件来搭建虚拟机

链接：https://link.zhihu.com/?target=https%3A//www.virtualbox.org/

进入到VirtualBox的页面 点击Download，根据自己的电脑选择相应的版本

安装好VirtualBox后的界面

2. 配置虚拟环境

实际的大数据架构一般都会部署到linux系统上，因此对于虚拟机的操作环境我们选择了界面做的不错的Ubantu的操作系统。

点击新建，开始创建虚拟环境，名称就是虚拟机电脑的名称，文件夹就是虚拟机所在的位置，类型我选择Linux，版本根据自己电脑型号选择32-bit和64-bit。

然后点击下一步：

这里需要我们，选择内存大小，这里根据自己的实际机器硬件条件来设置，这里我们建议内存为4G：

然后点击下一步-->点击创建--> 点击下一步-->点击下一步。

直到这里 创建虚拟硬盘 我们稍微给虚拟硬盘的空间大一些50G：

点击创建 这样我们的虚拟机就创建好了。

点击启动。这里会让你选择启动盘，点击注册-->选中提前下载好的Ubantu系统-->点击打开/

注意这里一定要选中Ubantu的系统，不要选择物理设备

选择好ubantu系统后，我确认一下，然后点击启动

Ubantu系统启动！

英语不好的同学这里也可以选择汉语

这里可以选择 Noramal installtion 就是正常安装

也可以选择Minimal installtion 就是最小化安装 只安装Ubantu系统所需要的组件，不安装其它东西，能够最大程度减少电脑的压力。

这里选择最小安装

选择所在的时区

这里就是配置用户名和密码

配置密码

配置好了以后进入漫长的等待

这样我们一个虚拟机就建好了

3.配置Virtual Box

3.1 配置粘贴板

点击共享粘贴版-->选择双向

3.2 安装增强功能

点击Eject 退出虚拟光驱

点击设备-->安装增强功能

3.3 linux环境以及软件配置

点击Terminal

接下来设置基础的环境

sudo su -
passwd root  #设置root密码
exit

#安装必要的软件
sudo apt upgrade -y
sudo apt install vim net-tools -y
sudo apt install software-properties-common
sudo add-apt-repository ppa:deadsnakes/ppa  #添加镜像源
sudo apt install openssh-server -y           #配置ssh环境
systemctl status ssh

#-----以下为选择安装部分 根据自己实际情况选择-----
sudo apt install python3.8 -y               #安装python3.8
sudo apt install default-jre -y
python3                                      #检验是否安装好
sudo apt install openjdk-11-jdk-headless -y  #安装java
java --version

3.4 网络环境配置

我们希望虚拟机能够连接外部网络 同时也能互相连接

接下来设置虚拟机内部网络通信 添加虚拟网络

点击创建

到这里我们单独的一台机器就全部配置好了

接下来就是去做克隆的工作 复制的虚拟机会和前面的一模一样！

点击虚拟机-->点击右键-->点击复制/clone (修改虚拟机的名称和路径)-->点击下一步-->点击复制

注意这里一定要重新生成MAC地址，不然虚拟机之间通信会有问题！

现在我们就有3台配置好的虚拟机了

这里我们需要看以下MAC是不是更换了，如果没有更换就点击旁边的刷新按钮随机生成一个

4. 配置分布式的环境

进入到不同的电脑看看虚拟机不同的ip

ifconfig

其中这个196.168.56.3就是这个虚拟机局域网的ip

接下来修改机器的名称

sudo vim /etc/hostname  #修改机器名称

按i 进入编辑模式 修改当前机器的名称 比如这台我们修改为bigdata-node1

全部修改完后我们修改每台电脑的host:

sudo vim /etc/hosts     #修改局域网内的别名

ping bigdata-node2

到这里我们分布式计算环境就全部搭建好了

5. 小结

本文通过VirtualBox构建了3台虚拟机，并在虚拟机上安装了Ubantu系统，通过设计虚拟网卡让3台虚拟机之间能够互相通信，这样的虚拟机和真实的分布式环境相当的接近，也方便我们在家体验分布式计算环境。

我们可以在虚拟机上部署Mysql、Hadoop、Hive、zookeeper、kafka等大数据软件，不同的软件部署的方法也不尽相同，由于篇幅的限制，这里我们不详细的介绍这些软件的安装流程。

本文通过介绍虚拟机的安装过程，目的是起到一个抛砖引玉的作用，解决学习大数据过程中没有分布式环境进行实验这一痛点。当然如果条件容许的话，使用云服务器会更好，能进一步理解软件部署到云上的过程。