Linux下安装Hadoop完全分布式(Ubuntu12.10)

2024-11-01 13:27:01

1、安装ubuntuUbuntu12.10交换空间4G(内存2G)。具体安装过程不赘述。用户名统一为:hadoop;组群:hadoop;机器名:namenode(主节点),datanode1(从节点1),datanode2(从节点2)。

2、在Ubuntu下创建hadoop用户组和用户(也可在安装系统时通过界面配置)1.创建hadoop用户组; $sudoaddgrouphadoop记下这里为 hadoop 用户设置的密码,后面使用 hadoop 用户登录时需要用到。2.创建hadoop用户; $sudoadduser-ingrouphadoophadoop3.给hadoop用户添加权限,打开/etc/sudoers文件; $sudogedit/etc/sudoers4. 给hadoop用户赋予root用户同样的权限。在rootALL=(ALL:ALL) ALL下添加如下内容:hadoopALL=(ALL:ALL) ALL

Linux下安装Hadoop完全分布式(Ubuntu12.10)Linux下安装Hadoop完全分布式(Ubuntu12.10)

5、安装ssh服务这里的ssh不是指三大框架:spring,struts,hibernate,而是一种远程登录协议。ubuntu一般只是默认安装了 ssh-agent, 可以用如下命令查看:$sudops-ef|grepssh如果只有 ssh-agent就需要安装openssh-server了。$sudoapt-getinstallsshopenssh-server

6、建立ssh无密码登录本机首先要转换成hadoop用户,碌巫谫浪执行以下命令:$sudosu-hadoopssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。1.创建ssh-key,,这里我们采用rsa方式; $ssh-keygen-trsa-P""请注意, ssh-kengen 是用连字符连着的,千万不要分开。问题如下:按照您的步驟執行的過程中我在ssh -keygen -t rsa -P ""這邊發生的點小狀況輸入之後終端機顯示Bad escape character "ygen"(红字部分就是问题所在,他将 ssh-keygen 分开了。)(注:回车后会在~/.ssh/下生成两个文件:id_rsa和id_rsa.pub这两个文件是成对出现的)2.创建授权文件authorized_keys 进入~/.ssh/目录下,发现开始是没有authorized_keys文件的,可以使用以下两种方法: (1) 将id_rsa.pub追加到authorized_keys授权文件中; $cd~/.ssh $catid_rsa.pub>>authorized_keys (2) 复制 id_rsa.pub 为 authorized_keys $cp~/.ssh/id_rsa.pub~/.ssh/authorized_keys3.登录localhost; $sshlocalhost4. 执行退出命令(exit或CTRL+D);

Linux下安装Hadoop完全分布式(Ubuntu12.10)Linux下安装Hadoop完全分布式(Ubuntu12.10)

8、运行hadoop1.进入hadoop目录下,格式化hdfs文件系统,初次运行hadoop时一定要有该操作, $cd/usr/local/hadoop/ $bin/hadoopnamenode-format2.启动bin/start-all.sh进入bin目录下, $ ./start-all.sh 关闭:同目录下./stop-all.sh3.检测hadoop是否启动成功 $ jps4.Web查看http://localhost:50030/ - 一个jobtracker的web访问接口,为的是方便用户查看相关信息。类似的还有:http://localhost:50070/ – web UI of theNameNode daemonhttp://localhost:50030/ – web UI of theJobTracker daemonhttp://localhost:50060/ – web UI of theTaskTracker daemon

Linux下安装Hadoop完全分布式(Ubuntu12.10)
猜你喜欢