0%

jdk部署

Hadoop安装前置要求Java版本在1.8+

安装过程(本过程在root用户下进行,非root用户目录有轻微变动):

1
2
3
4
5
6
7
8
9
10
11
12
13
拷贝本地软件包到服务器(wget等方法均可)

解压jdk:
# tar -zvxf jdk-8u231-linux-x64.tar.gz -C ~/app/
# 解压的包放置在app文件夹内,根据个人需要选择

把jdk配置在系统环境变量中: ~/.bash_profile
export JAVA_HOME=/home/pearfl/app/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH

之后source一下使其生效:source .bash_profile
可以通过echo $JAVA_HOME检查是否生效
提示:此处=左右不可有空格

ssh免密登录

1
2
3
4
5
6
7
8
# ssh-keygen -t rsa  #一路回车
此时.ssh文件夹下有3个新文件
id_rsa # 私钥
id_rsa.pub # 公钥
known_hosts #

# cat id_rsa.pub >> authorized_keys
# chmod 600 authorized_keys

简易命令

1
2
3
4
5
6
useradd testuser  创建用户testuser
passwd testuser 给已创建的用户testuser设置密码
说明:新创建的用户会在/home下创建一个用户目录testuser
usermod --help 修改用户这个命令的相关参数
userdel testuser 删除用户testuser
rm -rf testuser 删除用户testuser所在目录

给用户添加root权限

使用Linux系统时,经常会被要求使用超级权限,但是root的权限太过大了,一般慎用!!!因此可以通过给普通用户添加sudo权限,平常用普通用户进行操作,当需要root权限的时候进行sudo操作。以下为解决办法:

1
2
3
4
1. 进入超级用户模式,也就是输入”su root”,系统会让你输入超级用户密码,输入密码后就进入了超级用户模式。(当然,你也可以直接用root进入修改)
2. 添加文件的写权限,也就是输入命令”chmod u+w /etc/sudoers”。
3. 编辑/etc/sudoers文件,也就是输入命令”vim /etc/sudoers”,进入编辑模式,找到这一 行:”root ALL=(ALL) ALL”(会用vim编辑器的可以使用“/root ALL=(ALL)ALL”定位)在其下面添加”xxx ALL=(ALL) ALL”(这里的xxx是你的用户名),然后保存退出。
4. 撤销文件的写权限,也就是输入命令”chmod u-w /etc/sudoers”。

修改hostname

1
sudo hostnamectl set-hostname <newhostname>

用户和用户组

用户:使用操作系统的人

用户组:具有相同系统权限的一组用户

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
/etc/group 存储当前系统中所有用户组信息
- Group: x : 123 : abc,def,xyz
- 组名称:组密码占位符:组编号:组中用户列表名

/etc/gshadow 存储当前系统中用户组的密码信息
- Group: * : :abc,def,xyz
- 组名称:组密码:组管理者:组中用户列表名

/etc/passwd 存储当前系统中所有用户的信息
- user : x : 123 : 456 : xxxxxxx : /home/user : /bin/bash
- 用户名:密码占位符:用户编号:用户组编号:用户注释信息: 用户主目录 : shell类型

/etc/shadow 存储当前系统中所有用户的密码信息
- user : xxx :::::
- 用户名: 密码 ::::
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
一套样例

# groupadd sexy 创建sexy用户组
# groupadd -n market sexy 用sexy组名改为market
# groupmod -g 668 market 修改market用户组编号
# groupadd -g 888 boss 创建boss用户组,编号为888
# groupdel market 删除market用户组
# useradd -g sexy sdf 添加用户
# useradd -g sexy jzmb
# useradd -d /home/xxx imooc 添加用户并指定用户文件夹所在位置
# usermod -c dgdzmx sdf 修改sdf注释
# usermod -l cls sdf 用户名sdf更改为cls
# usermod -d /home/cls cls 修改cls文件夹路径
# usermod -g sexy imooc imooc切换进sexy用户组
# userdel jzmb 删除jzmb账号
# userdel -r jzmb 删除jzmb用户文件夹

touch /etc/nologin 禁止root以外的其他账户登录
1
2
3
# passwd -l cls 锁定cls
# passwd -u cls 解锁cls
# passwd -d cls cls账户无密码登录

主要组和附属组

用户可以同时属于多个组

  • 一个主要组
  • 多个附属组
1
2
3
4
5
一套样例

# gpasswd -a cls boss boss组变为cls的附属组,用逗号可以添加多个附属组
# newgrp boss (cls自己执行,切换到boss组)
# gpasswd -a cls boss cls不在是boss组的附属组

  

前言

  对于没有公网ip的内网用户来说,远程管理或在外网访问内网机器上的服务是一个比较麻烦的问题,为了解决这个问题,我介绍一款相当好用的内网穿透工具frp。
  frp 是一个使用 Go 语言开发的高性能的反向代理应用,可以帮助您轻松地进行内网穿透,对外网提供服务。FRP 支持 TCP、UDP、HTTP、HTTPS等协议类型,并且支持 Web 服务根据域名进行路由转发。
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

1
frp项目地址: https://github.com/fatedier/frp

frp的作用

1.利用处于内网或防火墙后的机器,对外网环境提供 HTTP 或 HTTPS 服务。

2.对于 HTTP, HTTPS 服务支持基于域名的虚拟主机,支持自定义域名绑定,使多个域名可以共用一个 80 端口。

3.利用处于内网或防火墙后的机器,对外网环境提供 TCP 和 UDP 服务,例如在家里通过 SSH 访问处于公司内网环境内的主机。

frp安装

FRP 采用 Go 语言开发,支持 Windows、Linux、MacOS、ARM等多平台部署。FRP 安装非常容易,只需下载对应系统平台的软件包,并解压就可用。

这里以 Linux 为例,为了方便管理我们把解压后的目录重命名为 frp :

1
2
# wget https://github.com/fatedier/frp/releases/download/v0.30.0/frp_0.30.0_linux_amd64.tar.gz
#

  我在之前的hexo博客中写了50+篇文章,但质量都不太让我满意,解决问题的效率甚至比不上百度,恰巧之前的文档因操作失误丢失了,于是我就重置了整个博客内容从零开始

  今后的每一篇文章我都会尽心尽力而为,不灌水,如果对文章有问题或者想要交流的小伙伴,可以加我的qq或给我发送邮件进行联系。

  那么,加油!

hexo搭建及相关教程可参考这→ https://io-oi.me/tech/hexo-next-optimization/

在线工具合集→https://tool.lu/

个人大数据配置留存

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
PATH=$PATH:$HOME/.local/bin:$HOME/bin

export PATH

export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:/home/pearfl/lib/*

export MYSQL_HOME=$PATH:/home/pearfl/app/mysql-5.6.47
export PATH=$MYSQL_HOME/bin:$PATH

export JAVA_HOME=/home/pearfl/app/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/home/pearfl/app/hadoop-2.6.0-cdh5.16.2
export PATH=$HADOOP_HOME/bin:$PATH

export HIVE_HOME=/home/pearfl/app/apache-hive-1.1.0-cdh5.16.2-bin
export PATH=$HIVE_HOME/bin:$PATH

export MAVEN_HOME=/home/pearfl/app/apache-maven-3.6.3
export PATH=$MAVEN_HOME/bin:$PATH

export ZOOKEEPER_HOME=/home/pearfl/app/zookeeper-3.4.5-cdh5.16.2
export PATH=$ZOOKEEPER_HOME/bin:$PATH

export HUE_HOME=/home/pearfl/app/hue-3.9.0-cdh5.16.2
export PATH=$HUE_HOME/build/env/bin:$PATH

export FLUME_HOME=/home/pearfl/app/apache-flume-1.6.0-cdh5.16.2-bin
export PATH=$FLUME_HOME/bin:$PATH