DBTrainingRecord

linux命令的补充

---

（1）查找find

find -name 'hadoop': 当前目录下，查找 名为hadoop 的文件/目录

find -iname 'hadoop': 当前目录下，查找 名为hadoop的文件/目录 ，不分大小写

find /root -name 'hadoop': 在``/root目录下，查找后缀为.o`的文件

find -name '*.o': 当前目录下，查找后缀为.o的文件

find -iname '*ha*': 在规定 root 下查找名 包含ha的文件/目录

（2）管道|

/usr/root |grep hadoop:|左边的输出成为右边的输入

用到再说…

（3）软连接 ->符号

执行ll -n 就可以看到lrwxrwxrwx 1 root root 13 5月 31 11:32 tio.o -> /root/1/tio.o后者就是前者的快捷方式

软连接，带着-s

不必重复的占用磁盘空间，文件保持同步

ln -s /root/1/tio.o  /root/tio.o

硬链接,不带-s

占用磁盘空间，文件保持同步

ln  /root/1/tio.o  /root/tio.o

（4）列举ls

ll -a:显示隐藏文件

ll -h ll -n：显示更多属性（大小）

（5）Vim

:%s/java/JAVA/g:%s:全文件开始查找和替换，将java全部替换为JAVA，g：global 全局替换

特别的，
${system:Java.io.tmpdir} 替换为 /usr/local/hive/iotmp
:%s#${system:Java.io.tmpdir}#/usr/local/hive/iotmp#g
用#分隔

输入g，直接到底部

（6）权限

r
w
x：执行权限

（7）服务启停

systemctl status httpd ：查看httpd状态

systemctl -[start|stop|status|enable|disable|] servername

enable => 开机默认开启
disable =>开机不自启
status =>    可以看到

 Loaded: loaded (/usr/lib/systemd/system/httpd.service; disabled不自启; vendor preset: disabled)
   Active: inactive (dead)   #当前是关闭状态
     Docs: man:httpd(8)
           man:apachectl(8)

（8）解压

tar -xzvf xxx
tar -xzvf xxx -C /usr/local       解压到指定路径         习惯上，/usr/local  /usr/opt

（9）shell编程

!#/bin/bash:开头加上，这个注释有啥用，增加可读性？

应用：多台机器一键安装，

菜鸟

变量：
常亮：
循环：
流程控制语句：
流程控制，使用关系运算符 -
lt  小于 
-gt  大于
-eq  等于
-o  或
-a  且



#!/bin/bash
touch dd.txt   #创建文件
bash demo2.sh  #调用另一个脚本
echo "小丛丛 是猪"| cat >> dd.txt   #输出并管道进文件中
read -p "请输入一个数字:" SCORE    #输入
if [ $SCORE -lt 10 -o $SCORE -gt 100 ];then #[] 前后必须有空格隔开  <10 ||>100
	echo "$SCORE小于10 或者大于100"

fi                                         #if then ....elif... if收尾





一个安装例子：
#!/bin/bash
source ../........
$PATH=

source ../.......
$PATH=

（10）系统配置文件

目录：/etc/hosts

环境变量：/etc/profile

source profile

（11）内网穿透

将自己的网段和端口暴露到公网

（12）监听

netstat -antp |grep 8802

netstat -antp |grep nginx

curl

http命令，

• 可以下载文件，
• 像浏览器一样，可以测试

爬下来文本

curl https://www.baidu.com/

欠账：

flume的采集操作没有做，

sqoop的传输操作没有做

脚本采集与监控

（行为日志采集、新闻采集）

temp:

1、tar安装hadoop、java：

​ 放java 改名为jdk

​ hadoop 改名为hadoop

2、环境变量

#Java
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin

#hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

hadoop数据操作

（1）上传，hdfs dfs -put xxxx /上传xxx到hdfs的根路径下

（2）列举，hdfs dfs -ls /列举根路径文件

3、配置hadoop

​ df port8020

4、集群格式化（bug）exiting with stauts 0

但凡格式化，就说明数据全不要了，会生成新的集群id和新块池，和原来的其他节点无法关联。

解决：每一台节点的/usr/local/hadoop/删除tmp,再启动集群

Donate