高效Linux用户需要了解的命令行技能

最近在Quora上看到一个问答题目，关于在高效率Linux用户节省时间Tips。将该题目的回答进行学习总结，加上自己的一些经验，记录如下，方便自己和大家参考。下面介绍的都是一些命令行工具，这些工具在几位回答者的日常工作中都很有用。

对于任何不了解的命令，请使用“man “查看，或者使用Google。

有些命令需要先用 yum, apt-get install 命令安装。

一、基本命令

1、了解基本的bash：通读整个bash man page.

2、学习VIM：在Linux系统上，虽然你有Emacs和Eclipse，但是VIM仍然是无出其右的利器。

3、了解SSH，基本的无密码验证方式。例如通过ssh-agent, ssh-add等。《灵犀志趣》平时都使用如下脚本完成无密码验证，省事省力。

执行方式 sh nopasswd USER REMOTE_HOST

执行此脚本前，请确认：

本机上已有 id_dsa.pub ,若无。使用命令 ssh-keygen -t dsa 获得。
远程机上登录用户家目录下，已经有 .ssh 文件夹，若无创建之。

$ cat nopasswd
#!/bin/sh
scp ~/.ssh/id_dsa.pub $1@$2:~/
ssh $1@$2 " touch ~/.ssh/authorized_keys ;
cat ~/id_dsa.pub >> ~/.ssh/authorized_keys;
chmod 644 ~/.ssh/authorized_keys; exit"

4、熟悉Bash中常用的任务管理命令：&,Ctrl-Z,Ctrl-C,jobs,fg,bg,kill 等。

5、基本的文件管理命令：ls, ls-l, less, head, tail, tail -f, ln, ln -s, chmod, chown, du, du -sk *, df, mount

6、基本的网络管理命令：ipconfig, ifconfig, dig

7、熟悉正则表达式，以及 grep，egrep用到的选项：-o, -A, -B

8、软件安装命令了解：apt-get 和 yum

cat -n：可以帮助显示行号。

二、一些表达式

!!：再次执行上一条命令

!$：上一条命令的最后一个单词

{a..b}：按照从a到b顺序的一个数字列表

{a,b,c}：三个词a,b,c. 可以这样使用 touch /tmp/{foo,bar,baz}

{$1-$9}：执行shell脚本时的命令行参数

$0：正在执行的命令名称

$#：当前启动的命令中传入的参数个数

$?：上一条命令的执行返回值。

$$：该shell的进程号。

$*：从$1开始，启动该shell脚本的所有参数。

三、日常使用命令

Ctrl-R：在bash中， Ctrl-R用于在历史命令中搜索

Ctrl-W, Ctrl-U, Alt-BackSpace：bash中，Ctrl-W删除最后一个词，Ctrl-U删除最后一行, Alt-BackSpace 删除光标前的一个词 man readline 中包含了大量bash中的默认热键绑定.

cd -：返回前一个工作路径

xargs：非常强大的命令。如果你还不确定是否能正确的执行任务，可以先用xargs echo查看。下面是一个用该功能的例子：

find . -name \*.py | xargs grep some_function
cat hosts | xargs -l {} ssh root@{} hostname

parallel：一个更加强大的命令. 可以实现并行执行任务,并可以分割输入文件, 指定多个节点同时运行命令等功能.详细的功能可以参考这个链接.

pstree -p：打用进程树的得力工具

pgrep,pkill：使用名字查找进程，或者直接向指定名字的进程发送信号。

了解用户能发送给进程的一些信号。比如 kill -STOP [pid] ，让pid进程挂起。

nohup，disown,screen, tmux：当你需要将进程永远处在后台运行是，这两个命令很有用。

lsof, netstat -lntp：查询当前什么进程在监听什么端口。

set：在bash脚本中，使用 set -x 获得debug输出，使用 set -e 获得错误输出。

;：分号用于开启一个子shell并运行至结束后关闭。例如：

#在当前路径下执行一些命令
(cd /some/other/dir; other-command)
# 工作路径仍然是当前目录

了解shell中的多种参数表达式：${name:?error message}

检查某个变量是否存在，若不存在输出 error message。

${var%suffix}, ${var#prefix}：输出var变量除前缀或者后缀外的部分。如下面的代码输出为foo.txt。

var = foo.pdf
echo ${var%pdf}.txt

<,>：输入输出重定向操作。

some_command > logfile 2>&1：将 some_command 运行过程中的标准输出和标准错误输出都输出到文件logfile中。

man ascii：获得一个好用的ASCII表格，包含10进制和16进制的值。

screen,dtach：在远程ssh绘画中，使用这两个命令可以保存你的会话，避免因为网络问题导致中断。

curl, curl -l, wget：在web页面调试中，这几个命令能帮你下载网页代码，很有用。

lynx -dump -stdin：将HTML转换为文本

xmlstarlet：需要处理XML时，这个命令很有用。

ssh -L, ssh -D：需要利用远程服务器访问网页时，这命令可以帮助你在远程服务器和你的机器之间建立ssh 隧道。

ssh连接优化：如下配置能帮你避免链接丢失，不需要每次都输入yes确认和远程服务器的链接，以及在链接中启用压缩。建议将它放到.ssh/config中。

TCPKeepAlive=yes
ServerAliveInterval=15
ServerAliveCountMax=6
StrictHostKeyChecking=no
Compression=yes
ForwardAgent=yes

在正输入的命令前加#：命令已经输入一半，忽然间改主意想少收运行时，可以使用 Alt-# 在命令前加‘#’，将整个命令变成注释。这样你稍后就能在命令历史中找到该命令了。

cron：可以帮助你制定一些定时执行的计划任务。

Ctrl-S Ctrl-C：将一不小心需要大量输出文本时，依次输入这两个操作，比单纯的频繁按Ctrl-C能更快让程序终止。

四、数据处理

sort,uniq, uniq -u, uniq -d：了解这些排序命令。

cut,paste, join：了解这些文本文件的维护工具。很多人都在使用cut后，忘记join。

使用sort/uniq进行集合的交、并、补运算=

假设a和b是两个文本文件，其中的行都是唯一的。

如下几个命令可以快速的实现一些集合操作。

cat a b | sort | uniq > c # c is a union b
cat a b | sort | uniq -d > c # c is a intersect b
cat a b b | sort | uniq -u > c # c is set difference a - b

使用LC_ALL=C：Linux中有关locale的设置会影响大量的命令行工具，其中包括排序工具。多数安装的Linux系统都将LANG或者其他的locale默认设置成US English。但这可能会导致排序及其他命令慢上好几倍。因此export LCALL=C能避免使用i18n形式处理数据，带来性能提升。

awk,sed：这两个工具能实现复杂的数据替换和修改。

例如，下面的命令实现对文本文件中低三列的数据求总和。

使用shell完成此运算比用Python快3倍。