注册 登录
LinuxTone | 运维专家网论坛 - 最棒的Linux运维与开源架构技术交流社区! 返回首页

yw_zzy7186的个人空间 http://bbs.linuxtone.org/?11360 [收藏] [复制] [分享] [RSS]

日志

转自cu awk的RS ORS 与 FS OFS

热度 3已有 1953 次阅读2010-12-15 14:17 |个人分类:linux 命令|

文模仿十三问,以提问和回答的方式介绍awk的一些基础知识。论坛里awk高手众多,有错误的地方还请大家指正。
 
具体版本如下:
1.ly5066113@ubuntu:~$ uname -a
2.Linux ubuntu 2.6.24-22-generic #1 SMP Mon Nov 24 19:35:06 UTC 2008 x86_64 GNU/Linux
3.ly5066113@ubuntu:~$ bash --version
4.GNU bash, version 3.2.39(1)-release (x86_64-pc-linux-gnu)
5.Copyright (C) 2007 Free Software Foundation, Inc.
6.ly5066113@ubuntu:~$ awk --version
7.GNU Awk 3.1.6
8.Copyright (C) 1989, 1991-2007 Free Software Foundation.
复制代码
一、RS 与 ORS 差在哪
  我们经常会说,awk是基于行列操作文本的,但如何定义“行”呢?这就是RS的作用。
  默认情况下,RS的值是\n。下面通过实例来理解下RS。
1.ly5066113@ubuntu:~$ echo '1a2a3a4a5' | awk '{print $1}'
2.1a2a3a4a5
3.ly5066113@ubuntu:~$ echo '1a2a3a4a5' | awk 'BEGIN{RS="a"}{print $1}'
4.1
5.2
6.3
7.4
8.5
复制代码
我们可以看到,在更改了RS的值后,awk定义的行已经不是我们实际意义中的行了。
  上面RS固定的字符串,RS也可以定义为正则表达式。
1.ly5066113@ubuntu:~$ echo '1ab2bc3cd4de5' | awk 'BEGIN{RS="[a-z]+"}{print $1,RS,RT}'
2.1 [a-z]+ ab
3.2 [a-z]+ bc
4.3 [a-z]+ cd
5.4 [a-z]+ de
6.5 [a-z]+
复制代码
当我们将RS设置为正则表达式的时候,RT这个变量就有作用了,RS的值始终为我们设定的正则,RT的值则是这个正则实际匹配到的内容。
  下面我们看看将RS设置为空会是什么情况
1.ly5066113@ubuntu:~$ cat urfile
2.1
3.
4.2
5.
6.
7.3
8.
9.
10.
11.
12.
13.
14.
15.
16.4
17.ly5066113@ubuntu:~$ awk 'BEGIN{RS=""}{print $0}' urfile
18.1
19.2
20.3
21.4
复制代码
如果RS被设置为空,那么awk会将连续的空行作为行分隔符,与RS设置成"\n\n+"有什么区别???
  1、忽略文件开头和结尾的空行。且文件不以记录分隔符结束,即最后不是空行,会将最后一个记录的尾\n去掉
  2、不设置RT变量(测试未发现规律,暂时认为RT变量不可用)
  3、影响FS变量
  这个怎么理解?对于1、2两点,当作习题留给大家自己测试,3我们下节来讲。
  总结下RS的3种情况:
  1) 非空字符串
     以固定字符串作为行分隔符,同时设置变量RT为固定字符串
  2) 正则表达式
     以正则表达式作为行分隔符,同时设置变量RT为正则表达式实际匹配到的字符串
  3) 空字符
     以连续的空行作为行分隔符,如果FS为单个字符,会将\n强制加入到FS变量中
  理解了RS,再来理解ORS就简单了。RS是awk读取文件时的行分隔符,ORS则是awk输出时的行结束符。
  更简单的讲,就是awk在输出时,会在每行记录后面增加一个ORS变量所设定的值。
  ORS的值只能设定为字符串,默认情况下,ORS的值是\n
1.ly5066113@ubuntu:~$ seq 5 | awk '{print $0}'
2.1
3.2
4.3
5.4
6.5
7.ly5066113@ubuntu:~$ seq 5 | awk 'BEGIN{ORS="a"}{print $0}'
8.1a2a3a4a5a
复制代码
我们平常用的 print $0 等价于 printf $0 ORS

二、FS 与 OFS 差在哪
  RS是awk用来定义“行”的,那么FS就是awk用来定义“列”的。
  设置变量 FS 与使用 -F 参数是一样的。
1.ly5066113@ubuntu:~$ echo '1,2' | awk -F , '{print $1}'
2.1
3.ly5066113@ubuntu:~$ echo '1,2' | awk 'BEGIN{FS=","}{print $1}'
4.1
复制代码
与 RS 类似,FS 同样可以设置为正则表达式
1.ly5066113@ubuntu:~$ echo '1ab2bc3cd4de5' | awk 'BEGIN{FS="[a-z]+"}{print $1,$2,$5}'
2.1 2 5
复制代码
FS 有1个特例,就是将FS设置为一个空格,FS=" " ,这也是FS的默认值
1.In the special case that FS is a single space, fields are separated by runs of spaces and/or tabs and/or newlines.
复制代码
此时,awk会将连续的 空格 或 制表符(\t) 或 换行符(\n) 作为列的分隔符
  那么,FS=" " 与 FS="[ \t\n]+" 有区别么???
  答案是肯定的
1.ly5066113@ubuntu:~$ echo ' 1 2' | awk 'BEGIN{FS=" "}{print $1}'
2.1
3.ly5066113@ubuntu:~$ echo ' 1 2' | awk 'BEGIN{FS="[ \t\n]+"}{print $1}'
复制代码
当FS=" "时,awk会自动去掉行首和行尾的 空格 或 制表符(\t) 或 换行符(\n),但FS="[ \t\n]+"是不会的
  同样,FS也可以设置为空
1.ly5066113@ubuntu:~$ echo '123' | awk 'BEGIN{FS=""}{print $1,$2}'
2.1 2
复制代码
当FS被设置为空字符串的时候,awk会将一行记录的每个字符做为单独的一列
  类似的,当我们想以固定的长度来分隔列的时候,可以使用 FIELDWIDTHS 来代替 FS
  例如,一行记录的前3个字符作为第一列,接下来的2个字符作为第二列,接下来的4个字符作为第三列
1.ly5066113@ubuntu:~$ echo '123456789' | awk 'BEGIN{FIELDWIDTHS="3 2 4"}{print $1,$2,$3}'
2.123 45 6789
3.ly5066113@ubuntu:~$ echo '123456789' | awk 'BEGIN{FIELDWIDTHS="3 2 3"}{print $1,$2,$3}'
4.123 45 678
5.ly5066113@ubuntu:~$ echo '123456789' | awk 'BEGIN{FIELDWIDTHS="3 2 5"}{print $1,$2,$3}'
6.123 45 6789
复制代码
如果定义的长度小于实际的长度,awk会截断,如果大于实际长度,则以实际长度为准。
  总结下FS的4种情况:
  1) 非空字符串
     以固定字符串作为列分隔符
  2) 正则表达式
     以正则表达式作为列分隔符
  3) 单个空格
     以连续的 空格 或 制表符(\t) 或 换行符(\n)作为列分隔符
  4) 空字符
     以每个字符做为单独的一列
  接下来我们来看看上节提到的问题:
  当 RS="" 时,会将\n强制加入到FS变量中
1.ly5066113@ubuntu:~$ cat urfile
2.1
3.a
4.
5.2
6.a
7.
8.
9.3
10.ly5066113@ubuntu:~$ awk -v RS="" '{print "#" $0 "#"}' urfile
11.#1
12.a#
13.#2
14.a#
15.#3#
16.ly5066113@ubuntu:~$ awk -F "b" -v RS="" '{print $1}' urfile
17.1
18.2
19.3
20.ly5066113@ubuntu:~$ awk -F "c" -v RS="" '{print $1}' urfile
21.1
22.2
23.3
24.ly5066113@ubuntu:~$ awk -F "c" -v RS="\n\n+" '{print "#" $1 "#"}' urfile
25.#1
26.a#
27.#2
28.a#
29.#3
30.#
复制代码
如果FS为单个字符,\n始终存在在 FS 中,而 RS="\n\n+" 则不会。
  了解的 FS ,我们来看看 OFS ,FS是awk读入记录时的列分隔符,OFS则是awk输出时的列分隔符。
  我们平时使用的 print $1,$2 等价于 print $1 OFS $2
1.ly5066113@ubuntu:~$ echo '1 2' | awk -v OFS="|" '{print $1,$2}'
2.1|2
3.ly5066113@ubuntu:~$ echo '1 2' | awk -v OFS="|" '{print $1 OFS $2}'
4.1|2
复制代码
如果一行记录有很多列,同时想改变输出的分隔符,print $1,$2,$3 ... 启不是很麻烦?
  当然有简单的方法:
1.ly5066113@ubuntu:~$ echo '1 2 3 4 5' | awk -v OFS="|" '{print $0}'
2.1 2 3 4 5
3.ly5066113@ubuntu:~$ echo '1 2 3 4 5' | awk -v OFS="|" '{$1=$1;print $0}'
4.1|2|3|4|5
5.ly5066113@ubuntu:~$ echo '1 2 3 4 5' | awk -v OFS="|" '{NF+=0;print $0}'
6.1|2|3|4|5
复制代码
为了使OFS的设置生效,需要改变 $0 ,这里我们是对 awk 撒了个小谎
  $1=$1 或者 NF+=0, $0 本身的内容实际上没有任何改变,只是为了使 OFS 的设置生效
  在理解了 RS 和 FS 之后,我们来回顾开始的那句话:“awk是基于行列操作文本的”
  这个说法实际上不是很准确,因为在改变了 RS 后,awk 中的“行”已经不是一般的“行”了
  同样,改变了 FS 后,awk 中的“列”也已经不是一般的“列”了
  因此,准确的应该这样讲:“awk是基于 记录(record) 和 域(field) 操作文本的”

三、0 与 "0" 差在哪
  我们先来看一个例子:
1.ly5066113@ubuntu:~$ awk 'BEGIN{if(0) print "true";else print "false"}'
2.false
3.ly5066113@ubuntu:~$ awk 'BEGIN{if("0") print "true";else print "false"}'
4.true
复制代码
为什么同样是 0 ,结果却不一样?
  其实要解释这个问题,只需要弄清楚awk中的“真”与“假”。
  以下3种情况是“假”,其他情况都为“真”
  1) 数字 0
  2) 空字符串
  3) 未定义的值
1.ly5066113@ubuntu:~$ awk 'BEGIN{a=0;if(a) print "true";else print "false"}'
2.false
3.ly5066113@ubuntu:~$ awk 'BEGIN{a="";if(a) print "true";else print "false"}'
4.false
5.ly5066113@ubuntu:~$ awk 'BEGIN{if(a) print "true";else print "false"}'
6.false
复制代码
以上是普通的字符测试,对于是表达式的情况,先计算表达式,然后将结果按上面的情况测试
1.ly5066113@ubuntu:~$ awk 'BEGIN{if(a=1) print "true";else print "false"}'
2.true
3.ly5066113@ubuntu:~$ awk 'BEGIN{if(a=0) print "true";else print "false"}'
4.false
5.ly5066113@ubuntu:~$ awk 'BEGIN{if(a="0") print "true";else print "false"}'
6.true
7.ly5066113@ubuntu:~$ awk 'BEGIN{if(a="") print "true";else print "false"}'
8.false
9.ly5066113@ubuntu:~$ awk 'BEGIN{if(a=a) print "true";else print "false"}'
10.false
复制代码
来看一个被大家称为月经的问题,awk如何去重?
1.awk '! a[$0] ++'
复制代码
在解释之前,我们先要了解awk的一个特性:
  awk 会根据语境来给未定义的变量赋初始值
1.ly5066113@ubuntu:~$ awk 'BEGIN{print a "" 1}'
2.1
3.ly5066113@ubuntu:~$ awk 'BEGIN{print a + 1}'
4.1
复制代码
对于未定义的变量,如果要进行字符串操作,会被赋成空字符串 ""
  如果要进行数学运算,会被赋成数字 0
  现在我们看看上面的代码 ! a[$0] ++ 等价于 if(! a[$0] ++) print $0
  对于首次出现的记录,a[$0]的值是未定义的,由于后面的 ++ 是数学计算,所以a[$0]会被赋值成数字0
  也是由于 ++ 操作符,会先取值,再计算,所以对于第一行记录实际上是if(! 0) print $0
  ! 是取反,0 是假,! 0 就是真,那么就会执行后面的 print $0
  对于后面出现的重复记录,a[$0] 经过 ++ 的计算已经变为 1、2、3 。。。
  而 ! 1  ! 2  ! 3 ... 都为假,不会打印。
  下面我们用黑哥的一段代码来深刻体会一下,用awk打印奇数行:
1.ly5066113@ubuntu:~$ seq 10 | awk 'i=!i'
2.1
3.3
4.5
5.7
6.9
复制代码
你想明白了么?

路过

鸡蛋

鲜花

握手

雷人

发表评论 评论 (4 个评论)

回复 ceagle 2010-12-20 21:43
学习ing
回复 atnoot 2010-12-23 09:41
学习了
回复 躲猫猫夫人 2011-5-20 11:08
3) 空字符
     以连续的空行作为行分隔符,如果FS为单个字符,会将\n强制加入到FS变量中
这个是错的。RS为空时,就是以空白行为分隔,无论是一行空白还是多行;而且FS为单字符,也不会强制加入\n;建议重新看下sed & awk
回复 yw_zzy7186 2011-6-6 15:30
躲猫猫夫人: 3) 空字符
     以连续的空行作为行分隔符,如果FS为单个字符,会将\n强制加入到FS变量中
这个是错的。RS为空时,就是以空白行为分隔,无论是一行空白还是多行; ...
谢谢提出    有时间 好好将sed & awk 再看一遍

facelist

您需要登录后才可以评论 登录 | 注册

Archiver|手机版|感谢所有关心和支持过LinuxTone的朋友们 转载本站内容请注明原作者名及出处 ( 京ICP备08103151 )   |

GMT+8, 2019-5-21 04:31 , Processed in 0.011638 second(s), 10 queries , Apc On.

Powered by Discuz! X2 Licensed

© 2001-2011 Comsenz Inc.

回顶部