電子發(fā)燒友App
? 在linux中有很多方法逐行讀取一個(gè)文件的方法，其中最常用的就是下面的腳本里的方法，而且是效率最高，使用最多的方法。為了給大家一個(gè)直觀的感受，我們將通過(guò)生成一個(gè)大的文件的方式來(lái)檢驗(yàn)各種方法的執(zhí)行效率。
方法1：while循環(huán)中執(zhí)行效率最高，最常用的方法。
?
function while_read_LINE_bottm(){
?While read LINE
?do
echo $LINE
done?? < $FILENAME
}
?
???????? 注釋：我習(xí)慣把這種方式叫做read釜底抽薪，因?yàn)檫@種方式在結(jié)束的時(shí)候需要執(zhí)行文件，就好像是執(zhí)行完的時(shí)候再把文件讀進(jìn)去一樣。
?
方法2 ： 重定向法；管道法: cat $FILENAME | while read LINE
?
Function While_read_LINE(){
?cat $FILENAME | while read LINE
?do
echo?$LINE
done
}
????????? 注釋：我只所有把這種方式叫做管道法，相比大家應(yīng)該可以看出來(lái)了吧。當(dāng)遇見(jiàn)管道的時(shí)候管道左邊的命令的輸出會(huì)作為管道右邊命令的輸入然后被輸入出來(lái)。
?
方法3： 文件描述符法
?
Function while_read_line_fd(){
Exec 3<&0
Exec 0<$FILENAME
While read LINE
Do
?Echo $LINE
?Exec 0<&<3
}
?
???????? 注釋： 這種方法分2步驟，第一，通過(guò)將所有內(nèi)容重定向到文件描述符3來(lái)關(guān)閉文件描述符0.為此我們用了語(yǔ)法Exec 3<&0?。第二部將輸入文件放送到文件描述符0，即標(biāo)準(zhǔn)輸入。
??
方法4?? ?for? 循環(huán)。
?
function ?for_in_file(){
For ?i ?in??`cat $FILENAME`
do
echo $i
done
}
?????????? 注釋：這種方式是通過(guò)for循環(huán)的方式來(lái)讀取文件的內(nèi)容相比大家很熟悉了，這里不多說(shuō)。
?
?
???? 對(duì)各個(gè)方法進(jìn)行測(cè)試，看那方法的執(zhí)行效率最高。
?
?????????? 首先我們用腳本(腳本見(jiàn)附件)生成一個(gè)70000行的文件，文件位置在/scripts/bigfile。然后通過(guò)下面的腳本來(lái)測(cè)試各個(gè)方法的執(zhí)行效率，腳本很簡(jiǎn)單，不再解釋。
?
#!/bin/bash
FILENAME="$1"
TIMEFILE="/tmp/loopfile.out" > $TIMEFILE
SCRIPT=$(basename $0)
?
function usage(){
echo -e "\nUSAGE: $SCRIPT file \n"
?
exit 1
}
?
function while_read_bottm(){
?
while read LINE
do
echo $LINE
?
done?< $FILENAME
?
}
?
function while_read_line(){
?
cat $FILENAME | while read LINE
do
echo $LINE
done
?
}
?
?function while_read_line_fd(){
?
exec 3<&0
exec 0< $FILENAME
while read LINE
do
?echo $LINE
done
?exec 0<&3
}
?
function?for_in_file(){
for?i?in?? `cat $FILENAME`
do
echo $i
done
}
?
if [ $# -lt 1 ] ; then
usage
fi
?echo?-e " \n starting file processing of each method\n"
?echo -e "method 1:"
?echo -e "function?while_read_bottm"
?time?while_read_bottm?>> $TIMEFILE
?
echo -e "\n"
?
echo -e "method 2:"
echo -e?"function while_read_line "
time?while_read_line >> $TIMEFILE
?
echo -e "\n"
echo -e "method 3:"
echo "function?while_read_line_fd"
time?while_read_line_fd >>$TIMEFILE
?
echo -e "\n"
echo -e "method 4:"
echo -e "function?? for_in_file"
time ??for_in_file >> $TIMEFILE
?
???? 執(zhí)行腳本后： [root@localhost shell]# ./while?/scripts/bigfile
腳本輸出內(nèi)容：
method 1:
function?while_read_bottm
?
real??? 0m5.689s
user??? 0m3.399s
sys???? 0m1.588s
?
?
method 2:
function while_read_line
?
real??? 0m11.612s
user??? 0m4.031s
sys???? 0m4.956s
?
?
method 3:
function?while_read_line_fd
?
real??? 0m5.853s
user??? 0m3.536s
sys???? 0m1.469s
?
?
method 4:
function?? for_in_file
?
real??? 0m5.153s
user??? 0m3.335s
sys???? 0m1.593s
?
?
下面我們對(duì)各個(gè)方法按照速度進(jìn)行排序。
real??? 0m5.153s??? method 4 （for 循環(huán)法）
real??? 0m5.689s??? method 1?? （while 釜底抽薪法）
real??? 0m5.853s??? method 3??? （標(biāo)識(shí)符法）
real??? 0m11.612s?? method 2???? （管道法）
?
?由此可見(jiàn)在各個(gè)方法中，for語(yǔ)句效率最高，而在while循環(huán)中讀寫文件時(shí)，
while read LINE
do
echo $LINE
?
done?< $FILENAME
方式執(zhí)行效率最高。
工商網(wǎng)監(jiān)
評(píng)論