nadejnei.net

Эта страница только для чтения. Вы можете посмотреть её исходный текст, но не можете его изменить. Сообщите администратору, если считаете, что это неправильно.
====== AWK ======
 

AWK — интерпретируемый скриптовый C-подобный язык построчного разбора и обработки входного потока (например, текстового файла) по заданным шаблонам. Работает в bash (SH) скриптах.

Попробуем разобраться с AWK на примерах:

Синтаксис awk 
gawk [ключи] [программа] [ список файлов]
-F fs - разделитель полей 
-f файл программы




Создадим список с которым будем работать и назовем его cars.txt. 

''plym	fury	1970	73	2500\\
chevy	malibu	1999	60	3000\\
ford	mustang	1965	45	10000\\
volvo	s80	1998	102	9850\\
ford	thundbd	2003	15	10500\\
chevy	maliby	2000	50	3500\\
bmw 	325i	1985	115	450\\
honda	accord	2001	30	6000\\
ford 	taurus	2004	10	17000\\
toyota	rav4	2002	180	750\\
chevy	impala	1985	85	1550\\
ford explor	2003	25	9500''


Начнем работу.

вывод всего файла.

gawk '{print}' cars


Вывод отдельных столбцов 

gawk '{print $1,  $2,  $5}' cars.txt 

Использование шаблона 

gawk  ' /chevy/ {print}' cars.txt 


Использование оператора соответствия

gawk '$1 ~ /h/' cars.txt 

gawk '$1 ~ /^h/' cars.txt 

gawk '$2 ~ /^[tm]/' cars.txt

gawk '$3 ~/5$/ {print $3, $1, "$" $5}' cars.txt 

Сравнение

текстовое

gawk '"2000" <=$5 && "9000" > $5' cars.txt 

числовое

gawk '2000 <=$5 && 9000 > $5' cars.txt 


Оператор диаразона

gawk '/volvo/,/bmw/' cars.txt 

Работа с файлами программы:

Создадим файл header


''
BEGIN{ print " Производ. Модель.  Год. Пробег. Цена"  }\\

{print}
''


gawk -f header cars.txt  


Модифицируем файл header


''
BEGIN{ print " Производ. Модель.  Год. Пробег. Цена"\\
       print "-------------------------------------"\\
}\\

\\
/volvo/,/bmw/  {print}\\

END {\\
      print "--------------------------------------"\\

}''


Проверим 


gawk -f header cars.txt

Использование ИЛИ

''
BEGIN{ print " Производ. Модель.  Год. Пробег. Цена"\\
       print "-------------------------------------"\\
}\\
\\

/volvo/ || /bmw/  {print}\\

END {\\
      print "--------------------------------------"\\
\\
}

''
 
Функция length

gawk ' {print length, $0}' cars.txt 


Нумерациия строк 

 gawk ' {print NR, $0}' cars.txt 

Разделители полей 

Разбор файла /etc/passwd

BEGIN{
print "Пользователь \tДомашний каталог \t Интерпритатор", FS=":"
print "---------------------------------------------------"

}

$3>=1000 {print $1 "\t\t" $6 "\t\t" $7}

END {print "---------------------------------------------------"}



SED


sed (от англ. Stream EDitor) — потоковый текстовый редактор (а также язык программирования), применяющий различные предопределённые текстовые преобразования к последовательному потоку текстовых данных.

Инструкции sed 

a - append - добавить 

с- change - изменить 

d - delete - удалить 

i - insert - вставить

n - next - следующаяя строка со следующей инструкцией 

p - print - вывести 

q - quit - завершить 

r(файл) - добавление содержимого файла к выбранной строке


s - substitute - подставить. 

флаги 

g - global - глобальный режим (все значения)

p - print - вывести измененные строки 

w - write - записывать в файл.



Примеры 

Задвоение выбранных строк 

sed '/ford/ p' cars.txt 

вывод только измененных строк 

sed -n  '/ford/ p' cars.txt

вывод по номерам строк 

sed -n '5,6 p' cars.txt 

Вывод первых пяти строк 

sed  '5 q' cars.txt


Использование файла программы.

Создадим файл print_56
c содержимым.

5,6 p
 
sed -n -f print56 cars.txt 



Добавление текста к строкам

sed  '2 a\ +++++' cars.txt 

sed  '2 i\ +++++' cars.txt 


Замена строк 
файл 
сhange_test
 
''
2,4 c  \                \\
++++++++++++++++++\      \\
------------------\       \\
******************.        \\
''

sed -f сhange_test cars.txt

подставка.

файл 
subs_demo

s/ford/FORD/ 

sed -f subs_demo cars.txt

Запись измененных строк в файл

subs_demo2

s/ford/FORD/w temp

Запись диапазона строк в другой файл. 

файл write_demo

2,4 w temp2

запись всех строк кроме выбранных


2,4 !w temp2

Инструкция (n следующий.)

файл next_demo

3 n 

p

n для шаблона 
 
next_demo2 

/ford/ n

p                                   

Несколько действий 
файл action 

''1,3 s/ford/FORD/ \\
2,4 s/volvo/VOLVO \\
3 d'' 

Добавление строк
файл app_demo

''
2 a\       \\
+++++++++++\  \\ 
-----------   \\
3 p
''

Как получть из лога ftpd айпишники злодеев-брутфорсеров:

cat p.log | grep failed |cut -f1 -d")" |cut -f2 -d"@" |sort| uniq

cat p.log -- берем лог

grep failed -- берем из лога строки содержащие слово failed

cut -f1 -d")" -- режем все что после ")"

cut -f2 -d"@" -- режем все что до "@", остаются айпишники

sort| uniq -- избавляемся от повторов
nadejnei.net

Инструменты пользователя

Инструменты сайта

Инструменты страницы
