# Matn bilan ishlash: grep, sed, awk, cut, sort, uniq !!! info "Bu darsda" - `grep` bilan muntazam ifodalar (regex): belgilar sinflari, takrorlanish, `-o`, `-E`, kontekst (`-A`/`-B`/`-C`) - `sed` bilan matnni tahrirlash: almashtirish, qator manzillari, o'chirish va faylni joyida (`-i`) o'zgartirish - `awk` bilan hisob-kitob: `-F`, raqamli shartlar, `BEGIN`/`END`, yig'indi, o'rtacha va guruhlab sanash - `sort -k`, `sort -h`, `cut --complement` kabi yangi bayroqlar va oldingi darsdagi `uniq -d/-u`, `cut -c` ni log ustida qo'llash - Real ishda eng ko'p uchraydigan xatolar va ulardan qochish - O'qish vaqti: ~25 daqiqa --- ## Bitta qator bilan 30 ta serverdagi konfiguratsiya Juma kechqurun ma'lumotlar bazasi yangi serverga ko'chdi: 30 ta ilova konfiguratsiyasida `db_host` ni almashtirish kerak. `nano` bilan qo'lda — bir soat va kamida bitta xato. Shu payt monitoring ogohlantiradi: "5xx xatolar ko'paydi". Logda yarim million qator, savol esa aniq: qaysi manzillar xato oldi va qaysi so'rovlar sekin? Oldingi darsdagi `grep`, `sort | uniq -c` va `awk '{print $2}'` ning ustiga quramiz. Endi siz: - `grep` ga "faqat 5 bilan boshlanuvchi uch xonali son" kabi **shablon** tushuntirasiz; - `sed` bilan fayllarni **ochmasdan tahrirlaysiz**; - `awk` bilan logdan **yig'indi, o'rtacha va hisobot** chiqarasiz. ### Analogiya: ustaxona asboblari ```mermaid flowchart LR A["Xom matn
(log, konfig, CSV)"] --> B["grep
lupa: topadi"] A --> C["sed
ruchka: tuzatadi"] A --> D["awk
kalkulyator: hisoblaydi"] B --> E["cut / sort / uniq
qaychi, javon, hisoblagich"] C --> E D --> E E --> F["Javob
(hisobot, yangi fayl)"] style A fill:#1e3a8a,stroke:#60a5fa,color:#fff style B fill:#065f46,stroke:#34d399,color:#fff style C fill:#065f46,stroke:#34d399,color:#fff style D fill:#065f46,stroke:#34d399,color:#fff style E fill:#92400e,stroke:#fbbf24,color:#fff style F fill:#5b21b6,stroke:#a78bfa,color:#fff ``` --- ## Mashq uchun ma'lumot Ikki fayl tayyorlaymiz. Birinchisi — soddalashtirilgan veb-server jurnali. Ustunlar: `IP USUL YO'L STATUS BAYT VAQT`. ```bash cat << 'EOF' > /tmp/web.log 192.168.1.10 GET /index.html 200 5120 0.012 10.0.0.7 GET /api/users 200 830 0.240 192.168.1.10 POST /api/login 401 120 0.031 172.16.5.3 GET /api/orders 500 0 1.502 10.0.0.7 GET /static/app.js 200 48211 0.008 192.168.1.22 GET /api/orders 200 2210 0.870 172.16.5.3 POST /api/pay 502 0 3.004 10.0.0.7 GET /api/users 200 830 0.198 192.168.1.10 GET /index.html 304 0 0.004 192.168.1.22 POST /api/pay 200 310 1.120 EOF ``` Ikkinchisi — ilova konfiguratsiyasi: ```bash cat << 'EOF' > /tmp/sozlama.conf # Ilova sozlamalari app_name=hisobchi port=8080 # Ma'lumotlar bazasi db_host=127.0.0.1 db_port=5432 #db_host=10.0.0.99 log_level=debug EOF ``` --- ## `grep` va muntazam ifodalar Oldingi darsda `grep "FAIL"` aniq so'zni qidirdi, `grep -E "upload|delete"` bir nechta variantdan birini topdi, `^` va `$` esa qator boshi va oxirini bildirdi. Lekin "uch xonali, 5 bilan boshlanadigan son" kabi narsani qanday qidirish mumkin? Buning uchun **muntazam ifoda** (regular expression, qisqasi **regex**) kerak — matn uchun "qidiruv formulasi". ### Regex alifbosi | Belgi | Ma'nosi | Misol | Nimaga mos | |-------|---------|-------|------------| | `.` | istalgan **bitta** belgi | `a.c` | `abc`, `a1c`, `a-c` | | `[abc]` | qavsdagi belgilardan biri | `[45]04` | `404`, `504` | | `[0-9]` | oraliqdagi belgi | `[0-9][0-9]` | `42`, `07` | | `[^0-9]` | qavsdagilardan **boshqa** belgi | `[^ ]` | bo'shliq bo'lmagan belgi | | `*` | oldingi belgi 0 yoki ko'p marta | `ab*c` | `ac`, `abc`, `abbbc` | | `+` | 1 yoki ko'p marta (`-E` bilan) | `[0-9]+` | `7`, `8080` | | `?` | 0 yoki 1 marta (`-E` bilan) | `https?` | `http`, `https` | | `{n}` | aniq n marta (`-E` bilan) | `[0-9]{3}` | `200`, `502` | | `(a\|b)` | variantlardan biri (`-E` bilan) | `(GET\|POST)` | `GET` yoki `POST` | | `\.` | haqiqiy nuqta belgisi | `app\.js` | faqat `app.js` | `-E` (extended) bayrog'i `+`, `?`, `{}`, `()`, `|` ni maxsus belgi qiladi. ```bash # bo'shliq + 5 + yana ikki raqam + bo'shliq: 5 bilan boshlanuvchi ALOHIDA uch xonali son grep -E ' 5[0-9]{2} ' /tmp/web.log # 172.16.5.3 GET /api/orders 500 0 1.502 # 172.16.5.3 POST /api/pay 502 0 3.004 # GET yoki POST bilan /api/ ga kelgan so'rovlar soni grep -cE '(GET|POST) /api/' /tmp/web.log # 7 ``` Bu shablon status kodini emas, **istalgan ustundagi** shunday sonni topadi. Hajmi 500 bayt bo'lgan muvaffaqiyatli so'rov ham tushadi: ```bash echo "10.0.0.9 GET /api/orders/500 200 500 0.120" | grep -E ' 5[0-9]{2} ' # 10.0.0.9 GET /api/orders/500 200 500 0.120 <- status 200, lekin topildi! echo "10.0.0.9 GET /api/orders/500 200 500 0.120" | awk '$4 ~ /^5/' # <- hech narsa: faqat 4-ustun tekshirildi ``` Bo'shliq bilan o'rash ham yetmaydi: ` 500 ` bayt ustunida ham bo'lishi mumkin. Status uchun ishonchlisi — aynan o'sha ustunni tekshirish: `awk '$4 ~ /^5/'` (pastda batafsil). ### `-o` — qatorni emas, faqat topilgan bo'lakni chiqarish ```bash # Faqat IP manzillar (qator boshidagi raqam va nuqtalar) grep -oE '^[0-9.]+' /tmp/web.log | sort -u # 10.0.0.7 # 172.16.5.3 # 192.168.1.10 # 192.168.1.22 ``` ### Kontekst: xatoning oldi va keyini Xato qatorining oldi va keyini ko'pincha sababni aytadi: ```bash grep -n -A1 ' 500 ' /tmp/web.log # 4:172.16.5.3 GET /api/orders 500 0 1.502 # 5-10.0.0.7 GET /static/app.js 200 48211 0.008 ``` `-A N` — keyingi N qator, `-B N` — oldingi, `-C N` — ikki tomondan. Topilgan qatorda `:`, kontekstda `-` turadi. ### Ko'p fayl ichidan qidirish va jim tekshiruv ```bash mkdir -p /tmp/konfiglar/eski cp /tmp/sozlama.conf /tmp/konfiglar/ilova1.conf cp /tmp/sozlama.conf /tmp/konfiglar/eski/ilova0.conf grep -rl "db_host" /tmp/konfiglar | sort # -r: papka va uning ichki papkalari, -l: faqat fayl NOMLARI # /tmp/konfiglar/eski/ilova0.conf # /tmp/konfiglar/ilova1.conf grep -q "port=8080" /tmp/sozlama.conf && echo "port joyida" # -q: hech narsa chiqarmaydi, faqat natija kodi ``` `-q` skriptlarda shart sifatida ishlatiladi: topilsa chiqish kodi 0, topilmasa 1. !!! warning "Nuqta tuzog'i" Regex'da `.` — "istalgan belgi": `grep '0.0.0.7'` `0a0b0c7` ni ham tutadi. Aynan matn uchun `grep -F` (fixed string) yoki `\.` ishlating. --- ## `sed` — oqim tahrirchisi `sed` (stream editor) matnni qator-baqator o'qiydi, har qatorga buyruq qo'llaydi va natijani chiqaradi. Asosiy buyruq — **almashtirish**: ``` sed 's/QIDIRILADI/ALMASHTIRILADI/bayroqlar' fayl ``` ```bash sed 's|/api/|/v2/api/|' /tmp/web.log | head -2 # 192.168.1.10 GET /index.html 200 5120 0.012 # 10.0.0.7 GET /v2/api/users 200 830 0.240 ``` Ajratuvchi `/` o'rniga `|` yoki `#` bo'lishi mumkin — yo'llarda `\/\/` dan qutqaradi. Oldingi darsdagi `g` bayrog'ini eslang: qatordagi **hamma** mosliklarni almashtiradi. Yangisi `I` — katta-kichik harfga befarq. ### `&` va guruhlar `&` — topilgan matnning o'zi. Guruhlar `( )` (`-E` bilan) topilgan bo'laklarni eslab qoladi, `\1`, `\2` ularni qaytaradi: ```bash echo "port=8080" | sed -E 's/[0-9]+/<&>/' # port=<8080> echo "2026-10-17 ERROR disk to'ldi" | sed -E 's/^([0-9-]+) ([A-Z]+) (.*)/[\2] \3 (\1)/' # [ERROR] disk to'ldi (2026-10-17) ``` ### Qator manzillari: qayerda ishlash kerak Oldingi darsda `sed -n '3,5p'` (qatorlar oralig'i) va `sed '/OK$/d'` (shablon bo'yicha o'chirish) ni ko'rgansiz. Bular **manzillar** edi: buyruq oldiga manzil qo'yilsa, u faqat mos qatorlarda bajariladi. Endi manzilni shablon bilan va almashtirish bilan birga ishlatamiz: ```bash sed -n '/^db_/p' /tmp/sozlama.conf # db_ bilan boshlanuvchi qatorlar sed '/^db_port/ s/5432/6432/' /tmp/sozlama.conf # faqat db_port qatorida almashtiradi sed '/^#/d; /^$/d' /tmp/sozlama.conf # izoh va bo'sh qatorlarni o'chiradi (d) ``` Bir nechta buyruq `;` bilan yoki har biri alohida `-e` bilan beriladi. ### Langarsiz almashtirish — eng xavfli xato ```bash sed 's/port=.*/port=9090/' /tmp/sozlama.conf | grep port # port=9090 # db_port=9090 <- buni o'zgartirmoqchi emas edik! ``` `port=` matni `db_port=` ichida ham bor. Kalit qator boshida turishini `^` bilan aytamiz: ```bash sed 's/^port=.*/port=9090/' /tmp/sozlama.conf | grep port # port=9090 # db_port=5432 ``` Izohga olingan qatorlar bilan ham shunday: `s/db_host=.*/.../` `#db_host=10.0.0.99` ni ham "tuzatib" yuboradi. `^db_host=` esa faqat faol qatorga tegadi. ### `-i` — faylni joyida tahrirlash Standart holatda `sed` faylni o'zgartirmaydi, faqat natijani chiqaradi. `-i` natijani faylning o'ziga yozadi, `-i.bak` esa undan oldin asl nusxani `.bak` qo'shimchasi bilan saqlaydi: ```bash cp /tmp/sozlama.conf /tmp/sinov.conf sed -i.bak 's/^log_level=.*/log_level=info/' /tmp/sinov.conf diff /tmp/sinov.conf.bak /tmp/sinov.conf # 9c9 # < log_level=debug # --- # > log_level=info ``` !!! tip "Xavfsiz tahrir odati" `sed -i` xato yozsa, asl matn qaytmaydi. Shuning uchun: avval `-i` siz ko'ring, keyin `-i.bak` bilan yozing, so'ng `diff` bilan faqat kerakli qator o'zgarganini tasdiqlang. --- ## `awk` — ustunlar ustida hisob-kitob Oldingi darsda `awk '{print $2}'` va `awk '$4 == "FAIL"'` ni ko'rdingiz. Tuzilishi: ``` awk 'SHART { AMAL }' fayl ``` Shart to'g'ri bo'lgan qatorda amal ishlaydi. Shartsiz — har qatorda; amalsiz — qator chiqariladi. ### Ajratuvchi va o'rnatilgan o'zgaruvchilar ```bash awk -F= '/^[a-z]/ {print $1}' /tmp/sozlama.conf # = bilan ajratilgan, faqat kalitlar awk -F: '$3 >= 1000 {print $1}' /etc/passwd # UID >= 1000 bo'lgan foydalanuvchilar ``` | O'zgaruvchi | Ma'nosi | |-------------|---------| | `$0` | butun qator | | `$1`, `$2`, ... | ustunlar | | `NF` | qatordagi ustunlar soni; `$NF` — oxirgi ustun | | `NR` | joriy qator raqami | | `FS` | ustun ajratuvchisi (standart: bo'shliq va tab); `-F` bayrog'i aynan shuni o'rnatadi | ### Raqamli va regex shartlar ```bash awk '$4 >= 500' /tmp/web.log # status 500 va undan katta awk '$6 > 1.0 {print $3, $6}' /tmp/web.log # 1 soniyadan sekin so'rovlar # /api/orders 1.502 # /api/pay 3.004 # /api/pay 1.120 awk '$3 ~ /^\/api/ {print NR": "$3}' /tmp/web.log # 3-ustun /api bilan boshlansa ``` `~` — "regex'ga mos", `!~` — "mos emas". Son ko'rinishidagi ustun son sifatida solishtiriladi: `$4 >= 500` **faqat status ustunini** tekshiradi, `500` bayt yoki `/500` yo'lini tutmaydi. ### `BEGIN` va `END` — boshida va oxirida `BEGIN` bloki birinchi qatordan oldin, `END` bloki oxirgi qatordan keyin bir marta bajariladi. Ular yig'indi va hisobot uchun kerak: ```bash awk '{jami += $5} END {print "Jami bayt:", jami}' /tmp/web.log # Jami bayt: 57631 awk '{s += $6; n++} END {printf "Jami %d ta, har biriga %.3f s\n", n, s/n}' /tmp/web.log # Jami 10 ta, har biriga 0.699 s ``` `awk` da o'zgaruvchini e'lon qilish shart emas: birinchi ishlatilganda u 0 (yoki bo'sh satr) bo'ladi. `printf` formatlash beradi: `%d` — butun son, `%.3f` — 3 xonali kasr, `%s` — satr, `%-15s` — 15 belgilik chapga tekislangan maydon. Dastur bitta qo'shtirnoq ichida, shuning uchun unda tutuq belgisi `'` ishlatmang (`o'rtacha` dasturni uzadi) — matnni tutuq belgisiz yozing. ### Assotsiativ massivlar — guruhlab sanash va yig'ish `awk` ning eng kuchli xususiyati: kalit bo'yicha qiymat saqlaydigan massiv. `soni[$4]++` — "shu status kodi hisoblagichini bittaga oshir": ```bash awk '{soni[$4]++} END {for (k in soni) print k, soni[k]}' /tmp/web.log | sort # 200 6 # 304 1 # 401 1 # 500 1 # 502 1 ``` Bu `awk '{print $4}' | sort | uniq -c` bilan bir xil natija, lekin endi faqat sanash emas, **qo'shish** ham mumkin. Har IP qancha trafik olgan: ```bash awk '{bayt[$1] += $5} END {for (ip in bayt) print bayt[ip], ip}' /tmp/web.log | sort -nr # 49871 10.0.0.7 # 5240 192.168.1.10 # 2520 192.168.1.22 # 0 172.16.5.3 ``` `for (k in massiv)` kalitlarni **tasodifiy tartibda** beradi — natijani `sort` ga uzating. --- ## `cut`, `sort`, `uniq` — foydali bayroqlar `cut -c` va `uniq -d/-u` ni oldingi darsda ko'rgansiz — bu yerda ularni log ustida qo'llaymiz. Yangilari: `cut --complement`, `sort -k N,N` va `sort -h`. ```bash cut -d' ' -f1,4 /tmp/web.log # 1 va 4-ustunlar cut -d' ' -f5 --complement /tmp/web.log # 5-ustundan BOSHQA hammasi cut -c1-10 /tmp/web.log # har qatorning 1-10 belgilari (oldingi darsdagi -c) ``` ```bash sort -k6,6 -nr /tmp/web.log | head -3 # 6-ustun (vaqt) bo'yicha, eng sekini tepada du -sh /etc /usr 2>/dev/null | sort -h # "5.7M", "1.9G" kabi o'lchamlarni to'g'ri tartiblaydi ``` `-k6,6` — "faqat 6-ustun"; `-k6` esa kalitni **qator oxirigacha** cho'zadi. ```bash awk '{print $3}' /tmp/web.log | sort | uniq -d # kamida 2 marta so'ralgan yo'llar # /api/orders # /api/pay # /api/users # /index.html awk '{print $3}' /tmp/web.log | sort | uniq -u # faqat bir marta so'ralgan yo'llar # /api/login # /static/app.js ``` 6 ta yo'l ikki guruhga ajraldi: takrorlanganlar va bir martalik. --- ## Hammasi birga: real hodisa Savol: "Qaysi API manzillari 5xx xato berdi va eng sekin javob qancha bo'ldi?" ```bash awk '$4 >= 500 {n[$3]++; if ($6 > max[$3]) max[$3] = $6} END {for (y in n) printf "%-12s xato=%d eng_sekin=%ss\n", y, n[y], max[y]}' /tmp/web.log | sort # /api/orders xato=1 eng_sekin=1.502s # /api/pay xato=1 eng_sekin=3.004s ``` Konfiguratsiyaning "toza ko'rinishi" — izoh va bo'sh qatorlarsiz, haqiqatda nima yoqilganini tez ko'rish uchun: `grep -vE '^(#|$)' /tmp/sozlama.conf`. --- ## Keng tarqalgan xatolar !!! warning "1. Qatorning istalgan joyidan qidirish" `grep 500` `500` bor **har qanday** qatorni topadi: 500 bayt, `/orders/500` yo'li, `12:05:00` vaqti. Bo'shliq bilan o'rash (`' 5[0-9]{2} '`) ham yetmaydi. Ustunni aniq ko'rsating: mashq logimizda status 4-ustunda (`awk '$4 == 500'`), nginx `access.log` da esa **9-ustunda** (`awk '$9 == 500'`), chunki oldida IP, ikkita `-`, sana va so'rov qatori bo'laklari turadi. Yangi logda avval `head -3` bilan ustunlarni sanang. !!! warning "2. Langarsiz `sed`" `s/debug=.*/.../` `log_debug=` ni ham, `#debug=` izohini ham o'zgartiradi. Kalit qatorlarida doim `^kalit=`. !!! warning "3. Chegara qiymatlar: `>` va `>=`" "1 soniyadan sekin" — `> 1`. `>= 1` aynan `1.000` soniyalilarni ham qo'shadi. !!! warning "4. Qo'shtirnoq turi" `awk` dasturini doim **bitta** qo'shtirnoqqa oling: ikkitasida shell `$1` ni o'zining bo'sh o'zgaruvchisi bilan almashtiradi va `awk "{print $1}"` butun qatorni chiqaradi. --- ## O'zingiz sinab ko'ring 1. `/tmp/web.log` dan faqat `POST` so'rovlarining yo'llarini takrorsiz chiqaring. 2. 4xx status kodli so'rovlar sonini toping. 3. Barcha so'rovlarning o'rtacha hajmini (bayt) hisoblang. 4. `/tmp/sozlama.conf` nusxasida `app_name` qiymatini `kassa` ga almashtiring, asl nusxani `.bak` da saqlang. ??? note "Javoblar — avval o'zingiz urinib ko'ring" ```bash awk '$2 == "POST" {print $3}' /tmp/web.log | sort -u awk '$4 ~ /^4/' /tmp/web.log | wc -l awk '{s += $5} END {print s / NR}' /tmp/web.log cp /tmp/sozlama.conf /tmp/mashq.conf && sed -i.bak 's/^app_name=.*/app_name=kassa/' /tmp/mashq.conf ``` 2-savolda javob 1, 3-savolda 5763.1. --- ## Xulosa 1. **`grep -E`** + regex (`[0-9]`, `{3}`, `+`, `^`/`$`) qator ichidagi shaklni topadi; `-o`, `-A/-B/-C`, `-r/-l`, `-q`, `-F`. 2. **`sed`**: manzil (`/^db_/`) qayerda ishlashini belgilaydi; kalitlarda doim `^`; avval sinov, keyin `-i.bak`, so'ng `diff`. 3. **`awk`** — ustun bo'yicha shart (mashq logida `$4 >= 500`, nginx logida `$9 >= 500`; `$NF > 1`), `END` da yig'indi va o'rtacha, `massiv[kalit] += qiymat` bilan guruhlab hisoblash, `printf` bilan jadval. 4. **`sort -k N,N`** aniq ustun bo'yicha, `-h` odamga qulay o'lchamlar; **`cut --complement`** ustunni olib tashlaydi; oldingi darsdagi **`uniq -d/-u`** log ustida takrorlangan va yagona qatorlarni ajratadi. 5. Eng muhim qoida: **qatorning istalgan joyidan emas, aniq joydan qidiring** — ustun raqami va langar xatolarning yarmidan saqlaydi.