# Pipes va Filterlar — buyruqlarni zanjirlash !!! info "Bu darsda" - 🎯 Pipe (`|`) nima va u qanday ishlashini tushunasiz - 🎯 `grep`, `sort`, `uniq`, `wc`, `head`, `tail`, `cut`, `tr` filtrlarini real misollar bilan o'rganasiz - 🎯 Bir nechta kichik buyruqni zanjirlash orqali kuchli natijaga erishishni ko'rasiz - ⏱️ O'qish vaqti: ~15 daqiqa - 🧩 Kerakli bilim: [I/O Redirection](9.%20IO%20Redirection.md) — `stdin`, `stdout` tushunchalari --- ## 🪝 Minglab qator logdan xatoni bir soniyada toping Tasavvur qiling: serveringiz tunda ishlamay qoldi. Xatolik log faylida, lekin u fayl — **250,000 qator**. Redaktor bilan ochib ko'rishga vaqt yo'q. Nima qilasiz? Tajribali DevOps muhandisi klaviaturaga bir marta urib javobni oladi: ```bash cat /var/log/nginx/access.log | grep "ERROR" | sort | uniq -c | sort -nr | head -10 ``` Bir soniya — va ekranda eng ko'p uchrayotgan 10 ta xato, nechta marta takrorlanganigacha. 250,000 qatorni bir soniyada — qo'l bilan imkonsiz ish. Bu — **pipe** va **filtrlar**ning kuchi. Hozir siz ham buni qila olasiz. --- ## Pipe (`|`) nima? ### Analogiya: zavod konveyer lentasi Zavodda mahsulot bir stantsiyadan ikkinchisiga lenta orqali o'tadi. Birinchi stantsiya ish qiladi — lentaga qo'yadi. Ikkinchisi olib, o'z ishini qiladi — yana lentaga qo'yadi. Uchinchisi ham xuddi shunday. Linux'da **pipe** — xuddi shu lenta. Bir buyruqning chiqishi (stdout) boshqa buyruqning kirishiga (stdin) oqadi. ```mermaid flowchart LR A["cat log.txt
(o'qiydi)"] -->|stdout| B["grep ERROR
(saralaydi)"] B -->|stdout| C["sort
(tartibga soladi)"] C -->|stdout| D["uniq -c
(sanaydi)"] D -->|stdout| E["Ekran
(natija)"] style A fill:#1e3a8a,stroke:#60a5fa,color:#fff style B fill:#065f46,stroke:#34d399,color:#fff style C fill:#065f46,stroke:#34d399,color:#fff style D fill:#065f46,stroke:#34d399,color:#fff style E fill:#7c3aed,stroke:#a78bfa,color:#fff ``` !!! tip "Oddiy qilib aytganda" Pipe (`|`) — buyruqlar orasidagi **yashirin kanal**. Chap tomondagi buyruq yozadi, o'ng tomondagi o'qiydi. Faylga saqlamasdan, to'g'ridan-to'g'ri. ### I/O Redirection bilan bog'lanishi Oldingi darsda `>` bilan stdout'ni faylga yo'naltirishni o'rgandingiz. Pipe — xuddi shu narsa, faqat manzil — fayl emas, **boshqa buyruq**: ``` stdout → fayl : buyruq > fayl.txt stdout → buyruq : buyruq1 | buyruq2 ```

🔬 Chuqurroq — pipe qanday ishlaydi OS darajasida

Pipe — bu Linux kerneli tomonidan yaratilgan **anonim bufer** (RAM'da joylashgan vaqtinchalik ma'lumot yo'li). Texnik nomi — `anonymous pipe` yoki `unnamed pipe`. `buyruq1 | buyruq2` yozganingizda shell (bash) quyidagini qiladi: 1. Kernel'dan `pipe()` system call orqali ikki uchilik kanal so'raydi — yozish uchi va o'qish uchi. 2. `buyruq1`ni fork qiladi — uning `stdout` (fd=1)ni kanalning **yozish uchiga** ulaydi. 3. `buyruq2`ni fork qiladi — uning `stdin` (fd=0)ni kanalning **o'qish uchiga** ulaydi. 4. Ikkalasi parallel ishga tushadi. `buyruq1` yozadi, `buyruq2` bir vaqtning o'zida o'qiydi. Bu demak — ikki buyruq **parallel** ishlaydi, ketma-ket emas. Katta fayllarda bu katta tezlik beradi. Bufer to'lib qolsa (odatda 64KB), `buyruq1` to'xtab kutadi (`write()` bloklanadi). `buyruq2` o'qib bo'lgach, davom etadi. Bu — **backpressure** mexanizmi.

--- ## Filtrlar — pipe'ning asboblari Filtr — stdin'dan o'qiydigan, qayta ishlaydigan va stdout'ga yozadigan buyruq. Bular pipe zanjirining "stantsiyalari". ### `grep` — qatorlarni saralash (filtrlash) `grep` (Global Regular Expression Print) — matn ichidan **mos keluvchi qatorlarni** topadi. ```bash # Asosiy ishlatilish cat server.log | grep "ERROR" # "ERROR" so'zi bor qatorlar cat server.log | grep -i "error" # Katta-kichik harf farqsiz cat server.log | grep -v "INFO" # "INFO" bo'lmagan qatorlar (-v = invert) cat server.log | grep -n "ERROR" # Qator raqami bilan ko'rsat ``` !!! question "Tekshirib ko'ring" `grep -v` nima qiladi, deb o'ylaysiz? Nomini eslashga yordam beradigan so'z topishga harakat qiling.

Javob — bosib oching

`-v` — "invert" (teskariga burish). Mos kelgan qatorlarni **chiqarib tashlaydi**, qolganlarini ko'rsatadi. Misol: `cat log.txt | grep -v "DEBUG"` — DEBUG bo'lgan qatorlarni olib tashlab, qolgan hammasini ko'rsatadi.

### `sort` — tartibga solish ```bash cat names.txt | sort # Alifbo bo'yicha (A→Z) cat names.txt | sort -r # Teskari (Z→A) cat numbers.txt | sort -n # Raqam sifatida (1, 2, 10 — to'g'ri tartib) ps aux | sort -k3 -nr # 3-ustun bo'yicha, raqam, teskari (CPU eng yuqori) ls -la | sort -k5 -n # 5-ustun bo'yicha (fayl hajmi) ``` !!! warning "Tez-tez uchraydigan xato" `sort` siz aytmasangiz **matn** sifatida saralaydi. `10` → `2` → `3` deb ko'radi (chunki `"1" < "2" < "3"` matnda). Raqamlar uchun **albatta** `-n` flagi qo'shing. ### `uniq` — takrorlanuvchilarni olib tashlash ```bash cat file.txt | sort | uniq # Bir xil qatorlarni birlashtirish cat file.txt | sort | uniq -c # Har bir qator necha marta uchrashini sanash cat file.txt | sort | uniq -d # Faqat takrorlangan qatorlar cat file.txt | sort | uniq -u # Faqat yagona (takrorlanmagan) qatorlar ``` !!! warning "Tez-tez uchraydigan xato" `uniq` faqat **qo'shni** bir xil qatorlarni birlashtiradi. Agar bir xil qator fayl bo'ylab tarqalgan bo'lsa — ko'rmaydi. Shuning uchun **doim** `sort | uniq` — avval saralash, keyin filtrlash. ### `wc` — hisoblash (Word Count) ```bash cat file.txt | wc -l # Qatorlar soni (-l = lines) cat file.txt | wc -w # So'zlar soni (-w = words) cat file.txt | wc -c # Baytlar soni (-c = chars/bytes) ps aux | grep nginx | wc -l # Nginx jarayonlari nechta ls -1 | wc -l # Papkada nechta fayl bor ``` ### `head` va `tail` — birinchi/oxirgi qatorlar ```bash cat large.log | head # Birinchi 10 qator (standart) cat large.log | head -20 # Birinchi 20 qator cat large.log | tail # Oxirgi 10 qator cat large.log | tail -50 # Oxirgi 50 qator tail -f /var/log/syslog # Real vaqtda kuzatish (yangi qatorlar chiqadi) ``` !!! tip "Oddiy qilib aytganda" `head` va `tail` — kitobning boshi va oxirini ko'rish. `-f` esa — jurnalning "jonli efiri": yangi qatorlar yozilganda ekranga chiqadi. Log kuzatishda eng ko'p ishlatiladigan buyruq. ### `cut` — ustunlarni ajratish ```bash # -d = delimiter (ajratuvchi), -f = field (ustun raqami) cat /etc/passwd | cut -d: -f1 # Foydalanuvchi nomlari (:bilan ajralgan, 1-ustun) cat /etc/passwd | cut -d: -f1,3 # 1 va 3-ustunlar echo "2024-06-15" | cut -d- -f2 # Oy: "06" echo "hello world" | cut -c1-5 # Birinchi 5 belgi: "hello" ``` ### `tr` — belgilarni almashtirish (Translate) ```bash echo "hello world" | tr 'a-z' 'A-Z' # Kichik → katta harf: "HELLO WORLD" echo "hello world" | tr -s ' ' # Ko'p bo'shliqni bittaga (-s = squeeze) echo "line1:line2:line3" | tr ':' '\n' # ":" ni yangi qatorga almashtirish cat file.txt | tr -d '\r' # Windows qator tugashini olib tashlash (CRLF→LF) ```

🔬 Chuqurroq — sed va awk (kuchli alternativalar)

`tr` va `cut` — oddiy vazifalar uchun. Murakkab vazifalar uchun `sed` va `awk` ishlatiladi. **`awk` — ustunlar bilan ishlash:** ```bash ps aux | awk '{print $1, $11}' # 1 va 11-ustunlar (user va command) df -h | awk '{print $1, $5}' # Disk nomi va foydalanish foizi ps aux | awk '$3 > 5.0 {print $1, $2, $3}' # Faqat CPU > 5% bo'lganlar cat access.log | awk '$9 == 404 {print $7}' # 404 xato bergan URL'lar ``` `awk`da `$1`, `$2`, ... — ustun raqamlari. `$0` — butun qator. `NR` — qator raqami. **`sed` — matn almashtirish:** ```bash cat file.txt | sed 's/ERROR/XATO/g' # Hammasini almashtirish (g = global) cat file.txt | sed '/DEBUG/d' # DEBUG qatorlarini o'chirish (d = delete) cat file.txt | sed -n '10,20p' # Faqat 10-20 qatorlarni ko'rsatish ``` `sed`ning `s/nima/nima_bilan/flag` formasi — matn muharrirlashda eng ko'p ishlatiladigan pattern.

--- ## 💻 O'zingiz sinab ko'ring ### 1-mashq: Ushbu fayl nechta qator? ```bash # /etc/passwd faylida nechta foydalanuvchi bor? cat /etc/passwd | wc -l ``` Natija: raqam (odatda 30–50, tizimga qarab farqlanadi). ### 2-mashq: Barcha foydalanuvchi nomlarini alifbo bo'yicha ko'ring ```bash # /etc/passwd dan faqat nomlar, saralangan cat /etc/passwd | cut -d: -f1 | sort ``` ### 3-mashq: Eng ko'p ishlatiladigan shell qaysi? ```bash # Har bir shell necha foydalanuvchida cat /etc/passwd | cut -d: -f7 | sort | uniq -c | sort -nr ``` Natija shunday ko'rinadi: ``` 20 /usr/sbin/nologin 5 /bin/bash 2 /bin/sh ``` !!! question "Tekshirib ko'ring" Yuqoridagi buyruqda `sort -nr` nima qiladi? Nima uchun oxirida yana `sort` kerak?

Javob — bosib oching

`sort -nr` — raqam (`-n`) bo'yicha, teskari (`-r`) tartibda saralaydi. Ya'ni eng katta son birinchi. Oxirida yana `sort` kerak, chunki `uniq -c` chiqargan `" 20 /usr/sbin/nologin"` kabi qatorlarni `uniq` o'zi saramaydi — u faqat sanaydi. Sanagandan keyin, natijani yana saralash — kim eng ko'p uchrashini birinchi qiladi. Bu — `sort | uniq -c | sort -nr` kombinatsiyasi DevOps'da eng ko'p ishlatiladigan patternlardan biri.

### 4-mashq: Real vaqtda log kuzatish ```bash # Agar sizda nginx o'rnatilgan bo'lsa: tail -f /var/log/nginx/access.log | grep "404" # Agar bo'lmasa, tizim logini kuzating: tail -f /var/log/syslog | grep -i "error" ``` To'xtatish uchun: `Ctrl+C` --- ## Zanjirlarni birlashtirish — amaliy misollar ### Log tahlili ```bash # Eng ko'p kirgan IP manzillar (top 10) cat /var/log/nginx/access.log \ | awk '{print $1}' \ | sort \ | uniq -c \ | sort -nr \ | head -10 # 404 xatolar nechta? cat /var/log/nginx/access.log | grep " 404 " | wc -l # Eng ko'p so'ralgan sahifalar cat /var/log/nginx/access.log \ | awk '{print $7}' \ | sort \ | uniq -c \ | sort -nr \ | head -10 ``` ### Tizim monitoring ```bash # Eng ko'p CPU ishlatayotgan 5 jarayon ps aux | sort -k3 -nr | head -6 | tail -5 # (birinchi qator — sarlavha, shuning uchun head -6, tail -5) # Nechta port tinglanmoqda? ss -tuln | grep LISTEN | wc -l # Disk holati — faqat muhim bo'limlar df -h | grep -vE '^Filesystem|tmpfs|udev' | awk '{print $1, $5}' ``` ### Docker monitoring ```bash # Nechta konteyner ishlamoqda? docker ps | tail -n +2 | wc -l # Eng ko'p ishlatiladigan image'lar docker ps -a --format "{{.Image}}" | sort | uniq -c | sort -nr # Holat bo'yicha guruhlash docker ps -a --format "{{.Status}}" | awk '{print $1}' | sort | uniq -c ```

🔬 Chuqurroq — murakkab pipeline: nginx log to'liq tahlili

```bash #!/bin/bash # Nginx log to'liq tahlili — ishga tayyor skript LOG_FILE="/var/log/nginx/access.log" echo "=== Nginx Log Tahlili ===" echo "Fayl: $LOG_FILE" echo "Jami qatorlar: $(wc -l < "$LOG_FILE")" echo "" # Top 10 IP manzillar echo "--- Eng ko'p kiruvchi IP'lar ---" awk '{print $1}' "$LOG_FILE" \ | sort \ | uniq -c \ | sort -nr \ | head -10 \ | awk '{printf "%-15s %s marta\n", $2, $1}' echo "" # HTTP status kodlari taqsimoti echo "--- HTTP status kodlar ---" awk '{print $9}' "$LOG_FILE" \ | grep -E '^[0-9]{3}$' \ | sort \ | uniq -c \ | sort -nr \ | awk '{printf "%-5s %s marta\n", $2, $1}' echo "" # Soatlik trafik echo "--- Soatlik trafik ---" awk '{print $4}' "$LOG_FILE" \ | cut -c14-15 \ | sort \ | uniq -c \ | awk '{printf "%02d:00 soat - %s sorov\n", $2, $1}' ``` E'tibor bering: `cat "$LOG_FILE" | awk ...` o'rniga to'g'ridan-to'g'ri `awk ... "$LOG_FILE"` yozilgan — bu **UUOC** (Useless Use of Cat) ni oldini oladi. `awk`, `grep`, `sort` faylni to'g'ridan-to'g'ri o'qiy oladi. `cat` faqat birlashtirish kerak bo'lganda zarur.

--- ## Pipeline debug qilish — bosqichma-bosqich Uzoq zanjir ishlamayotgan bo'lsa — har bir bosqichni alohida tekshiring: ```bash # To'liq zanjir cat data.txt | grep "pattern" | sort | uniq -c | sort -nr | head -5 # Bosqichma-bosqich tekshirish cat data.txt # 1: ma'lumot to'g'rimi? cat data.txt | grep "pattern" # 2: grep natijasi to'g'rimi? cat data.txt | grep "pattern" | sort # 3: saralandi? cat data.txt | grep "pattern" | sort | uniq -c # 4: sanaldi? ``` ### `tee` — oraliq natijani saqlash va davom etish ```bash # tee — natijani ham ekranga chiqaradi, ham faylga yozadi cat input.txt \ | grep "ERROR" \ | tee errors_only.txt \ # bu yerda faylga ham yozdi | sort \ | uniq -c \ > error_counts.txt # yakuniy natija boshqa faylga ``` !!! tip "Oddiy qilib aytganda" `tee` — T-shakldagi suv quvuri. Suv to'g'ri ham oqadi, lekin bir qismi yon tomonga chiqib ketadi. Pipeline davom etadi, lekin oraliq natija ham saqlanib qoladi.

🔬 Chuqurroq — pipefail va xatolarni ushlash

Standart holatda pipeline xatoligi faqat **oxirgi** buyruq holatida ko'rinadi. Masalan: ```bash cat yoq_fayl.txt | grep "something" | wc -l # cat xato beradi, lekin echo $? → 0 (wc muvaffaqiyatli chiqdi) ``` Bu xatarli. Uni tuzatish uchun: ```bash set -o pipefail # Endi pipeline'dagi ISTALGAN buyruq xato bersa — butun zanjir xato hisoblanadi cat yoq_fayl.txt | grep "something" | wc -l echo $? # endi → 1 (xato) ``` Skriptlarda — **har doim** `set -o pipefail` qo'ying. Production'da sezilmaydigan xatolarning ko'p qismi aynan shu yo'l bilan aniqlanadi.

--- ## 🎒 Xulosa — eng muhimi Agar bu darsdan faqat 5 narsani eslab qolsangiz: 1. **Pipe (`|`)** — chap buyruq chiqishini o'ng buyruq kirishiga ulaydi. Fayl kerak emas — to'g'ridan-to'g'ri oqadi. 2. **`grep`** — qatorlarni saralaydi. `-v` — teskariga, `-i` — harf farqsiz. 3. **`sort | uniq -c | sort -nr`** — "nima necha marta uchradi?" savoliga eng keng tarqalgan javob. 4. **`wc -l`** — qatorlar soni. `head -N` va `tail -N` — boshi va oxiri. Log ishlashda har kuni kerak. 5. **Bosqichma-bosqich test** — zanjirni to'g'ridan-to'g'ri yozmasdan, har bir qismni alohida sinab ko'ring. !!! success "Keyingi qadam" Endi pipe va filtrlar bilan istalgan matn ma'lumotini qayta ishlashni bilasiz. Keyingi darsda — **Shell Scripting**: bu buyruqlarni birlashtirib, avtomatik ishlaydigan skriptlar yozamiz. Har kuni bir xil vazifani qo'l bilan emas, bir bosish bilan bajarasiz.