# Katta Loyiha — IOC Extractor va Log Analyzer > Xavfsizlik hodisasi yuz berdi. Sizda 10 ta fayl, minglab qator. Kerakli ma'lumotni qo'lda emas — bir skriptda topish kerak. ## 🔄 Eslab ko'ring (oldingi darsdan) > Oldingi darsda `re.findall()` ni o'rgandik. `re.findall(r'(\w+)', matn)` — bu nima qaytaradi va qavs nima uchun kerak edi? Eslab ko'ring, keyin davom eting. ## 🔍 Darsdan oldin bir daqiqa (pre-assessment) > **O'ylab ko'ring:** Hujumchi serverda nima "iz" qoldiradi? Qaysi ma'lumotlar uning kimligini aniqlashga yordam beradi? > _(Javobingizni eslab qoling — dars oxirida IOC ro'yxati bilan solishtiring.)_ ## 🎯 Bu darsdan keyin siz - IOC (buzilish ko'rsatkichi) nima ekanini va turlarini ayta olasiz. - 12 xil IOC tipini avtomatik ajratuvchi skript yozasiz. - Apache log faylini tahlil qilib, brute force va path traversal hujumlarini aniqlaysiz. - `re.compile()` va nomlangan guruh `(?P...)` ni ishlatishni bilasiz. --- ## IOC nima? 🌍 **Hayotiy o'xshatish.** Jinoyat joyida qolgan iz — barmoq izi, oyoq izi, sachragan qon. Kiberxavfsizlikda ham hujumchi iz qoldiradi: IP manzil, fayl, URL. 📖 **IOC** (Indicator of Compromise — buzilish ko'rsatkichi) — hujumchi tizimda qoldirgan iz yoki belgi. Ular yordamida "bu tizim buzildimi?" degan savolga javob berasiz. Asosiy IOC turlari: | IOC turi | Misol | Nima ko'rsatadi | |----------|-------|------------------| | IP manzil | `203.0.113.5` | C2 server, brute force manbai | | URL | `https://evil.com/payload.exe` | Zararli yuklab olish manzili | | Hash (MD5, SHA256) | `d41d8cd9...` | Zararli faylning "barmoq izi" | | Email | `phisher@evil.xyz` | Phishing jo'natuvchi | | Domen | `evil-domain.xyz` | Zararli domen | | CVE | `CVE-2024-1234` | Foydalanilgan zaiflik | !!! info "Atamalar ochib beriladi" **C2** (Command and Control — buyruq va boshqaruv) — hujumchining buzilgan kompyuterni masofadan boshqaradigan serveri. **CVE** (Common Vulnerabilities and Exposures — umumiy zaifliklar ro'yxati) — har bir ma'lum zaiflikka berilgan yagona raqam, masalan `CVE-2024-1234`. 🛡️ SOC (Security Operations Center — xavfsizlik operatsiyalar markazi) mutaxassislari har kuni IOC lar bilan ishlaydi. Regex — shu ishning asosi. IOC tahlilining umumiy oqimi: ```mermaid flowchart LR A["Log / hisobot
matni"] --> B["Regex pattern lar
(IP, URL, hash, ...)"] B --> C["Topilgan IOC lar"] C --> D["Tahdid bazasi bilan
solishtirish"] D --> E{"Tanish
zararlimi?"} E -->|"Ha"| F["Ogohlantirish
+ bloklash"] E -->|"Yo'q"| G["Kuzatuvda saqlash"] ``` --- ## Loyiha 1 — IOC Extractor 🔎 **Ishlangan misol.** Bu skriptni bosqichma-bosqich o'qing — har blok nima qilishini tushunib boring. ```python title="ioc_extractor.py" {15,40} #!/usr/bin/env python3 """ HackNow IOC Extractor v1.0 Matndan barcha IOC larni ajratib olish. Ishlatish: python3 ioc_extractor.py """ import re import json from collections import Counter # === IOC PATTERNLAR === # Har bir pattern yuqorida o'rganilgan regex qoidalariga asoslanadi IOC_PATTERNS = { "IPv4": r'\b(?:\d{1,3}\.){3}\d{1,3}\b', "IPv6": r'\b(?:[0-9a-fA-F]{1,4}:){7}[0-9a-fA-F]{1,4}\b', "Email": r'\b[\w.+-]+@[\w-]+\.[\w.]+\b', "URL": r'https?://[\w.-]+(?:/[\w./?&=%+-]*)?', "Domain": r'\b(?:[a-zA-Z0-9-]+\.)+(?:com|net|org|uz|ru|io|xyz|info|biz|me|tk|ml|ga|cf)\b', "MD5": r'\b[a-fA-F0-9]{32}\b', "SHA1": r'\b[a-fA-F0-9]{40}\b', "SHA256": r'\b[a-fA-F0-9]{64}\b', "CVE": r'CVE-\d{4}-\d{4,7}', "MAC_Address": r'\b(?:[0-9a-fA-F]{2}[:-]){5}[0-9a-fA-F]{2}\b', "File_Path_Win": r'[A-Za-z]:\\(?:[\w.-]+\\)*[\w.-]+', "File_Path_Linux": r'/(?:[\w.-]+/)+[\w.-]+', } def extract_iocs(matn): """Matndan barcha IOC larni ajratish.""" natijalar = {} for ioc_turi, pattern in IOC_PATTERNS.items(): topilganlar = re.findall(pattern, matn) if topilganlar: # Dublikatlarni olib tashlash va har birini necha marta uchrashini hisoblash counter = Counter(topilganlar) natijalar[ioc_turi] = [ {"value": val, "count": cnt} for val, cnt in counter.most_common() ] return natijalar def hisobot_chiqar(natijalar): """Konsolga chiroyli hisobot.""" print("\n=== IOC Extraction Hisoboti ===") if not natijalar: print(" Hech qanday IOC topilmadi") return jami = 0 for ioc_turi, qiymatlar in natijalar.items(): soni = len(qiymatlar) jami += soni print(f"\n[{ioc_turi}] ({soni} ta):") for item in qiymatlar[:10]: soni_str = f" (x{item['count']})" if item['count'] > 1 else "" print(f" {item['value']}{soni_str}") if len(qiymatlar) > 10: print(f" ... va yana {len(qiymatlar) - 10} ta") print(f"\nJami: {jami} xil IOC topildi") def faylga_saqlash(natijalar, fayl_nomi="ioc_report.json"): """Natijalarni JSON faylga saqlash.""" with open(fayl_nomi, "w", encoding="utf-8") as f: json.dump(natijalar, f, indent=2, ensure_ascii=False) print(f"Hisobot saqlandi: {fayl_nomi}") # === TEST MA'LUMOTLAR === test_matn = """ Xavfsizlik Hodisa Hisoboti =========================== Hujumchi IP manzillari: - 10.0.1.50 (asosiy brute force manbai) - 203.0.113.5 (ikkinchi manba) Phishing email: attacker@evil-domain.xyz Zararli fayl MD5: d41d8cd98f00b204e9800998ecf8427e Zararli fayl SHA256: e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 Phishing URL: https://fake-login.evil-domain.xyz/signin CVE: CVE-2024-1234, CVE-2023-44487 Registry: HKLM\\SOFTWARE\\Microsoft\\Run\\malware Fayl: C:\\Users\\victim\\AppData\\Temp\\payload.exe /tmp/backdoor.sh """ natijalar = extract_iocs(test_matn) hisobot_chiqar(natijalar) faylga_saqlash(natijalar) ``` Skriptning ishlash mantig'i — bitta rasmda: ```mermaid flowchart TD A["test_matn"] --> B["extract_iocs()"] B --> C["Har IOC turi uchun
findall ishlaydi"] C --> D["Counter:
dublikat sanaladi"] D --> E["natijalar (lug'at)"] E --> F["hisobot_chiqar()
konsolga"] E --> G["faylga_saqlash()
ioc_report.json"] ``` !!! info "Yangi narsa: `(?:...)` — guruh, lekin qayd etmaydigan" `(?:...)` — bu capture group emas. Regex mantiq uchun guruhlaydi, lekin natijaga kiritmaydi. `(?:\d{1,3}\.){3}` — 3 marta takrori — lekin `findall()` faqat to'liq IP ni qaytaradi. !!! tip "Nega lug'at (dict) ishlatildi?" `IOC_PATTERNS` — lug'at: kalit = IOC nomi, qiymat = pattern. Shu sxema bilan yangi IOC qo'shish bir qator yozishdan iborat. Kod "qo'shimcha tur uchun yana bir `if`" yozishni talab qilmaydi — `for` sikli avtomatik hammasini aylanadi. --- ## Loyiha 2 — Apache Log Analyzer 🌍 Veb server — mehmonxona. Har kirgan mehmonning ism-sharifi, qaysi xona, qachon kirganini yozib qo'yadi. Bu jurnal — Apache log. 📖 **Apache** — keng tarqalgan veb server dasturi. Uning log formati standart: ```text title="access.log (bitta qator)" 192.168.1.1 - - [15/Jul/2024:10:30:45 +0000] "GET /index.html HTTP/1.1" 200 1234 ``` Bu qatorda: IP, sana, metod, sahifa, status kodi, hajm. Qaysi qism qaysi guruhga to'g'ri kelishini ko'ring: | Log qismi | Misol | Nomlangan guruh | |-----------|-------|------------------| | IP manzil | `192.168.1.1` | `(?P...)` | | Sana/vaqt | `15/Jul/2024:10:30:45` | `(?P...)` | | HTTP metod | `GET` | `(?P...)` | | URL yo'l | `/index.html` | `(?P...)` | | Status kod | `200` | `(?P...)` | | Hajm (bayt) | `1234` | `(?P...)` | !!! info "HTTP status kodlari nimani bildiradi?" `200` — muvaffaqiyat (sahifa berildi). `401` — autentifikatsiya kerak (login muvaffaqiyatsiz). `403` — taqiqlangan (ruxsat yo'q). `404` — topilmadi. Loglarni tahlilda ko'p `401`/`403` ketma-ket bir IP dan — hujum belgisi. 🔎 **Ishlangan misol:** ```python title="apache_analyzer.py" {7,32} import re from collections import Counter # Apache Combined Log Format uchun pattern # re.compile() — patternni oldindan "tayyorlab" qo'yadi # Ko'p qator uchun ishlanganda tezroq ishlaydi LOG_PATTERN = re.compile( r'(?P[\d.]+)' # nomlangan guruh: IP manzil r' - - ' r'\[(?P[^\]]+)\]' # nomlangan guruh: sana/vaqt r' "(?P\w+)' # nomlangan guruh: HTTP metod r' (?P\S+)' # nomlangan guruh: URL yo'l r' (?P[^"]*)"' r' (?P\d{3})' # nomlangan guruh: status kod r' (?P\d+|-)' ) test_log = """192.168.1.10 - - [15/Jul/2024:10:15:23 +0000] "GET /index.html HTTP/1.1" 200 5432 10.0.1.50 - - [15/Jul/2024:10:16:45 +0000] "POST /login HTTP/1.1" 401 234 10.0.1.50 - - [15/Jul/2024:10:16:46 +0000] "POST /login HTTP/1.1" 401 234 10.0.1.50 - - [15/Jul/2024:10:16:47 +0000] "POST /login HTTP/1.1" 401 234 10.0.1.50 - - [15/Jul/2024:10:16:48 +0000] "POST /login HTTP/1.1" 401 234 10.0.1.50 - - [15/Jul/2024:10:16:49 +0000] "POST /login HTTP/1.1" 401 234 203.0.113.5 - - [15/Jul/2024:10:20:00 +0000] "GET /admin/../../../etc/passwd HTTP/1.1" 403 0 203.0.113.5 - - [15/Jul/2024:10:20:01 +0000] "GET /wp-admin/ HTTP/1.1" 404 0 10.0.1.50 - - [15/Jul/2024:10:21:00 +0000] "POST /login HTTP/1.1" 200 1234""" ip_counter = Counter() status_counter = Counter() shubhali = [] for qator in test_log.strip().split('\n'): match = LOG_PATTERN.match(qator) if match: data = match.groupdict() # nomlangan guruhlar lug'at sifatida ip_counter[data['ip']] += 1 status_counter[data['status']] += 1 # Path traversal hujumi belgilari: ../ yoki taniqli admin sahifalar if re.search(r'\.\./|etc/passwd|wp-admin|phpmyadmin|= 5 else "" print(f" {ip}: {soni} sorov {belgi}") print("\nStatus kodlar:") for status, soni in status_counter.most_common(): print(f" {status}: {soni}") if shubhali: print(f"\n[!!!] SHUBHALI SOROVLAR ({len(shubhali)} ta):") for s in shubhali: print(f" {s['ip']} --> {s['method']} {s['path']} ({s['status']})") ``` !!! info "Yangi narsa: `(?P...)` — nomlangan guruh" `(?P[\d.]+)` — IP uchun guruh, nomi `ip`. Keyin `match.groupdict()` bilan `data['ip']` deb olasiz. Indeks raqam (`group(1)`) o'rniga nom ishlatish — kodni o'qiydigan qiladi. !!! info "Yangi narsa: `re.compile()`" Pattern oldindan "kompilyatsiya" qilinadi. Bitta pattern minglab qatorga ishlatilganda, har safar qayta yaratish o'rniga bir marta tayyorlash — tezroq ishlaydi. Million qatorli logda bu sezilarli tezlik beradi. !!! danger "Path traversal nima — va nega xavfli" `GET /admin/../../../etc/passwd` — bu **path traversal** (yo'l kesib o'tish) hujumi. `../` — "bir papka yuqoriga" degani. Hujumchi shu bilan veb-sayt papkasidan chiqib, serverning maxfiy fayllariga (`/etc/passwd` kabi) yetib olmoqchi. Skript `../` ketma-ketligini ko'rsa darrov shubhali deb belgilaydi. --- ## ⚠️ Keng tarqalgan xatolar | Noto'g'ri tushuncha | Haqiqat | |---------------------|---------| | Hash pattern raqamni ham ushlaydi | To'g'ri — `[a-fA-F0-9]{32}` boshqa 32 belgilik narsani ham topishi mumkin. Kontekst muhim: oldinida "md5:" bormi? | | `(?:...)` va `(...)` bir xil | `(?:...)` natijaga kirmaydi (non-capturing). `(...)` — `findall()` faqat shu qismni qaytaradi. | | `re.compile()` har doim kerak | Kichik skriptlarda shart emas. Ko'p qatorni qayta ishlashda tezlik uchun foydali. | --- ## ✅ Tez tekshiruv — bilasizmi? ??? note "Savol: `(?P[\d.]+)` da `?P` nima qiladi? Uni nima uchun yozamiz? (javobni ko'rish uchun bosing)" `(?P...)` — guruhga `ip` degan nom beradi. Keyin `match.groupdict()` bilan `data['ip']` deb olish mumkin. `group(1)` indeks o'rniga nom ishlatish — ko'p guruhli patternda adashmaslikka yordam beradi. Pattern o'zgarib guruhlar tartibi siljisa ham, nom o'zgarmaydi. --- ## 🧪 O'zingiz sinab ko'ring IOC Extractor skriptini fayl sifatida saqlang va ishga tushiring: ```bash title="terminal" python3 ioc_extractor.py ``` Kutilgan natija: `ioc_report.json` fayli yaratiladi. Uni matn muharririda oching. `IPv4`, `Email`, `MD5`, `URL`, `CVE` bo'limlari bor bo'lishi kerak. Keyin test matnga yangi ma'lumot qo'shing — masalan, yangi IP yoki SHA1 hash — va skript uni topishini tekshiring. !!! question "Agar ishlamasa" `FileNotFoundError` — siz skript turgan papkada ekanligingizni tekshiring. `ioc_report.json` ko'rinmasa — skript oxiridagi `faylga_saqlash(natijalar)` qatori bor-yo'qligini ko'ring. --- ## ⚖️ Etika eslatmasi !!! danger "Etika va qonun" IOC Extractor — himoya vositasi. U bilan **o'z** tizimingiz logini tahlil qilasiz. Lekin birovning serveriga kirib uning log faylini olish — jinoyat. O'zR JK 278-modda. Hujumchi izini topish uchun bu vositalarni **o'z tizimingizda** yoki ruxsat berilgan muhitda ishlatishingiz kerak. --- ## ✅ Eng muhimi - **IOC** (Indicator of Compromise — buzilish ko'rsatkichi) — hujumchi qoldirgan iz: IP, URL, hash, email, CVE. - `re.compile()` — patternni oldindan tayyorlaydi, tez ishlaydi. - `(?P...)` — nomlangan guruh. `match.groupdict()` bilan lug'at sifatida olasiz. - `(?:...)` — natijaga kirmaydigan guruh (non-capturing group). - Path traversal (yo'l kesib o'tish) hujumi: `../` ketma-ketligi bilan server fayllariga chiqishga urinish. > **Darsdan oldingi savolga javob:** Hujumchi IP manzil, zararli URL, fayl, email, registry kalit qoldiradi — bular IOC. Ularni regex bilan bir skriptda ajratasiz. *[IOC]: Indicator of Compromise — buzilish ko'rsatkichi *[SOC]: Security Operations Center — xavfsizlik operatsiyalar markazi *[C2]: Command and Control — hujumchining masofadan boshqaruv serveri *[CVE]: Common Vulnerabilities and Exposures — umumiy zaifliklar ro'yxati ## ➡️ Keyingi qadam **Keyingi dars:** Amaliy Mashqlar — Regex Bilan Xavfsizlik Topshiriqlari — u yerda parol tekshirish, log tahlil va ma'lumot tozalash uchun mustaqil mashqlar bajarasiz. **Hayotda qo'llang:** `ioc_extractor.py` ni biror ochiq xavfsizlik hisobotiga (masalan, commstartup.uz yoki threat intelligence blogidagi postga) qo'llang va qanday IOC lar chiqishini ko'ring. **1 soatdan keyin eslab ko'ring:** IOC turlari nechta edi? `re.compile()` nima uchun kerak edi?

Regex va Matn Qayta Ishlash

Regex — Matn Ichidan Kerakli Narsani Topish