robots txt fayli: nimani yopish va nimaga tegmaslik kerak

robots txt nima va nega kerak

robots txt fayli sayt ildizida turadi (masalan, sizning-domen.uz/robots.txt) va qidiruv robotlariga qaysi bo‘limlarni skanerlash mumkinligini, qaysilarini aylanib o‘tish kerakligini aytadi. Bu himoya yoki parol emas: fayl hammaga ochiq, halol robotlar esa undagi qoidalarga amal qiladi.

Biznes uchun foydasi shunda: robotning sayt uchun ajratadigan e’tibori cheklangan. Uni savat, ichki qidiruv va xizmat sahifalariga emas, katalog, mahsulot kartochkalari va maqolalarga sarflatgan yaxshi. Ayniqsa onlayn do‘konlarda filtrlarning o‘zi yuzlab deyarli bir xil manzillar hosil qiladi.

Ko‘p ishlatiladigan direktivalar

Sintaksis oddiy, ko‘pchilik saytlarga to‘rtta buyruq yetadi:

• User-agent: * — barcha robotlar uchun qoida; kerak bo‘lsa, aniq robotni (masalan, Googlebot) ko‘rsatish mumkin
• Disallow: /admin/ — bo‘limni skanerlashni taqiqlash
• Allow: — taqiqlangan bo‘lim ichidagi istisno
• Sitemap: https://sizning-domen.uz/sitemap.xml — sayt xaritasi manzili, robot kerakli sahifalarni tezroq topishi uchun

Nimani yopish mantiqli

Qidiruvdan trafik keltirmaydigan va faqat skanerlashni ortiqcha yuklaydigan narsalar yopiladi. Toshkentdagi kiyim do‘konini tasavvur qiling: to‘lov Click yoki Payme orqali. Xaridorga savat va buyurtma sahifasi kerak, qidiruv tizimiga esa yo‘q.

• administrator paneli va xizmat bo‘limlari
• savat va buyurtma rasmiylashtirish sahifalari
• shaxsiy kabinet
• saytning ichki qidiruv natijalari
• saralash va kuzatuv parametrli manzillar (masalan, reklama havolalaridan)
• texnik parametrli dublikat sahifalar

Nimani yopmaslik kerak

Robot sahifani odam ko‘rgandek ko‘rishi lozim. CSS va JavaScript fayllari joylashgan papkalar yopilsa, Google sahifa dizayni va telefondagi qulayligini to‘g‘ri baholay olmaydi. Saytingizga asosan telefondan kirishsa, bu jiddiy xavf.

Rasmlar ham rasm qidiruvidan mijoz keltirsa, yopilmasligi kerak. Asosiy bo‘limlar — katalog, xizmatlar, blog, aloqa sahifasi — ham tasodifan taqiqlanmasin. Bu aniq tuyuladi, lekin tasodifiy taqiqlar o‘ylanganidan ko‘ra tez-tez uchraydi.

Skanerlash va indeksatsiya bir narsa emas

Eng ko‘p uchraydigan chalkashlik: Disallow robotning sahifaga kirishini taqiqlaydi, lekin sahifa qidiruvda yo‘qligiga kafolat bermaydi. Yopilgan manzilga boshqa saytlardan yoki o‘zingizning menyuingizdan havola bo‘lsa, u natijalarda tavsifsiz paydo bo‘lishi mumkin.

Sahifani indeksdan aniq chiqarish uchun noindex metategidan foydalaning. Lekin robot bu tegni o‘qishi uchun sahifaga kira olishi kerak. Agar sahifa robots.txt’da ham yopilgan bo‘lsa, noindex e’tiborga olinmaydi. Shuning uchun vazifaga qarab bitta usulni tanlang.

Ko‘p uchraydigan xatolar va tekshirish

Eng qimmat xato — Disallow: / qatori. Uni ko‘pincha sayt ishlab chiqilayotganda yoki test versiyada qo‘yishadi, ishga tushirgach esa olib tashlashni unutishadi. Natijada yangi sayt haftalab qidiruvda ko‘rinmaydi. Boshqa xatolar: CSS va skriptlarni yopish, buyurtma keltirishi kerak bo‘lgan bo‘limni taqiqlash, yo‘ldagi xatolar va Sitemap qatorining yo‘qligi.

Faylni saytni har safar yangilagandan, CMS almashtirgandan yoki boshqa hostingga o‘tgandan keyin tekshiring. Google Search Console Google qaysi robots.txt’ni ko‘rayotganini va qaysi sahifalar bloklanganini ko‘rsatadi, Yandex Vebmaster’da esa robots.txt tahlil vositasi bor. Muhim manzillarni alohida sinab ko‘ring: bosh sahifa, kategoriya, mahsulot kartochkasi, maqola.

Nimadan boshlash kerak

Brauzerda sizning-domen.uz/robots.txt manzilini oching va hozir nima yozilganini ko‘ring. Fayl yo‘q bo‘lsa yoki unda Disallow: / turgan bo‘lsa, birinchi vazifa shu. Keyin taqiqlarni qidiruvda bo‘lishi kerak bo‘lgan bo‘limlar ro‘yxati bilan solishtiring.

markdev’da biz odatda texnik SEO auditini robots.txt’dan boshlaymiz: bu yerdagi bitta qator kontent va reklamaga qilingan ishni bekor qilib qo‘yishi mumkin. Saytingizni mutaxassis ko‘rib, nimani yopish, nimani ochish kerakligini aytishini istasangiz, vazifangizni yozing — birgalikda muhokama qilamiz.