Sitemap va robots.txt birgalikda: to‘g‘ri sozlash

Har bir faylning vazifasi

Robots.txt — oddiy matnli fayl. Unda robot skanerlamasligi kerak bo‘lgan yo‘llar yoziladi: admin panel, savat, saytdagi ichki qidiruv, saralash parametrlari. Maqsad — robot vaqtini xizmat sahifalariga sarflamasligi va muhim sahifalarga tezroq yetib borishi.

Sitemap.xml esa qidiruvda ko‘rinishini istagan manzillar ro‘yxati. U yangi sayt yoki katta katalogda foydali: ichki havolalar orqali chuqurda yashirinib qolgan sahifalarni robot xarita orqali topadi.

Bitta muhim nuqta: robots.txt sahifani qidiruv natijasidan o‘chirmaydi. Agar boshqa joylardan havola bo‘lsa, yopilgan manzil ham natijada qolishi mumkin. Indeksdan chiqarish uchun noindex tegi kerak. Sayt xaritasi esa buyruq emas, maslahat: robot uni inobatga oladi, lekin qarorni o‘zi qabul qiladi.

Sayt xaritasini robots.txt ichida ko‘rsatish

Robots.txt faylida xaritaga yo‘l alohida qatorga yoziladi: Sitemap: https://example.uz/sitemap.xml. Manzil to‘liq bo‘lishi shart — protokol va domen bilan. Bu qator User-agent bloklariga bog‘liq emas, uni barcha robotlar o‘qiydi. Xaritalar bir nechta bo‘lsa, har birini alohida qatorga yozing yoki hammasini birlashtiruvchi bitta indeks faylni ko‘rsating.

Lekin bu qator Google Search Console va Yandex Vebmasterga xaritani qo‘shishning o‘rnini bosmaydi. Panellarda ishlov holati, topilgan manzillar soni va xatolar ko‘rinadi. Robots.txt’dagi qator esa boshqa qidiruv tizimlari va xizmatlar uchun qo‘shimcha yordam.

Nimani yopish, nimani xaritaga qo‘shish

Toshkentdagi maishiy texnika onlayn do‘konini tasavvur qiling. Savat, buyurtma rasmiylashtirish sahifasi, shaxsiy kabinet, ichki qidiruv va saralash parametrli manzillarni robots.txt’da yopish mantiqiy. Xaritaga esa faqat xaridorga foyda beradigan sahifalar kiradi:

• bosh sahifa
• kategoriya va subkategoriyalar
• sotuvda bor mahsulot kartochkalari
• brendlar sahifalari
• blog maqolalari va sharhlar
• aloqa va yetkazib berish shartlari sahifalari

Ziddiyatlar qayerda paydo bo‘ladi

Xarita generatori siz robots.txt’da nimani yopganingizni bilmaydi, shuning uchun nizo ko‘pincha sezdirmasdan chiqadi. Xaritada bo‘lmasligi kerak:

• Disallow bilan yopilgan manzillar
• noindex tegi bor sahifalar
• boshqa manzilga yo‘naltiriladigan havolalar
• 404 yoki server xatosini qaytaradigan sahifalar
• kanonik tegi boshqa manzilga ishora qiladigan nusxalar
• parametrli yoki slash bilan/slashsiz takroriy manzillar

Ziddiyatlarni qanday tekshirish

Tekshiruvni tartib bilan o‘tkazsangiz, u ko‘p vaqt olmaydi.

• Xaritadagi barcha manzillarni yuklab oling.
• Ro‘yxatni krauler orqali o‘tkazing: har bir manzil 200 kodini qaytarishi kerak.
• Hech bir manzil Disallow qoidasiga tushmayotganini tekshiring. Yandex Vebmasterda robots.txt tahlilchisi bor, unga manzillarni kiritib ko‘rish mumkin.
• Sahifalarda noindex yo‘qligini va kanonik teg o‘z manziliga ishora qilishini ko‘ring.
• Search Console’da sayt xaritalari hisobotini oching va «robots.txt tomonidan bloklangan» holatini qidiring.

O‘zgarishlar va ikki tilli saytlar

Bo‘limni yopayotgan bo‘lsangiz, avval uning manzillarini xaritadan olib tashlang, so‘ng noindex qo‘ying, sahifalar indeksdan chiqishini kuting va faqat keyin kerak bo‘lsa Disallow qo‘shing. Darhol robots.txt’da yopsangiz, robot noindex’ni ko‘rmaydi va sahifalar natijada uzoqroq qolishi mumkin. Bo‘limni ochishda tartib teskari: avval taqiqni olib tashlang, keyin manzillarni xaritaga qo‘shing.

Saytingiz /uz/ va /ru/ papkalarida ishlasa, ikkala til versiyasi ham xaritada bo‘lsin, robots.txt qoidalari esa ikkala papkaga bir xil ta’sir qilsin. Ko‘pincha rus versiyada ichki qidiruv yopilgan bo‘ladi, o‘zbek versiyadagi manzili esa unutiladi. CMS’dagi plaginlar ham xaritaga teglar va biriktirilgan fayllarni o‘zi qo‘shib yuboradi, shuning uchun har yangilashdan keyin ikkala faylni ko‘zdan kechiring.

Bu tekshiruvni sizning o‘rningizga bajarishimiz mumkin: markdev jamoasi O‘zbekistonda sayt uchun SEO optimizatsiya doirasida texnik audit o‘tkazadi. Vazifangizni yozing, birgalikda muhokama qilamiz.