Bitrix robots.txt: nimani yopish va nimani ochiq qoldirish

Bitrix saytida robots.txt nima uchun kerak

Robot har bir saytga cheklangan vaqt ajratadi. Foydasiz manzillar ko‘p bo‘lsa, u buyurtma olib keladigan sahifalarga kechroq yetadi. Katalog va filtrlari bor onlayn do‘konda bu tez seziladi.

Bitrix’ning SEO modulida robots.txt muharriri va tayyor qoidalar to‘plami bor. Faylni xosting orqali ham tahrirlash mumkin. Tayyor qoidalar yaxshi boshlang‘ich nuqta, lekin har bir saytning bo‘limlari, shabloni va komponentlari boshqacha, shuning uchun har bir qoidani o‘qib, tushunib keyin qabul qiling.

Nimani yopish kerak

Odatda uch guruh manzil yopiladi: texnik papkalar, qidiruv uchun foydasiz foydalanuvchi sahifalari va parametrli manzillar.

• /bitrix/ ichidagi texnik fayllar, lekin sahifa ko‘rinishi uchun kerak bo‘lgan fayllarsiz
• /local/ va /cgi-bin/ kabi xizmat joylari hamda qolib ketgan test bo‘limlari
• savat va buyurtma rasmiylashtirish, shu jumladan Click yoki Payme to‘lovidan keyingi sahifalar
• shaxsiy kabinet, kirish, ro‘yxatdan o‘tish, parolni tiklash
• mahsulotlarni solishtirish va sevimlilar
• sayt ichidagi qidiruv natijalari
• chop etish versiyasi

Nimani yopmaslik kerak

Google sahifani brauzerda odam ko‘rgandek baholaydi. CSS va JS yopilsa, robot sahifani buzilgan yoki mobil qurilmaga noqulay deb hisoblashi mumkin. Shablon fayllari ko‘pincha /bitrix/templates/ yoki /local/templates/ ichida turadi, shuning uchun papkani butunlay yopish xavfli.

Mahsulot rasmlarini ham ochiq qoldiring: rasm qidiruvi alohida trafik manbai. /upload/ papkasiga qo‘yilgan taqiq katalog suratlarini ham yopib qo‘ymasligini tekshiring. Eng xavfli xato esa — sayt yangilangach tasodifan qolib ketgan Disallow: / qatori.

Parametrli manzillar va sahifalash

Sort, order, view kabi parametrlar, sessiya va avtorizatsiya parametrlari bir xil mazmunli yangi manzillar hosil qiladi. Ularni yulduzcha belgili Disallow qoidalari bilan yopish mumkin, faqat niqobni juda keng yozmang, aks holda kerakli sahifalar ham yopilib qoladi. SEO uchun ataylab tanlangan filtr sahifalari, masalan «Toshkentda divanlar», ochiq turishi kerak.

Sahifalash (PAGEN_1 kabi parametrlar) bo‘yicha fikrlar turlicha. Agar ba’zi mahsulotlarga faqat sahifalash orqali yetib borilsa, uni yopish robotga ichki sahifalarni topishni qiyinlashtiradi. Ko‘pincha sahifalashni ochiq qoldirib, bo‘limlar tuzilmasi va sayt xaritasiga tayanish yaxshiroq.

Yandex uchun Clean-param va Google uchun canonical

Yandex Clean-param ko‘rsatmasini qo‘llab-quvvatlaydi. U parametr mazmunni o‘zgartirmasligini bildiradi va robot bunday manzillarni asosiy manzil bilan birlashtiradi. Bu to‘liq taqiqdan yumshoqroq yo‘l bo‘lib, reklama teglari va saralash uchun qulay. Google bu ko‘rsatmani hisobga olmaydi, shuning uchun takroriy sahifalar uchun canonical ishlatiladi.

robots.txt indeksdan chiqarmaydi

robots.txt skanerlashni taqiqlaydi, indeksatsiyani emas. Sahifa allaqachon indeksda bo‘lsa va unga havolalar bo‘lsa, yopilgandan keyin ham qidiruvda qolishi mumkin, ko‘pincha tavsifsiz. Robot endi kirmaydi va o‘zgarishni ko‘rmaydi.

Sahifani indeksdan chiqarish uchun uni skanerlashga ochiq qoldiring va noindex meta-tegini qo‘ying. U indeksdan chiqqach, kerak bo‘lsa robots.txt’da yoping.

Sitemap va tekshirish

Fayl oxirida sayt xaritasining to‘liq manzilini yozing. Bitrix bir nechta xarita yaratsa, indeks faylini ko‘rsating. Agar bitta o‘rnatishda o‘zbekcha versiya alohida subdomenda ishlasa, har bir domen o‘z qoidalari va o‘z Sitemap qatorini berayotganini tekshiring.

Avval sayt.uz/robots.txt ochilishini va 200 kod qaytarishini ko‘ring. So‘ng Yandex Vebmaster’dagi tahlil vositasida bosh sahifa, bo‘limlar, mahsulotlar ruxsat etilganini, savat va kabinet esa taqiqlanganini tekshiring. Nashrdan keyin Search Console’dagi robots.txt hisobotini ko‘zdan kechiring.

Joriy faylingizga ishonchingiz komil bo‘lmasa, markdev jamoasi O‘zbekistonda sayt uchun SEO optimizatsiya doirasida uni ko‘rib chiqib, nimani tuzatish kerakligini aytishi mumkin. Vazifangizni yozing, birgalikda muhokama qilamiz.