Virtual va jismoniy fayl: qaysi biri ishlaydi
Sayt ildizida robots.txt bo‘lmasa, WordPress uni virtual tarzda o‘zi yaratadi. Brauzerda sayt.uz/robots.txt manzilini ochsangiz, bir nechta oddiy qoidani ko‘rasiz: admin qismi yopilgan, admin-ajax.php fayli esa ochiq qoldirilgan, chunki ba’zi mavzu va plaginlar unga tayanadi. SEO plaginlari bu faylga sayt xaritasi manzilini qo‘shadi va uni boshqaruv panelidan tahrirlash imkonini beradi.
Agar ildizga jismoniy fayl yuklangan bo‘lsa, u virtual faylni to‘liq almashtiradi. Shundan keyin plagindagi o‘zgarishlar hech narsaga ta’sir qilmaydi. Egasi bir joyda qoidani o‘zgartiradi, ishlayotgani esa boshqasi bo‘ladi. Shuning uchun natijani doim /robots.txt manzili orqali tekshiring.
WordPress uchun oqilona minimum
Har bir taqiq qatori uchun «robot u yerga nima uchun kirishi kerak?» degan savolga javob bo‘lishi lozim. Ko‘p saytlarga qisqa to‘plam yetarli:
- /wp-admin/ papkasini yopish, lekin admin-ajax.php’ni ochiq qoldirish
- Ichki qidiruv sahifalarini, ya’ni ?s= parametrli manzillarni yopish
- WooCommerce do‘konida savat, buyurtma rasmiylashtirish va shaxsiy kabinetni yopish
- Takrorlanuvchi sahifalar yaratadigan xizmat parametrlarini yopish, agar buni canonical yoki redirekt hal qilmasa
- Sayt xaritasi manzili bilan Sitemap qatorini qo‘shish
Misol: Click va Payme orqali to‘lov qabul qiladigan do‘kon
Toshkentdagi WooCommerce do‘konini tasavvur qiling, xaridorlar Click yoki Payme orqali to‘laydi. Savat, buyurtma va shaxsiy kabinet sahifalarini hech kim Google’dan qidirmaydi, shuning uchun ularni yopish o‘rinli. Mahsulot kartochkalari, kategoriyalar va blog maqolalari esa to‘liq ochiq turishi kerak.
Filtr va saralash parametrlarida ehtiyot bo‘ling. Agar «oq krossovka» kabi ba’zi filtr sahifalari qidiruvdan odam olib kelsa, ularni yopish zarar keltiradi. Qoida qo‘shishdan oldin qaysi sahifalar tashrif olayotganini ko‘rib chiqing.
Nimani yopmaslik kerak
Eski namunalar wp-content va wp-includes papkalarini butunlay yopishni maslahat beradi. Bugun bu xato. Bu papkalarda stil, skript va rasmlar turadi, qidiruv tizimi esa sahifani brauzerga o‘xshab chizadi. Ularga kirish yopilsa, tizim sahifani «yalang‘och» matn sifatida ko‘radi va telefonda noqulay deb baholashi mumkin. Mijozlari ko‘pincha Instagram yoki Telegram orqali telefondan kiradigan biznes uchun bu jiddiy xavf.
Yuklangan rasmlar papkasini ham yopmang: mahsulot suratlari rasmlar qidiruvidan trafik keltirishi mumkin. Boshqa saytlardan ko‘chirilgan uzun namunalarni ham qo‘ymang, ularda sizning saytingizda yo‘q bo‘limlar uchun qoidalar bo‘ladi.
robots.txt sahifani qidiruvdan olib tashlamaydi
Fayldagi taqiq faqat skanerlashni cheklaydi, indeksdan chiqarilishini kafolatlamaydi. Yopilgan sahifaga havolalar bo‘lsa, u tavsifsiz holda natijalarda qolishi mumkin. Sahifani qidiruvdan olib tashlash uchun noindex meta-tegidan foydalaning va sahifani skanerlash uchun ochiq qoldiring, aks holda robot tegni ko‘rmaydi.
Shuning uchun yashirilishi kerak bo‘lgan rubrikalar, teglar va takroriy sahifalarni robots.txt orqali emas, SEO plagini sozlamalaridagi noindex orqali boshqaring.
Eng xavfli xato va tekshirish tartibi
Ishlab chiqish vaqtida sayt ko‘pincha «Disallow: /» qoidasi bilan yopiladi va ishga tushgandan keyin unutiladi. Natijada sayt qidiruvdan yo‘qoladi. Shunga o‘xshash tuzoq: WordPress o‘qish sozlamalaridagi «Qidiruv tizimlariga saytni indekslamaslikni so‘rash» belgisi. Har bir ishga tushirishdan keyin ikkalasini ham tekshiring.
Faylni do‘kon ulanganda, manzillar tuzilmasi o‘zgarganda yoki yangi xizmat bo‘limlari paydo bo‘lganda qayta ko‘ring va ishchi nusxani saqlab qo‘ying: hosting almashganda uni tez tiklaysiz. Tekshirish bir necha daqiqa oladi:
- Brauzerda /robots.txt manzilini ochib, mazmunini o‘qing
- Search Console’da robots.txt hisobotini ko‘ring
- Yandex Vebmaster’dagi robots.txt tahlil vositasida alohida manzillarni sinang
- URL tekshiruvi orqali muhim sahifalar bloklanmaganiga ishonch hosil qiling
Mutaxassis bilan ko‘rib chiqish
Bitta noto‘g‘ri qator butun saytni skanerlashdan yopishi mumkin, shuning uchun har bir tahrirdan keyin natijani tekshiring. Agar robots.txt, sayt xaritasi va indekslanishni mutaxassis bilan birga ko‘rib chiqmoqchi bo‘lsangiz, markdev jamoasi O‘zbekistonda saytlar uchun SEO optimizatsiyani amalga oshiradi. Vazifangizni yozing, qayerdan boshlashni birga hal qilamiz.
Ko‘p beriladigan savollar
Kichik WordPress saytiga robots.txt kerakmi?
WordPress virtual faylni o‘zi yaratadi va kichik sayt uchun uning asosiy qoidalari ko‘pincha yetarli. Sayt xaritasi manzilini qo‘shing va butun saytga tasodifiy taqiq qo‘yilmaganiga ishonch hosil qiling.
Rasmlarni yashirish uchun wp-content’ni yopsam bo‘ladimi?
Papkani butunlay yopmang: rasmlar bilan birga stil va skriptlar ham yopiladi, qidiruv tizimi sahifani noto‘g‘ri baholaydi. Alohida fayllar uchun aniq qoidalar yoki noindex ishlating.
Sahifa robots.txt’da yopilgan, lekin qidiruvda ko‘rinyapti. Nega?
Skanerlash taqiqi sahifani indeksdan o‘chirmaydi. Unga havolalar bo‘lsa, u tavsifsiz ko‘rinishi mumkin. Taqiqni olib tashlab, noindex tegini qo‘ying.
Qaysi fayl ishlayotganini qanday bilaman?
Brauzerda /robots.txt manzilini oching. Ildizga fayl yuklagan bo‘lsangiz, aynan u ishlaydi va SEO plagindagi o‘zgarishlar kuchga kirmaydi.
Vazifangizni bepul tahlil qilamiz
Kontaktingizni qoldiring — 15 daqiqalik qo‘ng‘iroqda arizalar qayerda yo‘qolayotganini va birinchi navbatda nima qilish kerakligini ko‘rsatamiz.