Nega ishlab chiqish davrida sayt yopiq bo‘lishi kerak
Test nusxa qidiruvga tushsa, odamlar tugallanmagan sahifani ko‘radi, qidiruv tizimi esa bir xil kontentni ikki manzilda topadi. Asosiy sayt ishga tushganda test nusxa u bilan raqobatlasha boshlaydi.
Onlayn do‘kon uchun bu yanada nozik: test narxlar, soxta mahsulotlar va «lorem ipsum» matnlari haqiqiy mijozga ko‘rinib qolishi mumkin. Toshkentdagi do‘kon ham, viloyatdagi xizmat sayti ham bu xavfdan xoli emas.
Birinchi usul: robots.txt orqali hammasini yopish
Saytning ildizidagi robots.txt fayliga ikki qator yoziladi: «User-agent: *» va «Disallow: /». Birinchi qator barcha robotlarga murojaat qiladi, ikkinchisi saytning barcha manzillarini yopadi. Sozlash bir daqiqa oladi.
Biroq robots.txt skanerlashni taqiqlaydi, indeksatsiyani emas. Test manzilni kimdir Telegram guruhiga yoki ish chatiga tashlasa, qidiruv tizimi uni tavsifsiz bo‘lsa ham indeksga qo‘shishi mumkin. Bundan tashqari, bu iltimos, majburiyat emas: ba’zi botlar unga amal qilmaydi.
Ikkinchi va uchinchi usullar
Noindex usulida meta-teg yoki serverning X-Robots-Tag sarlavhasi orqali sahifani qidiruv natijalarida ko‘rsatmaslik so‘raladi. Robot sahifani ochadi, taqiqni ko‘radi va ro‘yxatga kiritmaydi. Muhim shart: bunda robots.txt’da Disallow bo‘lmasligi kerak, aks holda robot tegni o‘qiy olmaydi.
Parol bilan himoya eng ishonchli yo‘l. Test domenga HTTP avtorizatsiya yoki IP bo‘yicha kirish o‘rnatiladi, robot esa sahifa o‘rniga rad javobini oladi. Buyurtmachi va jamoa login-parol bilan kiradi. Ko‘p hostinglarda bu panelda yoqiladi, shuning uchun uni sozlash murakkab emas.
Qaysi usulni tanlash kerak
Tanlov loyihaning holatiga bog‘liq. Quyidagi yo‘riqnoma ko‘pchilik hollarda yetarli bo‘ladi:
- test nusxa alohida subdomen yoki domenda bo‘lsa — parol bilan himoya
- sayt havola orqali ko‘rsatilishi, lekin qidiruvda chiqmasligi kerak bo‘lsa — noindex
- tez va vaqtinchalik yechim kerak bo‘lsa — robots.txt, lekin manzilni hech qayerda e’lon qilmang
- maksimal ishonch kerak bo‘lsa — parol va shablonda noindex birga
Ishga tushirishdagi eng qimmat xato
Ko‘pincha sayt test davridan qolgan «Disallow: /» bilan ishga tushadi. Yoki CMS sozlamalaridagi qidiruv tizimlaridan yashirish belgisi o‘chirilmaydi. Natijada sayt ishlaydi, Instagram yoki Google reklamasi odam olib keladi, lekin organik qidiruvda sayt yo‘q. Egasi sababni uzoq vaqt boshqa joydan qidiradi.
Ishga tushirish kuni quyidagilarni tekshiring:
- robots.txt ochilganda umumiy taqiq yo‘qligi
- bosh sahifa va ichki sahifalar kodida noindex yo‘qligi
- CMS’dagi yashirish belgisi o‘chirilganligi
- parol himoyasi olib tashlanganligi
- sayt xaritasi to‘g‘ri domen va protokol bilan berilganligi
- sayt Search Console va Yandex Vebmaster’ga qo‘shilganligi
Test nusxa allaqachon indeksga tushgan bo‘lsa
Avval kirishni yoping: parol qo‘ying yoki noindex qo‘shing. Keyin Search Console’da shu domen yoki subdomen uchun alohida resurs qo‘shib, vaqtinchalik olib tashlash so‘rovini yuboring. Yandex uchun Vebmaster’dagi sahifalarni o‘chirish vositasidan foydalaning. Agar test nusxaga havolalar bo‘lsa, 301 yo‘naltirish orqali asosiy domenga o‘tkazish ham yaxshi yechim.
Pudratchi bilan kelishuv
Sayt studiya yoki frilanser tomonidan qilinayotgan bo‘lsa, vazifada test nusxa qayerda turishi, qanday yopilishi va ishga tushirishda taqiqlarni kim olib tashlashi yozilsin. Test domenga o‘zingiz ham kirish so‘rang, shunda sayt faqat robots.txt bilan emas, parol bilan yopilganini ko‘rasiz. Ishga tushgandan keyin ishchi robots.txt nusxasini saqlab qo‘ying.
Saytingiz ishga tushganda qidiruvdan keladigan mijozlar yo‘qolmasligini istasangiz, markdev jamoasi texnik tekshiruv va O‘zbekistonda sayt uchun SEO optimizatsiya bo‘yicha yordam beradi. Vazifangizni yozing, birgalikda muhokama qilamiz.
Ko‘p beriladigan savollar
Disallow: / nima qiladi?
«User-agent: *» bilan birga bu qator barcha qidiruv robotlariga saytning birorta sahifasini skanerlamaslikni aytadi. Lekin manzil tashqi havola orqali indeksga tushishi mumkin.
Noindex va robots.txt’ni birga ishlatsa bo‘ladimi?
Bir xil sahifalar uchun tavsiya etilmaydi. Sahifa robots.txt’da yopilgan bo‘lsa, robot uni ochmaydi va noindex tegini o‘qimaydi.
Test saytni eng ishonchli qanday yopish mumkin?
Parol bilan himoya orqali. Robot ham, begona odam ham sahifa mazmunini ko‘rmaydi.
Yangi sayt ishga tushgandan keyin qidiruvda nega ko‘rinmayapti?
Ko‘pincha robots.txt’dagi Disallow: /, shablondagi noindex yoki CMS sozlamasi unutilgan bo‘ladi. Avval shularni tekshiring.
Vazifangizni bepul tahlil qilamiz
Kontaktingizni qoldiring — 15 daqiqalik qo‘ng‘iroqda arizalar qayerda yo‘qolayotganini va birinchi navbatda nima qilish kerakligini ko‘rsatamiz.