Vosita nimani ko‘rsatadi
Vebmaster’dagi bu vosita siz kiritgan manzilni Yandex roboti nomidan so‘raydi. Brauzerda ochish bilan farqi shundaki, brauzerda cookie, JavaScript va sizning oddiy IP manzilingiz bor, robotda esa yo‘q.
Vosita tasdiqlangan sayt manzillari uchun eng to‘liq natija beradi, shuning uchun avval domen huquqini tasdiqlang. Natijada quyidagilarni ko‘rasiz:
- HTTP javob kodi;
- javob vaqti;
- sarlavhalar: kontent turi, kesh, yo‘naltirish manzili, X-Robots-Tag;
- robot olgan sahifa kodi.
Server javobini tekshirish: qaysi kodlar nimani bildiradi
200 kodi sahifa berilganini anglatadi. Biroq kontentni albatta ko‘ring: mahsulot kartochkasi o‘rniga «robot emasligingizni tasdiqlang» sahifasi yoki bo‘sh shablon kelgan bo‘lsa, kod yaxshi bo‘lsa ham muammo bor.
Boshqa kodlar bo‘yicha:
- 301 va 302 — yo‘naltirish. Location sarlavhasiga qarang: manzil qayerga olib boradi, ko‘chish doimiymi (301 kerak) va yo‘naltirishlar zanjiri yo‘qmi. Agar internet-do‘kon sahifasi kutilmaganda mobil versiyaga 302 bersa, siz unutgan qoida ishlagan bo‘lishi mumkin.
- 304 — sahifa robotning oxirgi tashrifidan beri o‘zgarmagan. Bu normal holat.
- 401 — sahifa parol bilan yopilgan.
- 403 — kirish taqiqlangan. Ko‘pincha himoya tizimi yoki hosting robotni bot deb bloklaydi.
- 404 — sahifa topilmadi. O‘chirilgan sahifa uchun to‘g‘ri, ishlashi kerak bo‘lgan bo‘lim uchun esa manzil va CMS’dagi nashr holatini tekshirish kerak.
- 410 — sahifa butunlay o‘chirilgan. Sotuvdan olingan va qaytmaydigan mahsulot uchun mos.
- 500, 502, 503, 504 — server xatolari.
Server xatolari qachon xavfli
Bitta 5xx xatosi odatda vaqtinchalik nosozlik: hosting qayta ishga tushgan bo‘lishi mumkin. Agar u takrorlansa, robot saytga kamroq kira boshlaydi va sahifalar qidiruvdan chiqib ketishi mumkin. Server jurnallari, yuklama va taymautlarni ko‘ring, ayniqsa chegirmalar kunlari, Instagram va Telegram’dan ko‘p xaridor kelganda.
503 kodi faqat texnik ishlar vaqtida o‘rinli. Ishlar tugagach ham u qolsa, bu nosozlik.
Brauzer bir narsani, robot boshqasini ko‘rganda
Eng ko‘p uchraydigan holat: sayt himoya xizmati yoki CDN orqasida turadi va yangi tashrifchiga brauzer tekshiruvini ko‘rsatadi. Odam uni sezmay o‘tadi, robot esa sahifa o‘rniga 403 yoki 503 va tekshiruv matnini oladi. Bu odatda himoya ulangandan yoki boshqa hostingga ko‘chgandan keyin birdan paydo bo‘ladi.
Bunday xizmatlar sozlamalarida va hosting firewall’ida odatda mashhur qidiruv robotlari uchun istisnolar bo‘ladi. Ular yoqilganini tekshirib, vositada qayta sinab ko‘ring. Agar Yandex 403 olsa, Google’ning Search Console’dagi jonli URL testida esa 200 chiqsa, qoida faqat bitta botni bloklayotgan bo‘ladi.
Javob vaqti va sarlavhalar
Sekin javob robotning saytni skanerlash tezligini cheklashi mumkin. Vaqtni brauzerdagi bilan solishtiring va kunning turli soatlarida tekshiring. Katta farq sahifa robot uchun keshsiz qayta yig‘ilayotganini yoki bazaga so‘rov og‘irligini bildiradi.
Sarlavhalarga ham e’tibor bering. X-Robots-Tag orqali sahifani indeksdan yopish mumkin va buni sahifa kodida ko‘rmaysiz. Kesh sarlavhalari esa robot sahifani qanchalik tez-tez qayta so‘rashiga ta’sir qiladi.
Qaysi manzillarni tekshirish kerak
Faqat bosh sahifa bilan cheklanmang. Manzilning har bir varianti yo asosiy manzil uchun 200, yo unga 301 berishi kerak:
- www bilan va www siz;
- http va https;
- oxirida slesh bilan va sleshsiz;
- robots.txt va sitemap.xml: ulardagi xato butun saytni skanerlashga ta’sir qiladi;
- katalog va asosiy sotuv sahifalari;
- redirekt sozlangandan keyingi manzillar.
Qachon ishlatish va nima bilan to‘ldirish
Javobni redirektlar sozlangandan, CDN yoki himoya ulangandan, yangi serverga ko‘chishdan oldin, muhim sahifa qidiruvdan yo‘qolganda va diagnostikada mavjud emaslik xatolari chiqqanda tekshiring. Vosita bir vaqtda bitta manzilni tekshiradi, butun sayt uchun kraulerdan va server jurnallaridan foydalaning. Vebmaster’dagi skanerlash statistikasi esa robot davr mobaynida qaysi kodlarni olganini ko‘rsatadi.
Agar saytingiz redirekt, hosting yoki himoya sababli sahifalarni tez-tez yo‘qotsa, sabab odatda ishlab chiqish bosqichida qoladi. markdev O‘zbekistonda saytlarni kalit taslim yaratadi va manzillar, redirektlar hamda robotlar uchun kirishni boshidan to‘g‘ri sozlaydi. Vaziyatingizni muhokama qilmoqchi bo‘lsangiz, bizga yozing.
Ko‘p beriladigan savollar
Nega brauzerda sahifa ochiladi, Vebmaster esa xato ko‘rsatadi?
Robot odam o‘tadigan tekshiruvlardan o‘ta olmaydi: brauzer himoyasi, IP yoki user-agent qoidalari. Shuning uchun sahifa brauzerda normal bo‘lsa ham u 403 yoki 503 olishi mumkin.
Sahifani doimiy ko‘chirish uchun qaysi kod kerak?
301. 302 vaqtinchalik yo‘naltirishni bildiradi va doimiy ko‘chish uchun mos emas.
200 kodi sahifa qidiruvga tushishi uchun yetarlimi?
Yo‘q. Kontent odam ko‘rgan bilan mos bo‘lishi va sahifa noindex, X-Robots-Tag yoki kanonik manzil orqali yopilmagan bo‘lishi kerak.
Butun saytni birdaniga tekshirish mumkinmi?
Vosita bitta manzilni tekshiradi. Ommaviy tekshiruv uchun kraulerdan va server jurnallaridan foydalaning, umumiy rasmni esa Vebmaster’dagi skanerlash statistikasidan ko‘ring.
Vazifangizni bepul tahlil qilamiz
Kontaktingizni qoldiring — 15 daqiqalik qo‘ng‘iroqda arizalar qayerda yo‘qolayotganini va birinchi navbatda nima qilish kerakligini ko‘rsatamiz.