Search Console sitemap’ni ololmadi: sabablar va yechim

«Couldn’t fetch» nimani bildiradi va kutish kerakmi

Bu holat bitta narsani aytadi: Google ko‘rsatilgan manzildagi faylni yuklashga urindi, lekin to‘g‘ri holatda ola olmadi. Sayt qidiruvdan chiqib ketdi yoki sahifalar indekslanmayapti degani emas. Sayt xaritasi robotga yordamchi ko‘rsatma, xolos: Google sahifalarni ichki havolalar orqali ham topadi.

Lekin sayt kattalashganda bu ko‘rsatma kerak bo‘ladi. Toshkentdagi onlayn do‘konda katalog ko‘p tovardan iborat bo‘lsa yoki xizmat saytida shahar va viloyatlar bo‘yicha alohida sahifalar bo‘lsa, ishlaydigan xaritasiz yangi sahifalar sekinroq topiladi, nima indeksda ekanini tushunish ham qiyinlashadi. Shuning uchun xatoni trafik tushishini kutmasdan tuzatgan ma’qul.

Xarita endigina qo‘shilgan bo‘lsa, holat ko‘pincha shunchaki robot hali faylga yetib kelmagani uchun o‘zgarmay turadi. Googlega vaqt bering va hisobotga keyinroq qayting. Xaritani o‘nlab marta o‘chirib, qayta qo‘shish jarayonni tezlashtirmaydi. Agar bir necha kun o‘tib ham holat o‘sha-o‘sha bo‘lsa yoki yaqinda hosting, CMS, xavfsizlik plaginlari yoki domen sozlamalarini o‘zgartirgan bo‘lsangiz, diagnostikaga o‘ting: oddiy va tez-tez uchraydigan sabablardan kam uchraydiganlarga qarab.

1-qadam. Xarita manzilini tekshiring

Holatlarning katta qismi oddiy noaniqlik bilan bog‘liq. Xarita manzilini brauzerning inkognito rejimida oching: fayl darhol ochilishi, parol so‘ramasligi va vaqtinchalik sahifa chiqmasligi kerak.

• Fayl nomi: sitemap.xml, sitemap_index.xml yoki saytda haqiqatan mavjud boshqa nom.
• Protokol: https, http emas.
• Domen versiyasi: www bilan yoki usiz — Search Console’dagi resurs bilan bir xil.
• Xarita domeni resurs domeni bilan mos; begona subdomendagi xarita to‘g‘ri kelmaydi.
• Manzil oxirida xato yoki ortiqcha belgi yo‘q.

2-qadam. Server javob kodini ko‘ring

Brauzer faylni ko‘rsatishi mumkin, robot esa butunlay boshqa narsa oladi. Xarita manzilining javob kodini onlayn xizmat orqali yoki dasturchi vositalaridagi Network bo‘limida tekshiring.

301 yoki 302 ko‘rsangiz, Search Console’da yakuniy manzilni ko‘rsating — bu ishonchliroq. Kod 200 bo‘lsa-yu, ichida XML o‘rniga sayt sahifasi chiqsa, CMS xarita o‘rniga HTML qaytarayotgan bo‘ladi.

• 200 — me’yor.
• 301/302 — yo‘naltirish, yakuniy manzilni yuboring.
• 403 — kirish taqiqlangan, odatda himoya yoki server qoidasi bloklaydi.
• 404 — fayl yo‘q: plagin xaritani yaratmagan yoki u boshqa yo‘lda turibdi.
• 5xx — server xatosi, hosting jurnali kerak.

3-qadam. Bloklarni toping

Bu eng yashirin sabablar guruhi: sizda hammasi ishlaydi, robotga esa yopiq. robots.txt’dan boshlang — xarita yo‘li Disallow bilan taqiqlanmaganiga ishonch hosil qiling. Shu bilan birga faylga xaritaning to‘liq manzili ko‘rsatilgan Sitemap qatorini qo‘shing.

Keyin himoyani tekshiring. Xavfsizlik plaginlari, hosting firewall’i, CDN va antibot filtrlari ba’zan Googlebot’ni shubhali trafik deb hisoblab, tekshiruv sahifasi yoki 403 qaytaradi. Bunga saytdagi parol (ochishni unutib qo‘yilgan test versiyada tez-tez uchraydi) va mamlakatlar bo‘yicha cheklovlar ham kiradi. Server jurnallarida Googlebot xaritaga so‘rov yuborgan-yubormagani va unga nima javob berilganini ko‘ring.

4-qadam. Format, hajm va javob tezligi

Ochiladigan fayl ham yaroqsiz bo‘lishi mumkin. Uni oching va boshini ko‘zdan kechiring: belgilash xatolari ko‘pincha darhol ko‘rinadi. Xaritani XML validatordan o‘tkazing.

Alohida keng tarqalgan muammo — XML e’lonidan oldin ortiqcha belgi yoki bo‘sh qator bo‘lishi. Buni PHP shablonlari va o‘zi yozilgan modullar qo‘shib qo‘yadi: fayl ochilganday ko‘rinadi, lekin XML sifatida o‘qilmaydi.

Xarita har so‘rovda dinamik yaratilsa va sayt katta bo‘lsa, server shunchalik uzoq javob berishi mumkinki, robot yuklashni to‘xtatadi. Filtrli, ko‘p minglab tovarli katalog uchun arzon hostingda bu odatiy holat. Yechim: tayyor faylni keshlash, uni jadval bo‘yicha oldindan yaratish, xaritani bo‘limlarga (tovarlar, maqolalar, kategoriyalar) bo‘lib, indeks fayliga yig‘ish.

• To‘g‘ri XML, barcha teglar yopilgan.
• Kodlash UTF-8.
• Manzillar absolyut: protokol va domen bilan.
• Xaritada begona domen manzillari va indekslash yopilgan sahifalar yo‘q.
• Hajm va manzillar soni sitemap protokoli chegarasidan oshmagan.
• Fayl siqilgan bo‘lsa, arxiv to‘g‘ri yaratilgan.

5-qadam. Manzilni tekshirish vositasi va qayta yuborish

Xarita manzilini URL tekshirish vositasiga kiriting va jonli versiyani tekshiring. U Google hozir nimani ko‘rayotganini — javob kodi, mavjudlik, mumkin bo‘lgan bloklarni — ko‘rsatadi. «Menimcha hammasi joyida» degan taxminni aniq faktga aylantirishning eng tez yo‘li shu.

Sababni tuzatgach, xaritani qayta yuboring yoki o‘chirib, yangidan qo‘shing. Holat qayta ishlangandan keyin yangilanadi, bir zumda emas. Fayl ochiladi va to‘g‘ri bo‘lsa-yu holat o‘zgarmasa, xaritadagi sahifalar indekslanayotganini tekshiring: indekslansa, Google ularni baribir topayotgan bo‘ladi. Boshqa fayl nomini sinab ko‘rish va xarita robots.txt’da ko‘rsatilganiga ishonch hosil qilish ham foydali.

Misol: brauzerda ochiladi, Google esa ko‘rmaydi

Click va Payme orqali to‘lov qabul qiladigan, CDN darajasida bot himoyasi yoqilgan onlayn do‘kon uchun xarakterli holat. Egasi sitemap.xml’ni ochadi — hammasi joyida, Search Console’da esa «Couldn’t fetch». Jonli tekshiruv 403 ko‘rsatadi: himoya qoidasi odatiy brauzer sarlavhalarisiz kelgan so‘rovlarni to‘sadi, Google roboti esa ularni yubormaydi. Yechim — himoya sozlamalarida ishonchli qidiruv robotlari uchun istisno qo‘shish va xaritani qayta yuborish. Xaritaning o‘zini o‘zgartirish kerak bo‘lmadi.

Xulosa: brauzerda ochilishi hech narsani isbotlamaydi. Robot ko‘zi bilan qarang.

Tez-tez uchraydigan xatolar va cheklist

Ko‘pincha vaqt bir xil narsalarga ketadi: https o‘rniga http bilan xarita qo‘shish, resursda yo‘q domen versiyasini ko‘rsatish, faylni faqat brauzerda tekshirish, himoya sozlamalari o‘rniga xaritaning o‘zini tuzatish va sababni o‘zgartirmay xaritani tinimsiz qayta yuborish. Dasturchi yoki hosting xizmatiga yozishdan oldin ro‘yxatni yuqoridan pastga o‘ting.

• Manzil inkognitoda ochiladi, protokol va domen resurs bilan mos.
• Javob kodi 200, yo‘naltirish zanjirisiz.
• robots.txt xaritani yopmaydi va Sitemap qatori bor.
• Himoya va CDN Googlebot’ni bloklamaydi, parol yo‘q.
• XML to‘g‘ri, UTF-8, boshida ortiqcha belgi yo‘q.
• Katta xarita qismlarga bo‘lingan.
• URL vositasida jonli tekshiruv muvaffaqiyatli o‘tadi.

Sabab topilmasa nima qilish kerak

Ba’zan muammo bir nechta omilning kesishmasida bo‘ladi: hosting, CDN va CMS plagini birgalikda. Bunday holda texnik tekshiruvni sayt strategiyasi bilan birga ko‘rgan foydali: qaysi sahifalar biznes uchun muhim, ularning indekslanishi qanday nazorat qilinadi. markdev jamoasi marketing strategiyasi va konsalting doirasida shunday masalalarni tahlil qiladi; vazifangizni muhokama qilmoqchi bo‘lsangiz, yozing.