درک گزارش Search Console Coverage + راه حل رفع خطاهای آن

گزارش Search Console Coverage اطلاعاتی را در مورد صفحاتی که در طراحی سایت شما ایندکس شده اند ارائه می دهد و URL هایی را لیست می کند که Googlebot هنگام خزیدن آن ها با مشکل مواجه شده است. صفحه اصلی در گزارش Coverage، نشانی‌های وب سایت شما را بر اساس وضعیت آن ها به صورت زیر گروه‌بندی می‌کند:

Error: the page isn’t indexed	یعنی صفحه ایندکس نشده است. دلایل مختلفی برای این خطا در گزارش Coverage وجود دارد. مثل صفحاتی که ارور 404 دارند، صفحات نرم 404 و موارد دیگر.
Valid with warnings	صفحه ایندکس شده است اما مشکل دارد.
Valid	صفحه ایندکس شده است.
Excluded page	صفحه ایندکس نشده است! گوگل از قوانینی در سایت مانند تگ های noindex در robots.txt یا متا تگ ها، تگ های canonical و غیره پیروی می کند که از ایندکس شدن صفحات جلوگیری می کند.

گزارش Coverage اطلاعات بسیار بیشتری نسبت به سرچ کنسول قدیمی گوگل ارائه می دهد. گوگل واقعا داده هایی را که به اشتراک می گذارد بهبود بخشیده است. اما هنوز مواردی وجود دارد که نیاز به بهبود دارند! همانطور که در زیر می بینید، گوگل نموداری را با تعداد URL ها در هر دسته نشان می دهد. در صورت افزایش ناگهانی خطاها، می‌توانید نوارها را ببینید و حتی آن را با نمایش‌ها مرتبط کنید تا تعیین کنید که آیا افزایش URL‌های دارای خطا یا اخطار می‌تواند باعث کاهش نمایش‌ها شود یا خیر.

با این حال، اگر شاهد کاهش تعداد URL های معتبر یا افزایش ناگهانی آن هستید، مهم است که روی شناسایی URL ها در بخش Errors کار کنید و مشکلات ذکر شده در گزارش را برطرف کنید. Google خلاصه خوبی از اقدامات انجام می دهد که در صورت افزایش خطا یا هشدار انجام می شود.

Google اطلاعاتی در مورد خطاها و تعداد URL هایی که این مشکل را دارند ارائه می دهد:

به یاد داشته باشید که کنسول جستجوی گوگل اطلاعات 100٪ دقیق را نشان نمی دهد. در واقع، چندین گزارش در مورد باگ ها و ناهنجاری های داده وجود دارد. علاوه بر این، کنسول جستجوی گوگل برای به روز رسانی زمان می برد، به دلیل اینکه داده ها 16 روز تا 20 روز عقب مانده شناخته شده است. همچنین، گزارش گاهی اوقات فهرستی بیش از 1000 صفحه را در خطاها یا دسته های هشدار همانطور که در تصویر بالا می بینید نشان می دهد، اما فقط به شما امکان می دهد نمونه ای از 1000 URL را مشاهده و دانلود کنید تا بررسی و بررسی شود.

با این وجود، این یک ابزار عالی برای یافتن مشکلات نمایه سازی در سایت شما است:

وقتی روی یک خطای خاص کلیک می کنید، می توانید صفحه جزئیات را ببینید که نمونه هایی از URL ها را فهرست می کند:

همانطور که در تصویر بالا می بینید، این صفحه جزئیات برای همه URL هایی است که با 404 پاسخ می دهند. هر گزارش دارای پیوند “بیشتر بیاموزید” است که شما را به صفحه اسناد Google می برد که جزئیات مربوط به آن خطای خاص را ارائه می دهد. گوگل همچنین نموداری ارائه می دهد که تعداد صفحات آسیب دیده را در طول زمان نشان می دهد.

می‌توانید روی هر URL کلیک کنید تا URL را که شبیه ویژگی قدیمی «fetch as Googlebot» از کنسول جستجوی قدیمی Google است، بررسی کنید. همچنین می توانید تست کنید که آیا صفحه توسط robots.txt شما مسدود شده است یا خیر

پس از اصلاح آدرس‌های اینترنتی، می‌توانید از Google درخواست کنید تا آنها را تأیید کند تا خطا از گزارش شما محو شود. شما باید رفع مشکلاتی را که در حالت اعتبارسنجی «شکست خورده» یا «شروع نشده» هستند در اولویت قرار دهید.

ذکر این نکته ضروری است که نباید انتظار داشته باشید که همه URL های سایت شما ایندکس شوند. گوگل بیان می کند که هدف مدیر وب سایت باید ایندکس کردن همه URL های متعارف باشد. صفحات تکراری یا جایگزین به‌عنوان مستثنی طبقه‌بندی می‌شوند، زیرا دارای محتوای مشابه با صفحه متعارف هستند.

طبیعی است که سایت ها دارای چندین صفحه در دسته بندی حذف شده باشند. اکثر وب سایت ها دارای چندین صفحه بدون متا تگ شاخص هستند یا از طریق robots.txt مسدود می شوند. هنگامی که گوگل یک صفحه تکراری یا جایگزین را شناسایی می کند، باید مطمئن شوید که آن صفحات دارای یک برچسب متعارف هستند که به URL صحیح اشاره می کند و سعی کنید معادل متعارف را در دسته معتبر پیدا کنید.

گوگل یک فیلتر کشویی در سمت چپ بالای گزارش قرار داده است تا بتوانید گزارش را برای تمام صفحات شناخته شده، همه صفحات ارسال شده یا URL ها در یک نقشه سایت خاص فیلتر کنید. گزارش پیش فرض شامل تمام صفحات شناخته شده است که شامل همه URL های کشف شده توسط Google است. همه صفحات ارسال شده شامل همه URL هایی است که از طریق نقشه سایت گزارش کرده اید. اگر چندین نقشه سایت ارسال کرده اید، می توانید بر اساس URL ها در هر نقشه سایت فیلتر کنید.

[مطالعه موردی] بودجه خزیدن را در صفحات استراتژیک افزایش دهید
بیشتر ترافیک Manageo از جستجوی ارگانیک می آید. این ترافیک عمدتاً متکی به جستجوهای طولانی مدت است و نیاز به بهینه سازی میلیون ها کلمه کلیدی را به طور همزمان ایجاد می کند. بودجه خزیدن به سرعت تبدیل به یک موضوع شد.
مطالعه موردی را بخوانید
خطاها، هشدارها، URL های معتبر و حذف شده
خطا
خطای سرور (5xx): زمانی که Googlebot سعی کرد صفحه را بخزد، سرور یک خطای 500 را برگرداند.
خطای تغییر مسیر: وقتی Googlebot URL را خزید، یک خطای تغییر مسیر وجود داشت، یا به دلیل طولانی بودن زنجیره، یک حلقه تغییر مسیر، URL از حداکثر طول URL بیشتر بود یا یک URL بد یا خالی در زنجیره تغییر مسیر وجود داشت.
URL ارسال شده توسط robots.txt مسدود شده است: URL های موجود در این لیست توسط فایل robts.txt شما مسدود شده اند.
URL ارسال شده با علامت “noindex”: آدرس‌های اینترنتی موجود در این لیست دارای یک برچسب متا روبات “noindex” یا هدر http هستند.
به نظر می رسد URL ارسال شده یک Soft 404 باشد: یک خطای 404 زمانی رخ می دهد که صفحه ای که وجود ندارد (حذف شده یا هدایت شده است) پیام “صفحه یافت نشد” را به کاربر نمایش می دهد اما کد وضعیت HTTP 404 را باز نمی گرداند. Soft 404 همچنین زمانی اتفاق می‌افتد که صفحات به صفحات غیرمرتبط هدایت شوند، به عنوان مثال یک صفحه به جای بازگرداندن کد وضعیت 404 یا هدایت مجدد به صفحه مربوطه، به صفحه اصلی هدایت می‌شود.
URL ارسال شده درخواست غیرمجاز را برمی گرداند (401): صفحه ارسال شده برای نمایه سازی یک پاسخ HTTP غیرمجاز 401 را برمی گرداند.
URL ارسال شده یافت نشد (404): وقتی Googlebot سعی کرد صفحه را بخزد، صفحه با خطای 404 Not Found پاسخ داد.
URL ارسال شده دارای مشکل خزیدن است: Googlebot هنگام خزیدن این صفحات با خطای خزیدن مواجه شد که در هیچ یک از دسته بندی های دیگر قرار نمی گیرد. شما باید هر URL را بررسی کنید و مشخص کنید که مشکل چه بوده است.
هشدار
ایندکس شده، اگرچه توسط robots.txt مسدود شده است: صفحه ایندکس شده است زیرا Googlebot از طریق پیوندهای خارجی که به صفحه اشاره می کنند به آن دسترسی داشته است، اما صفحه توسط robots.txt شما مسدود شده است. گوگل این نشانی‌های اینترنتی را به‌عنوان هشدار علامت‌گذاری می‌کند، زیرا مطمئن نیستند که آیا صفحه واقعاً باید از نمایش در نتایج جستجو مسدود شود یا خیر. اگر می‌خواهید صفحه‌ای را مسدود کنید، باید از متا تگ noindex استفاده کنید یا از هدر پاسخ HTTP noindex استفاده کنید.
اگر گوگل درست است و URL به اشتباه مسدود شده است، باید فایل robots.txt خود را به روز کنید تا به گوگل اجازه دهید صفحه را بخزد.

معتبر
ارسال شده و ایندکس شده: آدرس هایی که از طریق sitemap.xml برای نمایه سازی به گوگل ارسال کرده اید و ایندکس شده اند.
ایندکس شده، در نقشه سایت ارسال نشده است: URL توسط گوگل کشف و نمایه شده است، اما در نقشه سایت شما گنجانده نشده است. توصیه می‌شود نقشه سایت خود را به‌روزرسانی کنید و هر صفحه‌ای را که می‌خواهید گوگل آن‌ها را بخزد و ایندکس کند، درج کنید.
مستثنی شده است
با تگ «noindex» کنار گذاشته می‌شود: وقتی Google سعی کرد صفحه را ایندکس کند، یک تگ متا روبات «noindex» یا هدر HTTP پیدا کرد.
مسدود شده توسط ابزار حذف صفحه: شخصی با استفاده از درخواست حذف URL در Google Search Console درخواستی به Google ارسال کرده است که این صفحه را فهرست نمی کند. اگر می خواهید این صفحه ایندکس شود، وارد کنسول جستجوی گوگل شوید و آن را از لیست صفحات حذف شده حذف کنید.
مسدود شده توسط robots.txt: فایل robots.txt دارای خطی است که نشانی اینترنتی را از خزیدن حذف می کند. با استفاده از تستر robots.txt می توانید بررسی کنید که کدام خط این کار را انجام می دهد.
مسدود شده به دلیل درخواست غیرمجاز (401): مانند دسته خطا، صفحات اینجا با هدر HTTP 401 باز می گردند.
ناهنجاری Crawl: این یک دسته بندی جامع است، URL های اینجا یا با کدهای پاسخ سطح 4xx یا 5xx پاسخ می دهند. این کدهای پاسخ از ایندکس شدن صفحه جلوگیری می کنند.
خزیده شده – در حال حاضر ایندکس نشده است: گوگل دلیلی برای ایندکس نشدن URL ارائه نمی کند. آنها پیشنهاد می کنند که URL را دوباره برای فهرست بندی ارسال کنید. با این حال، مهم است که بررسی کنید آیا صفحه دارای محتوای نازک یا تکراری است، در صفحه دیگری متعارف است، دارای دستورالعمل noindex است، معیارها تجربه کاربری بد، زمان بارگذاری صفحه بالا و غیره را نشان می‌دهند. دلایل مختلفی می‌تواند وجود داشته باشد که Google نمی خواهد صفحه را ایندکس کند.
کشف شد – در حال حاضر ایندکس نشده است: صفحه پیدا شد اما گوگل آن را در فهرست خود قرار نداده است. شما می توانید URL را برای نمایه سازی ارسال کنید تا روند را مانند آنچه در بالا ذکر کردیم تسریع کنید. گوگل بیان می کند که دلیل معمول این اتفاق این است که سایت بیش از حد بارگذاری شده است و گوگل خزیدن را دوباره برنامه ریزی کرده است.
صفحه جایگزین با برچسب متعارف مناسب: گوگل این صفحه را ایندکس نکرد زیرا دارای یک تگ متعارف است که به URL دیگری اشاره دارد. گوگل از قانون متعارف پیروی کرده و URL متعارف را به درستی ایندکس کرده است. اگر منظور شما این بود که این صفحه ایندکس نشود، در اینجا چیزی برای اصلاح وجود ندارد.
تکراری بدون متعارف انتخاب شده توسط کاربر: Google موارد تکراری برای صفحات فهرست شده در این دسته پیدا کرده است و هیچ کدام از برچسب های متعارف استفاده نمی کنند. گوگل نسخه متفاوتی را به عنوان تگ متعارف انتخاب کرده است. شما باید این صفحات را مرور کنید و یک برچسب متعارف اضافه کنید که به URL صحیح اشاره می کند.
تکراری، Google موارد متعارف متفاوتی را نسبت به کاربر انتخاب کرد: آدرس‌های اینترنتی در این دسته توسط Google بدون درخواست خزیدن صریح کشف شده‌اند. گوگل اینها را از طریق پیوندهای خارجی پیدا کرده و تشخیص داده است که صفحه دیگری وجود دارد که یک canonical بهتر را ایجاد می کند. گوگل به این دلیل این صفحات را ایندکس نکرده است. گوگل توصیه می کند که این URL ها را به عنوان تکراری از canonical علامت گذاری کنید.
یافت نشد (404): وقتی Googlebot سعی می کند به این صفحات دسترسی پیدا کند، با خطای 404 پاسخ می دهند. گوگل بیان می کند که این URL ها ارسال نشده اند، این URL ها از طریق پیوندهای خارجی که به این URL ها اشاره می کنند پیدا شده اند. ایده خوبی است که این URL ها را به صفحات مشابه هدایت کنید تا از مزایای ارزش لینک استفاده کنید و همچنین مطمئن شوید که کاربران در یک صفحه مربوطه قرار می گیرند.
صفحه به دلیل شکایت حقوقی حذف شد: شخصی از این صفحات به دلیل مشکلات قانونی مانند نقض حق نسخه برداری شکایت کرده است. در اینجا می توانید شکایت حقوقی ارائه شده را درخواست کنید.
صفحه با تغییر مسیر: این URL ها در حال تغییر مسیر هستند، بنابراین حذف می شوند.
Soft 404: همانطور که در بالا توضیح داده شد، این نشانی‌های اینترنتی مستثنی هستند، زیرا باید با 404 پاسخ دهند. صفحات را بررسی کنید و مطمئن شوید که اگر پیام «یافت نشد» برای آن‌ها با هدر 404 HTTP وجود دارد.
URL ارسالی تکراری به‌عنوان متعارف انتخاب نشده است: مشابه «Google canonical متفاوت از کاربر را انتخاب کرد»، اما URL‌های این دسته توسط شما ارسال شده‌اند. ایده خوبی است که نقشه سایت خود را بررسی کنید و مطمئن شوید که هیچ صفحه تکراری در آن وجود ندارد.
نحوه استفاده از داده ها و آیتم های اقدام برای بهبود سایت
با کار در یک آژانس، به بسیاری از سایت های مختلف و گزارش های پوشش آنها دسترسی دارم. من برای تجزیه و تحلیل خطاهایی که Google در دسته‌های مختلف گزارش می‌کند، وقت گذاشته‌ام.
یافتن مشکلات مربوط به متعارف سازی و محتوای تکراری مفید بوده است، با این حال گاهی اوقات با مواردی که توسط @jroakes گزارش شده، با مغایرت هایی مواجه می شوید:

به نظر می‌رسد Google Search Console > URL Inspection > Live Test همه فایل‌های JS و CSS را به‌عنوان Crawl مجاز گزارش می‌کند: خیر: توسط robots.txt مسدود شده است. حدود 20 فایل را در 3 دامنه آزمایش کنید. pic.twitter.com/fM3WAcvK8q

– JR%20Oakes ???? (@jroakes) 16 ژوئیه 2019

AJ Koh، بلافاصله پس از در دسترس قرار گرفتن کنسول جستجوی جدید گوگل، مقاله ای عالی نوشت و توضیح داد که ارزش واقعی داده ها استفاده از آن برای ترسیم تصویری از سلامت برای هر نوع محتوای سایت شما است:

همانطور که در تصویر بالا می بینید، URL ها از دسته های مختلف در گزارش پوشش بر اساس قالب صفحه مانند وبلاگ، صفحه خدمات و غیره طبقه بندی شده اند. استفاده از چندین نقشه سایت برای انواع مختلف URL ها می تواند به این کار کمک کند زیرا گوگل اجازه می دهد. شما می توانید اطلاعات پوشش را بر اساس نقشه سایت فیلتر کنید. سپس سه ستون با اطلاعات زیر شامل درصد صفحات فهرست شده و ارسال شده، نرخ معتبر و درصد کشف شده قرار داد.

این جدول واقعاً یک نمای کلی از سلامت سایت شما به شما می دهد. اکنون اگر می‌خواهید بخش‌های مختلف را بررسی کنید، توصیه می‌کنم گزارش‌ها را مرور کنید و خطاهای ارائه‌شده توسط گوگل را دوباره بررسی کنید.

می‌توانید همه URL‌های ارائه‌شده در دسته‌های مختلف را دانلود کنید و از OnCrawl برای بررسی وضعیت HTTP، تگ‌های متعارف و غیره استفاده کنید و یک صفحه گسترده مانند این ایجاد کنید:

سازمان‌دهی داده‌های خود به این صورت می‌تواند به پیگیری مشکلات و همچنین افزودن موارد اقدام برای URL‌هایی که نیاز به بهبود یا اصلاح دارند کمک کند. همچنین، می‌توانید URL‌هایی را که درست هستند و هیچ اقدامی لازم نیست، در مورد آن URL‌هایی با پارامترهایی که تگ‌های متعارف به درستی اجرا می‌کنند، بررسی کنید.

حتی می توانید اطلاعات بیشتری را از منابع دیگر مانند ahrefs، Majestic و Google Analytics با ادغام OnCrawl به این صفحه گسترده اضافه کنید. این به شما امکان می دهد داده های پیوند و همچنین داده های ترافیک و تبدیل را برای هر یک از URL ها در کنسول جستجوی گوگل استخراج کنید. همه این داده ها می توانند به شما کمک کنند تا تصمیمات بهتری در مورد اینکه برای هر صفحه چه کاری انجام دهید، بگیرید، برای مثال اگر لیستی از صفحات با 404 دارید، می توانید آن را با بک لینک ها گره بزنید تا مشخص کنید آیا ارزش پیوند را از دامنه هایی که به آنها پیوند می دهند از دست می دهید یا خیر. صفحات شکسته در سایت شما یا می توانید صفحات ایندکس شده و میزان ترافیک ارگانیک آنها را بررسی کنید. می‌توانید صفحات فهرست‌شده‌ای را که ترافیک ارگانیک دریافت نمی‌کنند شناسایی کنید و روی بهینه‌سازی آن‌ها (بهبود محتوا و قابلیت استفاده) کار کنید تا به جذب ترافیک بیشتر به آن صفحه کمک کنید.

با این داده های اضافی، می توانید یک جدول خلاصه در صفحه گسترده دیگری ایجاد کنید. شما می توانید از فرمول =COUNTIF (محدوده، معیار) برای شمارش URL ها در هر نوع صفحه استفاده کنید (این جدول می تواند مکمل جدولی باشد که AJ Kohn در بالا پیشنهاد کرده است). همچنین می توانید از فرمول دیگری برای اضافه کردن بک لینک ها، بازدیدها یا تبدیل هایی که برای هر URL استخراج کرده اید استفاده کنید و آنها را در جدول خلاصه خود با فرمول زیر =SUMIF (محدوده، معیار، [sum_range]) نشان دهید. شما چیزی شبیه به این دریافت خواهید کرد:

من واقعاً دوست دارم با جداول خلاصه کار کنم که می‌توانند نمای خلاصه‌ای از داده‌ها را به من بدهند و می‌توانند به من کمک کنند بخش‌هایی را که باید ابتدا روی اصلاح آنها تمرکز کنم، شناسایی کنم.

افکار نهایی
هنگام کار بر روی رفع مشکلات و مشاهده داده های این گزارش باید به آن فکر کنید: آیا سایت من برای خزیدن بهینه شده است؟ آیا صفحات ایندکس شده و معتبر من در حال افزایش یا کاهش هستند؟ صفحات دارای خطا در حال افزایش یا کاهش هستند؟ آیا به گوگل اجازه می‌دهم روی URL‌هایی که ارزش بیشتری برای کاربران من به ارمغان می‌آورند وقت بگذارد یا صفحات بی‌ارزش زیادی پیدا می‌کند؟ با پاسخ به این سؤالات، می توانید شروع به بهبود در سایت خود کنید تا Googlebot بودجه خزیدن خود را صرف صفحاتی کند که می توانند به جای صفحات بی ارزش برای کاربران شما ارزش ارائه کنند. می‌توانید از robots.txt خود برای کمک به بهبود کارایی خزیدن، حذف URL‌های بی‌ارزش در صورت امکان یا استفاده از برچسب‌های canonical یا noindex برای جلوگیری از محتوای تکراری استفاده کنید.

Google به افزودن قابلیت‌ها و به‌روزرسانی دقت داده‌ها به گزارش‌های مختلف در کنسول جستجوی Google ادامه می‌دهد، بنابراین امیدواریم همچنان داده‌های بیشتری را در هر یک از دسته‌های گزارش پوشش و همچنین گزارش‌های دیگر در کنسول جستجوی Google مشاهده کنیم.

………………………………………………………………

گزارش Search Console Coverage