“Noindex” متا تگی است که می تواند به کد HTML یک صفحه وب متصل شود. برای اینکه به خزنده های گوگل دستور دهد تا صفحه خاصی رادر طراحی سایت شما، ایندکس نکنند و آن صفحه در نتایج SERP نشان داده نشود. عدم ایندکس به سادگی این معنی است که وقتی یک متا تگ “noindex” را به یک صفحه وب اضافه می کنید، به موتورهای جستجو می گویید که “آنها” نمی توانند صفحه را به فهرست جستجوی آن اضافه کنند، حتی اگر امکان خزیدن صفحه وجود داشته باشد. تمام صفحاتی که دستورالعمل “noindex” روی آن وجود دارد به فهرست جستجوی گوگل می روند و در صفحات نتایج موتور جستجو نشان داده نمی شوند.
برچسب های متا روبات Noindex
متداول‌ترین راه برای دستور دادن به موتورهای جستجو برای ایندکس نکردن یک صفحه این است که یک تگ Meta Robots را در تگ <head> یک صفحه HTML با دستورالعمل “noindex” به شرح زیر قرار دهید:
<meta name=”robots” content=”noindex” />
در حدود سال 2007، موتورهای جستجوی بزرگ شروع به اجرای پشتیبانی از دستورالعمل های “noindex” در تگ های Meta Robots کردند. تگ‌های Meta Robots همچنین می‌توانند شامل دستورالعمل‌های دیگری مانند دستورالعمل «دنبال کردن» یا «nofollow» باشند که موتورهای جستجو را هدایت می‌کند تا لینک‌های موجود در صفحه فعلی را بخزند یا نخزند. معمولاً مدیران وب‌سایت‌ها از دستورالعمل «noindex» برای جلوگیری از ایندکس شدن محتوایی که برای موتورهای جستجو در نظر گرفته نشده است استفاده می‌کنند.
برخی از موارد استفاده رایج برای دستورالعمل های “noindex”:
- صفحات حاوی اطلاعات حساس
- سبد خرید یا صفحات پرداخت در یک وب سایت تجارت الکترونیک
- نسخه های جایگزین صفحات برای تست های A/B فعال یا تقسیم
- نسخه های صفحه “مرحله سازی” (یا در حال پیشرفت) هنوز برای استفاده عمومی آماده نیستند
سرصفحه های پاسخ “Noindex”
علاوه بر این، موتورهای جستجو از دستورالعمل “noindex” پشتیبانی می کنند که از طریق هدرهای پاسخ HTTP برای یک صفحه معین ارائه می شود. در حالی که این رویکرد کمتر رایج است و شناسایی با استفاده از ابزارهای رایج سئو دشوارتر است، گاهی اوقات برای مهندسان یا مدیران وب سایت ها بر اساس پیکربندی سرورشان آسان تر است.
نام و مقدار هدر پاسخ “noindex” به شرح زیر است:
X-Robots-Tag: noindex
اهمیت متا تگ های Noindex
“Noindex” یک برچسب مهم برای استفاده زمانی است که نمی خواهید صفحه خاصی در SERP ها نمایش داده شود. اگر صفحه‌ای برای کاربر ارزش کمی دارد، یا شاید اطلاعاتی داشته باشد که نمی‌خواهید توسط عموم دیده شود، یک تگ noindex این کار را انجام می‌دهد.
در بسیاری از موارد، به وب‌سایت‌ها کمک می‌کند تا به دلیل تکنیک‌های سئو کلاه سیاه مانند محتوای تکراری جریمه نشوند. این بدان معناست که وب سایت ها پیشگیرانه از سقوط در رتبه بندی و ترافیک طفره می روند.
چه زمانی باید از “Noindex” استفاده کنید؟
سناریوهای مختلفی برای استفاده از تگ “noindex” وجود دارد. این شامل:
1. صفحات مدیریت
بدیهی است که صفحات لاگین شرکت نیازی به دیدن کاربران نهایی یک وب سایت ندارند. بنابراین یک noindex این مشکل را حل می کند و صفحات مدیریت را فقط برای شما و همکارتان نگه می دارد.
2. صفحات تکراری
در حالی که قبل از هر چیز باید از تگ canonical برای مقابله با محتوای تکراری استفاده شود، شرایط خاصی وجود دارد که باید از noindex استفاده کنید.
اگر شما تنها مشارکت کننده محتوا در یک وب سایت هستید، صفحه نویسنده غیر ضروری است و احتمالاً تا حد زیادی با محتوای صفحه اصلی شما مطابقت دارد. بدون ایندکس، هیچ عشقی از دست نخواهد رفت.
3. پست های انجمن
اگر وب‌سایتی دارید که به اعضای انجمن اجازه می‌دهد یک نمایه برای مشارکت در پست‌های وبلاگ یا محتوا ایجاد کنند، این چیزی است که شما می‌خواهید آن را تنظیم کنید.
شما فقط می خواهید پروفایل هایی که بهترین محتوا را ارائه می دهند در SERP ها نمایش داده شوند، زیرا این نشان دهنده قدرت وب سایت و UX (تجربه کاربر) خوب است.
نمایه‌های Noindex که محتوای ضعیف یا ضعیفی را ارائه می‌کنند تا از تضعیف یکپارچگی وبسایت شما جلوگیری کنند.
4. محتوای نازک
گوگل به محتوای باکیفیت اهمیت می دهد، این دلیل وجود الگوریتم های پاندا و پنگوئن است. وب‌سایت‌هایی که صفحات وب با کیفیت بالا را ارائه می‌کنند، پاداش دریافت می‌کنند، در حالی که آن‌هایی که محتوای نازک و نامربوط دارند در رتبه‌بندی پایین به نظر می‌رسند.
بنابراین، اگر محتوایی دارید که به هر دلیلی نمی خواهید آن را حذف کنید، اما نمی خواهید این محتوا به عنوان نماینده وب سایت شما عمل کند، آن را noindex کنید.
5. صفحات انحصاری
اگر محتوای پولی دارید که فقط از طریق عضویت قابل دسترسی است، باید این صفحات را فهرست‌بندی نکنید تا از مشاهده رایگان محتوای شما توسط کاربرانی که پرداخت نمی‌کنند جلوگیری کنید.
6. صفحات غیر ضروری که هیچ ارزشی اضافه نمی کنند
صفحات “متشکرم”، در حالی که یک تماس خوب برای مشتری پس از انجام خرید است، نیازی به مشاهده در SERPها ندارند. برای جلوگیری از احمقانه به نظر رسیدن وب سایت شما، این صفحات را Noindex کنید.
ابزارهایی که می توانید برای پیاده سازی تگ های Noindex استفاده کنید
ابزارهایی وجود دارند که می توانند برای پیاده سازی تگ های عدم ایندکس شما بسیار مفید باشند.
Screaming Frog
ابزار SEO Yoast (رایگان)
بهترین روش های SEO برای دستورالعمل های “noindex”
1. از استفاده از ویژگی عدم فهرست بندی در صفحات ارزشمند خودداری کنید
درج تصادفی برچسب یا دستورالعمل “noindex” در یک صفحه ارزشمند می تواند باعث حذف آن صفحه از شاخص های موتورهای جستجو و توقف دریافت تمام ترافیک ارگانیک شود.
به عنوان مثال، اگر یک نسخه وبسایت جدید راه‌اندازی شود، اما برچسب‌های «noindex» که برای جلوگیری از فهرست‌بندی نسخه‌های صفحه جدید توسط موتورهای جستجو قبل از آماده‌سازی گنجانده شده است، در جای خود باقی بماند، نسخه جدید وبسایت می‌تواند بلافاصله دریافت ترافیک را متوقف کند. جستجو کردن
2. درک کنید که عدم نمایش در نهایت به عنوان “nofollow” تلقی می شود
مدیران وب‌سایت‌ها اغلب از تگ‌های متا روبات یا سرصفحه‌های پاسخ استفاده می‌کنند تا به موتورهای جستجو نشان دهند که صفحه فعلی نباید ایندکس شود، اما پیوندهای موجود در صفحه همچنان باید مانند تگ Meta Robots زیر خزیده شوند:
<meta name=”robots” content=”noindex,follow” />
این معمولا برای صفحات فهرست بندی شده استفاده می شود. به عنوان مثال، «noindex,follow» ممکن است در فهرست‌های آرشیو وبلاگ اعمال شود تا از نمایش صفحات آرشیو در نتایج جستجو جلوگیری کند، اما به موتورهای جستجو اجازه می‌دهد پست‌های وبلاگ را خزیده، فهرست‌بندی و رتبه‌بندی کنند.
با این حال، این رویکرد ممکن است آنطور که در نظر گرفته شده کار نکند، زیرا گوگل توضیح داده است که سیستم های آنها در نهایت دستورالعمل “noindex,follow” را به عنوان “noindex,nofollow” تلقی می کنند – به عبارت دیگر، آنها در نهایت خزیدن لینک ها در هر صفحه ای را متوقف می کنند. دستورالعمل “noindex”. این می تواند از ایندکس شدن صفحات مقصد پیوند به هیچ وجه جلوگیری کند یا رتبه صفحه یا اعتبار آنها را کاهش دهد و رتبه آنها را برای کلمات کلیدی مرتبط کاهش دهد.
3. از استفاده از قوانین “noindex” در فایل های Robots.txt خودداری کنید
در حالی که هرگز به طور رسمی پشتیبانی نمی شد، موتورهای جستجو برای مدتی به دستورالعمل های “noindex” در قوانین robots.txt احترام گذاشتند. از آنجایی که قوانین robots.txt با علامت‌های عام می‌توانند روی بسیاری از صفحات به طور همزمان اعمال شوند، بدون اینکه نیازی به تغییر در خود صفحات باشد. این روش توسط بسیاری از مدیران وب ترجیح داده شد. Google استفاده از فایل‌های robots.txt را برای تنظیم دستورالعمل‌های «noindex» و کدهای بازنشسته‌ای که از این قوانین در سپتامبر ۲۰۱۹ پشتیبانی می‌کنند، توصیه نمی‌کند.
