محتوای تکراری یا dupplicate content

dupplicate content مشکلی بزرگ در موتورهای جست و جو به حساب می‌آید. محتوای تکراری به این معنی است که محتوای مشابه در چندین مکان (URL) در وب ظاهر می‌شود و در نتیجه موتورهای جستجو نمی‌دانند کدام URL را در نتایج جستجو نشان دهند. این می تواند به رتبه بندی یک صفحه وب آسیب برساند. مشکل تنها زمانی بدتر می شود که افراد شروع به پیوند دادن به نسخه های مختلف یک محتوا کنند. این مقاله به شما کمک می کند تا دلایل مختلف محتوای تکراری را درک کنید و راه حل هر یک از آنها را بیابید.

dupplicate content یا محتوای تکراری چیست؟

dupplicate content، محتوایی است که در چندین URL در یک سایت در دسترس است. از آنجایی که بیش از یک URL محتوای یکسانی را نشان می‌دهد، موتورهای جستجو نمی‌دانند کدام URL را بالاتر در نتایج جستجو فهرست کنند. بنابراین آنها ممکن است هر دو URL را با رتبه های پایین تر لیست کنند، و به سایت های رقیب اهمیت و توجه بیشتری نشان دهند. محتوای تکراری را می‌توان به قرار گرفتن در چهار راهی تشبیه کرد که علائم جاده‌ای در دو جهت مختلف برای یک مقصد مشخص می‌شوند! کدام جاده را باید طی کنید؟ بدتر از آن، مقصد نهایی نیز متفاوت است، اما فقط تا حدودی. به عنوان یک خواننده، ممکن است برایتان مهم نباشد که همچنان پاسخی را که برای آن آمده‌اید دریافت کنید، اما یک موتور جستجو باید انتخاب کند که کدام صفحه را در نتایج جستجو نشان دهد.

فرض کنید مقاله شما درباره «keyword x» در (http://www.example.com/keyword-x) ظاهر می‌شود و همان محتوا در (http://www.example.com/article-category/keyword-x) نیز ظاهر می‌شود. این وضعیت ساختگی نیست و در بسیاری از سیستم‌های مدیریت محتوای مدرن (CMS) اتفاق می‌افتد. سپس فرض کنید مقاله شما توسط چندین وبلاگ نویس انتخاب شده است و برخی از آنها به URL اول لینک دارند. در حالی که برخی دیگر به آدرس دوم لینک می دهند. این زمانی است که مشکل موتور جستجو ماهیت واقعی خود را نشان می دهد. مشکل از سایت شماست. dupplicate content مشکل شماست، زیرا این پیوندها هر دو URL های مختلف را تبلیغ می کنند. اگر همه آنها به یک URL پیوند می‌دادند، شانس شما برای رتبه‌بندی برای «keyword x» بیشتر می‌شد.

چرا dupplicate content اهمیت دارد؟

برای موتورهای جستجو، dupplicate content می تواند سه مشکل اصلی را برای موتورهای جستجو ایجاد کند.

• آن‌ها نمی‌دانند کدام نسخه (نسخه‌ها) را از و الگوریتم های crawler های خود حذف کنند.
• موتور های جست‌وجو نمی دانند که آیا معیارهای پیوند (اعتماد، اعتبار، انکرتکست، ارزش پیوند و غیره) را به یک صفحه هدایت کنند یا آن را بین چندین نسخه از هم جدا نگه دارند.
• آنها نمی دانند کدام نسخه (های) را برای نتایج پرس و جو رتبه بندی کنند.

برای صاحبان سایت هنگامی که dupplicate content وجود دارد، صاحبان سایت می توانند از رتبه بندی و از دست دادن ترافیک رنج ببرند. این تلفات اغلب از دو مشکل اصلی ناشی می شود.

1. برای ارائه بهترین تجربه جستجو، موتورهای جستجو به ندرت چندین نسخه از یک محتوا را نشان می دهند و بنابراین مجبور می شوند انتخاب کنند که کدام نسخه به احتمال زیاد بهترین نتیجه را دارد. این باعث کاهش دید صفحات تکراری دیگر می شود.
2. ارزش لینک می تواند بیشتر کاهش یابد زیرا سایت های دیگر نیز باید بین موارد تکراری یکی را انتخاب کنند. به جای اینکه همه پیوندهای ورودی به یک قسمت از محتوا اشاره کنند، آنها به چندین قطعه پیوند می دهند و ارزش پیوند را در بین موارد تکراری پخش می کنند. از آنجایی که لینک های ورودی یک عامل رتبه بندی هستند، این امر می تواند بر روی دید جستجوی یک قطعه از محتوا تأثیر بگذارد.

نتیجه خالص چیست؟ یک قطعه محتوا به دید جستجویی و بازدهی که در غیر این صورت انجام می شد، نمی رسد.

ساخت سایت

چرا باید از dupplicate content در سایت خود جلوگیری کنید؟

dupplicate content به رتبه شما آسیب می زند. حداقل، موتورهای جستجو نمی دانند که کدام صفحه را به کاربران پیشنهاد دهند. و در نتیجه، تمام صفحاتی که موتورهای جستجو تکراری می بینند، در معرض خطر قرار گرفتن در رتبه پایین تر هستند. اگر مشکلات محتوای تکراری شما واقعاً جدی است، هر چه سریع تر به دنبال حل آن باشید. به عنوان مثال اگر محتوای بسیار نازکی دارید که با محتوای کپی شده کلمه به کلمه ترکیب شده است، ممکن است با اقدام دستی Google به دلیل تلاش برای فریب دادن کاربران روبرو شوید. بنابراین اگر می‌خواهید محتوای شما رتبه بندی شود، بسیار مهم است که اطمینان حاصل کنید که هر صفحه مقدار مناسبی از محتوای منحصر به فرد را ارائه می‌کند.

اگرچه این فقط یک مشکل برای موتورهای جستجو نیست. اگر کاربران شما به دنبال یک صفحه خاصی هستند و اگر نتوانند صفحه مورد نظر خود را پیدا کنند، جست و جو در سایت شما می تواند برای آنها بسیار خسته کننده باشد. بنابراین، مانند بسیاری از جنبه‌های سئو، مهم است که از مسائل dupplicate content خود برای تجربه کاربر و همچنین جستجو مراقبت کنید.

دلایل dupplicate content

ده ها دلیل برای محتوای تکراری وجود دارد. اکثر آنها فنی هستند. به ندرت اتفاق می‌افتد که شخصی محتوای یکسان را در دو مکان مختلف قرار دهد بدون اینکه مشخص کند، کدام صفحه اصلی است. البته مگر اینکه پستی را شبیه سازی کرده باشید و آن را به طور تصادفی منتشر کرده باشید. اما در غیر این صورت، برای بسیاری از ما کارشناسان سئو غیر طبیعی است.

دلایل فنی زیادی وجود دارد و بیشتر به این دلیل اتفاق می افتد که توسعه دهندگان مانند یک مرورگر یا حتی یک کاربر فکر نمی کنند. چه رسد به یک عنکبوت موتور جستجو! آنها مانند یک برنامه نویس فکر می کنند. مقاله ای را که قبلاً ذکر کردیم، در نظر بگیرید که در (http://www.example.com/keyword-x) و (http://www.example.com/article-category/keyword-x) نمایش داده می شود. اگر از کارشناس سئو سایت بپرسید، می گویند فقط یک بار چنین محتوایی وجود دارد.

درک نادرست از مفهوم URL باعث ایجاد محتوای تکراری می‌شود

نه، آن کارشناس سئو دیوانه نشده است. او فقط به زبان دیگری صحبت می کند. یک CMS احتمالاً وب سایت را تقویت می کند، و در آن پایگاه داده فقط یک مقاله وجود دارد، اما نرم افزار وب سایت فقط اجازه می دهد تا همان مقاله در پایگاه داده از طریق چندین URL بازیابی شود. به این دلیل که از نظر توسعه‌ دهنده، شناسه منحصر به‌ فرد آن مقاله، شناسه مقاله در پایگاه داده است، نه URL. اما برای موتور جستجو، URL یک شناسه منحصر به فرد برای یک قطعه محتوا است.

شناسه های جلسه یا Session ID، موثر در ایجاد dupplicate content

شما اغلب می خواهید بازدید کنندگان خود را پیگیری کنید و به آنها اجازه دهید، به عنوان مثال، اقلامی را که می خواهند بخرند در سبد خرید ذخیره کنند. برای انجام این کار، باید به آنها یک “جلسه” بدهید. یک جلسه یا Session ID تاریخچه مختصری از کارهایی است که بازدیدکننده در سایت شما انجام داده است و می تواند شامل مواردی مانند موارد موجود در سبد خرید آنها باشد. برای حفظ آن جلسه به صورتی که بازدیدکننده از صفحه ای به صفحه دیگر کلیک می کند، شناسه منحصر به فرد آن جلسه – به نام Session ID – باید در جایی ذخیره شود. رایج ترین راه حل این است که این کار را با کوکی ها انجام دهید. با این حال، موتورهای جستجو معمولا کوکی ها را ذخیره نمی کنند.

در آن مرحله، برخی از سیستم‌ها به استفاده از Session ID در URL بازمی‌گردند. این بدان معنی است که هر پیوند داخلی در وب سایت، شناسه Session ID را به URL خود اضافه می کند، و از آنجا که شناسه جلسه منحصر به آن جلسه است، یک URL جدید و در نتیجه محتوای تکراری ایجاد می کند.

پارامترهای URL مورد استفاده برای ردیابی و مرتب سازی

یکی دیگر از دلایل ایجاد dupplicate content استفاده از پارامترهای URL است که محتوای صفحه را تغییر نمی‌دهند. به عنوان مثال در ردیابی لینک ها، مشاهده می کنید، برای یک موتور جستجو، (http://www.example.com/keyword-x) و http://www.example.com/keyword-x/?source=rss) URL) یکسان نیستند. دومی ممکن است به شما امکان دهد تا ردیابی کنید که افراد از چه منبعی آمده‌اند، اما همچنین ممکن است رتبه‌بندی خوب را برای شما دشوارتر کند. یک عارضه جانبی ناخواسته!

البته این فقط برای پارامترهای ردیابی نیست. برای هر پارامتری که می‌توانید به URL اضافه کنید که محتوای حیاتی محتوا را تغییر نمی‌دهد، اعمال می‌شود، خواه این پارامتر برای «تغییر مرتب‌سازی در مجموعه‌ای از محصولات» یا برای «نمایش نوار کناری دیگر». همه آن‌ها باعث ایجاد dupplicate content می‌شوند.

Scrapers و سندیکای محتوا

بیشتر دلایل به وجود آمدن dupplicate content یا “تقصیر” شماست یا وب سایت شما. با این حال، گاهی اوقات وب سایت های دیگر از محتوای شما استفاده می کنند. خواه با رضایت شما باشد، خواه بدون آن. آنها همیشه به مقاله اصلی شما لینک نمی دهند، بنابراین موتور جستجو آن را “دریافت” نمی کند و باید با نسخه دیگری از همان مقاله مقابله کند. هرچه سایت شما محبوب تر شود، خراش های بیشتری بدست می آورید و این مشکل را بزرگتر و بزرگتر می کند.

ترتیب پارامترها

یکی دیگر از دلایل رایج برای dupplicate content این است که یک CMS از URL های تمیز و زیبا استفاده نمی کند. بلکه از URL هایی مانند (?id=1&cat=2) استفاده می کند، جایی که ID به مقاله و cat به دسته اشاره می کند. (URL /?cat=2&id=1) نتایج یکسانی را در اکثر سیستم های وب سایت ارائه می دهد، اما برای موتورهای جستجو کاملاً متفاوت هستند.

صفحه بندی نظر، عاملی دیگر برای ایجاد dupplicate content

در وردپرس، و همچنین در برخی از سیستم های دیگر، گزینه ای برای صفحه بندی نظرات شما وجود دارد. این منجر به کپی شدن محتوا در URL های زیر می‌شود.

• article URL
• article URL + /comment-page-1
• article URL + /comment-page-2

dupplicate content در صفحات سازگار با چاپگر

اگر سیستم مدیریت محتوای شما صفحات سازگار با چاپگر ایجاد کند و از صفحات مقاله خود به آنها پیوند دهید، Google معمولاً آنها را پیدا می کند. مگر اینکه به طور خاص آنها را مسدود کنید. حالا از خود بپرسید: می‌خواهید گوگل کدام نسخه را نشان دهد؟ یکی با تبلیغات و محتوای جانبی شما، یا آن که فقط مقاله شما را نشان می دهد؟

WWW در مقابل غیر WWW

این یکی از قدیمی‌ ترین موارد در حوزه سئو است، اما گاهی اوقات موتورهای جستجو هنوز اشتباه می‌کنند. WWW در مقابل محتوای تکراری غیر WWW! زمانی اتفاق می‌افتد که هر دو نسخه سایت شما در دسترس هستند. یکی دیگر از موقعیت‌ های کمتر رایج اما دردسر ساز، HTTP در مقابل محتوای تکراری HTTPS است. که در آن محتوای یکسان روی هر دو سایت ارائه می‌شود.

راه حل مفهومی برای dupplicate content: یک URL “متعارف”

همانطور که قبلاً دیدیم، این واقعیت که چندین URL به یک محتوا منتهی می شود یک مشکل است، اما می توان آن را حل کرد. یک نفر که در یک انتشارات کار می کند معمولاً می تواند به راحتی به شما بگوید که URL “صحیح” برای یک مقاله خاص باید چه باشد، اما گاهی اوقات وقتی از سه نفر در یک شرکت می پرسید، سه پاسخ متفاوت دریافت می کنید. این مشکلی است که نیاز به رسیدگی دارد زیرا در نهایت تنها یک (URL) برای هر مقاله می تواند وجود داشته باشد. این نشانی اینترنتی «درست» برای یک قطعه محتوا توسط موتورهای جستجو به عنوان URL متعارف شناخته می‌شود.

شناسایی مشکلات dupplicate content

ممکن است ندانید که آیا مشکل محتوای تکراری در سایت خود دارید یا با محتوای خود. استفاده از گوگل یکی از ساده ترین راه ها برای شناسایی dupplicate content است. چندین اپراتور جستجو وجود دارد که در مواردی مانند این بسیار مفید هستند. اگر می‌خواهید همه URL‌ هایی که حاوی مقاله (keyword x) در سایت شما هستند را پیدا کنید، عبارت جستجوی زیر را در Google تایپ کنید:

site:example.com intitle:”Keyword X”

سپس گوگل تمام صفحاتی را در example.com که حاوی آن کلمه کلیدی هستند را به شما نشان می دهد. هرچه آن قسمت عنوان پرس و جو را خاص تر کنید، حذف محتوای تکراری آسان تر است. می توانید از همین روش برای شناسایی محتوای تکراری در سراسر وب استفاده کنید. فرض کنید عنوان کامل مقاله شما «Keyword X – why it is awesome» بود، باید جستجو کنید:

intitle:”Keyword X – why it is awesome”

بدین صورت گوگل تمام سایت هایی را که با آن عنوان مطابقت دارند به شما می دهد. گاهی اوقات حتی ارزش آن را دارد که یک یا دو جمله کامل از مقاله خود را جستجو کنید. زیرا ممکن است برخی از خراش ها عنوان را تغییر دهند.

راه حل های عملی برای dupplicate content

هنگامی که تصمیم گرفتید کدام URL، URL متعارف محتوای شما باشد، باید یک فرآیند متعارف سازی را شروع کنید. این بدان معنی است که ما باید به موتورهای جستجو در مورد نسخه متعارف یک صفحه بگوییم و اجازه دهیم آن را در اسرع وقت پیدا کنند. چهار روش برای حل مشکل به ترتیب اولویت وجود دارد.

1. عدم ایجاد dupplicate content
2. ریدایرکت محتوای تکراری به URL متعارف
3. افزودن یک عنصر پیوند متعارف به صفحه تکراری
4. افزودن پیوند HTML از صفحه تکراری به صفحه متعارف

اجتناب از dupplicate content

راه های ساده تر برای جلوگیری از ایجاد محتوای تکراری وجود دارد که در زیر به صورت پرسش و پاسخ فهرست شده است.

اگر مشکل شما به این راحتی حل نمی شود، ممکن است همچنان ارزش تلاش کردن را داشته باشد. هدف باید جلوگیری از ظاهر شدن کلی dupplicate content باشد، زیرا این بهترین راه حل برای مشکل است.

ریدایرکت301 برای dupplicate content

در برخی موارد، غیرممکن است که به طور کامل از سیستمی که استفاده می کنید از ایجاد URL های اشتباه برای محتوا جلوگیری کنید. اما گاهی اوقات امکان تغییر مسیر آنها وجود دارد. اگر این برای شما منطقی نیست، هنگام صحبت با کارشناسان سایت خود آن را در نظر داشته باشید. اگر از شر برخی از مشکلات محتوای تکراری خلاص می‌شوید، مطمئن شوید که همه نشانی‌های اینترنتی محتوای تکراری قدیمی را به URL‌های معمولی مناسب هدایت کرده‌اید.

با استفاده از لینک ها، به مبارزه با dupplicate content بپردازید

گاهی اوقات شما نمی خواهید یا نمی توانید از شر نسخه تکراری یک مقاله خلاص شوید، حتی زمانی که می دانید URL اشتباه است. برای حل این مشکل خاص، موتورهای جستجو عنصر لینک متعارف را معرفی کرده اند. در بخش <head> سایت شما قرار داده شده است و به این شکل نشان داده می‌شود.

<link rel=”canonical” href=”http://example.com/wordpress/seo-plugin/” />

در قسمت href لینک کنونیکال، URL متعارف صحیح مقاله خود را قرار می دهید. هنگامی که یک موتور جستجویی که از canonical پشتیبانی می کند، این عنصر پیوند را پیدا می کند، یک تغییر مسیر نرم 301 انجام می دهد و بیشتر ارزش پیوند جمع آوری شده توسط آن صفحه را به صفحه canonical شما منتقل می کند.

نتیجه گیری: dupplicate content قابل رفع است و باید رفع شود

dupplicate content در همه جا اتفاق می افتد. من هنوز با سایتی با بیش از 1000 صفحه مواجه نشده ام که حداقل مشکل محتوای تکراری کوچکی نداشته باشد. این چیزی است که باید دائماً مراقب آن باشید، اما قابل رفع است و پاداش‌ها می‌توانند فراوان باشند. محتوای با کیفیت شما می تواند در رتبه بندی ها افزایش یابد، فقط با خلاص شدن از شر محتوای تکراری از سایت خود!