
حذف صفحات از گوگل یکی از موارد پراهمیتی است که تمام صاحبان سایت ها به هر حال هر چند ماه یک بار به آن بر میخورند. حذف صفحات سایت از گوگل می تواند به دلایلی مختلفی از جمله عدم موجودی محصول قدیمی، اخطارهای سازمان فیلترینگ و … باشد. بنابراین در این مقاله آموزش سئو به دقت به ماجرای پاک کردن یا خارج کردن صفحات سایت ها از گوگل می پردازیم.
پادکست آموزشی بالا حاوی نکات بسیار مهمی در مورد این مقاله است. حتما گوش کنید.پرسش چگونگی خارج کردن صفحات از ایندکس گوگل دوبار طی چند روز گذشته توسط مشتریان نیوسئو مطرح شده است.
این فرایند بسیار واضح است اما اغلب یک مورد ساده باعث سردرگمی می شود. در اینجا نحوه انجام صحیح اینکار (خصوصاً اطمینان حاصل کردن از اینکه صفحات کاملاً حذف شده اند و دیگر برنمیگردند) آمده است.
هدفتان از حذف صفحات از گوگل چیست؟
اساساً اگر الگوریتم پاندای گوگل مقدار بسیاری صفحه مشابه یا مطلب جزئی و کوچک در سایت شما ثبت کرده است، امکان بروز مشکل وجود دارد.
بدون در نظر داشتن پاندا، اگر صفحه ای خیلی کم کیفیت باشد، ایندکس نمی شود یا در SERP قرار نمیگیرد، اما با وجود پاندا مقدار زیادی مطلب و صفحه محتوا، باعث می شود که تمام سایت شما مورد مجازات قرار گیرد و رنک خود را از دست بدهد. متاسفانه با توجه به اینکه الگوریتم پاندا سالها پیش رونمایی شده، امروزه بسیاری از صاحبان سایت ها و حتی کارشناسان سئو سایت، آن را فراموش کرده اند در حالیکه همچنان پابرجاست و جریمه هم می کند!!
نمی خواهم در این مقاله زیاد وارد جزئیات شوم که چه چیزی باعث تولید محتوای سطح پایین و کم کیفیت می شود (انتظار دارم شما به صفحه آموزش تولید محتوا مراجعه کرده، و آموزش های را دیده باشید)، اما اجالتاً تعدادی مثال از مطالبی که باید به دنبالشان باشید آورده ام:
- صفحات جستجو
- اضافه کردن صفحات مرور
- صفحات رده بندی محصولات
- صفحات آرشیو مطالب
- صفحات آرشیو نویسنده ها
- صفحات Feed
- صفحاتی که خودتان هم از آن ها خوشتان نمی آید!!
صادقانه از خودتان بپرسید “آیا این صفحه لیاقت ایندکس شدن در گوگل و کسب رتبه را دارد؟”
اگر پاسختان منفی است، آن صفحه را از ایندکس خارج کنید.
مختصر و مفید: سایتی با 100 صفحه باکیفیت، می تواند خیلی ارزش بیشتری داشته باشد (این کار بصورت سیستماتیک باعث افزایش ترافیک جستجو شما می شود) نسبت به 10000 صفحه که پر از چرت و پرت است.
سایت خود را برای یافتن مطالب سبک و کم کیفیت جستجو کنید
خیلی خوب است که بدانیم گوگل در حال حاضر چه چیزی را از سایت ما ایندکس کرده است.
می توانید اینکار را با تایپ کردن این عبارت در صفحه جستجوی گوگل انجام دهید:
site:www.yoursite.com
اگر به عنوان مثال سایت newseo را جستجو کنم گوگل به من می گوید که در حال حاضر این سایت 1490 صفحه ایندکس شده دارد!
- در حال حاضر 982 مطلب منتشر شده در این سایت وجود دارد بنابراین با صفحات دسته بندی و صفحات لندینگ و غیره تقریبا عدد 1490 درست است.
- اگر عدد 900 باشد، من احتمالا علاقه مند می شدم که بررسی کنم چه صفحاتی ایندکس شده است.
- اگر عدد 3000 باشد، قطعا بایستی نگاه دقیقی به مطالب ایندکس شده بیاندازم. (چراکه برایم عجیب خواهد بود که چرا این همه لینک از سایت من ایجاد شده است)
البته سایت من سایتی کوچک است (بر اساس تعداد صفحات!)، بنابراین اگر شما صاحب سایت بزرگتری هستید، زمان بیشتری نیاز دارید که بررسی کنید چه چیزهایی ایندکس شده است و چه چیزهایی نیاز است که حذف شود! اما مطمئن باشید که زمانی که می گذارید ارزش دارد.
خب حال به اینجا می رسیم که مطالب حذفی را شناسایی کرده اید. در ادامه مقاله حذف صفحات از گوگل قصد داریم روش حذف صفحه از گوگل را برای شما شرح دهیم.
چگونه صفحات سایت را از نتایج گوگل حذف کنیم؟
در این بخش حذف صفحات از گوگل، می بایست چند سرفصل و سوال را با هم بررسی کنیم تا این پروسه را به طور کامل بیاموزید:
بلاک کردن صفحات در Robots.txt کافیست؟
این کار اشتباهی است که بسیاری از افراد انجام می دهند.
بلاک کردن یک پوشه (مانند /search/ ) در robots.txt بخشی از کار (که بعدا به آن خواهم پرداخت) است اما درواقع نه تنها اولین گام نیست بلکه آخرین گام است.
بلاک کردن روبوت ها از دیدن پوشه های اصلی فقط به این معناست که آنها نمی توانند صفحه را بازبینی کنند (اینکار به آنها نمی گوید که صفحه موردنظر را حذف کن) و ممکن است به درستی یا اشتباه آدرس های کم کیفیت، منقضی، قدیمی را دور از دسترس ایندکس قرار دهید (و سایت خودتان را پایین بکشید).
اولین گام در پاک کردن صفحات از گوگل چیست؟
گام نخست: robot meta tag را در حالت noindex, follow قرار دهید.
اولین گام در خارج کردن صفحه ای از ایندکس گوگل، اضافه کردن robot meta tag و تنظیم آن است لذا سایت شما فرمان بازدید خزنده و دنبال کردن هر لینکی در آن صفحه را صادر می کند نه ایندکس کردن آن.
tag شبیه این است و باید در بخش < head >
صفحه قرار گیرد:
<"meta name="robots" content="noindex, follow>
در تئوری کار، حالت پیشفرض خزنده جستجوگر، تحت هر شرایطی باید بصورت دنبال کردن تمامی لینک ها باشد، اما من معمولاً جهت اطمینان “follow” را اضافه می کنم. این یعنی به احتمال بسیار زیاد بود و نبود follow زمانی که تصمیم ما فالو کردن لینک های صفحه است، مهم نیست. اما همانطور که از نکات سئو سایت می دانید، برای عدم خزش ربات گوگل در لینک های صفحه حتما باید از nofollow استفاده کرد.
من noindex tag را صفحات آرشیو سایتم قرار داده ام (غیر از صفحه ی اول). بنابراین به عنوان مثال، اگر ما نگاهی به سورس برای بررسی سئو صفحه 50 بیاندازیم در خط 9 تگ موردنظر را می بینیم:
جستجوی سریع (cache:https://www.newseo.ir/page/50) تایید می کند که گوگل مطابق با درخواست شما صفحه را ایندکس نکرده است. اینجا درخواست شما برای ایندکس نکردن و به دنبال آن، حذف صفحه از گوگل انجام خواهد شد.
اضافه کردن تگ روبوت بایستی نخستین گام شما باشد، اما صفحه از ایندکس خارج نمی شود تا زمانیکه مجددا بازبینی شود. بنابراین چگونه می توان فرآیند را تسریع نمود؟
گام دوم: تسریع کردن فرآیند با استفاده از ابزار وبمستر برای خارج ساختن دایرکتوری
اگر زمان دارید می توانید از ابزار گوگل سرچ کنسول استفاده کنید و آدرس به آدرس چک کنید و فرآیند خارج سازی را تسریع کنید. قطعا تا زمانی که انجام این کار راحت است باید هر دایرکتوری که مدنظر است را بررسی نمایید.
به عنوان مثال بهتر است هرچیزی را با یک درخواست در مسیر زیر حذف کنید.
yourdomain.com/search/
آموزش حذف صفحات از گوگل (صفحات ایندکس شده از سرچ کنسول گوگل)
1- وارد ابزار google search console شوید و وارد مسیر زیر شوید:
indexing > Removals
2- بعد از کلیک بر روی این لینک باید روی کلید زیر کلیک کنید:
3- حالا با تصویر زیر مواجه می شوید که باید یکی از دو انتخاب را بر اساس نکاتی که در ادامه این نکته از سئو آمده است، انتخاب کنید:
به صورت ساده تر، برای حذف صفحات از گوگل باید از Remove this URL only استفاده کنید و اگر می خواهید یک دسته یا یک آدرس با یک مشخصه خاص را به صورت کامل از نتایج گوگل حذف کنید (با تمام صفحات زیر مجموعه آن) باید از Remove all URLS with this prefix استفاده نمایید.
بعد از انجام دادن این مراحل گوگل هرچیزی در این مسیر را از ایندکس خود خارج می کند.
در پادکست آموزشی پایین نکات بسیار مهمی در مورد مراحل حذف صفحات از سایت و سرچ کنسول گفتم و تاکید زیادی هم روی استفاده به موقع از ریدایرکت 410 کردم:
پادکست آموزشی بالا حاوی نکات بسیار مهمی در مورد این مقاله است. حتما گوش کنید.تگ روبوت در مرحله اول مطمئن می شود که چیزی ایندکس نشده است اما محض اطمینان …
نکات ریدایرکت 410
در رابطه با استفاده از ریدایرکت 410 نکاتی هست که باید قبل از انجام آن، بدانید:
استفاده صحیح از ریدایرکت 410
ریدایرکت 410 باید در شرایط خاصی استفاده شود. در این قسمت چند مورد از شرایطی که نیاز به استفاده از ریدایرکت 410 دارند ذکر شده است:
- حذف دائمی یک صفحه یا محتوا
- تغییر دامنه وب سایت
- تغییر ساختار آدرس در وب سایت
- حذف یک محصول از فروشگاه اینترنتی
- مسدود کردن دسترسی به یک صفحه
- شناسایی صفحاتی که نیاز به ریدایرکت 410 دارند
به طور کلی، هر صفحه ای که دیگر در دسترس نیست و نباید در نتایج جستجو نمایش داده شود، نیاز به ریدایرکت 410 دارد.
انجام ریدایرکت 410 با htaccess
برای انجام ریدایرکت 410 با htaccess، باید کد زیر را به فایل htaccess خود اضافه کنید:
Redirect 410 /old-url
در این کد، old-url آدرس صفحه ای است که می خواهید ریدایرکت شود و new-url آدرس صفحه ای است که می خواهید کاربر به آن هدایت شود.
اگر می خواهید صفحه ای را برای همیشه از نتایج گوگل حذف کنید و به هیچ صفحه ای هم ریدارکت نکنید، می توانید از این نمونه کد استفاده شده توسط نیوسئو کمک بگیرید:
Redirect gone /download-sitemap.xml
برای اینکه تست کنید، آدرس زیر را در مرورگر باز کنید تا ببینید با چه پیامی مواجه می شوید:
https://www.newseo.ir/download-sitemap.xml
پس از اضافه کردن این کد، باید فایل htaccess خود را ذخیره کنید.
گام سوم: بلاک کردن دایرکتوری در robots.txt
مهم: تا زمانیکه صفحه کاملا از ایندکس خارج نشده است این مرحله را انجام ندهید. می توانید مجدداً از عبارت site:… در جستجوی گوگل استفاده کنید تا مطمئن شوید تمامی مطالب خارج شده اند.
site:yourdomain.com/search
زمانیکه مطلب خارج شد، می توانید از robots.txt استفاده کنید تا در آینده جلوی خزش و ایندکس هر چیزی در دایرکتوری مدنظر را بگیرید.
بنابراین برای بلاک کردن مسیر yourdomain/search بایستی این دستورات را در فایل robots.txt دنبال کنید:
User-agent: *
Disallow: /search/
پیشنهاد می کنم سری هم به فایل robots.txt نیوسئو بزنید. نکات سئو و مطالب مهمی را یاد می گیرید.
User-agent به این معنی است که دستورالعمل برای تمامی روبوت ها (اسپایدرها) می باشد و Disallow به این معنی است که روبوت نباید هیچ مطلبی را در این دایرکتوری جستجو کند.
درضمن شما می توانید از طریق همین سرچ کنسول گوگل، صفحاتی از سایتتان را که توسط robots.txt درخواست عدم ایندکسشان را دادید، ببینید:
و این آن چیزی است که می خواهید!
خب این آموزش سئو رایگان، دستورالعملی بود دقیقا برعکس مقاله آموزش افزایش رتبه گوگل. سخت که نبود؟
با بیرون آمدن نسخه 4.0 پاندا اهمیت انجام این فرآیند و خارج ساختن صفحات اضافی از ایندکس گوگل، بیشتر به چشم می آید.
هر سوالی دارید فقط کافیست در پایین همین مقاله از من بپرسید. با دل و جان پاسخگو هستم.
یا اینکه باعث حذف ایندکس ها میشن؟ ممنون از شما.