آموزش مهم خارج کردن صفحات از گوگل

remove-pages-google

می پردازیم به یکی دیگر از مباحث مهم آموزش سئو :

پرسش چگونگی خارج کردن صفحات از ایندکس گوگل دوبار طی چند روز گذشته توسط مشتریان سئو مطرح شده است.

این فرایند بسیار واضح است اما اغلب یک مورد ساده باعث سردرگمی می شود. در اینجا نحوه انجام صحیح اینکار (خصوصاً اطمینان حاصل کردن از اینکه صفحات کاملاً حذف شده اند و دیگر برنمیگردند) آمده است.

اما ابتدا…

چرا می خواهید صفحات خود را از ایندکس گوگل خارج کنید؟

اساساً اگر الگوریتم پاندای گوگل مقدار بسیاری صفحه مشابه یا مطلب جزئی و کوچک در سایت شما ثبت کرده است، امکان بروز مشکل وجود دارد.

بدون در نظر داشتن پاندا، اگر صفحه ای خیلی کم کیفیت باشد، ایندکس نمی شود یا در رنک قرار نمیگیرد، اما با وجود پاندا مقدار زیادی مطلب و صفحه کوچک باعث می شود که تمام سایت شما مورد مجازات قرار گیرد و رنک خود را از دست بدهد.

نمی خواهم در این مقاله زیاد وارد جزئیات شوم که چه چیزی باعث ایجاد مطالب سطح پایین و کم کیفیت می شود ، اما اجالتاً تعدادی مثال از مطالبی که باید به دنبالشان باشید آورده ام:

  • صفحات جستجو
  • اضافه کردن صفحات مرور
  • صفحات رده بندی محصولات
  • صفحات آرشیو مطالب

صادقانه از خودتان بپرسید “آیا این صفحه لیاقت ایندکس شدن در گوگل و کسب رنک را دارد؟”

اگر پاسختان منفی است، آن صفحه را از ایندکس خارج کنید.

مختصر و مفید به این معنی است که سایتی با 100 صفحه با کیفیت ، خیلی ارزشمندتر است (و این کار بصورت سیستماتیک باعث افزایش ترافیک جستجو شما می شود) نسبت به 10000 صفحه که پر از چرت و پرت است.

سایت خود را برای یافتن مطالب سبک و کم کیفیت جستجو کنید

خیلی خوب است که بدانیم گوگل در حال حاضر چه چیزی را در سایت ما ایندکس کرده است.

می توانید اینکار را با تایپ کردن این عبارت در صفحه جستجوی گوگل انجام دهید:

site:www.yoursite.com

اگر به عنوان مثال سایت newseo را جستجو کنم گوگل به من می گوید که در حال حاضر این سایت 305 صفحه ایندکس شده دارد!

newseo-stat

  • در حال حاضر 43 مطلب منتشر شده در این سایت وجود دارد بنابراین با صفحات دسته بندی و غیره تقریبا عدد 305 درست است.
  • اگر عدد 100 باشد، من احتمالا علاقه مند می شدم که بررسی کنم چه صفحاتی ایندکس شده است.
  • اگر عدد 2000 باشد، قطعا بایستی نگاه دقیقی به مطالب ایندکس شده بیاندازم.(چراکه برایم عجیب خواهد شود که چرا این همه لینک از سایت من ایجاد شده است)

البته سایت من سایتی کوچک است (بر اساس تعداد صفحات!)، بنابراین اگر شما صاحب سایت بزرگتری هستید، زمان بیشتری نیاز دارید که بررسی کنید چه چیزهایی ایندکس شده است و چه چیزهایی نیاز است که حذف شود! اما مطمئن باشید که زمانی که می گذارید ارزش دارد.

خب حال به اینجا می رسیم که مطالب حذفی را شناسایی کرده‌اید، چگونه آن ها را حذف می کنید؟

من فقط صفحات را در robot.txt بلاک می کنم آیا اینکار درست است؟

این کار اشتباهی است که بسیاری از افراد انجام می دهند.

بلاک کردن یک پوشه (مانند /search/ ) در robot.txt بخشی از کار (که بعدا به آن خواهم پرداخت) است اما درواقع نه تنها اولین گام نیست بلکه آخرین گام است.

بلاک کردن روبوت ها از دیدن پوشه های اصلی فقط به این معناست که آنها نمی توانند صفحه را بازبینی کنند (اینکار به آنها نمی گوید که صفحه موردنظر را حذف کن) و ممکن است به خوبی آدرس های سبک، منقضی، قدیمی را دور از دسترس ایندکس قرار دهید (و سایت خودتان را پایین بکشید).

پس اولین گام چیست؟

خروج صفحه، گام نخست: robot meta tag را در حالت noindex, follow قرار دهید.

اولین گام در خارج ساختن صفحه ای از ایندکس گوگل، اضافه کردن robot meta tag و تنظیم آن است لذا سایت شما فرمان بازدید عنکبوتی و دنبال کردن هر لینکی در آن صفحه را صادر می کند نه ایندکس کردن آن.

tag شبیه این است و باید در بخش صفحه قرار گیرد:

<“meta name=”robots” content=”noindex, follow>

در تئوری کار، حالت پیشفرض عنکبوت جستجوگر تحت هر شرایطی باید بصورت دنبال کردن تمامی لینک ها باشد، اما من معمولاً جهت اطمینان “follow” را اضافه می کنم.

من noindex tag را صفحات آرشیو سایتم قرار داده ام (غیر از صفحه‌ی اول). بنابراین به عنوان مثال، اگر ما نگاهی به سورس برای بررسی سئو‌ی صفحه 2 بیاندازیم در خط 18 تگ موردنظر را می بینیم:

noindex

جستجوی سریع (cache:https://www.newseo.ir/page/2) تایید می کند که گوگل مطابق با درخواست شما صفحه را ایندکس نکرده است.

google404

اضافه کردن تگ روبوت بایستی نخستین گام شما باشد، اما صفحه از ایندکس خارج نمی شود تا زمانیکه مجددا بازبینی شود. بنابراین چگونه می توان فرآیند را تسریع نمود؟

خارج سازی صفحه، گام دوم: تسریع کردن فرآیند با استفاده از ابزار وبمستر برای خارج ساختن دایرکتوری

اگر زمان دارید می توانید از ابزار وبمستر استفاده کنید و آدرس به آدرس چک کنید و فرآیند خارج‌سازی را تسریع کنید. قطعا تا زمانی که انجام کار راحت است باید هر دایرکتوری که مدنظر است (خصوصا شامل مطالب تکراری/سبک) را برطرف نمایید.

به عنوان مثال می توانید هرچیزی را با یک درخواست در مسیر زیر حذف کنید.

yourdomain.com/search/

روش کار در اینجا آمده است:

  1. وارد ابزار وبمستر شوید و روی عبارت مسیر زیر کنید.

Google Index > Remove URLs > Create A New Removal Request

  1. بعد از کلیک بر روی این کلید آدرس دایرکتوری مورد نظر را وارد نمایید. مانند: yourdomain.com/search و سپس روی continue کلیک نمایید.
  2. Remove Directory را از باکس کشویی انتخاب نمایید و سپس روی Submit Request کلیک کنید.

removeurls

بعد از انجام دادن این مراحل گوگل هرچیزی در این مسیر را از ایندکس خود خارج می کند.

برای خارج ساختن صفحه ای خاص فقط کافیست روی آدرس کلیک کنید وfrom search results and cacheRemove page را انتخاب نمایید.

تگ روبوت در مرحله اول مطمئن می شود که چیزی ایندکس نشده است اما محض اطمینان …

خارج سازی صفحه، گام سوم: بلاک کردن دایرکتوری در robot.txt

مهم: تا زمانیکه صفحه کاملا از ایندکس خارج نشده است این مرحله را انجام ندهید. می توانید مجدداً از عبارت site:… در جستجوی گوگل استفاده کنید تا مطمئن شوید تمامی مطالب خارج شده اند.

site:yourdomain.com/search

زمانیکه مطلب خارج شد، می توانید از robot.txt استفاده کنید تا در آینده جلوی جستجوی هرچیزی در دایرکتوری مدنظر را بگیرید.

بنابراین برای بلاک کردن مسیر yourdomain/search بایستی این دستورات را در فایل robot.txt دنبال کنید:

 

User-agent: *

Disallow: /search/

User-agent به این معنی است که دستورالعمل برای تمامی روبوت‌ها (اسپایدرها) می باشد و ِ Disallow به این معنی است که روبوت نباید هیچ مطلبی را در این دایرکتوری جستجو کند.

شما می توانید از ابزار آدرس های بلاک شده در ابزار وبمستر گوگل استفاده کنید (Crawl > Blocked URLs) تا مطمئن شوید که دستور مورد نظر بدرستی کار می کند.

و این آن چیزی است که می خواهید!

خب این مطلب دستورالعملی بود برای فرآیند خارج سازی صفحات از ایندکس گوگل و اطمینان از پایدار بودن آن. سخت که نبود؟

با بیرون آمدن نسخه 4.0 پاندا اهمیت انجام این فرآیند و خارج ساختن صفحات اضافی از ایندکس گوگل، بیشتر به چشم می آید.

هر سوالی دارید فقط کافیست نظر خود را در زیر همین پست بگذارید یا از طریق ایمیل و موبایل با بنده در ارتباط باشید.

من لحظه به لحظه با شما هستم …

52 نظر در مورد مقاله “ آموزش مهم خارج کردن صفحات از گوگل ” ثبت شده است
  1. علی نورهانی

    واقعا ممنونم.از اینکه این همه زمان می گذارید و به صورت رایگان مقالات ارزشمندی به کاربران ارائه میکنید سپاسگذارم


  2. علی وکیلی

    lotfan hameye ghesmate webmastertools ro bezarid na faghat yekisho


  3. مهران

    سلام خسته نباشین
    من از این متا تگ ها تو قالبم استفاده کردم به نظر شما این متاتگ ها میتونن سرعت ایندکس صفحات رو بالا ببرن

    یا اینکه باعث حذف ایندکس ها میشن؟
    ممنون از شما.


    • امیر قمصری

      با سلام.متافسانه متا تگ های شما ارسال نشده است ولی به صورت کلی متا تگ ها تاثیر چشمگیری در سرعت ایندکس شدن ندارند و اصلا باعث حذف ایندکس ها نمی شوند


  4. Mj

    خیلی سخته مطالب با ارزشی مثل این رو به راحتی در اختیار کاربران گذاشت ؟
    من یه مطلب داخل سایتم دارم که داخل 1 ساعت 10 هزار تا بازدید داشت!
    و مشکلی که پیش اومده این مطلب فیلتر شده و اگر آدرس رو مستقیما وارد کنید فیلتر هست و اگر به سایتم برید و روی اون کلیک کنید فیلتر نیست مربوط به پروتکل میشه. بگذریم
    آیا این مطلب که فیلتر شده و هنوزم بازدید داره رو باید از ایندکس گوگل حذف کنم ؟ بهترین کار چیه ؟
    ممنون


    • امیر قمصری

      خیر نباید حذف کنید.باید لینک جدیدش را به گوگل معرفی کنید که از طریق fetch as google امکان پذیر است


  5. سید احمد قاسمی

    با سلام من بیش از 350 مطلب ارسالی دارم اما وقتی سایتم رو چم می کنم فقط یک صفحه ایندکش شده دارم مشکل از کجا میتونه باشه


    • امیر قمصری

      با سلام
      مشکل از خیلی جاها می تونه باشه !!
      اگر به داشتن سورس سئو شده مطمئن هستید چند بک لینک قوی بسازید و از fetch as google چند روز مدام استفاده کنید


  6. سید احمد قاسمی

    سلام مشکل حل شد
    من مطالب سایتم بدون www ایندکس شدن وبنده به اشتباه با wwwدر گوگل سرچ کردم ممنون از پاسختون


    • امیر قمصری

      مطالب سایتتون را باید به www ارجاع دهید.این نکته از سوی خود گوگل اعلام شده و 100% باید انجام شود.موفق باشید


  7. Mj

    در آخر که کار به اتمام رسید نباید تگ robot meta tag رو برداریم ؟
    و بعد از خارج سازی بهتر است خود مطلب رو هم از سایت حذف کنیم یا خیر ؟


    • امیر قمصری

      درست متوجه سوال شما نشدم


  8. Mj

    منظورم اینکه در گاه نخست که robot meta tag را در حالت noindex, follow قرار دادیم، بعد از اتمام کار نباید این تگ رو حذف کنیم ؟


    • امیر قمصری

      با سلام.چرا


  9. علی

    با سلام و خسته نباشید من یه مشکلی خوردم تو سرچ گوگل لینک سایتم همراه با عنوان تگ میاد نمیدونم چطوری این مشکل رو حل کنم و برای بعضی پست هام اینطوری هست
    به عنوان مثل نمایش
    خواهش میکنم کمکم کنید که این مورد تو سرچ گوگل برام رفع بشه خیلی درگیرم کرده مچکرم


    • امیر قمصری

      با سلام

      مشکلتون رو متوجه نشدم


  10. ayub

    با سلام و خسته نباشید واقعا ممنون از مطالب مفید و کاربردی سایتتون، موفق باشید


  11. اشکان وفایی

    با سلام ..
    بنده در گوگل وب مستر خطاهای 404 , soft 404 زیای رو داشتم که قریب به اتفاق اونها مربوط به پوسته هائی بود که استفاده کرده بودم و توی سایت مونده بودند و وقتی متوجه این مسئله شدم از قسمت Remove URLs یک به یک نسبت حذف این آدرسها اقدام کردم و البته بخاطر اینکه در مقطعی هم پیوند یکتا رو عوض کرده بودم مواجه با خطاهای 404 شده بودم که اونها رو هم فیکس کرده و از Remove URLs حذف کردمشون …متاسفانه دیروز که این کار رو کردم شبش متوجه شدم که سایتم کلا از گوگل حذف شده و این پیغام رو دریافت کردم از گوگل وب مستر Some important page has been removed by request…..سریعا اقدام به reinclude کردم و تعدادی از صفحاتی که به نظرم اساسی میومدن و حذفشون کرده بودم رو reinclude کردم و البته از طریق قسمت Fetch as Google پستهائی که از اول در سایتم داشتم رو ادرسهاشون رو ایندکس کردم تا شاید حل بشه ولی تا این لحظه که شرایط به وضع سابق برنگشته و همچنان در گوگل حضور ندارم…لطفا راهنمائی بفرمائید : آیا اساسا امکانش هست که دوباره سایتم اینکس بشه؟ آیا راهی که رفتم کافی و وافی بوده ؟به نظرتون میتونم به گوگل ایمیل بزنم و مشکل رو مطرح کنم؟برام خیلی حیاتی هستش لطفا در این زمینه کمکم کنید ..ممنونم دوست بزرگوار


  12. milad

    سلام خسته نباشید
    من دوهفته پیش بک وبسایت ساختم و آن را در گوگل وبمستر ثبتش کردم و بعد از بک هفته به دلیلی سایت را به کلی پاک کردم و از گوگل وبمستر هم حذفش کردم و سایت را از اول با دامنه ی قبلی ساختم و دوباره درگوگل وبمستر ثبتش کردم ولی حالا می بینم که وقتی در نتایج جستوجو گوگل دامنه ام را می نویسم صفحه ی اصلی سایتم 2تا شده اند وقت توضیح شان فرق می کند هر 2تا هم آدرسشان یکی هستش لطفا در این مورد راهنمایم کنید که چطور بکی از این صفحات ایندکس شده را پاک کنم.


    • امیر قمصری

      با سلام
      چند وقتی صبر کنید

      درست می شود


  13. milad

    با سلام ممنون از کمکتان.


  14. madadkarnews

    بی نهایت تشکر
    بسیار مفید بود


  15. ati

    سلام
    من هرکاری میکنم ارورهای 404 سایتم رفع نمیشه! چه با راه حل شما، چه با fetch as google … کلی هم براش گشتم راه حل اصلی شو پیدا کنم و کلی راه امتحان کردم ولی نشد…
    خواهش میکنم کمکم کنید


  16. ati

    ارور های من با این راه حل حذف میشه ولی بعد از چند روز دقیقا همون ارورهایی ک رفع کردم برمیگردن… تو خود وبمستر هم گفته به طور موقت حذف میشه…صفحاتش هم وجود ندارن دیگه..ن توی سایت ن توی سایت مپ…لطفا ی راه حل درست ب من بگین
    تشکر از مطالب مفیدتون


  17. sima

    واقعا مفید وکاربردی بود متشکرم


  18. diamond

    مهم و قابل توجه بود ممون از اینکه وقت می زارین.


  19. مهران

    آموزش عالی و مفیدی بود.
    متشکرم


  20. s.d

    سلام یک سوال داشتم
    زمانی که یک صفحه رو ریدایرکت می کنیم باید آدرس قبلی رو به این شکل از ایندکس خارج کنیم یا نه؟


    • امیر قمصری

      درود بر شما
      ریدایرکت 301 خودش سبب حذف آدرس قبلی خواهد شد


  21. محمد

    بسیار عالی


  22. امانی

    با سلام
    در مرحله آخر، در مورد بلاک کردن یک دایرکتوری در robot.txt صحبت شده است. این به این معناست که برای یک صفحه خاص نیازی به انجام این مرحله نمی باشد؟
    با تشکر


    • ناظر سایت

      با سلام
      لطفا مقاله را مجدد و با دقت مطالعه نمایید.
      این مورد گام سوم از خارج سازی صفحه است بنابر این منظور همان دایرکتوری است که صفحه شما در آن واقع شده است


  23. حسین

    سلام
    من تو سایتم تگهای بسیار زیادی استفاده کرده بودم تقریبا برای هر پست 20-30 تا تگ میزاشتم
    بعد به این نتیجه رسیدم که بی فایدست و تگهامو خلاصه تر و کلی کردم طوری که هر تگ محتوای به خصوصی رو نشون میده و تگهایی که محتوای تکراری نشون میدادن حذف کردم و الان هر پست حداکثر 10-12 تا تگ داره
    حذف کردن تگهای قبلی باعث به وجود اومدن ارور 404 زیادی در وب مستر تولز شده (تا الان حدود 1900 تا) من باید چیکار کنم الان ؟ از طریق remove url دایرکتوری /tag رو کلا حذف کنم و منتظر بشم مجددا تگها ایندکس بشن یا راه حل دیگه ای هست ؟
    با تشکر


    • امیر قمصری

      درود بر شما
      شما سایت خود را چه کردید ؟!!!
      قبل از انجام این کار اشتباه باید مشاوره می گرفتید !

      حالا هم بهترین کار همین است که گفتید. البته امیدوارم اسپم نشوید …


  24. نگار

    سلام. ممنون بابت این مطلب مهم.
    من میخوام مطالب یک دسته خاص را از ایندکس گوگل خارج کنم چون صفحات بی ارزشی هستن ولی تعداد صفحات زیاده چزی حدود 800 تا!! چجوری میشه این کار رو کرد؟
    سایت من وردپرسی هستش. ممنونم . من این صفحه رو رفرش میکنم تا پاسخ و راهنماییتون رو ببیینم دستتون درد نکنه


    • امیر قمصری

      درود بر شما

      باید از بخش Remove URLs گوگل وبمستر استفاده نمایید.
      پس از ثبت آدرس شاخه از Temporarily hide directory استفاده نمایید.


  25. علی

    سلام و عرض ادب
    سایتم یهو دچار افتی شد
    امکان داره تگ های کم محتوا باعث ایجاد همچین مشکلی بشن؟


    • امیر قمصری

      درود بر شما

      بله


  26. گمنام

    سلام آقای قمصری مطلب مثل همیشه عالی بود.
    چند مدت پیش بخش پرسش و پاسخ را بصورت ساب فولدر در سایتم راه اندازی کردم و به دلایلی پشیمان شدم و این فولدر حذف کردم و بخاطر اینکه حدود 60 مطلب ایندکس شده داشت همه مطالب 60 مطالب الان کد 404 دارند باید چکار کنم که از نظر سئو لطمه ای به سایتم نخورد؟
    آیا باید همه این 60 صفحه را به صفحه اصلی ریدایرکت کنم؟
    با تشکر


    • ناظر سایت

      با سلام
      – صفحات را در Remove URLs وبمسترتولز نیز حذف کنید.
      – خیر


  27. احسان

    سلام
    من نزدیک 200 مطلب دارم که روی سایتم گذاشتم و همه ایندکس شدن…اون سایت من فیلتر شد ولی مطالب برای من خیلی باارزشن…می خوام ببینم میتونم مطالب رو از ایندکس خارج کنم و روی سایت جدید قرار بدم؟گوگل این کارو کپی تشخص نمی ده؟


    • امیر قمصری

      درود

      بله می توانید اما اصولی دارد که حتما باید رعایت شوند


  28. آصف

    سلام شما در مقالات قبلی به این موضوع که مطالب طولانی تر شانس بیشتری نسبت به مطالب کوتاه تر دارند اشاره کردید با توجه به این موضوع بهتر است از مطالب کوتاه و مفید استفاده کنیم یا طولانی ؟


    • محمد نصیری

      سلام آصف عزیز
      تعداد کلمات همانطور که می دانید در کمترین حالت 300 کلمه می باشد و اینکه در نظر داشته باشید طولانی کردن مقاله اگر فقط برای افزایش تعداد کلمات باشد هیچ سودی برای شما ندارد و باید تمرین کنید مقالات اثربخش و با کیفیت تولید کنید تا هم کاربر و گوگل از محتوای شما راضی باشند.


  29. سعید

    با سلام
    ایا استفاده از تگ نو ایندکس برای صفحات ارشیو مناسب هست؟ گوگل تمامی صفحات ارشیو سایتم رو ایندکس میکنه و در وب مستر خطای duplicate describtion دارم. پلاگین یواست سئو نو ایندکس کردن صفحات ارشیو رو حذف کرده به استناد این مقاله:
    https://yoast.com/pagination-seo-best-practices/
    الان بهترین کار برای این نوع صفحات چیه؟ نو ایندکس،تگ کانونیکال؟


    • محمد نصیری

      درود بر شما
      همانطور که در مقاله اشاره شده بهترین تگ برای صفحات آرشیو می باشد که می توانید از افزونه Yoast با ورژن پایینتر استفاده کنید.
      رل canonical در اینجا کاربردی ندارد.حتما از قسمت آموزش سئو سورس سایت اپلیکیشن نیوسئو استفاده کنید تا دچار اشتباهاتی باعث افت وبسایت شما است نشوید.


  30. ریحانه مقدم

    دستور noindex رو دقیقا در چه محلی باید قرار بدیم؟
    با تشکر


    • محمد نصیری

      درود بر شما
      از متا ربات استفاده کنید


  31. remiiiiiiiiiiiiiiiiiiiiiii

    سلام
    من یک سایت روی وردپرس دارم که وقتی site:www.site.com رو سرچ میکنم صفحات ارشیو و تگ و کتگوری رو هم نمایش میده
    برای اینکه این صفحات که توی مطالبتون صفحات زامبی خطابشون کردید ایندکس نشن باید بعد از اینکه تو پلاگین یاست نمایششونو غیر فعال کردیم تک تکشونو توی removal url وارد کنیم ؟؟
    و بعد به فایل robots.txt معرفیشون کنیم ؟؟ 0__0

    پیشاپیش ممنون از پاسخ گوییتون 🙂


    • محمد نصیری

      درود بر شما دوست عزیز
      سوال بسیار کاربردی و مهمی پرسیدید. صفحاتی که از نظر ارزش زیادی ندارند رو باید این اتفاق براشون بیفته که دقیقا به صفحات مهم اشاره کردید به جز صفحات دسته بندی که گوگل بسیار به این صفحات علاقه مند هست.
      روش کار دقیقا به این صورت هست که از افزونه Yoast برای جلوگیری از ایندکس شدن استفاده می کنید و سپس از ابزاری که فرمودید داخل سرچ کنسول از نتایج جستجو پاکشون می کنید و اینکه حتما سایت مپ خودتون رو هم آپدیت کنید تا خطاهای بسیاری رو نداشته باشید.
      و حتما هر پوشه رو به صورت تک تک پاکنید اگر تعداد صفحاتتون بسیار زیاد هست.


  32. سینا

    سلام،
    مطلب خیلی مفیدی بود.
    میشه بفرمایید مسیر زیر تو ابزار سرچ کنسول جدید به چه شکل هست ؟
    Google Index > Remove URLs > Create A New Removal Request
    ارادتمند.


    • مهدی گنجعلی

      درود بر شما. این گونه تغییرات رو در بخش removal می تونید مشاهده و بررسی کنید


دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

پیام شما بلافاصله پس از ثبت برای مدیران سایت ارسال می شود