آموزش مهم خارج کردن صفحات از گوگل

آموزش robot.txt,آموزش استفاده از Remove URLs,آموزش حذف صفحات از گوگل حتما در کانال تلگرام نیوسئو عضو شوید (در کانال محتوایی هست که در سایت نیست!)
لطفا به این مطلب رای دهید
[رای ها : 16 امتیاز : 4]

می پردازیم به یکی دیگر از مباحث مهم آموزش سئو :

پرسش چگونگی خارج کردن صفحات از ایندکس گوگل دوبار طی چند روز گذشته توسط مشتریان سئو مطرح شده است.

این فرایند بسیار واضح است اما اغلب یک مورد ساده باعث سردرگمی می شود. در اینجا نحوه انجام صحیح اینکار (خصوصاً اطمینان حاصل کردن از اینکه صفحات کاملاً حذف شده اند و دیگر برنمیگردند) آمده است.

اما ابتدا…

چرا می خواهید صفحات خود را از ایندکس گوگل خارج کنید؟

اساساً اگر الگوریتم پاندای گوگل مقدار بسیاری صفحه مشابه یا مطلب جزئی و کوچک در سایت شما ثبت کرده است، امکان بروز مشکل وجود دارد.

بدون در نظر داشتن پاندا، اگر صفحه ای خیلی کم کیفیت باشد، ایندکس نمی شود یا در رنک قرار نمیگیرد، اما با وجود پاندا مقدار زیادی مطلب و صفحه کوچک باعث می شود که تمام سایت شما مورد مجازات قرار گیرد و رنک خود را از دست بدهد.

نمی خواهم در این مقاله زیاد وارد جزئیات شوم که چه چیزی باعث ایجاد مطالب سطح پایین و کم کیفیت می شود ، اما اجالتاً تعدادی مثال از مطالبی که باید به دنبالشان باشید آورده ام:

  • صفحات جستجو
  • اضافه کردن صفحات مرور
  • صفحات رده بندی محصولات
  • صفحات آرشیو مطالب

صادقانه از خودتان بپرسید “آیا این صفحه لیاقت ایندکس شدن در گوگل و کسب رنک را دارد؟”

اگر پاسختان منفی است، آن صفحه را از ایندکس خارج کنید.

مختصر و مفید به این معنی است که سایتی با 100 صفحه با کیفیت ، خیلی ارزشمندتر است (و این کار بصورت سیستماتیک باعث افزایش ترافیک جستجو شما می شود) نسبت به 10000 صفحه که پر از چرت و پرت است.

سایت خود را برای یافتن مطالب سبک و کم کیفیت جستجو کنید

خیلی خوب است که بدانیم گوگل در حال حاضر چه چیزی را در سایت ما ایندکس کرده است.

می توانید اینکار را با تایپ کردن این عبارت در صفحه جستجوی گوگل انجام دهید:

site:www.yoursite.com

اگر به عنوان مثال سایت newseo را جستجو کنم گوگل به من می گوید که در حال حاضر این سایت 305 صفحه ایندکس شده دارد!

آموزش robot.txt,آموزش استفاده از Remove URLs,آموزش حذف صفحات از گوگل

  • در حال حاضر 43 مطلب منتشر شده در این سایت وجود دارد بنابراین با صفحات دسته بندی و غیره تقریبا عدد 305 درست است.
  • اگر عدد 100 باشد، من احتمالا علاقه مند می شدم که بررسی کنم چه صفحاتی ایندکس شده است.
  • اگر عدد 2000 باشد، قطعا بایستی نگاه دقیقی به مطالب ایندکس شده بیاندازم.(چراکه برایم عجیب خواهد شود که چرا این همه لینک از سایت من ایجاد شده است)

البته سایت من سایتی کوچک است (بر اساس تعداد صفحات!)، بنابراین اگر شما صاحب سایت بزرگتری هستید، زمان بیشتری نیاز دارید که بررسی کنید چه چیزهایی ایندکس شده است و چه چیزهایی نیاز است که حذف شود! اما مطمئن باشید که زمانی که می گذارید ارزش دارد.

خب حال به اینجا می رسیم که مطالب حذفی را شناسایی کرده‌اید، چگونه آن ها را حذف می کنید؟

من فقط صفحات را در robot.txt بلاک می کنم آیا اینکار درست است؟

این کار اشتباهی است که بسیاری از افراد انجام می دهند.

بلاک کردن یک پوشه (مانند /search/ ) در robot.txt بخشی از کار (که بعدا به آن خواهم پرداخت) است اما درواقع نه تنها اولین گام نیست بلکه آخرین گام است.

بلاک کردن روبوت ها از دیدن پوشه های اصلی فقط به این معناست که آنها نمی توانند صفحه را بازبینی کنند (اینکار به آنها نمی گوید که صفحه موردنظر را حذف کن) و ممکن است به خوبی آدرس های سبک، منقضی، قدیمی را دور از دسترس ایندکس قرار دهید (و سایت خودتان را پایین بکشید).

پس اولین گام چیست؟

خروج صفحه، گام نخست: robot meta tag را در حالت noindex, follow قرار دهید.

اولین گام در خارج ساختن صفحه ای از ایندکس گوگل، اضافه کردن robot meta tag و تنظیم آن است لذا سایت شما فرمان بازدید عنکبوتی و دنبال کردن هر لینکی در آن صفحه را صادر می کند نه ایندکس کردن آن.

tag شبیه این است و باید در بخش <head> صفحه قرار گیرد:

<“meta name=”robots” content=”noindex, follow>

در تئوری کار، حالت پیشفرض عنکبوت جستجوگر تحت هر شرایطی باید بصورت دنبال کردن تمامی لینک ها باشد، اما من معمولاً جهت اطمینان “follow” را اضافه می کنم.

من noindex tag را صفحات آرشیو سایتم قرار داده ام (غیر از صفحه‌ی اول). بنابراین به عنوان مثال، اگر ما نگاهی به سورس برای بررسی سئو‌ی صفحه 2 بیاندازیم در خط 18 تگ موردنظر را می بینیم:

آموزش سئو,تگ follow چیست,تگ noindex چیست

جستجوی سریع (cache:http://www.newseo.ir/page/2) تایید می کند که گوگل مطابق با درخواست شما صفحه را ایندکس نکرده است.

جلوگیری از ایندکس شدن در گوگل

اضافه کردن تگ روبوت بایستی نخستین گام شما باشد، اما صفحه از ایندکس خارج نمی شود تا زمانیکه مجددا بازبینی شود. بنابراین چگونه می توان فرآیند را تسریع نمود؟

خارج سازی صفحه، گام دوم: تسریع کردن فرآیند با استفاده از ابزار وبمستر برای خارج ساختن دایرکتوری

اگر زمان دارید می توانید از ابزار وبمستر استفاده کنید و آدرس به آدرس چک کنید و فرآیند خارج‌سازی را تسریع کنید. قطعا تا زمانی که انجام کار راحت است باید هر دایرکتوری که مدنظر است (خصوصا شامل مطالب تکراری/سبک) را برطرف نمایید.

به عنوان مثال می توانید هرچیزی را با یک درخواست در مسیر زیر حذف کنید.

yourdomain.com/search/

روش کار در اینجا آمده است:

  1. وارد ابزار وبمستر شوید و روی عبارت مسیر زیر کنید.

Google Index > Remove URLs > Create A New Removal Request

  1. بعد از کلیک بر روی این کلید آدرس دایرکتوری مورد نظر را وارد نمایید. مانند: yourdomain.com/search و سپس روی continue کلیک نمایید.
  2. Remove Directory را از باکس کشویی انتخاب نمایید و سپس روی Submit Request کلیک کنید.

آموزش robot.txt,آموزش استفاده از Remove URLs,آموزش حذف صفحات از گوگل

بعد از انجام دادن این مراحل گوگل هرچیزی در این مسیر را از ایندکس خود خارج می کند.

برای خارج ساختن صفحه ای خاص فقط کافیست روی آدرس کلیک کنید وfrom search results and cacheRemove page را انتخاب نمایید.

تگ روبوت در مرحله اول مطمئن می شود که چیزی ایندکس نشده است اما محض اطمینان …

خارج سازی صفحه، گام سوم: بلاک کردن دایرکتوری در robot.txt

مهم: تا زمانیکه صفحه کاملا از ایندکس خارج نشده است این مرحله را انجام ندهید. می توانید مجدداً از عبارت site:… در جستجوی گوگل استفاده کنید تا مطمئن شوید تمامی مطالب خارج شده اند.

site:yourdomain.com/search

زمانیکه مطلب خارج شد، می توانید از robot.txt استفاده کنید تا در آینده جلوی جستجوی هرچیزی در دایرکتوری مدنظر را بگیرید.

بنابراین برای بلاک کردن مسیر yourdomain/search بایستی این دستورات را در فایل robot.txt دنبال کنید:

 

User-agent: *

Disallow: /search/

User-agent به این معنی است که دستورالعمل برای تمامی روبوت‌ها (اسپایدرها) می باشد و ِ Disallow به این معنی است که روبوت نباید هیچ مطلبی را در این دایرکتوری جستجو کند.

شما می توانید از ابزار آدرس های بلاک شده در ابزار وبمستر گوگل استفاده کنید (Crawl > Blocked URLs) تا مطمئن شوید که دستور مورد نظر بدرستی کار می کند.

و این آن چیزی است که می خواهید!

خب این مطلب دستورالعملی بود برای فرآیند خارج سازی صفحات از ایندکس گوگل و اطمینان از پایدار بودن آن. سخت که نبود؟

با بیرون آمدن نسخه 4.0 پاندا اهمیت انجام این فرآیند و خارج ساختن صفحات اضافی از ایندکس گوگل، بیشتر به چشم می آید.

هر سوالی دارید فقط کافیست نظر خود را در زیر همین پست بگذارید یا از طریق ایمیل و موبایل با بنده در ارتباط باشید.

من لحظه به لحظه با شما هستم …


26 نظر در مورد مقاله “ آموزش مهم خارج کردن صفحات از گوگل
  1. علی نورهانی :

    واقعا ممنونم.از اینکه این همه زمان می گذارید و به صورت رایگان مقالات ارزشمندی به کاربران ارائه میکنید سپاسگذارم


  2. علی وکیلی :

    lotfan hameye ghesmate webmastertools ro bezarid na faghat yekisho


  3. مهران :

    سلام خسته نباشین
    من از این متا تگ ها تو قالبم استفاده کردم به نظر شما این متاتگ ها میتونن سرعت ایندکس صفحات رو بالا ببرن

    یا اینکه باعث حذف ایندکس ها میشن؟
    ممنون از شما.


    • امیر قمصری :

      با سلام.متافسانه متا تگ های شما ارسال نشده است ولی به صورت کلی متا تگ ها تاثیر چشمگیری در سرعت ایندکس شدن ندارند و اصلا باعث حذف ایندکس ها نمی شوند


  4. Mj :

    خیلی سخته مطالب با ارزشی مثل این رو به راحتی در اختیار کاربران گذاشت ؟
    من یه مطلب داخل سایتم دارم که داخل 1 ساعت 10 هزار تا بازدید داشت!
    و مشکلی که پیش اومده این مطلب فیلتر شده و اگر آدرس رو مستقیما وارد کنید فیلتر هست و اگر به سایتم برید و روی اون کلیک کنید فیلتر نیست مربوط به پروتکل میشه. بگذریم
    آیا این مطلب که فیلتر شده و هنوزم بازدید داره رو باید از ایندکس گوگل حذف کنم ؟ بهترین کار چیه ؟
    ممنون


    • امیر قمصری :

      خیر نباید حذف کنید.باید لینک جدیدش را به گوگل معرفی کنید که از طریق fetch as google امکان پذیر است


  5. سید احمد قاسمی :

    با سلام من بیش از 350 مطلب ارسالی دارم اما وقتی سایتم رو چم می کنم فقط یک صفحه ایندکش شده دارم مشکل از کجا میتونه باشه


    • امیر قمصری :

      با سلام
      مشکل از خیلی جاها می تونه باشه !!
      اگر به داشتن سورس سئو شده مطمئن هستید چند بک لینک قوی بسازید و از fetch as google چند روز مدام استفاده کنید


  6. سید احمد قاسمی :

    سلام مشکل حل شد
    من مطالب سایتم بدون www ایندکس شدن وبنده به اشتباه با wwwدر گوگل سرچ کردم ممنون از پاسختون


    • امیر قمصری :

      مطالب سایتتون را باید به www ارجاع دهید.این نکته از سوی خود گوگل اعلام شده و 100% باید انجام شود.موفق باشید


  7. Mj :

    در آخر که کار به اتمام رسید نباید تگ robot meta tag رو برداریم ؟
    و بعد از خارج سازی بهتر است خود مطلب رو هم از سایت حذف کنیم یا خیر ؟


    • امیر قمصری :

      درست متوجه سوال شما نشدم


  8. Mj :

    منظورم اینکه در گاه نخست که robot meta tag را در حالت noindex, follow قرار دادیم، بعد از اتمام کار نباید این تگ رو حذف کنیم ؟


    • امیر قمصری :

      با سلام.چرا


  9. علی :

    با سلام و خسته نباشید من یه مشکلی خوردم تو سرچ گوگل لینک سایتم همراه با عنوان تگ میاد نمیدونم چطوری این مشکل رو حل کنم و برای بعضی پست هام اینطوری هست
    به عنوان مثل نمایش
    خواهش میکنم کمکم کنید که این مورد تو سرچ گوگل برام رفع بشه خیلی درگیرم کرده مچکرم


    • امیر قمصری :

      با سلام

      مشکلتون رو متوجه نشدم


  10. ayub :

    با سلام و خسته نباشید واقعا ممنون از مطالب مفید و کاربردی سایتتون، موفق باشید


  11. اشکان وفایی :

    با سلام ..
    بنده در گوگل وب مستر خطاهای 404 , soft 404 زیای رو داشتم که قریب به اتفاق اونها مربوط به پوسته هائی بود که استفاده کرده بودم و توی سایت مونده بودند و وقتی متوجه این مسئله شدم از قسمت Remove URLs یک به یک نسبت حذف این آدرسها اقدام کردم و البته بخاطر اینکه در مقطعی هم پیوند یکتا رو عوض کرده بودم مواجه با خطاهای 404 شده بودم که اونها رو هم فیکس کرده و از Remove URLs حذف کردمشون …متاسفانه دیروز که این کار رو کردم شبش متوجه شدم که سایتم کلا از گوگل حذف شده و این پیغام رو دریافت کردم از گوگل وب مستر Some important page has been removed by request…..سریعا اقدام به reinclude کردم و تعدادی از صفحاتی که به نظرم اساسی میومدن و حذفشون کرده بودم رو reinclude کردم و البته از طریق قسمت Fetch as Google پستهائی که از اول در سایتم داشتم رو ادرسهاشون رو ایندکس کردم تا شاید حل بشه ولی تا این لحظه که شرایط به وضع سابق برنگشته و همچنان در گوگل حضور ندارم…لطفا راهنمائی بفرمائید : آیا اساسا امکانش هست که دوباره سایتم اینکس بشه؟ آیا راهی که رفتم کافی و وافی بوده ؟به نظرتون میتونم به گوگل ایمیل بزنم و مشکل رو مطرح کنم؟برام خیلی حیاتی هستش لطفا در این زمینه کمکم کنید ..ممنونم دوست بزرگوار


  12. milad :

    سلام خسته نباشید
    من دوهفته پیش بک وبسایت ساختم و آن را در گوگل وبمستر ثبتش کردم و بعد از بک هفته به دلیلی سایت را به کلی پاک کردم و از گوگل وبمستر هم حذفش کردم و سایت را از اول با دامنه ی قبلی ساختم و دوباره درگوگل وبمستر ثبتش کردم ولی حالا می بینم که وقتی در نتایج جستوجو گوگل دامنه ام را می نویسم صفحه ی اصلی سایتم 2تا شده اند وقت توضیح شان فرق می کند هر 2تا هم آدرسشان یکی هستش لطفا در این مورد راهنمایم کنید که چطور بکی از این صفحات ایندکس شده را پاک کنم.


    • امیر قمصری :

      با سلام
      چند وقتی صبر کنید

      درست می شود


  13. milad :

    با سلام ممنون از کمکتان.


  14. madadkarnews :

    بی نهایت تشکر
    بسیار مفید بود


  15. ati :

    سلام
    من هرکاری میکنم ارورهای 404 سایتم رفع نمیشه! چه با راه حل شما، چه با fetch as google … کلی هم براش گشتم راه حل اصلی شو پیدا کنم و کلی راه امتحان کردم ولی نشد…
    خواهش میکنم کمکم کنید


  16. ati :

    ارور های من با این راه حل حذف میشه ولی بعد از چند روز دقیقا همون ارورهایی ک رفع کردم برمیگردن… تو خود وبمستر هم گفته به طور موقت حذف میشه…صفحاتش هم وجود ندارن دیگه..ن توی سایت ن توی سایت مپ…لطفا ی راه حل درست ب من بگین
    تشکر از مطالب مفیدتون


  17. sima :

    واقعا مفید وکاربردی بود متشکرم


  18. diamond :

    مهم و قابل توجه بود ممون از اینکه وقت می زارین.


پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *