می پردازیم به یکی دیگر از مباحث مهم آموزش سئو :
پرسش چگونگی خارج کردن صفحات از ایندکس گوگل دوبار طی چند روز گذشته توسط مشتریان سئو مطرح شده است.
این فرایند بسیار واضح است اما اغلب یک مورد ساده باعث سردرگمی می شود. در اینجا نحوه انجام صحیح اینکار (خصوصاً اطمینان حاصل کردن از اینکه صفحات کاملاً حذف شده اند و دیگر برنمیگردند) آمده است.
اما ابتدا…
چرا می خواهید صفحات خود را از ایندکس گوگل خارج کنید؟
اساساً اگر الگوریتم پاندای گوگل مقدار بسیاری صفحه مشابه یا مطلب جزئی و کوچک در سایت شما ثبت کرده است، امکان بروز مشکل وجود دارد.
بدون در نظر داشتن پاندا، اگر صفحه ای خیلی کم کیفیت باشد، ایندکس نمی شود یا در رنک قرار نمیگیرد، اما با وجود پاندا مقدار زیادی مطلب و صفحه کوچک باعث می شود که تمام سایت شما مورد مجازات قرار گیرد و رنک خود را از دست بدهد.
نمی خواهم در این مقاله زیاد وارد جزئیات شوم که چه چیزی باعث ایجاد مطالب سطح پایین و کم کیفیت می شود ، اما اجالتاً تعدادی مثال از مطالبی که باید به دنبالشان باشید آورده ام:
- صفحات جستجو
- اضافه کردن صفحات مرور
- صفحات رده بندی محصولات
- صفحات آرشیو مطالب
صادقانه از خودتان بپرسید “آیا این صفحه لیاقت ایندکس شدن در گوگل و کسب رنک را دارد؟”
اگر پاسختان منفی است، آن صفحه را از ایندکس خارج کنید.
مختصر و مفید به این معنی است که سایتی با 100 صفحه با کیفیت ، خیلی ارزشمندتر است (و این کار بصورت سیستماتیک باعث افزایش ترافیک جستجو شما می شود) نسبت به 10000 صفحه که پر از چرت و پرت است.
سایت خود را برای یافتن مطالب سبک و کم کیفیت جستجو کنید
خیلی خوب است که بدانیم گوگل در حال حاضر چه چیزی را در سایت ما ایندکس کرده است.
می توانید اینکار را با تایپ کردن این عبارت در صفحه جستجوی گوگل انجام دهید:
site:www.yoursite.com
اگر به عنوان مثال سایت newseo را جستجو کنم گوگل به من می گوید که در حال حاضر این سایت 305 صفحه ایندکس شده دارد!
- در حال حاضر 43 مطلب منتشر شده در این سایت وجود دارد بنابراین با صفحات دسته بندی و غیره تقریبا عدد 305 درست است.
- اگر عدد 100 باشد، من احتمالا علاقه مند می شدم که بررسی کنم چه صفحاتی ایندکس شده است.
- اگر عدد 2000 باشد، قطعا بایستی نگاه دقیقی به مطالب ایندکس شده بیاندازم.(چراکه برایم عجیب خواهد شود که چرا این همه لینک از سایت من ایجاد شده است)
البته سایت من سایتی کوچک است (بر اساس تعداد صفحات!)، بنابراین اگر شما صاحب سایت بزرگتری هستید، زمان بیشتری نیاز دارید که بررسی کنید چه چیزهایی ایندکس شده است و چه چیزهایی نیاز است که حذف شود! اما مطمئن باشید که زمانی که می گذارید ارزش دارد.
خب حال به اینجا می رسیم که مطالب حذفی را شناسایی کرده‌اید، چگونه آن ها را حذف می کنید؟
من فقط صفحات را در robot.txt بلاک می کنم آیا اینکار درست است؟
این کار اشتباهی است که بسیاری از افراد انجام می دهند.
بلاک کردن یک پوشه (مانند /search/ ) در robot.txt بخشی از کار (که بعدا به آن خواهم پرداخت) است اما درواقع نه تنها اولین گام نیست بلکه آخرین گام است.
بلاک کردن روبوت ها از دیدن پوشه های اصلی فقط به این معناست که آنها نمی توانند صفحه را بازبینی کنند (اینکار به آنها نمی گوید که صفحه موردنظر را حذف کن) و ممکن است به خوبی آدرس های سبک، منقضی، قدیمی را دور از دسترس ایندکس قرار دهید (و سایت خودتان را پایین بکشید).
پس اولین گام چیست؟
خروج صفحه، گام نخست: robot meta tag را در حالت noindex, follow قرار دهید.
اولین گام در خارج ساختن صفحه ای از ایندکس گوگل، اضافه کردن robot meta tag و تنظیم آن است لذا سایت شما فرمان بازدید عنکبوتی و دنبال کردن هر لینکی در آن صفحه را صادر می کند نه ایندکس کردن آن.
tag شبیه این است و باید در بخش
صفحه قرار گیرد:<“meta name=”robots” content=”noindex, follow>
در تئوری کار، حالت پیشفرض عنکبوت جستجوگر تحت هر شرایطی باید بصورت دنبال کردن تمامی لینک ها باشد، اما من معمولاً جهت اطمینان “follow” را اضافه می کنم.
من noindex tag را صفحات آرشیو سایتم قرار داده ام (غیر از صفحه‌ی اول). بنابراین به عنوان مثال، اگر ما نگاهی به سورس برای بررسی سئو‌ی صفحه 2 بیاندازیم در خط 18 تگ موردنظر را می بینیم:
جستجوی سریع (cache:https://www.newseo.ir/page/2) تایید می کند که گوگل مطابق با درخواست شما صفحه را ایندکس نکرده است.
اضافه کردن تگ روبوت بایستی نخستین گام شما باشد، اما صفحه از ایندکس خارج نمی شود تا زمانیکه مجددا بازبینی شود. بنابراین چگونه می توان فرآیند را تسریع نمود؟
خارج سازی صفحه، گام دوم: تسریع کردن فرآیند با استفاده از ابزار وبمستر برای خارج ساختن دایرکتوری
اگر زمان دارید می توانید از ابزار وبمستر استفاده کنید و آدرس به آدرس چک کنید و فرآیند خارج‌سازی را تسریع کنید. قطعا تا زمانی که انجام کار راحت است باید هر دایرکتوری که مدنظر است (خصوصا شامل مطالب تکراری/سبک) را برطرف نمایید.
به عنوان مثال می توانید هرچیزی را با یک درخواست در مسیر زیر حذف کنید.
yourdomain.com/search/
روش کار در اینجا آمده است:
- وارد ابزار وبمستر شوید و روی عبارت مسیر زیر کنید.
Google Index > Remove URLs > Create A New Removal Request
- بعد از کلیک بر روی این کلید آدرس دایرکتوری مورد نظر را وارد نمایید. مانند: yourdomain.com/search و سپس روی continue کلیک نمایید.
- Remove Directory را از باکس کشویی انتخاب نمایید و سپس روی Submit Request کلیک کنید.
بعد از انجام دادن این مراحل گوگل هرچیزی در این مسیر را از ایندکس خود خارج می کند.
برای خارج ساختن صفحه ای خاص فقط کافیست روی آدرس کلیک کنید وfrom search results and cacheRemove page را انتخاب نمایید.
تگ روبوت در مرحله اول مطمئن می شود که چیزی ایندکس نشده است اما محض اطمینان …
خارج سازی صفحه، گام سوم: بلاک کردن دایرکتوری در robot.txt
مهم: تا زمانیکه صفحه کاملا از ایندکس خارج نشده است این مرحله را انجام ندهید. می توانید مجدداً از عبارت site:… در جستجوی گوگل استفاده کنید تا مطمئن شوید تمامی مطالب خارج شده اند.
site:yourdomain.com/search
زمانیکه مطلب خارج شد، می توانید از robot.txt استفاده کنید تا در آینده جلوی جستجوی هرچیزی در دایرکتوری مدنظر را بگیرید.
بنابراین برای بلاک کردن مسیر yourdomain/search بایستی این دستورات را در فایل robot.txt دنبال کنید:
User-agent: *
Disallow: /search/
User-agent به این معنی است که دستورالعمل برای تمامی روبوت‌ها (اسپایدرها) می باشد و ِ Disallow به این معنی است که روبوت نباید هیچ مطلبی را در این دایرکتوری جستجو کند.
شما می توانید از ابزار آدرس های بلاک شده در ابزار وبمستر گوگل استفاده کنید (Crawl > Blocked URLs) تا مطمئن شوید که دستور مورد نظر بدرستی کار می کند.
و این آن چیزی است که می خواهید!
خب این مطلب دستورالعملی بود برای فرآیند خارج سازی صفحات از ایندکس گوگل و اطمینان از پایدار بودن آن. سخت که نبود؟
با بیرون آمدن نسخه 4.0 پاندا اهمیت انجام این فرآیند و خارج ساختن صفحات اضافی از ایندکس گوگل، بیشتر به چشم می آید.
هر سوالی دارید فقط کافیست نظر خود را در زیر همین پست بگذارید یا از طریق ایمیل و موبایل با بنده در ارتباط باشید.
من لحظه به لحظه با شما هستم …
واقعا ممنونم.از اینکه این همه زمان می گذارید و به صورت رایگان مقالات ارزشمندی به کاربران ارائه میکنید سپاسگذارم
lotfan hameye ghesmate webmastertools ro bezarid na faghat yekisho
سلام خسته نباشین
من از این متا تگ ها تو قالبم استفاده کردم به نظر شما این متاتگ ها میتونن سرعت ایندکس صفحات رو بالا ببرن
یا اینکه باعث حذف ایندکس ها میشن؟
ممنون از شما.
با سلام.متافسانه متا تگ های شما ارسال نشده است ولی به صورت کلی متا تگ ها تاثیر چشمگیری در سرعت ایندکس شدن ندارند و اصلا باعث حذف ایندکس ها نمی شوند
خیلی سخته مطالب با ارزشی مثل این رو به راحتی در اختیار کاربران گذاشت ؟
من یه مطلب داخل سایتم دارم که داخل 1 ساعت 10 هزار تا بازدید داشت!
و مشکلی که پیش اومده این مطلب فیلتر شده و اگر آدرس رو مستقیما وارد کنید فیلتر هست و اگر به سایتم برید و روی اون کلیک کنید فیلتر نیست مربوط به پروتکل میشه. بگذریم
آیا این مطلب که فیلتر شده و هنوزم بازدید داره رو باید از ایندکس گوگل حذف کنم ؟ بهترین کار چیه ؟
ممنون
خیر نباید حذف کنید.باید لینک جدیدش را به گوگل معرفی کنید که از طریق fetch as google امکان پذیر است
با سلام من بیش از 350 مطلب ارسالی دارم اما وقتی سایتم رو چم می کنم فقط یک صفحه ایندکش شده دارم مشکل از کجا میتونه باشه
با سلام
مشکل از خیلی جاها می تونه باشه !!
اگر به داشتن سورس سئو شده مطمئن هستید چند بک لینک قوی بسازید و از fetch as google چند روز مدام استفاده کنید
سلام مشکل حل شد
من مطالب سایتم بدون www ایندکس شدن وبنده به اشتباه با wwwدر گوگل سرچ کردم ممنون از پاسختون
مطالب سایتتون را باید به www ارجاع دهید.این نکته از سوی خود گوگل اعلام شده و 100% باید انجام شود.موفق باشید
در آخر که کار به اتمام رسید نباید تگ robot meta tag رو برداریم ؟
و بعد از خارج سازی بهتر است خود مطلب رو هم از سایت حذف کنیم یا خیر ؟
درست متوجه سوال شما نشدم
منظورم اینکه در گاه نخست که robot meta tag را در حالت noindex, follow قرار دادیم، بعد از اتمام کار نباید این تگ رو حذف کنیم ؟
با سلام.چرا
با سلام و خسته نباشید من یه مشکلی خوردم تو سرچ گوگل لینک سایتم همراه با عنوان تگ میاد نمیدونم چطوری این مشکل رو حل کنم و برای بعضی پست هام اینطوری هست
به عنوان مثل نمایش
خواهش میکنم کمکم کنید که این مورد تو سرچ گوگل برام رفع بشه خیلی درگیرم کرده مچکرم
با سلام
مشکلتون رو متوجه نشدم
با سلام و خسته نباشید واقعا ممنون از مطالب مفید و کاربردی سایتتون، موفق باشید
با سلام ..
بنده در گوگل وب مستر خطاهای 404 , soft 404 زیای رو داشتم که قریب به اتفاق اونها مربوط به پوسته هائی بود که استفاده کرده بودم و توی سایت مونده بودند و وقتی متوجه این مسئله شدم از قسمت Remove URLs یک به یک نسبت حذف این آدرسها اقدام کردم و البته بخاطر اینکه در مقطعی هم پیوند یکتا رو عوض کرده بودم مواجه با خطاهای 404 شده بودم که اونها رو هم فیکس کرده و از Remove URLs حذف کردمشون …متاسفانه دیروز که این کار رو کردم شبش متوجه شدم که سایتم کلا از گوگل حذف شده و این پیغام رو دریافت کردم از گوگل وب مستر Some important page has been removed by request…..سریعا اقدام به reinclude کردم و تعدادی از صفحاتی که به نظرم اساسی میومدن و حذفشون کرده بودم رو reinclude کردم و البته از طریق قسمت Fetch as Google پستهائی که از اول در سایتم داشتم رو ادرسهاشون رو ایندکس کردم تا شاید حل بشه ولی تا این لحظه که شرایط به وضع سابق برنگشته و همچنان در گوگل حضور ندارم…لطفا راهنمائی بفرمائید : آیا اساسا امکانش هست که دوباره سایتم اینکس بشه؟ آیا راهی که رفتم کافی و وافی بوده ؟به نظرتون میتونم به گوگل ایمیل بزنم و مشکل رو مطرح کنم؟برام خیلی حیاتی هستش لطفا در این زمینه کمکم کنید ..ممنونم دوست بزرگوار
سلام خسته نباشید
من دوهفته پیش بک وبسایت ساختم و آن را در گوگل وبمستر ثبتش کردم و بعد از بک هفته به دلیلی سایت را به کلی پاک کردم و از گوگل وبمستر هم حذفش کردم و سایت را از اول با دامنه ی قبلی ساختم و دوباره درگوگل وبمستر ثبتش کردم ولی حالا می بینم که وقتی در نتایج جستوجو گوگل دامنه ام را می نویسم صفحه ی اصلی سایتم 2تا شده اند وقت توضیح شان فرق می کند هر 2تا هم آدرسشان یکی هستش لطفا در این مورد راهنمایم کنید که چطور بکی از این صفحات ایندکس شده را پاک کنم.
با سلام
چند وقتی صبر کنید
درست می شود
با سلام ممنون از کمکتان.
بی نهایت تشکر
بسیار مفید بود
سلام
من هرکاری میکنم ارورهای 404 سایتم رفع نمیشه! چه با راه حل شما، چه با fetch as google … کلی هم براش گشتم راه حل اصلی شو پیدا کنم و کلی راه امتحان کردم ولی نشد…
خواهش میکنم کمکم کنید
ارور های من با این راه حل حذف میشه ولی بعد از چند روز دقیقا همون ارورهایی ک رفع کردم برمیگردن… تو خود وبمستر هم گفته به طور موقت حذف میشه…صفحاتش هم وجود ندارن دیگه..ن توی سایت ن توی سایت مپ…لطفا ی راه حل درست ب من بگین
تشکر از مطالب مفیدتون
واقعا مفید وکاربردی بود متشکرم
مهم و قابل توجه بود ممون از اینکه وقت می زارین.
آموزش عالی و مفیدی بود.
متشکرم
سلام یک سوال داشتم
زمانی که یک صفحه رو ریدایرکت می کنیم باید آدرس قبلی رو به این شکل از ایندکس خارج کنیم یا نه؟
درود بر شما
ریدایرکت 301 خودش سبب حذف آدرس قبلی خواهد شد
بسیار عالی
با سلام
در مرحله آخر، در مورد بلاک کردن یک دایرکتوری در robot.txt صحبت شده است. این به این معناست که برای یک صفحه خاص نیازی به انجام این مرحله نمی باشد؟
با تشکر
با سلام
لطفا مقاله را مجدد و با دقت مطالعه نمایید.
این مورد گام سوم از خارج سازی صفحه است بنابر این منظور همان دایرکتوری است که صفحه شما در آن واقع شده است
سلام
من تو سایتم تگهای بسیار زیادی استفاده کرده بودم تقریبا برای هر پست 20-30 تا تگ میزاشتم
بعد به این نتیجه رسیدم که بی فایدست و تگهامو خلاصه تر و کلی کردم طوری که هر تگ محتوای به خصوصی رو نشون میده و تگهایی که محتوای تکراری نشون میدادن حذف کردم و الان هر پست حداکثر 10-12 تا تگ داره
حذف کردن تگهای قبلی باعث به وجود اومدن ارور 404 زیادی در وب مستر تولز شده (تا الان حدود 1900 تا) من باید چیکار کنم الان ؟ از طریق remove url دایرکتوری /tag رو کلا حذف کنم و منتظر بشم مجددا تگها ایندکس بشن یا راه حل دیگه ای هست ؟
با تشکر
درود بر شما
شما سایت خود را چه کردید ؟!!!
قبل از انجام این کار اشتباه باید مشاوره می گرفتید !
حالا هم بهترین کار همین است که گفتید. البته امیدوارم اسپم نشوید …
سلام. ممنون بابت این مطلب مهم.
من میخوام مطالب یک دسته خاص را از ایندکس گوگل خارج کنم چون صفحات بی ارزشی هستن ولی تعداد صفحات زیاده چزی حدود 800 تا!! چجوری میشه این کار رو کرد؟
سایت من وردپرسی هستش. ممنونم . من این صفحه رو رفرش میکنم تا پاسخ و راهنماییتون رو ببیینم دستتون درد نکنه
درود بر شما
باید از بخش Remove URLs گوگل وبمستر استفاده نمایید.
پس از ثبت آدرس شاخه از Temporarily hide directory استفاده نمایید.
سلام و عرض ادب
سایتم یهو دچار افتی شد
امکان داره تگ های کم محتوا باعث ایجاد همچین مشکلی بشن؟
درود بر شما
بله
سلام آقای قمصری مطلب مثل همیشه عالی بود.
چند مدت پیش بخش پرسش و پاسخ را بصورت ساب فولدر در سایتم راه اندازی کردم و به دلایلی پشیمان شدم و این فولدر حذف کردم و بخاطر اینکه حدود 60 مطلب ایندکس شده داشت همه مطالب 60 مطالب الان کد 404 دارند باید چکار کنم که از نظر سئو لطمه ای به سایتم نخورد؟
آیا باید همه این 60 صفحه را به صفحه اصلی ریدایرکت کنم؟
با تشکر
با سلام
– صفحات را در Remove URLs وبمسترتولز نیز حذف کنید.
– خیر
سلام
من نزدیک 200 مطلب دارم که روی سایتم گذاشتم و همه ایندکس شدن…اون سایت من فیلتر شد ولی مطالب برای من خیلی باارزشن…می خوام ببینم میتونم مطالب رو از ایندکس خارج کنم و روی سایت جدید قرار بدم؟گوگل این کارو کپی تشخص نمی ده؟
درود
بله می توانید اما اصولی دارد که حتما باید رعایت شوند
سلام شما در مقالات قبلی به این موضوع که مطالب طولانی تر شانس بیشتری نسبت به مطالب کوتاه تر دارند اشاره کردید با توجه به این موضوع بهتر است از مطالب کوتاه و مفید استفاده کنیم یا طولانی ؟
سلام آصف عزیز
تعداد کلمات همانطور که می دانید در کمترین حالت 300 کلمه می باشد و اینکه در نظر داشته باشید طولانی کردن مقاله اگر فقط برای افزایش تعداد کلمات باشد هیچ سودی برای شما ندارد و باید تمرین کنید مقالات اثربخش و با کیفیت تولید کنید تا هم کاربر و گوگل از محتوای شما راضی باشند.
با سلام
ایا استفاده از تگ نو ایندکس برای صفحات ارشیو مناسب هست؟ گوگل تمامی صفحات ارشیو سایتم رو ایندکس میکنه و در وب مستر خطای duplicate describtion دارم. پلاگین یواست سئو نو ایندکس کردن صفحات ارشیو رو حذف کرده به استناد این مقاله:
https://yoast.com/pagination-seo-best-practices/
الان بهترین کار برای این نوع صفحات چیه؟ نو ایندکس،تگ کانونیکال؟
درود بر شما
همانطور که در مقاله اشاره شده بهترین تگ برای صفحات آرشیو می باشد که می توانید از افزونه Yoast با ورژن پایینتر استفاده کنید.
رل canonical در اینجا کاربردی ندارد.حتما از قسمت آموزش سئو سورس سایت اپلیکیشن نیوسئو استفاده کنید تا دچار اشتباهاتی باعث افت وبسایت شما است نشوید.
دستور noindex رو دقیقا در چه محلی باید قرار بدیم؟
با تشکر
درود بر شما
از متا ربات استفاده کنید
سلام
من یک سایت روی وردپرس دارم که وقتی site:www.site.com رو سرچ میکنم صفحات ارشیو و تگ و کتگوری رو هم نمایش میده
برای اینکه این صفحات که توی مطالبتون صفحات زامبی خطابشون کردید ایندکس نشن باید بعد از اینکه تو پلاگین یاست نمایششونو غیر فعال کردیم تک تکشونو توی removal url وارد کنیم ؟؟
و بعد به فایل robots.txt معرفیشون کنیم ؟؟ 0__0
پیشاپیش ممنون از پاسخ گوییتون 🙂
درود بر شما دوست عزیز
سوال بسیار کاربردی و مهمی پرسیدید. صفحاتی که از نظر ارزش زیادی ندارند رو باید این اتفاق براشون بیفته که دقیقا به صفحات مهم اشاره کردید به جز صفحات دسته بندی که گوگل بسیار به این صفحات علاقه مند هست.
روش کار دقیقا به این صورت هست که از افزونه Yoast برای جلوگیری از ایندکس شدن استفاده می کنید و سپس از ابزاری که فرمودید داخل سرچ کنسول از نتایج جستجو پاکشون می کنید و اینکه حتما سایت مپ خودتون رو هم آپدیت کنید تا خطاهای بسیاری رو نداشته باشید.
و حتما هر پوشه رو به صورت تک تک پاکنید اگر تعداد صفحاتتون بسیار زیاد هست.
سلام،
مطلب خیلی مفیدی بود.
میشه بفرمایید مسیر زیر تو ابزار سرچ کنسول جدید به چه شکل هست ؟
Google Index > Remove URLs > Create A New Removal Request
ارادتمند.
درود بر شما. این گونه تغییرات رو در بخش removal می تونید مشاهده و بررسی کنید