مفهوم ایندکس شدن سایت در گوگل، از جمله مباحثی است که قصد داریم در این آموزش سئو مبتدی به طور کامل به آن بپردازیم. برای مطالعه این مقاله، ضروری است که با عملکرد موتور جستجوی گوگل و خزنده گوگل آشنا باشید. در صورتی که قبلا در این حوزه مطالعه نداشتید، پیشنهاد می کنیم مقالات زیر را مطالعه نمایید:
آموزش سئو برای مبتدیان – عملکرد موتورهای جستجو
آموزش سئو برای مبتدیان – خزنده وب
ایندکس وب سایت چیست؟ موتور های جستجو، سایت شما را چگونه درک کرده و به یاد می آورند؟
زمانی که مطمئن شدید که سایت شما کراول شده است، حالا باید مطمئن شوید که این سایت ایندکس می شود. درست متوجه شدید! این که سایت شما کراول شده باشد الزاما به این معنی نیست که موتور جستجو آن سایت را در ایندکس خودش ذخیره سازی می کند. در قسمت قبلی در رابطه با کراول کردن سایت ها، ما نشان دادیم که موتور جستجو چگونه سایت شما را پیدا می کند. ایندکس جایی است که صفحه های کشف شده از سایت شما ذخیره سازی می شوند. بعد از این که یک خزنده، یک صفحه را پیدا می کند، موتور جستجو درست مانند یک مرورگر این صفحه ها را بررسی می کند. در انجام این کار، موتور جستجو محتوای آن صفحه را تحلیل می کند. سپس تمام اطلاعات مربوطه در ایندکس موتور جستجو ذخیره می شود.
در ادامه، ما نحوه عملکرد این ایندکس گذاری را بررسی می کنیم و نشان می دهیم که شما باید چه کاری بکنید تا سایت شما در این دیتابیس بسیار مهم قرار بگیرد.
صفحات ایندکس شده سایت
بررسی وضعیت سایت در گوگل به چه صورت است؟ آیا ما می توانیم ببینیم که ربات های جستجوگر گوگل، صفحه های ما را به چه صورت ارزیابی می کنند؟
بله، نسخه ذخیره شده صفحه شما، نشان دهنده آخرین تصویری است که ربات گوگل در کراول آن صفحه، به دست آورده است.
گوگل در دفعات مختلف، صفحه های وب شما را کراول کرده و آن ها را ذخیره سازی می کند. به صورت دقیق تر، سایت های معروف که به صورت مکرر پست می گذارند مانند https://www.nytimes.com با تکرار بیشتری نسبت به سایت های کم شهرت تر، کراول می شوند.
شما می توانید با کلیک کردن بر روی فلش منوی کشویی کنار URL در صفحه SERP و انتخاب گزینه “Cached”، نسخه ذخیره شده از صفحه تان را مشاهده کنید.
حذف صفحات ایندکس شده در گوگل
بله، صفحه ها ممکن است از ایندکس حذف شوند! بعضی از مهم ترین دلایل حذف یک URL از ایندکس شامل این موارد می باشد:
- URL پیغام “not found” یا خطای 4XX یا خطای سرور ( 5XX) را نشان می دهد: این موضوع می تواند تصادفی باشد (صفحه به آدرس دیگری منتقل شده و یک دستور 301 انتقال آدرس برای آن اجرا نشده باشد) و یا به عمد ممکن است این حالت ایجاد شده باشد (صفحه حذف شده و خطای 404 برای آن نمایش داده می شود تا از ایندکس هم پاک شود.)
- به URL یک متا تگ noindex اضافه شده است: این تگ ممکن است توسط مالک سایت اضافه شده باشد تا به موتور جستجو دستور بدهد که این صفحه را از ایندکس خودش حذف کند.
- URL به صورت دستی جریمه شده باشد: این جریمه ممکن است به دلیل تخطی از رهنمود های وبمستر (Webmaster Guidelines) موتور جستجو ایجاد شده باشد و در نتیجه از ایندکس حذف شود.
- URL با اضافه کردن کلمه عبور برای دسترسی به محتوا، از دسترس خزنده ها خارج شده باشد: در نتیجه این حالت، کاربر ها دسترسی خودشان به صفحه را از دست می دهند.
در صورتی که فکر می کنید صفحه ای که روی وبسایت شما است قبلا در ایندکس گوگل بوده و حالا دیگر در نتایج نمایش داده نمی شود، می توانید با رفتن به قسمت ابزار “Submit URL” در Search Console، این URL را در گوگل وارد کنید.