
یکی از مهم ترین عناصر بهینه سازی موتور جستجو که اغلب نادیده گرفته می شود، این است که چقدر موتورهای جستجو می توانند به راحتی سایت را کشف کرده و درک کنند. این فرآیند که به آن خزیدن و ایندکس سایت می گویند، برای نمایش سایت در نتایج جستجو بسیار حیاتی است. بدون خزیده شدن، صفحات نمی توانند ایندکس شوند و اگر ایندکس نشوند، در نتایج جستجو نمایش داده نخواهند شد.
مفهوم ایندکس شدن سایت در گوگل، از جمله مباحثی است که قصد داریم در این آموزش سئو مبتدی به طور کامل به آن بپردازیم. برای مطالعه این مقاله، ضروری است که با عملکرد موتور جستجوی گوگل و خزنده گوگل آشنا باشید. در صورتی که قبلا در این حوزه مطالعه نداشتید، پیشنهاد می کنیم مقالات زیر را مطالعه نمایید:
آموزش سئو برای مبتدیان – عملکرد موتورهای جستجو
آموزش سئو برای مبتدیان – خزنده وب
ایندکس وب سایت چیست؟
موتور های جستجو، سایت شما را چگونه درک کرده و به یاد می آورند؟
زمانی که مطمئن شدید که سایت شما کراول شده است، حالا باید مطمئن شوید که این سایت ایندکس می شود. درست متوجه شدید! این که سایت شما کراول شده باشد الزاما به این معنی نیست که موتور جستجو آن سایت را در ایندکس خودش ذخیره سازی می کند. در قسمت قبلی در رابطه با کراول کردن سایت ها، ما نشان دادیم که موتور جستجو چگونه سایت شما را پیدا می کند. ایندکس جایی است که صفحه های کشف شده از سایت شما ذخیره سازی می شوند. بعد از این که یک خزنده، یک صفحه را پیدا می کند، موتور جستجو درست مانند یک مرورگر این صفحه ها را بررسی می کند. در انجام این کار، موتور جستجو محتوای آن صفحه را تحلیل می کند. سپس تمام اطلاعات مربوطه در ایندکس موتور جستجو ذخیره می شود.
در ادامه، ما نحوه عملکرد این ایندکس گذاری را بررسی می کنیم و نشان می دهیم که شما باید چه کاری بکنید تا سایت شما در این دیتابیس بسیار مهم قرار بگیرد.
صفحات ایندکس شده سایت
بررسی وضعیت سایت در گوگل به چه صورت است؟ آیا ما می توانیم ببینیم که ربات های جستجوگر گوگل، صفحه های ما را به چه صورت ارزیابی می کنند؟
بله، نسخه ذخیره شده صفحه شما، نشان دهنده آخرین تصویری است که ربات گوگل در کراول آن صفحه، به دست آورده است.
گوگل در دفعات مختلف، صفحه های وب شما را کراول کرده و آن ها را ذخیره سازی می کند. به صورت دقیق تر، سایت های معروف که به صورت مکرر پست می گذارند مانند https://www.nytimes.com با تکرار بیشتری نسبت به سایت های کم شهرت تر، کراول می شوند.
شما می توانید با کلیک کردن بر روی فلش منوی کشویی کنار URL در صفحه SERP و انتخاب گزینه “Cached”، نسخه ذخیره شده از صفحه تان را مشاهده کنید.
نسخه تمام متنی سایت خودتان را هم ببینید تا مشخص کنید که آیا محتوای مهم شما توسط ربات گوگل، کراول و ایندکس شده است یا خیر.
حذف صفحات ایندکس شده در گوگل
بله، صفحه ها ممکن است از ایندکس حذف شوند! بعضی از مهم ترین دلایل حذف یک URL از ایندکس شامل این موارد می باشد:
- URL پیغام “not found” یا خطای 4XX یا خطای سرور ( 5XX) را نشان می دهد: این موضوع می تواند تصادفی باشد (صفحه به آدرس دیگری منتقل شده و یک دستور 301 انتقال آدرس برای آن اجرا نشده باشد) و یا به عمد ممکن است این حالت ایجاد شده باشد (صفحه حذف شده و خطای 404 برای آن نمایش داده می شود تا از ایندکس هم پاک شود.)
- به URL یک متا تگ noindex اضافه شده است: این تگ ممکن است توسط مالک سایت اضافه شده باشد تا به موتور جستجو دستور بدهد که این صفحه را از ایندکس خودش حذف کند.
- URL به صورت دستی جریمه شده باشد: این جریمه ممکن است به دلیل تخطی از رهنمود های وبمستر (Webmaster Guidelines) موتور جستجو ایجاد شده باشد و در نتیجه از ایندکس حذف شود.
- URL با اضافه کردن کلمه عبور برای دسترسی به محتوا، از دسترس خزنده ها خارج شده باشد: در نتیجه این حالت، کاربر ها دسترسی خودشان به صفحه را از دست می دهند.
در صورتی که فکر می کنید صفحه ای که روی وبسایت شما است قبلا در ایندکس گوگل بوده و حالا دیگر در نتایج نمایش داده نمی شود، می توانید با رفتن به قسمت ابزار “Submit URL” در Search Console، این URL را در گوگل وارد کنید.
در این مقاله از آموزش سئو سایت، تیم نیوسئو به بررسی 12 گام عملی برای بهبود قابلیت خزیدن و ایندکس شدن سایت می پردازد. با پیاده سازی این استراتژی ها، می توانید به موتورهای جستجویی مانند گوگل کمک کنید تا سایت را بهتر پیمایش و فهرست بندی کند و باعث افزایش رتبه بندی در نتایج جستجو شود.
بیایید شروع کنیم و کشف کنیم چگونه می توان سایت را برای خزنده های موتور جستجو قابل دسترس تر کرد.
1. نقش بهبود سرعت بارگذاری صفحات در ایندکس سایت
سرعت بارگذاری صفحات برای تجربه کاربری و قابلیت خزیدن موتور جستجو بسیار مهم است. برای بهبود سرعت صفحه، نکات زیر را در نظر بگیرید:
- طرح هاست یا سرور خود را ارتقا دهید تا عملکرد بهینه تری داشته باشید.
- فایل های CSS، JavaScript و HTML را فشرده کنید تا اندازه آنها کاهش یابد و زمان بارگذاری بهبود یابد.
- تصاویر را بهینه سازی کرده و آنها را فشرده کنید و از فرمت های مناسب (مثلاً JPEG برای عکس ها، PNG برای گرافیک های شفاف) استفاده کنید.
- از کش مرورگر برای ذخیره سازی منابع پرکاربرد در دستگاه های کاربران استفاده کنید.
- تعداد ریدایرکت ها را کاهش داده و ریدایرکت های غیرضروری را حذف کنید.
- هر گونه اسکریپت یا پلاگین شخص ثالث غیرضروری را حذف کنید.
2. اندازه گیری و بهینه سازی Core Web Vitals
علاوه بر بهینه سازی های عمومی سرعت صفحه، تمرکز بر بهبود امتیازهای Core Web Vitals نیز در ایندکس سایت اهمیت دارد. Core Web Vitals عوامل خاصی هستند که گوگل آنها را برای تجربه کاربری یک صفحه وب ضروری در نظر می گیرد.
این عوامل عبارتند از:
– Largest Contentful Paint (LCP): این معیار عملکرد بارگذاری صفحه را اندازه گیری می کند و باید در ۲.۵ ثانیه اول بارگذاری صفحه رخ دهد.
– Interaction To Next Paint (INP): این معیار پاسخگویی صفحه را اندازه گیری می کند. برای ارائه یک تجربه کاربری خوب، سعی کنید INP کمتر از ۲۰۰ میلی ثانیه باشد.
– Cumulative Layout Shift (CLS): این معیار پایداری بصری صفحه را اندازه گیری می کند و باید امتیاز CLS کمتر از ۰.۱ باشد.
چند روش برای بهینه سازی Core Web Vitals عبارتند از:
- کاهش زمان اجرای JavaScript با کاهش کارهایی که در Main Thread انجام می شود.
- اجتناب از تغییرات بزرگ در طرح بندی با استفاده از ابعاد مشخص برای عناصر رسانه ای و پیش بارگذاری فونت ها.
- بهبود زمان های پاسخ دهی سرور با بهینه سازی سرور، هدایت کاربران به مکان های CDN نزدیک یا کش کردن محتوا.
این عوامل به طور مستقیم بر فرآیند ایندکس سایت تاثیر دارند، زیرا سرعت و تجربه کاربری به عنوان عوامل مهمی برای موتورهای جستجو در نظر گرفته می شوند. بهبود Core Web Vitals می تواند کمک کند تا صفحات سریع تر ایندکس شوند و شانس رتبه بندی بالاتری را داشته باشید.