آموزش سئو برای مبتدیان – ایندکس وب سایت

 

یکی از مهم ترین عناصر بهینه سازی موتور جستجو که اغلب نادیده گرفته می شود، این است که چقدر موتورهای جستجو می توانند به راحتی سایت را کشف کرده و درک کنند. این فرآیند که به آن خزیدن و ایندکس سایت می گویند، برای نمایش سایت در نتایج جستجو بسیار حیاتی است. در این مقاله از آموزش سئو برای مبتدیان – ایندکس وب سایت، متوجه می شویم که بدون خزیده شدن، صفحات نمی توانند ایندکس شوند و اگر ایندکس نشوند، در نتایج جستجو نمایش داده نخواهند شد. 

مفهوم ایندکس شدن سایت در گوگل، از جمله مباحثی است که قصد داریم در این آموزش سئو مبتدی به طور کامل به آن بپردازیم. برای مطالعه این مقاله، ضروری است که با عملکرد موتور جستجوی گوگل و خزنده گوگل آشنا باشید. در صورتی که قبلا در این حوزه مطالعه نداشتید، پیشنهاد می کنیم مقالات زیر را مطالعه نمایید:

آموزش سئو برای مبتدیان – عملکرد موتورهای جستجو

آموزش سئو برای مبتدیان – خزنده وب

ایندکس وب سایت چیست؟

موتور های جستجو، سایت شما را چگونه درک کرده و به یاد می آورند؟

زمانی که مطمئن شدید که سایت شما کراول شده است، حالا باید مطمئن شوید که این سایت ایندکس می شود. درست متوجه شدید! این که سایت شما کراول شده باشد الزاما به این معنی نیست که موتور جستجو آن سایت را در ایندکس خودش ذخیره سازی می کند. در قسمت قبلی در رابطه با کراول کردن سایت ها، ما نشان دادیم که موتور جستجو چگونه سایت شما را پیدا می کند. ایندکس جایی است که صفحه های کشف شده از سایت شما ذخیره سازی می شوند. بعد از این که یک خزنده، یک صفحه را پیدا می کند، موتور جستجو درست مانند یک مرورگر این صفحه ها را بررسی می کند. در انجام این کار، موتور جستجو محتوای آن صفحه را تحلیل می کند. سپس تمام اطلاعات مربوطه در ایندکس موتور جستجو ذخیره می شود.

در ادامه، ما نحوه عملکرد این ایندکس گذاری را بررسی می کنیم و نشان می دهیم که شما باید چه کاری بکنید تا سایت شما در این دیتابیس بسیار مهم قرار بگیرد.

صفحات ایندکس شده سایت

بررسی وضعیت سایت در گوگل به چه صورت است؟ آیا ما می توانیم ببینیم که ربات های جستجوگر گوگل، صفحه های ما را به چه صورت ارزیابی می کنند؟

بله، نسخه ذخیره شده صفحه شما، نشان دهنده آخرین تصویری است که ربات گوگل در کراول آن صفحه، به دست آورده است.

گوگل در دفعات مختلف، صفحه های وب شما را کراول کرده و آن ها را ذخیره سازی می کند. به صورت دقیق تر، سایت های معروف که به صورت مکرر پست می گذارند مانند https://www.nytimes.com با تکرار بیشتری نسبت به سایت های کم شهرت تر، کراول می شوند.

شما می توانید با کلیک کردن بر روی فلش منوی کشویی کنار URL در صفحه SERP و انتخاب گزینه “Cached”، نسخه ذخیره شده از صفحه تان را مشاهده کنید.

نسخه تمام متنی سایت خودتان را هم ببینید تا مشخص کنید که آیا محتوای مهم شما توسط ربات گوگل، کراول و ایندکس شده است یا خیر.

حذف صفحات ایندکس شده در گوگل

بله، صفحه ها ممکن است از ایندکس حذف شوند! بعضی از مهم ترین دلایل حذف یک URL از ایندکس شامل این موارد می باشد:

• URL پیغام “not found” یا خطای 4XX یا خطای سرور ( 5XX) را نشان می دهد: این موضوع می تواند تصادفی باشد (صفحه به آدرس دیگری منتقل شده و یک دستور 301 انتقال آدرس برای آن اجرا نشده باشد) و یا به عمد ممکن است این حالت ایجاد شده باشد (صفحه حذف شده و خطای 404 برای آن نمایش داده می شود تا از ایندکس هم پاک شود.)
• به URL یک متا تگ noindex اضافه شده است: این تگ ممکن است توسط مالک سایت اضافه شده باشد تا به موتور جستجو دستور بدهد که این صفحه را از ایندکس خودش حذف کند.
• URL به صورت دستی جریمه شده باشد: این جریمه ممکن است به دلیل تخطی از رهنمود های وبمستر (Webmaster Guidelines) موتور جستجو ایجاد شده باشد و در نتیجه از ایندکس حذف شود.
• URL با اضافه کردن کلمه عبور برای دسترسی به محتوا، از دسترس خزنده ها خارج شده باشد: در نتیجه این حالت، کاربر ها دسترسی خودشان به صفحه را از دست می دهند.

در صورتی که فکر می کنید صفحه ای که روی وبسایت شما است قبلا در ایندکس گوگل بوده و حالا دیگر در نتایج نمایش داده نمی شود، می توانید با رفتن به قسمت ابزار “Submit URL” در Search Console، این URL را در گوگل وارد کنید.

در این مقاله از آموزش سئو سایت، تیم نیوسئو به بررسی 12 گام عملی برای بهبود قابلیت خزیدن و ایندکس شدن سایت می پردازد. با پیاده سازی این استراتژی ها، می توانید به موتورهای جستجویی مانند گوگل کمک کنید تا سایت را بهتر پیمایش و فهرست بندی کند و باعث افزایش رتبه بندی در نتایج جستجو شود.

بیایید شروع کنیم و کشف کنیم چگونه می توان سایت را برای خزنده های موتور جستجو قابل دسترس تر کرد.

1. نقش بهبود سرعت بارگذاری صفحات در ایندکس سایت

سرعت بارگذاری صفحات برای تجربه کاربری و قابلیت خزیدن موتور جستجو بسیار مهم است. برای بهبود سرعت صفحه، نکات زیر را در نظر بگیرید:

• طرح هاست یا سرور خود را ارتقا دهید تا عملکرد بهینه تری داشته باشید.
• فایل های CSS، JavaScript و HTML را فشرده کنید تا اندازه آنها کاهش یابد و زمان بارگذاری بهبود یابد.
• تصاویر را بهینه سازی کرده و آنها را فشرده کنید و از فرمت های مناسب (مثلاً JPEG برای عکس ها، PNG برای گرافیک های شفاف) استفاده کنید.
• از کش مرورگر برای ذخیره سازی منابع پرکاربرد در دستگاه های کاربران استفاده کنید.
• تعداد ریدایرکت ها را کاهش داده و ریدایرکت های غیرضروری را حذف کنید.
• هر گونه اسکریپت یا پلاگین شخص ثالث غیرضروری را حذف کنید.

2. اندازه گیری و بهینه سازی Core Web Vitals

علاوه بر بهینه سازی های عمومی سرعت صفحه، تمرکز بر بهبود امتیازهای Core Web Vitals نیز در ایندکس سایت اهمیت دارد. Core Web Vitals عوامل خاصی هستند که گوگل آنها را برای تجربه کاربری یک صفحه وب ضروری در نظر می گیرد.

این عوامل عبارتند از:

– Largest Contentful Paint (LCP): این معیار عملکرد بارگذاری صفحه را اندازه گیری می کند و باید در ۲.۵ ثانیه اول بارگذاری صفحه رخ دهد.

– Interaction To Next Paint (INP): این معیار پاسخگویی صفحه را اندازه گیری می کند. برای ارائه یک تجربه کاربری خوب، سعی کنید INP کمتر از ۲۰۰ میلی ثانیه باشد.

– Cumulative Layout Shift (CLS): این معیار پایداری بصری صفحه را اندازه گیری می کند و باید امتیاز CLS کمتر از ۰.۱ باشد.

چند روش برای بهینه سازی Core Web Vitals عبارتند از:

• کاهش زمان اجرای JavaScript با کاهش کارهایی که در Main Thread انجام می شود.
• اجتناب از تغییرات بزرگ در طرح بندی با استفاده از ابعاد مشخص برای عناصر رسانه ای و پیش بارگذاری فونت ها.
• بهبود زمان های پاسخ دهی سرور با بهینه سازی سرور، هدایت کاربران به مکان های CDN نزدیک یا کش کردن محتوا.

این عوامل به طور مستقیم بر فرآیند ایندکس سایت تاثیر دارند، زیرا سرعت و تجربه کاربری به عنوان عوامل مهمی برای موتورهای جستجو در نظر گرفته می شوند. بهبود Core Web Vitals می تواند کمک کند تا صفحات سریع تر ایندکس شوند و شانس رتبه بندی بالاتری را داشته باشید.

3. بهینه سازی بودجه خزیدن (Crawl Budget) و تاثیر آن در ایندکس وب سایت

بودجه خزیدن به تعداد صفحاتی اشاره دارد که گوگل در یک بازه زمانی مشخص از سایت خزیدن می کند. اگر سایت صفحات زیادی دارد، باید اطمینان حاصل کنید که گوگل مهم ترین صفحات را خزیده و ایندکس کند.

در اینجا چند روش بهینه سازی بودجه خزیدن برای ایندکس بهتر سایت آورده شده است:

• سایت باید ساختار منظم و واضحی داشته باشد تا موتورهای جستجو و کاربران بتوانند به راحتی در آن حرکت کنند.
• محتوای تکراری را شناسایی و حذف کنید، زیرا این می تواند بودجه خزیدن را روی صفحات اضافی هدر دهد.
• از فایل txt برای مسدود کردن خزیدن صفحات غیر ضروری مانند محیط های آزمایشی یا صفحات مدیریتی استفاده کنید.
• از canonicalization برای یکپارچه سازی سیگنال ها از نسخه های مختلف یک صفحه (مثلاً با و بدون پارامترهای جستجو) به یک URL کانونیکال واحد استفاده کنید.
• آمار خزیدن سایت خود را در Google Search Console بررسی کنید تا هر گونه نوسان غیر عادی در فعالیت خزیدن را شناسایی کنید که ممکن است نشان دهنده مشکلات مربوط به سلامت یا ساختار سایت باشد.
• نقشه سایت XML خود را به روزرسانی و دوباره ارسال کنید تا اطمینان حاصل شود که گوگل فهرستی به روز از صفحات سایت دارد.

4. تقویت ساختار لینک داخلی برای بهبود ایندکس سایت

ساختار مناسب سایت و لینک دهی داخلی از ارکان اساسی سئو سایت است. خزیدن و ایندکس یک سایت بی نظم برای موتورهای جستجو دشوار است.

جان مولر، مشاور جستجوی گوگل، می گوید: “لینک دهی داخلی برای سئو سایت بسیار حیاتی است. یکی از بزرگ ترین کارهایی که می توانید انجام دهید، هدایت گوگل و بازدیدکنندگان به صفحاتی است که مهم هستند.”

لینک دهی داخلی ضعیف می تواند به ایجاد صفحات یتیم منجر شود، یعنی صفحاتی که هیچ لینکی از سایر بخش ها دریافت نمی کنند و موتورهای جستجو تنها از طریق نقشه سایت می توانند آن ها را پیدا کنند. این مشکل و دیگر مسائل مربوط به ساختار ضعیف را می توان با ایجاد یک ساختار لینک دهی منطقی حل کرد.

صفحه اصلی باید به صفحات فرعی لینک دهد که در ادامه به صفحات پایین تر در هرم سایت متصل می شوند. همچنین، صفحات فرعی باید به صورت طبیعی از لینک های متنی استفاده کنند.

از طرفی، لینک های خراب (مانند اشتباهات تایپی در URL) می توانند مشکلاتی برای ایندکس سایت ایجاد کنند. این لینک ها نه تنها کمکی نمی کنند بلکه باعث خطای 404 می شوند که به خزیدن و ایندکس وب سایت آسیب می زند.

برای بهبود ایندکس سایت، باید لینک های خراب را شناسایی کرده و از لینک دهی به URLهای قدیمی یا حذف شده خودداری کنید.

در نهایت، استفاده از انکرتکست به جای تصاویر لینک شده، محدود کردن تعداد لینک ها در هر صفحه و اطمینان از استفاده از لینک های follow برای لینک های داخلی، از دیگر شیوه های بهینه سازی لینک دهی داخلی هستند.

5. ارسال نقشه سایت به گوگل

اگر به موتور جستجو نگفته اید که سایت را بررسی نکند، گوگل به طور خودکار سایت را بررسی خواهد کرد، اما این فرایند تاثیر فوری بر رتبه بندی نخواهد داشت. برای اطلاع سریع گوگل از تغییرات جدید، باید نقشه سایت خود را از طریق گوگل سرچ کنسول ارسال کنید تا سایت سریع تر ایندکس شود.

نقشه سایت یک فایل اضافی است که در دایرکتوری ریشه سایت قرار دارد. این فایل به عنوان نقشه ای برای موتورهای جستجو عمل می کند و لینک های مستقیم به تمام صفحات سایت را فراهم می آورد.

ارسال نقشه سایت به بهبود قابلیت ایندکس شدن کمک می کند زیرا به گوگل این امکان را می دهد که به طور همزمان درباره چندین صفحه از سایت اطلاعات کسب کند. یک خزنده ممکن است نیاز داشته باشد پنج لینک داخلی را دنبال کند تا به یک صفحه عمیق برسد، اما با ارسال نقشه سایت XML، می تواند تمام صفحات را با یک بار بازدید از فایل نقشه سایت پیدا کند.

ارسال نقشه سایت به گوگل، به ویژه در مواقعی مفید است که سایت عمیق باشد، به طور مکرر صفحات یا محتوای جدید اضافه شود یا سایت لینک دهی داخلی مناسبی نداشته باشد.

6. به روزرسانی فایل Robots.txt از عوامل موثر در ایندکس سایت

برای سایت خود باید یک فایل robots.txt داشته باشید. این فایل یک فایل متنی ساده است که در دایرکتوری ریشه سایت قرار دارد و به موتورهای جستجو می گوید که چطور می خواهید سایت را خزیده کنند. استفاده اصلی آن مدیریت ترافیک ربات ها و جلوگیری از بارگذاری بیش از حد سایت با درخواست ها است.

در زمینه قابلیت خزیدن، این فایل کمک می کند تا تعیین کنید کدام صفحات توسط گوگل خزیده و ایندکس شوند. به عنوان مثال، احتمالاً نمی خواهید صفحاتی مانند دایرکتوری ها، سبد خرید ها و برچسب ها در فهرست گوگل قرار برای خزیدن بگیرند.

البته فایل robots.txt می تواند تأثیر منفی بر روی قابلیت خزیدن سایت داشته باشد. برخی از اشتباهات رایج در فایل های robots.txt عبارتند از:

• فایل txt در دایرکتوری ریشه نیست.
• استفاده نادرست از wildcards (کاراکترهای خاص).
• استفاده از noindex در فایل txt.
• مسدود کردن اسکریپت ها، استایل شیت ها و تصاویر.
• عدم وجود URL نقشه سایت.

7. بررسی تگ کنونیکال برای بهبود ایندکس سایت

تگ کنونیکال به گوگل می گوید که کدام صفحه باید به عنوان صفحه اصلی در نظر گرفته شود و اعتبار آن به صفحه ای که مشابه یا حتی تکراری است منتقل شود. این کار زمانی مفید است که چندین صفحه مشابه یا تکراری دارید. البته باید توجه داشت که این فقط یک دستور است و همیشه توسط گوگل اعمال نمی شود.

تگ های کنونیکال می توانند راهی مفید برای هدایت گوگل به صفحات مورد نظر باشند و از ایندکس شدن صفحات تکراری و نسخه های قدیمی جلوگیری کنند.

اما این امکان وجود دارد که تگ های کنونیکال اشتباهی به صفحات قدیمی که دیگر وجود ندارند اشاره کنند و باعث ایندکس شدن صفحات اشتباه توسط موتورهای جستجو شوند، به طوری که صفحات دلخواه نادیده گرفته شوند. برای حل این مشکل، از ابزار بررسی URL استفاده کنید تا تگ های اشتباهی را شناسایی کرده و حذف کنید.

اگر سایت برای ترافیک بین المللی طراحی شده باشد، یعنی اگر کاربران در کشورهای مختلف به صفحات کنونیکال متفاوت هدایت می شوند، باید برای هر زبان برچسب کنونیکال مخصوص به آن زبان را داشته باشید. این کار اطمینان می دهد که صفحات به درستی در هر زبان ایندکس شوند.

8. انجام بررسی سایت (Site Audit)

پس از انجام تمام مراحل بهینه سازی، باید نرخ ایندکس پذیری سایت خود را بررسی کنید تا از ایندکس شدن صحیح صفحات مطمئن شوید. نرخ ایندکس پذیری به درصد صفحاتی که در گوگل ایندکس شده اند نسبت به تعداد کل صفحات سایت اشاره دارد. اگر نرخ ایندکس پذیری کمتر از ۹۰% باشد، باید بررسی کنید که کدام صفحات به درستی ایندکس نمی شوند و علت آن را پیدا کنید. این کار می تواند کمک کند تا مشکلات ایندکس شدن را شناسایی و رفع کنید.

ابزارهای مفید برای بررسی سایت

ابزار “URL Inspection” در Google Search Console کمک می کند تا ببینید گوگل چگونه صفحات سایت را مشاهده و بررسی می کند. با استفاده از این ابزار می توانید صفحات واقعی سایت را با آنچه گوگل می بیند مقایسه کنید و متوجه شوید که گوگل قادر به رندر (نمایش) کدام صفحات نیست. این اطلاعات کمک می کند تا مشکلات ایندکس سایت و نمایش صفحات در نتایج جستجو را شناسایی کنید.

بررسی و درخواست ایندکس صفحات جدید منتشر شده

هر زمان که صفحات جدیدی را به سایت اضافه می کنید یا صفحات مهم را به روزرسانی می کنید، باید مطمئن شوید که آن ها ایندکس می شوند. وارد Google Search Console شوید و از ابزار بررسی URL برای اطمینان از ایندکس شدن آن ها استفاده کنید. اگر صفحه ای ایندکس نشده است، درخواست ایندکس کنید و ببینید آیا این درخواست تأثیر می گذارد (معمولاً طی چند ساعت تا یک روز).

اگر همچنان مشکل دارید، بررسی سایت می تواند کمک کند تا بفهمید در کدام بخش ها استراتژی سئو به درستی عمل نمی کنند.

9. حذف زنجیره های ریدایرکت و ریدایرکت های داخلی

با تکامل سایت ها، ریدایرکت ها به طور طبیعی به وجود می آیند تا بازدیدکنندگان را از یک صفحه به صفحه ای جدیدتر یا مرتبط تر هدایت کنند. اما اگر این ریدایرکت ها به درستی مدیریت نشوند، ممکن است به طور ناخودآگاه فرآیند ایندکس سایت را خراب کنند.

چندین اشتباه ممکن است هنگام ایجاد ریدایرکت ها رخ دهد، اما یکی از رایج ترین آن ها زنجیره های ریدایرکت است. این مشکل زمانی ایجاد می شود که بیش از یک ریدایرکت بین لینکی که روی آن کلیک می شود و مقصد وجود داشته باشد. گوگل این وضعیت را یک سیگنال مثبت نمی داند.

در موارد شدیدتر، ممکن است یک حلقه ریدایرکت ایجاد کنید، که در آن یک صفحه به صفحه ای دیگر ریدایرکت می شود، آن صفحه به صفحه ای دیگر ریدایرکت می شود و این روند ادامه پیدا می کند تا در نهایت به صفحه اول برگردد. به عبارت دیگر، یک حلقه بی پایان ایجاد کرده اید که به هیچ جا نمی رسد.

ریدایرکت های سایت خود را با استفاده از ابزارهایی مانند Screaming Frog، Redirect-Checker.org یا ابزار مشابه بررسی کنید.

این مقاله ادامه دارد …

مطالب مرتبط