نرخ خزش یا همان بودجه خزیدن ربات های گوگل، به طور خلاصه، تعداد صفحاتی از یک وب سایت است که ربات های گوگل در یک بازه زمانی مشخص، آن ها را بررسی و ایندکس می کنند. بنابراین اگر تعداد صفحات شما از این مقدار بیشتر باشد، صفحاتی در سایت خود خواهید داشت که در گوگل ایندکس نشده اند.
به عبارت دیگر، خزنده های گوگل در یک بازه زمانی مشخص صفحات سایت را بررسی می کنند و هنگامی که آن زمان مشخص به اتمام رسید دیگر سایر صفحات را ایندکس نمی کنند تا هنگامی که مجدداً زمان آن فرا برسد.
با این وجود، نیازی نیست در مورد نرخ خزش نگرانی داشته باشید. گوگل در یافتن و ایندکس کردن صفحات واقعاً خوب عمل می کند فقط اگر نرخ خزش شما پایین باشد، ممکن است بعضی از صفحات شما دیرتر ایندکس شوند.
با این حال بهتر است به چند نکته در مورد نرخ خزیدن توجه کنید:
- اگر یک سایت بزرگ مثلاً با تعداد 10 هزار صفحه دارید، ممکن است گوگل در پیدا کردن همه آن ها با مشکل مواجه شود.
- اگر شما اخیراً یک بخش جدید را با صدها صفحه به سایت خود اضافه کردید، باید مطمئن شوید که برای ایندکس شدن هر چه سریع‌تر، بودجه لازم را برای خزیدن دارید.
- بسیاری از تغییر مسیر (Redirect) ها و زنجیره های مربوط به آن ها ممکن است بودجه خزیدن سایت شما را خراب کند.
چرا بودجه خزش وجود دارد؟
گوگل منابع نامحدودی ندارند و باید توجه خود را بین میلیون ها وب سایت تقسیم کند. بنابراین به روشی نیاز دارد که بتواند کار خزنده های خود را اولویت بندی کند. اختصاص دادن بودجه خزیدن به هر وب سایت به آنها در انجام این کار کمک می کند.
روش های افزایش نرخ خزش
موارد زیر می توانند به شما در افزایش نرخ خزش یا همان تعداد صفحات ایندکس شونده در زمان محدود توسط ربات های گوگل، کمک کند.
افزایش سرعت سایت
بهبود سرعت صفحه سایت شما می تواند منجر به خزش بیشتر خزنده های گوگل در آدرس های اینترنتی سایت شما شود. به گفته خود گوگل: “افزایش سرعت یک سایت، تجربه کاربران را بهبود می بخشد و همچنین میزان خزیدن را افزایش می دهد.”
به عبارت دیگر، بارگیری کند صفحات زمان با ارزش ربات ها را هدر می دهد و اگر صفحات شما به سرعت بارگیری شوند، خزنده ها وقت دارند که تعداد بیشتری از صفحات شما را بازدید و ایندکس کند، اگر بودجه خزش را به هدر دهید، موتورهای جستجو نمی توانند وب سایت شما را به طور مناسبی بررسی کنند، که در نهایت به عملکرد سئو شما آسیب می رساند.
حالا وقتشه! اینو بخون: نکات خارق العاده افزایش سرعت سایتپیشنهاد نویسنده این است که اول مقاله بالا را خوانده و سپس ادامه این مقاله را بخوانید.
استفاده از لینک های داخلی
ربات های گوگل، به صفحاتی که دارای لینک های داخلی و خارجی زیادی باشند اولویت بیشتری جهت خزش می دهد، پس برای رسیدن ربات های گوگل به صفحات دیگر سایت، لینک های داخلی بسیار مهم هستند.
لینک های داخلی موجود در صفحات شما، ربات های گوگل را به صفحات مختلف سایت که می خواهید ایندکس شوند ارسال می کنند.
مرتب سازی ساختار وب سایت
طبق گفته خود گوگل: ” URL هایی که در اینترنت از محبوبیت بیشتری برخوردارند، بیشتر مستعد خزیدن هستند تا در فهرست ما بروزرسانی شوند “
به همین دلیل باید از معماری و ساختار مرتب وبسایت استفاده کنید، ساختار مرتب کمک می کند که همه صفحات سایت شما بهتر لینک بگیرند و مشاهده شوند، محبوب شناخته شوند و در نتیجه دارای جریان خزش بهتری باشند.
رسیدگی به صفحات یتیم سایت
منظور از صفحات یتیم، صفحاتی است که هیچ لینک داخلی یا خارجی برای آن ها وجود ندارد، گوگل واقعاً برای یافتن صفحات یتیم مشکل دارد. بنابراین اگر می خواهید از نرخ خزیدن خود بیشترین بهره را ببرید، مطمئن شوید که حداقل یک پیوند داخلی یا خارجی به هر صفحه در سایت شما اشاره می کند.
کاهش محتوای تکراری
کاهش محتوای تکراری به دلایل زیادی اهمیت دارد و یکی از آن دلایل این است که محتوای تکراری می تواند به بودجه خزش سایت شما آسیب وارد کند زیرا گوگل نمی خواهد صفحاتی با محتوای یکسان و تکراری ایندکس کند و اگر محتوای تکراری زیادی در سایت شما مشاهده کند نرخ خزش شما را کاهش می دهد.
بنابراین اطمینان حاصل کنید که تمامی صفحات سایت شما از محتوای منحصر به فرد و با کیفیت تشکیل شده اند، این کار برای سایت هایی با تعداد صفحات خیلی زیاد مثلاً بالای 10000 صفحه، آسان نیست. اما اگر بخواهید از میزان تعیین شده برای خزش سایت خود بیشترین بهره را ببرید، انجام آن ضروری است.
عواملی که می توانند نرخ خزش را کاهش دهند
عدم انجام مواردی که در بالا جهت افزایش نرخ خزش گفته شد، می تواند بودجه خزیدن را کاهش دهد، علاوه بر آن ها، موارد زیر هم موجب کاهش این نرخ می شوند:
- نامناسب بودن شرایط سرور: وجود خطا در بارگذاری URL ها یا در سرور
- تعداد وبسایت هایی که در هاست آن وبسایت وجود دارند: اگر وب سایت شما در یک پلت فرم میزبانی مشترک با صدها وب سایت دیگر داشته باشد و شما یک وب سایت نسبتاً بزرگ داشته باشید، محدودیت خزیدن برای وب سایت شما اعمال می شود زیرا محدودیت خزیدن در سطح هاست شما تعیین می شود.
- نکته دیگری که باید مورد توجه قرار گیرد این است که نسخه های جداگانه تلفن همراه و دسکتاپ در یک هاست اجرا شوند. در این صورت دارای محدودیت خزیدن مشترک هستند. پس این مورد را هم در نظر داشته باشید.
دلایل اهمیت خزش سایت و بودجه آن
وقتی صفحات جدیدی را اضافه و یا صفحات موجود را به روز می کنید، می خواهید گوگل تا حد امکان صفحات شما را پیدا کرده و آن ها را در اسرع وقت ایندکس کند.
اگر بودجه خزش سایت را به هدر دهید، گوگل نمی تواند به طور مؤثر وب سایت شما را بررسی کند یا به عبارت دقیق تر زمان کافی را برای این کار نخواهد داشت زیرا ربات ها وقت خود را صرف قسمت هایی از سایت شما می کنند که اهمیتی ندارند، این زمان می توانست صرف کشف قسمت های مهم وب سایت شما شود. ولی در صورت هدر دادن این بودجه، خزنده ها بسیاری از صفحات را بررسی و ایندکس نمی کنند و به همین دلیل شما ورودی های گوگل و متعاقباً بخش زیادی از درآمد خود را از دست خواهید داد.
