بودجه خزش چیست؟

بودجه خزش چیست؟ قطعا در مطالعه و تحقیق درباره ایندکس و کراول صفحات توسط گوگل، به این سوال برخورد کرده اید. بودجه خزش یکی از بزرگ ترین دغدغه های مدیران وب سایت ها محسوب می شود که آن ها را درباره سئو سایت خود نگران می کند. ممکن است برای شما هم پیش آمده باشد که صفحه جدیدی را روی سایت خود ایجاد کنید و پس از چند هفته متوجه شوید که این صفحه هنوز توسط بات های گوگل ایندکس نشده است. این مسئله بسیار ناخوشایند بوده و تمام زحمت های شما را هدر می دهد. به همین خاطر تقریبا در همه محتواهای آموزش سئو با اصطلاح بودجه خزش و خزنده های گوگل مواجه می شویم.

اگر هنوز با مفهوم بودجه خزش و تاثیر آن بر سئو سایت آشنا چالش دارید، ادامه مقاله را از دست ندهید. بودجه خزش به شما کمک می کند بتوانید به درستی توجه موتور جستجوی گوگل را بر صفحاتی که می خواهید دیده شود، معطوف کنید و رتبه سایت خود را افزایش دهید.

بودجه خزش چیست و چرا اینقدر مهم است؟

در ابتدای بحث لازم است اطلاعاتی در رابطه با خزنده های گوگل و ربات ها داشته باشیم تا به خوبی درک کنیم که بودجه خزش چیست. روزانه تعدادی از صفحات سایت شما توسط خزنده های گوگل بررسی می شوند و ممکن است این خزنده ها برخی از صفحات را ایندکس کنند. به این معنا که اطلاعات آن صفحه در پایگاه داده موتور جستجو ذخیره شده و به کاربران نمایش داده می شود.

بودجه خزش (Crawl Budget) به تعداد صفحاتی از سایت شما گفته می شود که در هر روز توسط خزنده ها بررسی می شوند. این میزان می تواند به طور روزانه تغییر کند، اما در کل به عنوان یک فاکتور نسبتا پایدار شناخته می شود.

عوامل زیادی وجود دارند که نرخ کراول یا خزیدن ربات ها را تعیین می کنند. از جمله این عوامل می توان به موارد زیر اشاره کرد:

1. نوع صفحه
2. جدید بودن صفحه
3. تعداد لینک های داخلی و خارجی

اگر اخیرا صفحه ای را در وب سایت خود ایجاد کرده اید و دوست دارید هر چه سریعتر به کاربران نمایش داده شود و رتبه خوبی کسب کند، باید کراولرها (خزنده های موتور جستجو) را به سمت آن بکشانید. درواقع گاهی ممکن است مدت ها طول بکشد تا خزنده ها متوجه یک صفحه جدید شوند. بنابراین اگر می خواهید سئو سایت خود را با اتلاف وقت کمتری بهبود ببخشید، باید به درستی بدانید بودجه خزش چیست و از چه راه هایی می توان آن را ارتقا داد.

کراولرهای گوگل چه فرآیندی را طی می کنند؟

تا اینجا دریافتیم که بودجه خزش یا Crawl Budget چیست اما شاید شما هم کنجکاو باشید که بدانید خزنده ها و ربات ها دقیقا چطور کار می کنند. همانطور که گفتیم وظیفه خزنده ها، کراول کردن صفحات سایت و ایندکس کردن موارد مفید است. برای این کار یک ربات لیستی از URLهای سایت را دریافت می کند و مطابق آن عمل می کند. این خزنده ها با مشاهده نقشه سایت و بک لینک ها تصمیم می گیرند که در گام بعدی چه صفحاتی را اسکن کنند.

اگر ربات گوگل متوجه خرابی یا تغییر در برخی از لینک ها شود، صفحه ایندکس شده خود را به روزرسانی می کند. به عبارت دیگر هدف خزنده های گوگل این است که محتواهای مفید سایت های مختلف را ایندکس کنند، تا زمانی که یک کاربر عبارتی را جستجو می کند، به روزترین و مفیدترین صفحات را مشاهده کند. بنابراین خزنده های گوگل با دقت زیادی مراقب داده های ایندکس شده هستند.

خزنده های گوگل به طور مداوم فایل robots.txt در سایت شما را بررسی می کنند تا مطمئن شوند که اجازه دسترسی و اسکن کردن صفحات سایت را دارند.

چگونه متوجه شویم که بودجه خزش سایتمان کم شده است؟

هزاران سایت در بستر اینترنت وجود دارند که روزانه مطالب جدیدی را منتشر می کنند یا محتواهای قبلی خود را به روزرسانی می کنند. برای اینکه تمام این سایت ها بررسی شده و بهترین موارد برای نمایش به کاربران برگزیده شوند، گوگل نیازمند یک ساختار قدرتمند و عظیم است. خزنده های گوگل در هر روز تعداد زیادی از سایت ها را اسکن می کنند. با وجود این اسکن ها خزنده ها هنوز هم نمی توانند زمان نامحدودی را برای اسکن یک سایت اختصاص دهند، بلکه برای هر سایت یک بودجه خزش معین وجود دارد.

پس در صورتی که می خواهید صفحات مهم تری در سایت شما ایندکس شوند، باید صفحات غیرضروری و اضافی را از دسترس ربات ها خارج کنید. برای افزایش سرعت ایندکس سایت باید وقت خود را برای مطالب مفیدتری صرف نمایید. به این ترتیب با بهینه سازی نرخ بودجه خزش، قادر خواهید بود تعداد صفحات ایندکس شده خود را افزایش دهید و رتبه خوبی در نتایج جستجوی گوگل به دست آورید.

راهکارهای درک علت کاهش بودجه خزش

اما سوال اساسی این است که از کجا متوجه شویم بودجه خزش سایتمان کم شده است؟ سریع ترین راه برای کشف این موضوع مشاهده گزارش های سرور سایت است. برای اینکار مراحل زیر را طی کنید:

1. با مراجعه به سرچ کنسول سایت خود و کلیک روی Settings، گزینه Crawl stats را انتخاب کنید.
2. در این بخش شما به صفحاتی که خزیده شده اند دسترسی خواهید داشت.
3. میانگین صفحات خزیده شده (Average crawled per day) در روز را محاسبه کنید و آن را یادداشت کنید.

حالا باید تعداد کل صفحات سایتتان را بر عدد میانگین تقسیم کنید. اگر در انتها عددی که به دست می آورید بیشتر از ۱۰ باشد، به این معناست که ربات های گوگل می توانند روزانه تنها یک دهم از صفحات شما را اسکن کنند. پس به نظر می رسد بهتر است بودجه خزیدن سایتتان را بهینه کنید. اگر عددی که به دست آوردید کمتر از ۳ باشد جای نگرانی نیست و بودجه خزش سایت شما نسبتا مطلوب است.

گوگل کدام url ها را کراول می کند؟

اکنون به اجمال فهمیدیم که بودجه خزش چیست و خزنده های گوگل چطور رفتار می کنند. سوال بعدی که باید به آن پاسخ دهیم این است که ربات ها کدام URLها را کراول یا اسکن می کنند؟ مهم ترین راهی که خزنده های گوگل از طریق آن به صفحات یک سایت دسترسی پیدا می کنند، نقشه xml سایت است. علاوه بر این پیوندهای داخلی یا خارجی نیز ربات ها را به سایت شما هدایت می کنند؛ به همین خاطر همواره توصیه می شود نقشه سایت را به طور مرتب چک کنید تا از سالم بودن URLها مطمئن شوید.

روش های افزایش بودجه کراول

قطعا صرف اینکه بدانیم بودجه خزش چیست کمکی به بهبود سئو سایت ما نخواهد کرد. بنابراین باید راهکارهای عملی را برای بهینه کردن بودجه کراول یا خزش سایت به کار ببریم تا به هدف افزایش رتبه سایت دست پیدا کنیم.

در ادامه مهم ترین روش های افزایش بودجه خزش( Crawl Budget) را مطرح می کنیم:

کاهش خطاها

وجود خطاها مانع کراول کردن خزنده ها می شود و می تواند به سئو سایت شما لطمه بزند. پس در گام اول برای افزایش بودجه خزش باید خطاهای سایت را شناسایی و برطرف کنید. یک راه ساده برای کشف ایرادات ساختاری و سئو فنی این است که گزارش های سرور خود را دریافت کنید. همچنین کنسول جستجوی گوگل می تواند در انجام این کار به شما کمک کند. در این مرحله لازم است ریدایرکت ۳۰۱ و ۲۰۰ را پیدا کنید و بقیه URLها را تعمیر کنید. شاید لازم باشد کدها را اصلاح نموده یا URL را به جای دیگری هدایت کنید.

مسدود کردن برخی از صفحات سایت

ممکن است در سایت شما صفحاتی وجود داشته باشند که تمایلی ندارید توسط گوگل دیده شوند. اگر خزنده های گوگل وقت خود را برای اسکن کردن این صفحات تلف کنند بودجه کراول شما کاهش پیدا می کند. با کاهش بودجه کراول شانس ایندکس شدن صفحات مهم تر را از دست خواهید داد.

بهترین کار این است که مشخص کنید خزنده ها کدام صفحات را باید کراول کنند. می توانید سایر بخش ها که نیازی نیست توسط ربات ها اسکن شوند را از طریق robots.txt مسدود کنید. با این کار خزنده های موتور جستجو به این صفحات دسترسی نخواهند داشت.

لینک بیلدینگ

از جمله عواملی که می تواند به بهبود نرخ کراول سایت شما کمک کند این است که لینک های خارجی بیشتری دریافت کنید. لینک سازی بیشتر به معنای کسب اعتبار و افزایش تعداد بازدیدهای سایت است. به همین دلیل لینک بیلدینگ همیشه به عنوان یک فاکتور بسیار قدرتمند برای بهبود سئو سایت شناخته می شود. ایجاد لینک برای برطرف کردن مشکل ایندکس وب سایت شما موثر خواهد بود و احتمال خزیده شدن صفحات سایتتان را بالا می برد.

جلوگیری از هدررفت بودجه خزیدن با نتایج فیلترشده

اگر سایت شما فیلترهایی دارد که باعث تولید URLهای جدید هنگام تغییرات در صفحات مختلف می شود و این URLها در نقشه سایت وجود ندارند، ممکن است با مشکل روبه رو شوید. در این حالت، ممکن است تعداد زیادی URL غیر ایندکس شده در سرچ کنسول ظاهر شوند که در حال مصرف بودجه خزش شما هستند. بهترین راه برای حذف این URLها چیست؟

بهترین راه برای حذف این URLها این است که صفحه اصلی را با دستور ‘index, follow’ نگه دارید و URLهای جدید تولید شده توسط فیلترها را به ‘noindex, nofollow’ تغییر دهید. همچنین می توانید با استفاده از لینک های canonical، صفحات فیلتر شده را به صفحه اصلی ارجاع دهید تا موتورهای جستجو تنها صفحه اصلی را ایندکس کنند. علاوه بر این، اگر لینک های نامطلوب به این صفحات هدایت می شوند، می توانید آن ها را با استفاده از ابزار Disavow در سرچ کنسول گوگل از تأثیرگذاری روی سایتتان حذف کنید.

تعریف بودجه خزیدن (Crawl Budget) و پارامترهای هدر دهنده آن

گوگل و سایر موتورهای جستجو تنها تعداد مشخصی از صفحات سایت شما را خزیده و سپس متوقف می شوند. اگر بودجه خزیدن شما روی صفحات کم ارزش و بی کیفیت مصرف شود، صفحات خوب ممکن است در فرایند خزیدن پیدا نشوند.

اگر صفحات ارزشمند پیدا نشوند، ممکن است ایندکس نشوند، اگر ایندکس نشوند، نمی توانند ترافیک سئو به ارمغان بیاورند. به همین دلیل است که بهینه سازی بودجه خزیدن برای کارایی سایت اهمیت زیادی دارد.

کاربران سایت هنگام استفاده از فیلترها ممکن است URLهایی با محتوای ضعیف ایجاد کنند که از نظر تجربه کاربری ارزش افزوده دارند. بنابراین از دیدگاه سئو سایت، بهتر است که یک صفحه اصلی و با محتوای مفید تر ایجاد شود. برای مثال، فروشگاه های آنلاین ممکن است جستجوهایی برای رنگ هایی مانند قرمز یا سبز و محصولاتی مانند تی شرت یا چیپس سیب زمینی داشته باشند که URLهای جدیدی ایجاد می کند. استفاده از فیلترهای مختلف مانند اندازه، جنسیت، رنگ، قیمت، تنوع و سازگاری در فرآیند خرید نیز می تواند URLهای مشابهی ایجاد کند. URLهای مشابه ایجاد شده در فرآیند خرید، ممکن است رقابت مستقیم با صفحات اصلی یا دسته بندی ها داشته باشند.

نتایج فیلتر شده می توانند تجربه کاربری را بهبود بخشند، اما در بسیاری از موارد با صفحات اصلی رقابت می کنند، در حالی که صفحات اصلی معمولاً نسخه های کامل تر و ارزشمندتری هستند.

برای مثال، ممکن است فردی در سایتی جستجویی انجام دهد و نتایج فیلتر شده ای شامل چند مقاله یا محصول مرتبط دریافت کند. اما دسته بندی های اصلی سایت معمولاً پاسخ بهتری برای موتورهای جستجو هستند.

برای بهره وری بیشتر از بودجه خزیدن، باید تلاش کنیم تا موتورهای جستجو وقت خود را روی خزیدن صفحات با محتوای ضعیف تلف نکنند و اولویت را به صفحات اصلی و مهم تر بدهند.

تفاوت بین ایندکس کردن و خزیدن

پیش از پرداختن به ایده ها و راه حل های پیشنهادی برای مدیریت بودجه خزش، لازم است تفاوت بین ایندکس کردن و خزیدن را بهتر درک کنید:

• خزیدن: فرآیندی است که طی آن موتورهای جستجو صفحات جدید در سایت را کشف می کنند.
• ایندکس کردن: یعنی افزودن صفحات معتبر و باکیفیت به پایگاه داده موتورهای جستجو، صفحاتی که شایسته نمایش به کاربران در نتایج جستجو هستند.

نکته مهم این است که ممکن است یک صفحه خزیده شود اما ایندکس نشود. اما اگر صفحه ای ایندکس شده باشد، به احتمال زیاد قبلاً خزیده شده و در آینده نیز برای بررسی به روزرسانی ها و وضعیت سرور دوباره خزیده خواهد شد.

با این حال، همه صفحات ایندکس شده نمی توانند ترافیک جذب کنند یا به صفحه اول نتایج برسند، زیرا ممکن است بهترین پاسخ برای جستجوهای کاربران نباشند.

 تیم نیوسئو همراه شماست. ما می خواهیم در ادامه این مقاله از آموزش سئو سایت، روش هایی را مورد بررسی قرار دهیم که به شما کمک می کند از بودجه خزیدن به طور کارآمد استفاده کنید. با کارآمد شدن بودجه خزش قطعا می توانید نتایج بهتری برای سایت خود بگیرید.

استفاده از Meta Robots یا X Robots برای مدیریت بودجه خزیدن

یکی از راه حل های مدیریت بودجه خزیدن، استفاده مناسب از تگ های Meta Robots یا هدرهای X Robots است. این ابزارها به موتورهای جستجو دستور می دهند که با صفحات مختلف چگونه رفتار کنند.

به عنوان مثال، دستور “index, follow” به موتور جستجو اعلام می کند که هم صفحه را ایندکس کند و هم لینک های موجود در آن را دنبال کند. این گزینه فقط در صورتی مفید است که صفحه فیلتر شده تجربه کاربری مناسبی ارائه دهد و ارزش ایندکس شدن داشته باشد.

اما اگر صفحه فیلتر شده کیفیت بالایی ندارد یا محتوای تکراری محسوب می شود، بهتر است از دستور “noindex, follow” استفاده کنید. این تنظیم به موتور جستجو اعلام می کند که صفحه نیازی به ایندکس شدن ندارد، اما لینک های داخلی آن باید خزیده شوند.

این استراتژی با کمک Meta Robots می تواند بودجه خزیدن سایت را بهینه کرده و تمرکز موتورهای جستجو را روی صفحات ارزشمندتر قرار دهد.

استفاده از Canonical برای حل مشکل اتلاف بودجه خزیدن

لینک های canonical برای کمک به موتورهای جستجو در تشخیص صفحه رسمی برای ایندکس استفاده می شوند.

اگر یک محصول در سه دسته بندی مختلف در سه URL جداگانه وجود داشته باشد، تنها یکی باید “نسخه رسمی” باشد، بنابراین دو نسخه تکراری باید canonical به نسخه رسمی داشته باشند. نسخه رسمی باید یک لینک canonical داشته باشد که به خود اشاره کند. این موضوع برای فیلترها نیز صدق می کند. اگر استفاده از فیلترها منجر به صفحات متعددی شود که مشابه نسخه رسمی سایت هستند، این صفحات احتمالاً نسخه های تکراری محسوب می شوند.

نتایج فیلتر شده باید canonical به صفحه اصلی فیلترها داشته باشند به جای اینکه خودشان ارجاع دهنده باشند، اگر محتوای صفحه همانند دسته بندی اصلی باقی بماند.

در بیشتر موارد، نسخه فیلتر شده از صفحه ای که جستجو کرده اید یا فیلتر کرده اید، اطلاعات و ساختار خود را از همان صفحه اصلی به ارث می برد. به همین دلیل، بهتر است لینک canonical این صفحات به همان صفحه اصلی اشاره کند.

اگر همزمان از “noindex” و یک canonical خودارجاعی استفاده کنید، این می تواند سیگنال های متناقضی به موتورهای جستجو ارسال کند، که اصلاً ایده خوبی نیست.

برای حل این مشکل، باید رویکرد درستی را انتخاب کنید. یا فقط از لینک canonical استفاده کنید تا نشان دهید نسخه رسمی کدام است، یا صفحه مورد نظر را “noindex” کنید و لینک canonical آن را به نسخه اصلی ارجاع دهید. این کار به موتورهای جستجو کمک می کند که به درستی صفحات مهم سایت شما را ایندکس کنند.

استفاده از Disavow برای بهبود سلامت لینک ها

ابزار Disavow به طور مستقیم بر کارایی خزیدن تأثیری ندارد. تنها در موارد خاص که موتور جستجو برخی صفحات را از طریق لینک های کم کیفیت شناسایی کند، ممکن است نقش داشته باشد. این ابزار در گوگل به شما اجازه می دهد اعلام کنید که بعضی از لینک های ورودی، کیفیت مناسبی ندارند و بهتر است در ارزیابی کلی سایت شما لحاظ نشوند.

در بیشتر موارد، نیازی به استفاده از Disavow نیست؛ زیرا گوگل توانایی بالایی در شناسایی و نادیده گرفتن لینک های غیرطبیعی دارد.

چند نکته مهم درباره استفاده از این ابزار:

• هرگز آدرس های سایت خود را به فایل Disavow اضافه نکنید.
• این ابزار تنها برای مدیریت لینک های خارجی کم کیفیت است و تأثیری بر مدیریت بودجه خزیدن ندارد.
• هدف اصلی استفاده از Disavow، کمک به حفظ کیفیت سیگنال های لینک دهی به سایت شماست.
• به جای تمرکز بر Disavow، بهتر است انرژی خود را بر بهینه سازی داخلی و ساختار صحیح لینک های داخلی متمرکز کنید.

چگونه کارایی بودجه خزیدن را بهینه کنیم؟

پاسخ اصلی در استفاده هوشمندانه از فایل robots.txt نهفته است. با این فایل می توانید مشخص کنید کدام مسیرها برای خزیدن موتورهای جستجو مجاز یا غیرمجاز هستند.

• با استفاده از دستور allow می توانید پوشه های مجاز برای خزیدن را تعیین کنید.
• با دستور disallow می توانید مسیرهایی که نیاز به خزیدن ندارند (مانند نتایج فیلتر شده با علامت های “?” یا “&”) را مسدود کنید.
• اگر برخی پارامترها باید خزیده شوند، می توانید به طور مشخص آن ها را تعریف کنید (مثلاً “?filter=location”).

پس از بهینه سازی robots.txt، به ساختار لینک های داخلی سایت توجه ویژه داشته باشید. لینک های داخلی به موتورهای جستجو کمک می کنند صفحات مهم سایت شما را بهتر شناسایی کرده و ارتباط موضوعی بین صفحات را درک کنند.

نتیجه گیری

موتور جستجوی گوگل برای رتبه بندی سایت ها از زیرساخت پیشرفته ای به نام خزنده ها یا کراولرها استفاده می کند. کراولرها ربات هایی هستند که روزانه چندین سایت را اسکن کرده و محتواهای مفید آن ها را ایندکس می کنند. خزنده های موتور جستجو روزانه قادر به کراول کردن تعداد محدودی از صفحات سایت ها هستند. برای رسیدن به رتبه سایت بهتر باید صفحاتی که برایمان اهمیت دارند را بیشتر در معرض خزیدن قرار دهیم.

بهبود نرخ بودجه خزش کار دشواری نیست و با شرکت در دوره آموزش سئو می توانید تکنیک های آن را بیاموزید. با این حال اگر زمان کافی برای انجام این کار ندارید، پیشنهاد می کنیم از یک کارشناس سئو کمک بگیرید. نرخ بودجه خزش در سئو سایت اهمیت بسیار زیادی دارد و به هیچ وجه نباید نادیده گرفته شود.

مطالب مرتبط