فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است با فرمت TXT، که به خزنده های موتور جستجو می فهماند که به کدام URL ها در سایت دسترسی دارند و به کدام URL ها خیر، این امر عموما برای جلوگیری از بارگذاری بیش از حد سایت شما (Over Loading) توسط درخواست ها ارسال شده به سمت سرور کاربرد دارد، ولی دقت کنید استفاده از فایل robots.txt راه مناسبی برای از دسترس خارج کردن صفحات وب برای گوگل نیست، برای آشنایی بیشتر با این فایل و موارد مربوط به آن تا انتهای مقاله همراه ما باشید.

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی است که ناشران سایت ها آن را ایجاد کرده و در ریشه سایت خود ذخیره می کنند. هدف از این فایل این است که به ربات های وب خودکار، مانند ربات های موتور جستجو، بگوید که کدام صفحات نباید در سایت خزیده (crawl) شوند.

فایل robots.txt تضمین نمی کند که URLهای مستثنی شده در جستجوها ایندکس نشوند. زیرا ربات های موتور جستجو هنوز می توانند از طریق صفحات دیگری که به آن ها لینک می دهند، متوجه شوند که آن صفحات وجود دارند. یا اینکه این صفحات ممکن است هنوز از گذشته ایندکس شده باشند.

همچنین، فایل robots.txt تضمین نمی کند که یک ربات به صفحه مستثنی شده دسترسی نداشته باشد، زیرا این سیستم داوطلبانه است. نادر است که ربات های موتور جستجو اصلی به دستورات شما توجه نکنند، اما ربات های بد مانند اسپم بات ها، بدافزارها و جاسوس افزارها اغلب دستورات را دنبال نمی کنند.

به یاد داشته باشید که فایل robots.txt عمومی است و قابل دسترسی است. شما می توانید با افزودن “/robots.txt” به انتهای آدرس دامنه، فایل robots.txt آن را مشاهده کنید. بنابراین، هیچ فایلی یا پوشه ای که اطلاعات حیاتی تجاری شما را شامل می شود، نباید در آن قرار گیرد.

خب، حالا با توجه به نکات گفته شده در خصوص فایل robots.txt، ادامه می دهیم…!

چرا فایل robots.txt اهمیت دارد؟

ربات های موتور جستجو دستور دارند تا صفحات وب را خزیده و ایندکس کنند. با استفاده از فایل robots.txt می توانید به طور انتخابی صفحات، دایرکتوری ها یا کل سایت را از خزیدن مستثنی کنید. در اینجا برخی از موقعیت هایی که می خواهید از فایل robots.txt خود استفاده کنید آمده است:

• مسدود کردن صفحات یا فایل هایی که نباید خزیده یا ایندکس شوند (مانند صفحات کم اهمیت یا مشابه)
• جلوگیری از خزیدن برخی قسمت های سایت در حین بروزرسانی آن ها
• اعلام موقعیت نقشه سایت خود به موتورهای جستجو
• دستور به موتورهای جستجو برای نادیده گرفتن برخی فایل ها در سایت، مانند ویدیوها، فایل های صوتی، تصاویر، پی دی اف ها و غیره و جلوگیری از نمایش آن ها در نتایج جستجو
• کمک به اطمینان از اینکه سرور شما با درخواست های زیاد تحت فشار قرار نگیرد

استفاده از robots.txt برای مسدود کردن خزیدن غیرضروری یکی از روش های کاهش فشار بر روی سرور شما است و به ربات ها کمک می کند تا محتوای خوب شما را به طور مؤثرتری پیدا کنند.

آیا فایل robots.txt ضروری است؟

هر سایتی باید فایل robots.txt داشته باشد، حتی اگر خالی باشد. وقتی ربات های موتور جستجو به سایت شما می آیند، اولین چیزی که جستجو می کنند فایل robots.txt است.اگراین فایل وجود نداشته باشد، ربات ها با خطای ۴۰۴ (یافت نشد) مواجه می شوند.

اگرچه گوگل می گوید که Googlebot می تواند سایت را بدون وجود فایل robots.txt خزیده و بررسی کند، اما ما معتقدیم که بهتر است به جای تولید خطای ۴۰۴، فایل مورد نظر به محض درخواست ربات ها بارگذاری شود.

کاربرد فایل robots.txt؟

کاربرد فایل robots.txt در درجه اول برای مدیریت ترافیک خزنده ها به سایت شما و ایندکس نشدن برخی از فایل ها در دیتابیس و نتایج جستجو گوگل استفاده می شود و معمولاً بسته به نوع فایل، آن را از ایندکس شدن توسط گوگل و نمایش در نتایج موتورهای جستجو دور نگه می دارد.

کاربرد فایل robots.txt در صفحات وب

شما می توانید از یک فایل robots.txt برای صفحات وب HTML ،PDF یا سایر فرمت های غیر رسانه ای که گوگل می تواند آن ها را بخواند استفاده کنید، اگر فکر می کنید سرور شما به دلیل درخواست های خزنده گوگل تحت تأثیر و فشار قرار می گیرد، یا برای جلوگیری از خزیدن در صفحات بی اهمیت یا مشابه در سایت خود، می توانید ترافیک و خزیدن خزنده ها را مدیریت کنید.

از فایل robots.txt به عنوان ابزاری برای پنهان کردن صفحات وب خود از نتایج جستجوی گوگل استفاده نکنید، زیرا گوگل همچنان می تواند URL را بدون مراجعه به صفحه ایندکس کند، اگر می خواهید صفحه خود را برای نتایج جستجو مسدود کنید، از روش دیگری مانند حفاظت توسط رمز عبور یا noindex استفاده کنید.

اگر یک صفحه وب شما توسط فایل robots.txt مسدود شده باشد، URL آن همچنان می تواند در نتایج جستجو قرار بگیرد، اما نتیجه جستجو توضیحی نخواهد داشت، یعنی فایل های تصاویر، فایل های ویدئویی، PDF، و سایر فایل های غیر از HTML حذف خواهند شد، اگر صفحه ای از سایت خود را در نتایج جستجو به این صورت می بینید برای برطرف کردن مشکل آن، ورودی robots.txt که آن صفحه را مسدود می کند حذف کنید و اگر می خواهید صفحه را به طور کامل از جستجو پنهان کنید، از روش دیگری استفاده کنید.

کاربرد فایل robots.txt برای فایل های رسانه ای

از یک فایل robots.txt می توانید برای جلوگیری از ظاهر شدن فایل های تصویری، ویدیویی و صوتی در نتایج جستجوی گوگل استفاده کنید، ولی این فایل نمی تواند مانع دسترسی از طریق لینک های سایر صفحات به فایل های رسانه ای شما شود.

برای جلوگیری از نمایش تصاویر سایت شما در نتایج جستجوی گوگل، یک فایل robots.txt را به سرور اضافه کنید که تصویر را مسدود کند، در حالی که حذف تصویر از نتایج جستجو از طریق این فایل بیشتر از استفاده از ابزار Remove URL طول می کشد ولی استفاده از فایل robots.txt انعطاف پذیری و کنترل بیشتری به شما می دهد، همچنین برای همه موتورهای جستجو اعمال می شود، در حالی که ابزار حذف URL ها فقط برای حذف آدرس در گوگل کاربرد دارد.

به عنوان مثال اگر می خواهید تصویری از سایت خود را با استفاده از فایل robots.txt از نتایج گوگل حذف کنید، باید در این فایل طبق دستور زیر عمل کنید.

User-agent: Googlebot-Image

Disallow: /images/one.jpg

در خط دوم کد بالا بعد از دستور disallow باید آدرس عکس مورد نظر قرار بگیرد، حال دفعه بعد که خزنده گوگل سایت شما را بررسی کند، این دستورالعمل را می بیند و آن تصویر را از نتایج جستجوی حذف می کند.

کاربرد فایل robots.txt در فایل های سورس

مورد دیگری از کاربرد فایل robots.txt مسدودسازی فایل های سورس است، اگر فکر می کنید بدون بعضی از فایل های سورس، صفحات به طور قابل توجهی تحت تأثیر قرار نمی گیرند، می توانید با استفاده از فایل robots.txt برای مسدود کردن آن فایل ها مانند فایل های اسکریپت یا سایر فایل های سبک، اقدام کنید. اما اگر عدم وجود این منابع درک صفحه را برای خزنده گوگل سخت تر کند، نباید آن ها را مسدود کنید، و اگر این کار را کنید گوگل نمی تواند به خوبی در تجزیه و تحلیل صفحات وابسته به آن منابع عمل کند.

محدودیت های فایل robots.txt

قبل از ایجاد یا ویرایش فایل robots.txt، باید محدودیت های این روش مسدودسازی URL را بدانید. تا بر اساس اهداف و موقعیت خود تصمیم بگیرید که این روش برای عملی که می خواهید انجام دهید مناسب است یا خیر، ممکن است بخواهید روش های دیگری را در نظر بگیرید تا مطمئن شوید URL مدنظر شما در وب یافت نشود،

محدودیت های فایل robots.txt شاید موجب شوند شما روش دیگری را انتخاب کنید که این محدودیت ها به شرح زیر می باشند.

پشتیبانی نشدن robots.txt توسط برخی از موتورهای جستجو

دستورالعمل های موجود در فایل های robots.txt ممکن است توسط همه ربات ها (خزنده ها) اعمال نشوند، این به خزنده بستگی دارد که از آن ها اطاعت کند یا خیر، با این حال ربات های گوگل و سایر خزنده های معتبر از دستورالعمل های موجود در این فایل پیروی می کنند ولی سایر خزنده ها ممکن است از آن اطاعت نکنند. بنابراین، اگر می خواهید اطلاعات را برای تمامی خزنده های وب محدود کنید، بهتر است از سایر روش های مسدود کردن، مانند محافظت از فایل های خصوصی در سرور خود استفاده کنید.

تفاوت در نحوه تفسیر دستور العمل ها توسط ربات ه

یکی دیگر از محدودیت های فایل robots.txt تفاوت در نحوه تفسیر است، اگرچه خزنده های معتبر از دستورالعمل های موجود در یک فایل robots.txt پیروی می کنند، اما هر خزنده ممکن است دستورالعمل ها را به شیوه های مختلف تفسیر کند، شما باید نحوه مناسب آدرس دهی برای خزنده های مختلف را بدانید زیرا برخی از آن ها دستورالعمل های خاصی را درک نمی کنند.

رفع محدودیت خزیدن در صورت لینک گرفتن صفحه

صفحه ای که در robots.txt به حالت disallow درآمده باشد، یعنی ایندکس شدن آن برای خزنده ها محدود شده باشد، اگر از صفحاتی دیگر لینکی به آن داده شود، همچنان می تواند ایندکس شود و در نتایج جستجو قرار بگیرد.

به عبارت دیگر گوگل محتوای مسدود شده توسط یک فایل robots.txt را نمی خزد یا ایندکس نمی کند، اما در صورتی که از سایر نقاط وب لینکی به آن صفحه داده شود، ممکن است گوگل همچنان آدرس را پیدا کرده و ایندکس کند، درنتیجه آن URL هنوز می تواند در نتایج جستجوی گوگل ظاهر شوند. برای جلوگیری از این امر، از فایل های سرور خود با گذرواژه محافظت کنید یا از متاتگ noindex استفاده کنید یا صفحه را به طور کامل حذف کنید.

محل فایل robots.txt کجاست؟

 

محل فایل robots.txt باید دقیقا در محل root (ریشه) اصلی سایت باشد و در هیچ فولدری قرار نگیرد، دقیقا در root اصلی.
دقت کنید برای ساخت این فایل به ابزار پیچیده و خاصی نیاز ندارید، notepad موجود در ویندوز شما یا هر برنامه ویرایش متن دیگری کفایت می کند، اما مسئله حائز اهمیت صحیح نوشته شدن موارد داخل این فایل است.
برای مشاهده فایل robots.txt هر وب سایتی کافی است در آدرس بار مرورگر خود بعد از دامنه آن وبسایت عبارت /robots.txt را قرار دهید، مثل: https://www.newseo.ir/robots.txt

بارگذاری فایل robots.txt در وردپرس

برای بارگذاری فایل robots.txt در وردپرس از ۲ طریق می توانید اقدام کنید:
1. استفاده از افزونه yoast: در این افزونه امکان ساخت و ویرایش فایل robots.txt وجود دارد، برای این کار باید در پیشخوان وردپرس به مسیر / سئو / ابزارها بروید و گزینه “ویرایشگر فایل” را انتخاب کنید، سپس در صفحه ای که ظاهر می شود، وجود یا عدم وجود فایل robots.txt در سایت شما نمایش داده می شود، اگر این فایل در سایت شما وجود نداشته باشد، می توانید با کلیک روی گزینه “ایجاد پرونده robots.txt” آن را بسازید که در آن دستورات پیشفرضی که توسط افزونه yosat تعیین شده اند قرار می گیرد، همچنین می توانید خودتان این فایل را ویرایش کنید.

2. بارگذاری و ویرایش robots.txt به صورت دستی: به کنترل پنل هاست سایت خود مراجعه کنید و وارد root اصلی سایت شوید، اگر این فایل را روی سایت شما وجود ندارد می توانید از طریق کنترل پنل آن را آپلود کنید و اگر این فایل وجود داشت می توانید با کلیک راست کردن روی آن و انتخاب گزینه view/edit آن را ویرایش کنید.
دقت کنید برای بارگذاری فایل robots.txt در وردپرس می توانید از افزونه های دیگری بجز yoast، مثل افزونه all in one seo هم استفاده کنید.

تأثیر فایل robots.txt در سئو

فایل robots.txt ربات های موتورهای جستجو می گوید که کدام صفحات از وب سایت را نباید crawl کنند، حال اولین نکته ای که باید در بحث تأثیر فایل robots.txt در سئو به آن دقت کنید این است که ممکن است صفحاتی را به اشتباه در این فایل محدود کنید که باعث شود این صفحات در نتایج جستجو قرار نگیرند در صورتی که شما چنین قصدی نداشتید.
از موارد دیگر تأثیر فایل robots.txt در سئو این است که شما می توانید از طریق این فایل به خزنده ها نشان دهید فایل XML مربوط sitemap (نقشه سایت) سایت شما دقیقا کجا قرار دارد و بهینه سازی نقشه سایت کمک می کند. این موضوع موجب تسریع امر ایندکس شدن صفحات سایت شما می شود و می توانید تا حدودی اطمینان حاصل کنید که هیچ URL مهمی در سایت شما از دید خزنده های موتورهای جستجو پنهان نمی ماند.
همچنین می توانید از طریق این فایل، دسترسی ربات ها را به بعضی از صفحاتی که فکر می کنید برای سئو شما مضر هستند را محدود کنید تا از جریمه شدن بخاطر آن صفحات جلوگیری کنید، اما علاوه بر آن توصیه می شود در آن صفحات سایت، از متا تگ روبات ها (robots meta tag) با خاصیت “noindex , follow” برای جلوگیری از ایندکس شدن آن ها استفاده کنید، از این طریق ارزش لینک های آن از بین نخواهد رفت.

robots.txt چطور کار می کند؟

برای ایجاد یک فایل robots.txt، می توانید از یک برنامه ساده مانند Notepad یا TextEdit استفاده کنید. آن را با نام robots.txt ذخیره کرده و به ریشه سایت خود آپلود کنید (مثلاً www.domain.com/robots.txt) اینجاست که ربات ها به دنبال آن می گردند.

یک فایل ساده robots.txt به این صورت خواهد بود:

```

User-agent: *

Disallow: /directory-name/

```

گوگل توضیح خوبی در مورد معنای خطوط مختلف در یک گروه داخل فایل robots.txt در راهنمای خود برای ایجاد robots.txt ارائه داده است. هر گروه شامل چندین قانون یا دستورالعمل (instructions) است که هر دستورالعمل در یک خط قرار دارد.

در ادامه به توضیح دستورات مختلف در یک فایل robots.txt می پردازم.

دستورات robots.txt

دستورهای رایج که در فایل robots.txt استفاده می شوند عبارتند از:

1- User-agent

   User-agent به رباتی اشاره دارد که دستورات را دریافت می کند (برای مثال، Googlebot یا Bingbot). شما می توانید دستورالعمل های مختلفی برای user-agentهای مختلف داشته باشید. اما وقتی از علامت (*) استفاده می کنید این یک دستور عمومی است که به معنی تمامی user-agentها است. شما می توانید فهرستی از user-agentها را اینجا مشاهده کنید.

2- دستور Disallow

قاعده Disallow مشخص می کند که کدام پوشه، فایل یا حتی دایرکتوری کامل از دسترسی ربات های وب مستثنی شوند. نمونه هایی از استفاده این قاعده به شرح زیر است:

 

– اجازه به ربات ها برای خزیدن در کل سایت:

```

User-agent: *

Disallow:

```

– ممانعت از دسترسی تمامی ربات ها به کل سایت:

```

User-agent: *

Disallow: /

```

– ممانعت از دسترسی تمامی ربات ها به دایرکتوری “/myfolder/” و تمام زیرمجموعه های آن:

```

User-agent: *

Disallow: /myfolder/

```

– ممانعت از دسترسی تمامی ربات ها به هر فایلی که با “myfile.html” شروع می شود:

```

User-agent: *

Disallow: /myfile.html

```

– ممانعت از دسترسی گوگل بات به فایل ها و پوشه هایی که با “my” شروع می شوند:

```

User-agent: googlebot

Disallow: /my

```

3- دستور Allow

این دستور تنها برای گوگل بات کاربرد دارد و به آن می گوید که می تواند به یک پوشه یا صفحه فرعی دسترسی داشته باشد حتی اگر پوشه یا صفحه والد آن مستثنی شده باشد.

مثال زیر را مشاهده کنید: ممانعت از دسترسی تمامی ربات ها به پوشه “/scripts” به جز صفحه “page.php”:

```

Disallow: /scripts/

Allow: /scripts/page.php

```

4- دستور Crawl-delay

این دستور به ربات ها می گوید که برای خزیدن در هر صفحه چقدر باید صبر کنند. سایت ها ممکن است از این دستور برای حفظ پهنای باند سرور استفاده کنند. گوگل بات این دستور را شناسایی نمی کند و از شما خواسته است که نرخ خزیدن را از طریق کنسول جستجو تغییر دهید. از دستور Crawl-delay استفاده نکنید مگر در موارد خاص، زیرا می تواند تأثیر زیادی بر روی زمان بندی و مؤثر بودن خزیدن سایت داشته باشد.

5- دستور Sitemap

این دستور به ربات های موتور جستجو می گوید که نقشه سایت XML شما کجا قرار دارد. نمونه:

```

User-agent: *

Disallow: /directory-name/

Sitemap: https://www.domain.com/sitemap.xml

```

6- Wildcard Characters

دو کاراکتر برای هدایت ربات ها برای نحوه برخورد با URLهای خاص وجود دارد:

– کاراکتر ستاره (*): همان طور که پیشتر گفته شد، این کاراکتر می تواند دستورات را برای چندین ربات با یک مجموعه قوانین اعمال کند. همچنین می تواند برای تطبیق یک دنباله از کاراکترها در URLها برای مستثنی کردن آن URLها استفاده شود.

مثال:

```

User-agent: googlebot

Disallow: /*page

```

این دستور به گوگل بات می گوید که به URLهایی که شامل “page” هستند دسترسی نداشته باشد.

– کاراکتر دلار ($): این کاراکتر به ربات ها می گوید که باید هر دنباله ای را در انتهای URL تطبیق دهند. برای مثال، می خواهید خزیدن همه فایل های PDF در سایت را مسدود کنید:

```

User-agent: *

Disallow: /*.pdf$

```

توجه داشته باشید که می توانید از کاراکترهای * و $ به طور ترکیبی استفاده کنید و آن ها را برای دستورات allow و disallow ترکیب کنید. مثال:

```

User-agent: *

Disallow: /*asp$

```

این دستور تمامی فایل های asp را مستثنی می کند اما فایل هایی که شامل رشته های پرس و جو هستند (مانند: /login.asp?forgotten-password=1) مستثنی نمی شوند.

تست فایل robots.txt

برای تست فایل robots.txt روش های زیادی وجود دارد اما بهترین آن استفاده از ابزاری است که خود گوگل برای این کار در اختیار مدیران وب سایت ها قرار داده است، برای دسترسی به این ابزار کافی است با جی میل مربوط به سرچ کنسول سایت مورد نظر در مرورگر خود لاگین باشید، سپس به آدرس:

https://support.google.com/webmasters/answer/6062598

مراجعه کنید، در قسمت پایین صفحه فیلدی وجود دارد که می توانید توسط آن صفحات سایت خود را بررسی کنید و از عملکرد صحیح فایل robots.txt خود مطلع شوید.

 

همانطور که گفته شد در فیلد مشخص شده در تصویر بالا، URL مورد نظر را قرار داده و دکمه TEST را بزنید، همچنین می توانید بررسی آدرس را توسط ربات های مختلف گوگل، توسط منو باز شونده موجود در کنار دکمه TEST تعیین کنید.

درنهایت توصیه می شود بیش ازحد فایل robots.txt را بروزرسانی نکنید، بهترین روش این است که پس از ساخت وب سایت، یک نسخه استاندارد و نهایی از این فایل را آپلود کنید، بروزرسانی های بیش ازحد در این فایل می تواند موجب پیچیدگی و اختلال در روند crawl شدن سایت بشود.

مشکلات ناشی از فایل Robots.txt چیست؟

این فایل ساده می تواند در صورتی که آموزش سئو کافی نداشته و مراقب نباشید، مشکلاتی برای سئو سایت به وجود آورد. در اینجا چند وضعیت وجود دارد که باید مراقب آن ها باشید:

1. مسدود کردن کل سایت به صورت تصادفی 

اشتباه مسدود کردن تصادفی سایت بیشتر از آنچه که فکر می کنید، رخ می دهد. توسعه دهندگان ممکن است از robots.txt برای پنهان کردن یک بخش جدید یا بازطراحی شده از سایت استفاده کنند در حالی که در حال توسعه آن هستند. اما پس از راه اندازی سایت، ممکن است فراموش کنند که دسترسی به آن بخش را باز کنند. اگر سایت موجود باشد، این اشتباه می تواند باعث کاهش رتبه  شود.

این خوب است که بتوانید در حین آماده سازی یک بخش جدید از سایت برای راه اندازی، خزیدن را غیرفعال کنید. فقط یادتان باشد که وقتی سایت راه اندازی شد، آن دستور را در robots.txt تغییر دهید.

2. مستثنی کردن صفحاتی که قبلاً ایندکس شده اند 

مسدود کردن صفحاتی که قبلاً در ایندکس موتور جستجو قرار دارند، باعث می شود که آن ها در ایندکس گوگل گیر کنند.

اگر صفحاتی که قبلاً ایندکس شده اند را از خزیدن با استفاده از robots.txt مستثنی کنید، آن ها همچنان در ایندکس باقی می مانند. برای حذف واقعی این صفحات از ایندکس، باید تگ متای robots با دستور “noindex” را روی خود صفحات قرار دهید و به گوگل اجازه دهید تا آن ها را خزیده و پردازش کند. پس از حذف صفحات از ایندکس، می توانید آن ها را در robots.txt مسدود کنید تا از درخواست مجدد آن ها توسط گوگل جلوگیری شود.

عدم خزیدن در مقابل عدم ایندکس شدن

اگر نمی خواهید که گوگل صفحه ای را ایندکس کند، روش های بهتری غیر از استفاده از فایل robots.txt وجود دارند. همانطور که گوگل توضیح می دهد:

– robots.txt: از این فایل استفاده کنید اگر خزیدن به محتوای شما باعث مشکلات سروری می شود. برای مثال، ممکن است بخواهید خزیدن اسکریپت های تقویم نامحدود را مسدود کنید. نباید از robots.txt برای مسدود کردن محتوای خصوصی یا برای مدیریت کانونیکال سازی استفاده کنید. برای اطمینان از اینکه یک URL ایندکس نمی شود، باید از تگ متای robots یا هدر X-Robots-Tag استفاده کنید.

– تگ متای robots: از این تگ استفاده کنید اگر نیاز دارید نحوه نمایش یک صفحه HTML را در نتایج جستجو کنترل کنید یا مطمئن شوید که نمایش داده نشود.

– هدر X-Robots-Tag: از این هدر استفاده کنید اگر نیاز دارید نحوه نمایش محتوای غیر HTML (مانند تصاویر، PDF ها و غیره) را در نتایج جستجو کنترل کنید یا از نمایش آن جلوگیری کنید.