یکی از سوالات ابتدایی کاربران حوزه سئو این است که تگ نوایندکس چیست و چه کاربردی دارد؟ اگر می خواهید به طور کاملا جامع پاسخ این سوال را بیابید، در ادامه این بخش از بلاگ آموزش سئو نیوسئو، همراه ما باشید.

تگ HTML نوایندکس یک دستورالعمل مهم در سئو بوده که ربات های موتورهای جستجو را از ایندکس کردن برخی از صفحات در سایت باز می دارد. فایده اصلی این تگ در این است که فقط صفحات با محتوای مفید در گوگل قابل مشاهده باشند.

احتمالاً با خودتان فکر کنید که کار درست این است که تمامی صفحات یک سایت باید در گوگل ایندکس شوند. اما حقیقت این است که باید در استراتژی ایندکس صفحات سایت خود برخی از صفحات را نوایندکس کنید. اما تگ نوایندکس چیست؟ و چه تفاوتی با تگ نوفالو دارد؟ چطور می توان این تگ را در صفحات مورد نیاز سایت خود پیاده کرد؟

در این بخش قصد داریم شما را با صفر تا صد این موضوع آشنا کنیم.

منظور از تگ نوایندکس چیست؟

در اصل همانطور که نام این تگ معلوم است، تگ noindex یک تگ HTML است که برای کنترل نحوه برخورد ربات ها با یک صفحه یا فایل خاص در سایت شما و جلوگیری از ایندکس کردن آن صفحه یا فایل استفاده می شود. می توانید با افزودن یک دستورالعمل noindex در متا تگ ربات به موتورهای جستجو بگویید که صفحه را ایندکس نکنند. یکی از راه های ساده این است که کد زیر را به بخش <head> کدهای HTML اضافه کنید:

<meta name=”robots” content=”noindex”>

همچنین تگ نوایندکس را می‌ توان به عنوان یک تگ x-robots-tag به بخش هدر HTTP اضافه کرد، مانند نمونه زیر:

x-robots-tag: noindex

وقتی ربات‌ های موتورهای جستجو مانند گوگل بابت وارد صفحه ای می‌شوند که دارای تگ نو ایندکس باشد، آن را ایندکس نمی‌کنند. اگر آن صفحه قبلاً ایندکس بود و الان به حالت نوایندکس درآمده باشد، گوگل آن را از نتایج جستجو حذف می‌ کند، حتی اگر سایت‌ های دیگر به آن لینک داده باشند.

به طور کلی، خزنده‌ های موتورهای جستجو ملزم به پیروی از دستورالعمل‌ های متا نیستند، زیرا آنها را به‌ عنوان پیشنهاد می‌ بینند تا قوانینی که باید به آنها احترام بگذارند. برخی از خزنده‌ های موتورهای جستجو ممکن است مقادیر متا ربات‌ ها را متفاوت تفسیر کنند. با این حال، اکثر خزنده‌ های موتورهای جستجو – مانند Googlebot – از دستورالعمل noindex پیروی می‌ کنند.

noindex,تگ noindex,تگ noindex چیست

مقایسه تگ نوایندکس و نوفالو

در این بخش از مقاله تگ نوایندکس چیست، می‌ خواهیم به بررسی این موضوع بپردازیم که تگ نوفالو و نو ایندکس چه تفاوتی با هم دارند؟

دستورالعمل‌ های متا ربات دیگری نیز وجود دارد که گوگل از آن‌ها پشتیبانی می‌ کند که معروف‌ ترین آنها عبارتند از:

nofollow
follow

. با این حال، اگر تگ نوفالو را در صفحه سایت خود قرار نداده باشید، تگ فالو تنظیم پیش فرض صفحه شما خواهد بود. در حقیقت تگ نوفالو بیشتر برای این مورد استفاده می شود که از دادن اعتبار صفحه به لینک های موجود در آن جلوگیری کند.

این تگ برای صفحاتی که بخش نظرات در آن آزاد است و یا صفحاتی که افراد اطلاعات خود را در آن به اشتراک می گذارند، کاربرد دارد تا از انتقال اعتبار آن صفحه به لینک ها جلوگیری کند.

همچنین استفاده از تگ نوایندکس در یک صفحه هم به تنهایی امکان پذیر است، اما می توان آن را با تگ های دیگر نیز ترکیب کرد. به عنوان مثال، اگر نمی خواهید ربات های موتور جستجو صفحه ای را ایندکس کنند و در کنار آن لینک های موجود در آن را دنبال کنند، می توانید هر دو تگ noindex و nofollow را با هم در آن صفحه استفاده کنید.

نکته مهم دیگری که باید به آن توجه داشته باشید این است که اگر چنانچه از تگ noindex در صفحه ای استفاده کرده باشید، اما صفحه شما همچنان در نتایج جستجوی گوگل دیده شود، به این خاطر است که گوگل بعد از نوایندکس کردن صفحه آن را دوباره بررسی نکرده است و راه درست این است که دوباره از گوگل بخواهید آن را بررسی کند. برای درخواست مجدد از گوگل برای بررسی یک صفحه، می توانید از ابزار URL Inspection استفاده کنید.

چه زمانی باید از تگ نوایندکس استفاده کنیم؟

در این بخش از مقاله تگ نوایندکس چیست؟ درباره این موضوع صحبت خواهیم کرد که کجا و چه موقع باید از تگ نوایندکس استفاده کرد. همانطور که گفتیم برای جلوگیری از ایندکس شدن صفحات توسط گوگل باید از تگ noindex استفاده کنید.

همچنین نوایندکس کردن صفحات کم اهمیت بسیار مهم است زیرا گوگل منابع کافی برای خزیدن و فهرست کردن هر صفحه ای را که در وب پیدا می کند ندارد. در عین حال، باید صفحات ارزشمند خود را که باید ایندکس شوند شناسایی کنید و بهینه سازی آنها را در اولویت قرار دهید. احتمالاً دوست دارید بدانید که چه نوع صفحاتی باید تگ نوایندکس داشته باشند؟

در ادامه شما را کامل راهنمایی خواهیم کرد:

صفحاتی از سایت که برای محصولاتی که موجود نیستند و دوباره در دسترس نخواهند بود طراحی شده بودند.
صفحاتی که نباید در نتایج جستجو قابل دسترسی باشند، به عنوان مثال صفحاتی که از رمزهای عبور در سایت محافظت می کنند.
صفحاتی که برای موتورهای جستجو ارزشمند هستند اما نه برای کاربران – مانند صفحاتی که حاوی پیوندهایی هستند که به ربات ها کمک می کنند صفحات دیگر را کشف کنند.
صفحاتی با محتوای تکراری که اغلب در وب سایت های فروشگاهی دیده می شوند. همچنین توصیه می شود از تگ کنونیکال برای هدایت موتورهای جستجو به نسخه های اولیه صفحات خود و جلوگیری از مشکلات محتوای تکراری استفاده کنید.

نوایندکس کردن برخی از صفحات سایت را باید جزئی از استراتژی کلی خود در نظر داشته باشید. همچنین نباید هیچوقت از تگ نوایندکس در صفحات مهم سایت خود مانند مواردی که در ادامه به آنها اشاره می کنیم، استفاده کنید:

محبوب ترین صفحات محصولات سایت
مقالات وبلاگ (مگر اینکه قدیمی باشند)
صفحات درباره ما و تماس با ما
صفحاتی که خدماتی را که ارائه می دهید توصیف می کنند.

به طور کلی، هرگز تگ نوایندکس را در صفحاتی که انتظار دارید ترافیک قابل توجهی برای سایت شما ایجاد کنند، قرار ندهید.

نحوه پیاده سازی تگ noindex

در ادامه مباحث مربوط به اینکه تگ نوایندکس چیست، در مورد نحوه پیاده سازی آن در صفحات سایت صحبت خواهیم کرد. در اصل تگ نوایندکس را می‌ توان در کدهای HTML سایت قرار داد و یا در بخش هدر HTTP از آن استفاده کرد.

برخی از افزونه‌ های CMS مانند Yoast به شما اجازه می‌ دهند صفحاتی را که منتشر می‌ کنید به‌ طور خودکار نوایندکس کنید. در ادامه دو روش اجرایی اصلی برای پیاده سازی تگ noindex را توضیح خواهیم داد.

1. قراردادن تگ نوایندکس در کد HTML سایت

تگ noindex را می‌ توان به عنوان یک متا تگ ربات در بخش <head> در کدهای HTML سایت قرار داد. بهتر است این را هم بدانید که متا تگ‌ های ربات‌ ها کدهایی هستند که برای کنترل خزیدن و ایندکس کردن وب سایت استفاده می‌ شوند. کاربران نمی‌ توانند آنها را ببینند، اما ربات‌ ها آنها را هنگام خزیدن یک صفحه پیدا می‌ کنند. در این بخش نحوه پیاده سازی این کد را توضیح داده ایم:

<! DOCTYPE html>

<html>

<head>

<meta name="robots" content="noindex" >

</head>

<body>

</body>

</html>

اما متا تگ ربات‌ ها چه ساختاری دارد؟ در داخل متا تگ ربات دو عنصر ویژگی و مقدار وجود دارد.

<meta attribute=”value”>

متا تگ Robots دو ویژگی دارد:

Name: نام ربات‌ های موتور جستجو را مشخص می‌کند،
محتوا: حاوی دستورالعمل‌ هایی برای ربات‌ ها است.

هر دو ویژگی بر اساس آنچه می‌ خواهید ربات‌ ها انجام دهند، به مقادیر متفاوتی نیاز دارند. همچنین، هر دو ویژگی نام و محتوا به حروف کوچک و بزرگ حساس نیستند.

ویژگی name معمولاً ارزش “ربات” را تعریف می‌ کند، نشان می‌ دهد یک دستورالعمل همه ربات‌ها را هدف قرار می‌ دهد. همچنین می‌ توان به جای آن از نام یک ربات خاص مانند «googlebot» استفاده کرد، همچنین اگر می‌ خواهید ربات‌ های مختلفی را آدرس‌ دهی کنید، باید متا تگ جداگانه برای هر یک از آنها ایجاد کنید.

در همین حال، ویژگی محتوا حاوی دستورالعملی است که ربات‌ ها باید از آنها پیروی کنند. در مورد ما، “noindex” است. می‌ توانید بیش از یک مقدار را در آنجا قرار دهید و ویژگی‌ ها را با کاما جدا کنید.

تگ نوایندکس,تگ نوایندکس چیست,کاربرد تگ noindex

مزایا و معایب متا تگ ربات‌ ها چیست؟

در اصل پیاده سازی و اصلاح تگ نوایندکس در روش HTML نسبت به روش هدر HTTP آسان‌ تر است. همچنین نیازی نیست که شما به سرور خود دسترسی داشته باشید. با این حال، پیاده‌ سازی تگ noindex در HTML شما می‌ تواند زمان‌ بر باشد. چرا که باید آن را به صورت دستی به هر صفحه‌ ای که می‌ خواهید نوایندکس شود، اضافه کنید.

2. اضافه کردن تگ نوایندکس به بخش هدر HTTP

در ادامه مباحث تگ نوایندکس چیست، به دومین روش اضافه کردن تگ نوایندکس خواهیم پرداخت. در این راه حل باید دستور noindex را در تگ x-robots مشخص کنید. این مورد بخشی از پاسخ هدر HTTP به شمار می‌ رود که می‌ توانید بسته به سروری که استفاده می‌ کنید، می‌ توانید آن را پیاده سازی نمایید.

در ادامه یک نمونه از آن را مشاهده می‌کنید.

HTTP/1.1 200 OK

(…)

x-robots-tag: noindex

(…)

متا تگ noindex

مزایا و معایب استفاده از هدرهای HTTP چیست؟

اما بعد از اینکه یاد گرفتید که تگ نوایندکس چیست و چطور آن را در سایت پیاده سازی کنید، در این بخش در مورد مزیت ها و معایب روش هدر HTTP صحبت خواهیم کرد. یکی از مزیت های مهم استفاده از تگ نوایندکس در هدرهای HTTP این است که می توانید از آن در اسناد وب که صفحات HTML نیستند، مانند فایل های PDF، ویدیوها یا تصاویر استفاده کنید. علاوه بر این، این روش به شما امکان می دهد قسمت خاصی از صفحه را مورد هدف قرار دهید.

علاوه بر این شما می توانید صفحاتی را که باید نوایندکس شوند، با مشخص کردن وجه اشتراک آنها هدف قرار دهید. به عنوان مثال، می توانید صفحاتی را با URL هایی که حاوی پارامترها یا نمادهای خاصی هستند، هدف قرار دهید.

از طرف دیگر، برای پیاده سازی تگ x-robots باید به سرور خود دسترسی داشته باشید.

همچنین افزودن تگ به این شیوه به مهارت های فنی نیاز دارد و پیچیده تر از افزودن متا تگ های ربات ها به HTML وب سایت است.

اطلاعات بیشتر در مورد استفاده از تگ noindex

در ادامه مباحث پیرامون پاسخ به سوال “تگ نوایندکس چیست” چند دستورالعمل اضافی در مورد استفاده از این تگ و جزئیات آن را توضیح خواهیم داد.

هر زمان که تگ noindex را در کد صفحات سایت خود قرار نمی دهید، گزینه پیش فرض این است که ربات ها می توانند صفحه شما را ایندکس کنند.
مراقب هر گونه اشتباه در ساختار کدهای سایت، مانند قرار دادن کاما در مکان های مناسب باشید. چرا که اگر اشتباه تگ نوایندکس را در صفحه موردنظر قرار دهید، ربات ها دستورات شما را درک نمی کنند.
تگ نوایندکس را در کد HTML یا هدر HTTP خود اضافه کنید، اما نه هر دو. در صورتی که دستورالعمل ها در مکان های مربوطه با یکدیگر تناقض داشته باشند، انجام آن می تواند تأثیری عمدتاً منفی داشته باشد.
می توانید از یک دستورالعمل noimageindex استفاده کنید که شبیه به نوایندکس عمل می کند، اما فقط از ایندکس شدن تصاویر در یک صفحه خاص جلوگیری می کند.
پس از مدتی، ربات ها از تگ نوایندکس به عنوان nofollow استفاده می کنند. در چنین شرایطی بسیاری از افراد فهرست بندی صفحات را با استفاده از noindex غیرفعال می کنند، اما آن را با دستورالعمل فالو ترکیب می کنند تا مطمئن شوند که ربات ها همچنان لینک های آن صفحه را دنبال می کنند. اما گوگل توضیح داده است که تگ ها noindex، follow را در نهایت به عنوان noindex، nofollow در سایت می شناسد. زیرا در برخی مواقع، آنها از دنبال کردن لینک های صفحات نوایندکس صرف نظر می کنند. در نتیجه، صفحات مقصد لینک های صفحه ممکن است ایندکس نشوند و سیگنال های کاهش رتبه را دریافت کنند که ممکن است بر رتبه آنها تأثیر منفی بگذارد.
در فایل های txt از تگ noindex استفاده نکنید. اگرچه این و برخی قوانین دیگر به طور رسمی پشتیبانی نمی شدند، ربات های موتور جستجو از دستورالعمل های noindex در فایل های robots.txt پیروی می کردند. با این حال، از سپتامبر 2019، گوگل اعلام کرد که کدی را که قوانین پشتیبانی نشده و منتشر نشده در فایل های robots.txt، مانند noindex را مدیریت می کرد، کنار گذاشته است.

مقایسه تگ های noindex، فایل robots.txt و تگ کنونیکال

در این بخش از مباحث پیرامون تگ نوایندکس چیست به مقایسه سه تگ مهم در کدهای html خواهیم پرداخت.

در اصل تگ های noindex، فایل robots.txt و تگ کنونیکال به هم مرتبط هستند و می توان از آنها برای کنترل ربات های خزنده گوگل و یا ایندکس شدن صفحات استفاده کرد. با این حال، هر کدام از این تگ ها دارای برخی ویژگی های متمایز هستند که باعث می شود در موقعیت های مناسب برای هر کدام از این تگ ها استفاده شود.

ما در این مقاله سعی کردیم تا ثابت کنیم که تگ های noindex کنترل می کنند که آیا صفحات خاصی در یک وب سایت باید ایندکس شوند یا خیر. اما بهتر است آنها را با فایل robots.txt و تگ های کنونیکال مقایسه کنیم.

فایل Robots.txt

از فایل های Robots.txt می توان برای کنترل نحوه خزیدن ربات های موتور جستجو در بخش هایی از وب سایت استفاده کرد. به طور خاص، فایل های robots.txt شامل دستورالعمل هایی برای ربات های موتور جستجو هستند که بر روی «عدم مجاز کردن» یا «اجازه دادن» رفتار آنها تمرکز می کنند. اگر ربات ها از دستورالعمل پیروی کنند، صفحاتی که برای آنها ممنوع شده اند را بررسی نمی کنند و به این صورت آن صفحات ایندکس نمی شوند.

دستورالعمل های Robots.txt به طور گسترده ای برای صرفه جویی در بودجه خزیدن یک وب سایت استفاده می شود. نکته ای که باید در این بخش مدنظر داشته باشید این است که هنگام استفاده از تگ های noindex و تنظیم قوانین در فایل های robots.txt مراقب باشید. برای اینکه دستور noindex موثر باشد، باید صفحه داده شده برای خزش ربات های گوگل در دسترس باشد، به این معنی که نمی توان آن را توسط فایل robots.txt مسدود کرد.

بنابراین اگر خزنده های گوگل به صفحه دسترسی نداشته باشند، نمی توانند تگ های نوایندکس آن صفحه را ببینند و صفحه موردنظر شما ایندکس خواهد شد و در نتایج جستجو وجود خواهد داشت. پس کار درست این است که برای نوایندکس کردن یک صفحه ابتدا به ربات های موتورهای جستجو اجازه دسترسی به آن را بدهید و در داخل صفحه از یک متاتگ برای نوایندکس کردن آن استفاده نمایید.

تگ کنونیکال

ما در مقاله های قبلی توضیحات جامعی درباره اینکه تگ کنونیکال چیست ارائه کرده ایم. این تگ ها به موتورهای جستجو می گویند که بین چند صفحه با محتویات نسبتاً مشابه کدام یک را ایندکس کنند. این تگ ها در صفحات مشابه صفحه اصلی قرار می گیرند و آن صفحات نوایندکس می شوند. باید این را هم بدانید که امکان دارد که تگ های کنونیکال عملیات ایندکس شدن صفحاتی که کنونیکال نیستند را هم محدود کند.

بطور مثال اگر به یک صفحه کنونیکال بیشتر از صفحه اصلی لینک سازی شده باشد، ممکن است گوگل آن را صفحه اصلی بداند و صفحه دیگر را کنونیکال در نظر بگیرد.

همچنین تگ های کنونیکال در حین خزش ربات های گوگل قابل شناسایی هستند و برخلاف فایل های robots.txt، نمی توان از آنها برای جلوگیری از خزیدن یک صفحه استفاده کرد. یک تفاوت حیاتی بین تگ های کنونیکال و تگ های noindex این است که صفحات کنونیکال شده، اعتبار همه صفحات را به یک URL اصلی انتقال می دهند. در همین حال، صفحات نوایندکس اعتبار صفحه اصلی را انتقال نمی دهند.

کلام پایانی

در این مقاله بطور مفصل توضیح دادیم که تگ نوایندکس چیست؟ مطمئن باشید با خواندن مطالب این مقاله اطلاعات کاملی در مورد این تگ بدست خواهید آورد و اهمیت استفاده از تگ نوایندکس در سایت را به طور کامل درک خواهید کرد. همچنین نحوه استفاده از تگ نوایندکس را هم کامل توضیح داده ایم که برای چه صفحاتی مهم و ضروری به نظر می رسد.

امیدواریم مطالب ارائه شده در این زمینه بتواند کامل شما را راهنمایی کند. لطفاً نظرات و پیشنهاداتی که در این باره دارید را با ما و دیگر خوانندگان این مقاله در میان بگذارید.