عدم نمایش سایت در گوگل به روش‌های مختلفی امکان‌پذیر است و شما با توجه به موقعیتی که در آن قرار دارید، می‌توانید یکی از این روش‌ها را انتخاب کنید. گوگل اعلام کرده است که بهترین روش برای پنهان کردن سایت از صفحه نتایج جستجو، قرار دادن پسورد برای آن است، اما برای عدم نمایش سایت در گوگل دو روش دیگر نیز وجود دارد.
جان مولر در جلسه پرسش و پاسخ خود به سوالی در خصوص این که آیا امکان جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو وجود دارد یا خیر، اینطور پاسخ می‌دهد: “بله، به طور خلاصه شما می تواند این کار را انجام دهید.”
راه‌های جلوگیری از ایندکس شدن سایت
برای جلوگیری از ایندکس شدن سایت سه روش مختلف وجود دارد که عبارت‌اند از:
- استفاده از پسورد
- بلاک کردن خزنده‌ها
- بلاک کردن ایندکس
وبسایت‌ها می‌توانند در مجموع از ایندکس شدن انصراف بدهند و یا اینکه با استفاده از رمز عبور، برخی از محتواهای خود را از ربات‌های گوگل مخفی کنند.
بلاک کردن ربات‌های گوگل برخلاف دستورالعمل‌های وبمستری نیست؛ زیرا به طور هم‌زمان محتوا برای کاربران نیز بلاک می‌شود. به طور مثال، هنگامی که یک سایت موقع کرول شدن توسط ربات‌های گوگل به وسیله رمز عبور محافظت شده است، بایستی نسب به کاربران نیز توسط پسورد حفاظت شده باشد. متناوبا، سایت بایستی به ربات‌های گوگل اعلام کند که آنها کرول و ایندکس کردن صفحات را انجام ندهند.
اما زمانی برای سایت شما مشکلی پیش می آید که محتوایی را که به خزنده‌های گوگل و کاربران نمایش می‌دهید، با یکدیگر متفاوت باشد. این نمونه بارز پنهان کاری (Cloaking) است که برخلاف دستورالعمل‌های گوگل می‌باشد.
در ادامه روش‌های عدم نمایش سایت در گوگل را برای شما عنوان می‌کنیم:
3 روش جلوگیری از ایندکس شدن سایت توسط موتورهای جستجو
رمز عبور حفاظت شده
اگر می‌خواهید سایت خود را خصوصی نگه دارید، بهترین راه برای این کار قفل کردن سایت است. قرار دادن پسورد باعث می‌شود تا هم موتور جستجو و هم کاربرانی که به صورت تصادفی وارد سایت می شوند، محتوای شما را نبینند.
این کار یک روش معمول و بسیار کابردی برای وب‌سایت‌هایی است که در حال ساخت یا توسعه هستند. ارائه وبسایت از طریق لینک مستقیم روش بسیار خوبی برای نمایش صفحات به کارمندان و مشتریان است، در حالی که از دسترسی گوگل به سایت، جلوگیری می کند.
بلاک کردن خزنده ها
یکی دیگر از روش‌ها، به منظور عدم نمایش سایت در گوگل، بلاک کردن خزنده ها است. این کار با استفاده از فایل robot.txt انجام می‌شود. با استفاده از این روش، افراد تنها از طریق لینک مستقیم به سایت شما دسترسی خواهند داشت و دستیابی به سایت از طریق موتور جستجو امکان‌پذیر نخواهد بود.
مولر اینطور عنوان می‌کند که این تکنیک، بهترین تکنیک برای عدم نمایش سایت در گوگل نیست؛ زیرا ممکن است موتور جستجو آدرس صفحه شما را بدون اینکه به محتوای آن دسترسی داشته باشد، ایندکس کند. این مسئله به ندرت اتفاق می‌افتد، اما شما بایستی نسبت به آن آگاه باشید.
مسدود کردن ایندکس
سومین و آخرین روش برای عدم نمایش سایت در گوگل، جلوگیری از ایندکس شدن آن است. برای این کار، شما بایستی متا تگ ربات noindex را به صفحات خود اضافه کنید. تگ نوایندکس به موتورهای جستجو اعلام می‌کند که صفحه را ایندکس نکنند. کاربران این متا تگ را در صفحه مشاهده نمی‌کنند و به محتوای آن مانند گذشته دسترسی دارند.
جمع بندی پایانی:
جان مولر صحبت‌های پایانی خود را اینطور جمع‌بندی می‌کند که گوگل روش استفاده از پسورد را جهت جلوگیری از ایندکس شدن سایت به وبمستران توصیه می‌کند؛ زیرا در این روش شما به راحتی می‌توانید از دسترسی به محتوای خود توسط دیگران، در حالتی که سایت شما در حالت خصوصی قرار دارد، به طور کامل جلوگیری کنید.
زمانی که محتوای شما خصوصی نیست، بلاک کردن کرولر‌ها (خزنده ها) و جلوگیری از ایندکس شدن سایت نیز گزینه‌های خوبی هستند. هنگامی که می خواهید بخشی از سایت شما در نتایج جستجو نمایش داده نشود، نیز این روش‌ها بسیار موثر هستند.
