راه های جلوگیری از ایندکس شدن صفحات

دلایل و راه های ایندکس نکردن صفحات سایت چیست؟ راه های جلوگیری از ایندکس شدن صفحات سایت چیست؟ اولین مسئله این است که شما باید در نظر داشته باشید که چه زمان هایی باید از این مورادی که خدمت شما عرض می کنم استفاده کنید. وقتی سایت شما تازه راه اندازی شده و در ابتدای کار قرار دارد، برای اینکه گوگل به سایت شما سر نزند و صفحات سایت شما ایندکس نشود باید توجه داشته باشید که مثلا در حال حاضر در حال تست قالب سایت هستید و فقط چند صفحه ی تماس با ما و درباره ما در سایت وجود دارد، دلیلی ندارد که گوگل وب سایت شما را چک کند. یا طور مثال سایت شما بالا بوده یک سال یا حتی ده سال گذشته و شما قصد دارید قالب سایت را تغییر دهید.

درست است در ابتدا من همواره گفته ام که حتما قالب را بر روی لوکال هاست که ساختید کامل تست کنید و سپس در فولدر دیگری در هاست قرار دهید که از منظر گوگل دور می کنید. اما بالاخره زمانیکه در صفحه اصلی قرار بگیرد یک سری باگ ها مشخص خواهد شد که در یک روز اول باید سایت را ببندید، چرا که سایت دارای ورودی گوگل بسیاری است و در روز اول گوگل تنها مطالب جدید را چک نمی کند و موارد دیگر سایت را نیز چک نمی کند. این طور نیست که برای ورود به صفحه اول پسورد قرار دهید، فقط صفحه اول را fetch نمی کنید و محتوا جدید را در یک یا دو روز اول، در سایت قرار ندهید. همین کافی است. اما روش های ایندکس نشدن صفحات در واقع روش هایی که ما به خزنده گوگل اعلام میکنیم که به سایت و صفحات ما سر نزند. یکی از راه های معروف آن استفاده از فایل robots.txt است که شما در این فایل می توانید به ربات گوگل دستور دهید که به یک سری از فولدر ها و فایل های شما سر نزند.

سوال: آیا اینکه به ربات گوگل دستور دهید به فلان فایل سر نزند به طور قطعی ربات گوگل سر نمی زند؟ خیر، ما بار ها این کار را انجام داده ایم و در حدود 20 درصد موارد باز هم گوگل صفحات را ایندکس کرده است. پس این مورد الزامی برای گوگل ایجاد نمی کند اما بهتر است این کار انجام شود. البته زمانیکه شما در robots.txt عنوان کنید و داخل صفحات دیگر سایت به آن صفحه لینک دهید، گوگل آن صفحه را ایندکس خواهد کرد. اگر لینک ندهید و از disallow استفاده کنید و به گوگل اعلام کنید که سر نزند قطعا ایندکس نخواهد کرد. دقت داشته باشید که شما با اینترنال لینک های خود به گوگل اعلام می کنید که به فرض من در فایل robots.txt اشتباه کرده ام!

آیا rell=nofollow در لینک های داخلی باعث می شود که گوگل به آن صفحات سر نزند و ایندکس نکند؟ اصلا. مت کاتس گفته است که nofollow الزامی برای خرنده گوگل ایجاد نمی کند که از لینک رد نشود و در واقع خود گوگل تصمیم می گیرد که رد شود یا خیر.

آیا تگ noindex در یک صفحه باعث می شود که صفحه توسط گوگل ایندکس نشود؟ باز هم باید خذمت شما عرض کنم که این مسئله نیز قطعی نیست می تواند اتفاق بیفتد. اما ممکن است شما از این تگ استفاده کنید و گوگل صفحه را ایندکس نکند اما باز هم الزامی برای اینکه هیچ کدام از صفحاتی که noindex هستند را ایندکس نکند، ندارد.
اما ممکن است سوالی برای شما پیش آید که:

من فولدری دارم که نمی خواهم گوگل به هیچ عنوان آن را ببیند و در نتایج نمایش داده نشود. ما این گونه پروژه ها را داشته ایم که سایت شرکتی بوده که قرار بوده است که نماینده آلمان و نماینده ایران از طریق وب سایت با هم در ارتباط باشند و نمی خواستند که در گوگل مطرح شود که این دو با هم ارتباط دارند و یا اصلا سایتی دارند. در اینجا راهکار خیلی خیلی ساده ای وجود دارد. شما می توانید روی قسمت های مختلف و مهم که نمی خواهید قطعا ایندکس شود، از طریق htaccess پسوورد بگذارید. این پسوورد گذاشتن بر روی فولدرها باعث می شود که کل زیر مجموعه آن را گوگل نبیند.

البته شما می توانید در سورس php هم از user agent گوگل بات استفاده کنید و اعلام کنید که فلان قسمت ها را نبیند. این هم قطعا برای گوگل الزام ایجاد میکند. اما من باز هم تاکید می کنم تنها راهی که قطعا به هیچ وجه گوگل نمی بیند، پسوورد گذاشتن است. چون حتی یوزر ایجنت هم که بسیاری از سایت های بزرگ دنیا گفتند که استفاده کنید تا قسمتی که نمی خواهید گوگل ببیند را نبیند، بنده تست گرفتم و خیلی ساده متوجه شدم که گوگل می بیند.

نکته ای که باید عرض کنم این است که در وب مستر تولز، همانطور که در بخش بررسی و تحلیل وب مستر تولز اپلیکیشن نیوسئو در قسمت آموزش سئو سایت خدمت شما توضیح دادم، گفته ام که گزینه ای به اسم fetch as google و در آنجا یک گزینه دیگری داریم به اسم fetch and render.

شما زمانیکه از آن استفاده کنید و پس از ثبت لینک در وب مستر تولز در قسمت fetch as google روی fetch and render کلیک کنید، گوگل یک نسخه از آنچه خود و کاربر میبیند را نمایش می دهد. ما از این طریق به سادگی متوجه شدیم که قسمتی را که بسته بودیم را گوگل نمی دید و آن قسمتی که کاربر میبیند را به ما نان داد و عملا اعلام کرد: فکر نکنید که من نمیبینم! من آنچه که کاربر میبیند را نیز میبینم.

بنابراین بر اساس مواردی که خدمت شما گفتم زمانیکه سایت شما تازه بارگذاری شود از طریق robots.txt می توانید سایت را ببندید چرا که هنو در صفحات دیگر لینکی داده نشده است. عموما هم بعید است که زمانیکه لینکی نداده اید و robots.txt را نیز بسته اید به صفحات سر بزند. اما زمانیکه سایت راه اندازی شده و گوگل همواره به آن سر می زند و کلی لینک وجود دارد و قصد دارید بخش جدیدی ایجاد کنید که در ابتدا گوگل نبیند، با htacsses پسوورد بگذارید تا فقط خود شما دسترسی داشته باشید.
امیدوارم درست انتخاب کنید و از این فایل آموزشی به نحو احسن استفاده کنید .