تاثیر ربات گوگل بر ایندکس صفحات برخی از سایت ها به فکر دیده شدن سایتشان توسط ربات های گوگل و ایندکس شدن سایتشان هستند و همیشه صفحات سایتشان زودتر از سایت های دیگر توسط موتورهای جستجوگر گوگل دیده میشود،اما آیا تا به حال هیچ فکر کرده اید که چرا برخی از سایت ها ربات های گوگل دیر به سراغ سایتشان می آیند ،آیا شما هم نگران ایندکس نشدن سایتتان توسط ربات های گوکل هستید.

شما خود نیز میتوانید فعالیت گوگل را کنترل کنید،اما گوگل به سایت هایی که فعالیت منظم دارند و به صورت مدام در حال بروزرسانی هستند کمک بسیار زیادی در ایندکس شدن مطالب سایتشان میکند.

فایلrobots.txt

فایلrobots.txtفایلی است که با فرمتASCIمیباشد،که  آدرس آن در شاخه روت سایت میباشد.به عنوان مثال اگر سایت شما در آدرس https://www.webyar.netاست،آدرس فایل روت شما باید در مسیر  robots.txt /https://www.webyar.netقابل مشاهده باشد.شما میتوانید با استفاده از این قابلیت بالا برای کنترل تصاویر سایت خود و لینک ها و … توسط ربات های گوگل استفاده کنید.

متا تگ noindex

تا این جای کار یک روش برای کنترل کردن ربات های گوگل بررسی کردیم،روش دیگر استفاده از متا تگnoindexمیباشد.متا تگnoindex  از دسترسی ربات ها به  صفحات بی ارزش سایت جلوگیری میکنند.

نتیجه اول:‌کمک گرفتن از فایلrobots.txtو متا تگ noindex

بررسی سالم بودن لینک های سایت:

در سایت شما به مرور زمان امکان دارد که لینک های شکسته در اثر حذف برخی از مطالب به صورت نادرست به وجود بیاید،خزنده های جستجو گر گوگل لینک های سایت شما را بررسی میکنند و وجود لینک های شکسته را دلیل بر بی کیفیت بودن سایت شما میداند،شما با کمک ابزارهای جستجو کننده لینک های شکسته همانند گوگل کنسول میتوانید لینک های شکسته سایت خود را پیدا کرده و باسازی کنید.

کنترل ربات های گوگل

شما با استفاده از این قابلیت می توانید یک فایل یا چند شاخه را از دسترسی ربات ها محدود کنید. کافی است در خط اول نام ربات را وارد کرده و در خط بعد شاخه ها را وارد کنید این فایل نمونهrobots.txtتمامی ربات ها را برای دسترسی به شاخه تصاویر و کدPerlو ربات گوگل را از دسترسی به شاخه و آدرس copyrightمسدود خواهد کرد.

User-agent: *

Disallow: /images/

Disallow: /cgi-bin/

User-agent: Googlebot

Disallow: /copyright/

Disallow: /content/copyright-notice.html

اگر قصد کنترل میزان بازدید ربات های گوگل از سایت خود را دارید ، باید در Google Webmaster Toolsعضو شوید و در آن جا میزان مراجعه ربات گوگل را مشخص کنید.

توجه داشته باشید که هیچ کدام از این روش ها ۱۰۰% نیستند. برای حاصل اطمینان می توانید از کد های متا استفاده کنید . مثلا با کد زیر به گوگل دستور می دهیم که این سایت را ایندکس نکند :

با کد زیر به گوگل دستور می دهیم که این سایت را دنبال نکند.

تنها گوگل است که این ۲ روش را متوجه می شود ولی ممکن است موتور های جستجو دیگر این کد ها را متوجه نشوند و کار ندهند . برای همین بهترین گزینه همان robots.txtاست.

بهبود ساختار سایت

در صورتیکه سایت شما دارای یک ساختار خوب با محتوای صفحات واضح،منظم و درست و دسته بندی شده باشد ربات های گوگل به راحتی صفحات و مطالب سایت را دسترسی پیدا میکنند. در این صورت صفحات مهم سایت باید با چند کلیک ماوس قابل دسترس باشند.

اگر تمامی نکاتی که در بالا ذکر شد را رعایت کنید ، گوگل به درستی صفحات سایت شما را ایندکس می کند. کیفیت و نحوه ایندکس صفحات سایت مهم تر از تعداد صفحاتی است که ایندکس می شود. بنابراین اگر شما صفحات با ارزش برای سایتتان با ساختار منظم بسازید برای ربات های گوگل بسیار حایز اهمیت است.