آموزش فایل robot.txt
فهرست مطالب
خزنده ی گوگل زمانی که وارد سایت شما میشه اول از همه فایل Robot.txt رو مورد بررسی قرار میده ، داخل این فایل یک سری اجازه نامه ها صادر شده است ، زمانی که این فایل رو بررسی میکنه یک سری جاها اجازه داده نشده که خزنده های گوگل برن ، این فایل در واقع به خزنده های گوگل دستور میده کجا برن و کجا نرن !!!
بعضی وقتا شما میخواین برخی از صفحات خود را شبیه به هم بسازید و صفحات تکراری داخل سایت خود قرار بدین در این مواقع شما با استفاده از Robot.txt میتونید به گوگل بگین این صفحات رو ایندکس نکنه و برای سایت شما امتیاز منفی در نظر نگیره
فایل Robot.txt یک فایل تکست است که آدرس هایی که نمیخوایم بررسی بشه در این فایل قرار دارد و هر سئو کار باید با این فایل کاملا آشنا باشد
رباط های گوگل قبل از اینکه سایت شما رو مورد جستجو قرار بدهند اول از همه وارد فایل Robot.txt سایت شما میشوند فایل Robot.txt در روت سایت شما است و اگر بعد از آدرس سایت خود robots رو بزنید به این فایل دسترسی خواهید داشت
اگر شما اشتباهی در این فایل انجام دهید به راحتی میتوانید سایت خود را بکشید.
فایل Robot.txt کجاست ؟
این فایل داخل روت اصلی سایت شما قرار دارد ، این فایل رو شما یا در این قسمت دارید یا باید آن را بسازید
ساختار فایل Robot.txt
ابتدای این فایل یک گزینه ی user-agent وارد میکنیم که رباطی رو صدا میکنه که قراره باهاش ارتباط برقرار کنه شما اگر یک علامت ستاره در این قسمت قرار دهید به معنی صدا کردن تمامی ربات های موتورهای جستجوی متفاوت است مانند bing یا گوگل یا یاهو و غیره
در ایجاد کردن این فایل دقت کنید که ربات های گوگل به حروف های بزرگ و کوچکی حساس هستند
User-agent: * ;
ما مثلا میخوایم wp-admin رو کلا به گوگل ندیم برای اینکه ربات ها بهش سر بزنن ابتدا کلمه ی Disallow رو منویسید و سپس آدرس پوشه ی مورد نظر رو میدیم
Disallow: /wp-admin
اگر این دستور رو در این فایل بزنید سایت خود رو کاملا کشتید چون رباط های گوگل هیچ حقی ندارن هیچ کجای سایت شما رو بررسی کنند
Disallow: /
مخفی کردن یک آدرس از سایت از ربات های گوگل :
معمولا کسی اینکار رو انجام نمیده ولی اگر خواستید اینکار رو انجام بدین میتونید آدرس مورد نظر رو بدون دامنه ی سایت خود بنویسید مثلا
https://blog.rayanehkomak.com/polices-warning/
میخواهیم این آدرس رو ربات گوگل بررسی نکند میتوانید ادامه ی آدرس رو Disallow کنیم به این صورت
Disallow: /polices-warning
ایجاد دستورات شرطی در فایل Robot.txt
ما فایلی رو میگیم دسترسی نداشته باشه سپس مسیر مورد نظر رو میگیم دسترسی داشته باشه
User-agent : *
Disallow: /file
Allow: /file/public-html
فرمت خاصی رو میخوایم اجازه ندیم موتور های جستجو بررسی کنند
User-agent : *
Disallow: /*.gif$
اگر از فایل robots.txt استفاده نکنیم چه اتفاقی میافتد؟
همان طور که در قسمت های بالا به آن پرداختیم، وظیفه این فایل این است که جلوی ایندکس شدن صفحاتی که به هر دلیلی ممکن است باعث کاهش رتبه ما شود را بگیرد، به همین دلیل اگر به هر نحوی با صفحه ای روبرو نشده اید که مخالف با سیاست های گوگل باشد، نیازی به استفاده از آن نیست و نبود آن هیچ مشکلی ندارد.
بنابراین در صورت استفاده نکردن از robots.txt خزندگان گوگل و موتور های جستجوگر میتوانند صفحات سایت را مشاهده و index کنند.
حتما مطالعه کنید: علت کاهش دامین آتوریتی سایت ها در moz
چه زمان های لازم است از robots.txt استفاده کنیم؟
به طور کلی در چند مورد لازم است از فایل robots.txt درون صفحه یا صفحات وبسایت خود استفاده کنیم تا از گوگل درخواست کنیم که محتوا درون آن را ایندکس نکنند.
1 . استفاده از فایل robots برای جلوگیری از index شدن مطالب کپی
فایل robots زمانی استفاده میشود که به هر نحوه محتوا تکراری duplicate درون سایت خود دارید و به هر دلیلی نمیتوانید آن را حذف کنید. در چنین مواقعی فایل robots.txt میتواند به ما کمک کند تا جلوی جریمه شدن سایت خودمان را بگیریم.
2 . استفاده از فایل ROBOTS.TXT برای بستن فایل های اضافی
مورد بعدی که به لازم است به آن توجه کنید، استفاده از این فایل درون صفحاتی است که قالب ها و افزونه های مختلف به صورت خودکار برای شما ایجاد میکنند.
امروزه بسیاری از افراد از CMS های مختلف، مخصوصاً وردپرس استفاده میکنند که متاسفانه برخی از افزونه ها و قالبها در درون فروشگاههای نامعتبر وجود دارند به صورت خودکار پس از نصب، دیتا و URL های اضافی تولید میکنند.
همین موضوع باعث میشود، گوگل سایت شما را جریمه کند. یکی از راههای که میتوان جلوی ایندکس شدن صفحات اضافی و amp را گرفت استفاده از فایل robots.txt است که تا حد بسیار زیادی خطر جریمه شدن سایت شما را کاهش میدهد.
مطلب مرتبط: طراحی سایت متریال
3 . استفاده نکردن از فایل robots.txt باعث افت کیفیت دامنه میشود؟
اگر سایت شما ورودی زیادی دارد بهتر است که حتما از این فایل برای صفحات اضافی که چندان بر روی سئو وبسایت شما تاثیری ندارند استفاده کنید.
به طور کلی روزانه هزاران کاربر به وبسایت شما سر میزنند که همه آنها از مرورگر ها استفاده میکنند.هر مرورگر خزنده مخصوص به خود را دارد با هر بار واردشدن به سایت شما تمام اطلاعات و دیتا درون سایت را بررسی و به کاربر نمایش میدهد، اکنون فرض کنید که ترافیک سایت شما بالا باشد بدیهی است که تا حد بسیار زیادی سرعت سایت شما کاهش می یابد، به همین دلیل بهتر است برای جلوگیری از کاهش سرعت سایت، برخی از صفحاتی که بار مثبتی برای ما ندارند را با فایل robots.txt ببندید.
همین موضوع بسیار ساده را اگر درون سایت خود عملی کنید مطمئن باشید که با نتایج مثبت جالبی روبرو میشوید.
سخن پایانی
و در آخر ممنونم که تا پایان مطلب ” فایل Robots.txt چیست؟ ” همراه ما بودید، امیدوارم به صورت کامل به سوالات و مشکلات شما در زمینه فایل Robots. پاسخ داده باشیم.
به یاد داشته باشید که رایانه کمک یک شرکت در زمینه حل مشکلات کامپیوتری و موبایلی است، پس اگر در هر بخش با مشکل یا سوال خاصی روبرو شدید ، کافی است با شماره ای 9099071540 یا 0217129 تماس گرفته و از ما مشاوره تلفنی و اینترنتی رایگان دریافت کنید.
کارشناسان رایانه کمک میتواند شما را در حل مشکلات کامپیوتری و تلفن همراه یاری کنند
چقدر این مطلب مفید بود ؟
یک ستاره پنج ستاره
میانگین رتبه 0 / 5. تعداد امتیازات 0
تا کنون امتیازی ثبت نشده است . (اولین نفر باشید)
دیدگاه خود را ثبت کنید
تمایل دارید در گفتگوها شرکت کنید؟در گفتگو ها شرکت کنید.