رفع خطاهای Crawl Errors

حال مجدد در قسمت سمت چپ ابتدا گزینه ی crawl  و سپس گزینه ی crawl error را انتخاب کنید

همانطور که مشاهده میکنید خطاهای خزنده ی گوگل به دو دسته ی خطاهای سایت و خطاهای url تقسیم میشود که امروز قصد داریم هر دو این قسمت ها را مورد بررسی قرار دهیم

خطاهای سایت در سرچ کنسول گوگل

Site errors ها خطاهایی کلی هستند که طی 90 روز گذشته بر روی سایت شما به وجود آمده است اما اگر سایت خود را به تازگی راه اندازی کرده اید میتوانید این خطاها را نادیده بگیرید چرا که ممکن است این خطاها در زمان تغییر پیوند های سایت یا در زمان طراحی سایت به وجود آمده باشند اما اگر مدت طولانی است از عمر سایت شما میگذرد این خطاها را بسیار جدی بگیرید ، گوگل به محضی که ایراد یا خطایی در سایت شما مشاهده کند برای شما در قسمت site massage پیامی را ارسال خواهد کرد بنابراین بهتر است همیشه این بخش را بررسی کنید و اگر پیامی مبنی بر خطای سایت دریافت کردید به رفع این مشکل بپردازید.

در صورتی که سایت شما مشکل و خطایی نداشته باشد این قسمت مانند تصویر بالا نمایش داده میشود و در تمامی قسمت ها یک تیک سبز رنگ به نشانه ی صحت و سلامت مشاهده خواهید کرد.

بررسی خطاهای سایت – site errore

Site errors به سه بخش مختلف تقسیم میشود DNS ، Server connectivity ، Robots.txt fetch که در ادامه به بررسی خطاهای این سه بخش میپردازیم

خطای DNS گوگل وب مستر تولز

همانطور که ذکر شد اگر به تازگی سایت خود را راه اندازی کرده اید خطای DNS را نادیده بگیرید چرا که با تغییر DNS با این خطا را مشاهده خواهیم کرد که پس از گذشت زمان خودبه خود رفع خواهد شد اما اگر از ایجاد سایتتون زمان زیادی گذشته این خطا میتواند مربوط به ضعیف بودن سرور هاست سایت شما باشد یا مشکلی در تنظیمات سرور هاست وجود دارد که در این قسمت با خطا مواجه شده اید هرچند خزندگان گوگل هنوز هم میتوانند ارتباط خودشان را با سایت شما برقرار کنند و مشکلی در این رابطه به وجود نخواهد آمد اما کاربران شما برای دسترسی به سایت قطعا با مشکل مواجه خواهند شد در هر صورت لازم است این خطا را جدی بگیریم و سعی در رفع این خطا کنیم.

چه زمانی با خطالی DNS مواجه میشویم؟

زمانی که سایت شما قادر به برقراری ارتباط با سرورهای دی ان اس خود نباشد ما در این صفحه خطای DNS را دریافت میکنیم این عدم برقراری ارتباط در دو صورت ممکن است برای هر سایتی پیش بیاید

1 – dns  Lookup : گوگل نمیتواند به سای  شما دسترسی داشته باشد چرا که دامنه ی شما با سرور دی ان اس شما ارتباط ندارد.

2 – DNS Timeout : گوگل به سایت ما دسترسی ندارد چون dns سرور ما پاسخگو نیست

برای بررسی خطای dns میتوانید از ابزار Fetch as Google که در همین پنل کنسل گوگل وجود دارد استفاده کنید. بنابرای در زیر منوی crawl گزینه ی Fetch as Google را وارد کنید آدرس url سایت خود را انتخاب کنید سپس بر روی گزینه ی سرچ کلیک کنید گوگل شروع به سرچ میکند و پس از گذشت زمان کوتاهی در صورتی که مشکلی نداشته باشید پاسخ complete به شما میدهد که به معنی ارتباط کامل است اما در صورتی که خطایی مشاهده کند به شما ارور میدهد.

در صورتی که با ارور مواجه شدید ابتدا صفحات سایت خود را بررسی کنید تا مطمئن شوید با خطاهای 404 یا 500 مواجه نمیشوید و سپس به سرور هاست خود تیکت ارسال کنید تا تنظیمات dns شما رو بررسی کنند.

Server errors یا خطاهای سرور

این دسته از خطاها زمانی روی میدهد که ربات گوگل توانایی برقراری ارتباط با سایت ما را ندارد و این دسته از خطاها رو باید کاملا جدی گرفت و سریعا سعی در رفع این خطاها کنیم چرا که هدف ما از ایجاد وب سایت برای راه اندازی یک تجارت الکترونیک، برقراری درست ربات های گوگل و همچنین امتیاز مثبت گرفتن در موتور جستجو میباشد، این که سایت ما طراحی مناسبی داشته باشد و همچنین سرعت خوبی داشته باشد بسیار مهم است اما از آنها مهم تر دیده شدن سایت ما در نتایج سرچ است و تا زمانی که موتور های جستجو با سایت ما ارتباط برقرار نکنند دیده شدن سایت ما غیر ممکن است.

انواع ارورهای سرور – server Errors

Connection refused: چنانچه مشکلی در تنظیمات فایروال هاست شما به وجود آمده باشد یا robot.txt ربات گوگل را مسدود کرده باشد و گوگل نتواند به سرور سایت شما دسترسی پیدا کند با چنین اروری رو به رو میشویم.

Timeout: زمانی که در ارتباط درخواست های گوگل به سایت شما وقفه ای ایجاد شود و گوگل از طرف سایت شما پاسخ درخواست خود را دریافت نکند این ارور را مشاهده خواهید کرد ممکن است این ارور لحظه ای باشد و برطرف شود اما در صورتی که ارور ادامه دار بود حتما به بررسی مشکل پیش آمده بپردازید.

Truncated response: سرور ارتباط گوگل را قبل از دریافت پاسخ به درخواستش قطع میکند و این امر باعث دریافت ناقص پاسخ میشود.

Truncated headers: سرور ارتباط را قبل از اینکه هدر به صورت کامل ارسال شود قطع میکند

Failed to connect: ارتباط پایدار وجود ندارد و این ارتباط ناپایدار موجود رد درخواست های گوگل میشود این مورد را از طرف هاست خود باید پیگیری کنید.

No response: گوگل به سرور ما متصل میشود اما قبل ازاینکه بتواند داده ها را به صورت کامل ارسال کند ارتباط مجدد قطع میشود.

در صورت مشاهده ی ارور های فوق ابتدا با استفاده از نرم افزار Fetch as Google  از پردازش شدن صفحات وب سایت خود توسط ربات های خزنده ی گوگل مطمئن شوید، همانطور که گفته شد برای اینکار در زیر منوی crawl گزینه ی Fetch as Google را وارد کنید آدرس url سایت خود را انتخاب کنید سپس بر روی گزینه ی سرچ کلیک کنید و سپس میتوانید با انجام روش های زیر مشکل را برطرف کنید

1 – از کارکرد هاست خود مطمئن شوید و پهنای باند خود را چک کنید که تمام پهنای باند شما مورد استفاده قرارنگرفته باشد.

2 – شاید شما به تازگی در روش ایندکس سایت و صفحات خود در موتور جستجوی گوگل تغییر ایجاد کرده باشید آن را به حالت قبل بازگردانید.

3 – اگر با فایروال یا فایل robot.txt سهوا جلوی دسترسی گوگل به سایت خود را گرفته اید این مورد را بررسی کنید.

4 – در صورت برطرف نشدن مشکل هاست خود را در جریان بگذارید.

رفع خطای Robots Failure

درمقاله ی فایل Robots.txt چیست به صورت کامل در رابطه با این فایل صحبت کردیم اگر نیاز به اطلاعات بیشتر در رابطه با این فایل دارید حتما فایل مذکور را مطالعه کنید ، حال شما میدانید که ربات ها و خزنده های گوگل برای سرچ در سایت شما حداقل یکبار به این فایل مراجعه میکنند تا از دسترسی های خود باخبر شوند بنابراین اگر مشکلی در این فایل است و یا به اشتباه قسمت هایی از سایت خود را بسته اید و به خزنده های گوگل اجازه ی دسترسی به سایت خود را نداده اید حتما در این فایل تغییراتی ایجاد کنید و دسترسی گوگل را باز کنید تا خطای Robots Failure رفع شود.

همچنین گاهی ممکن است گوگل به خود فایل Robots.txt دسترسی نداشته باشد که این میتواند خطایی از سمت سرور شما باشد یا حتی تنظیمات فایروال هاست شما این مشکل را ایجاد کرده باشد این موارد را بررسی کنید.

برای اینکه از صحت عملکرد این فایل اطمینان حاصل کنید میتوانید از ابزار Robots.txt Tester در گوگل وب مستر تولز استفاده کنید برای استفاده از این ابزار وارد زیر منوی Crawl شوید و بر روی گزینه ی Robots.txt Tester کلیک کنید گوگل در صورتی که با دسترسی با این فایل مشکلی داشته باشد این مشکل را به شما گزارش خواهد داد.

URL Errors در گوگل وب مستر تولز

اینگونه خطاها معمولا متوجه url های داخلی سایت شما است یعنی کل سایت درگیر این خطاها نیست بلکه برخی صفحات داخلی سایت شما است که با چنین خطاهایی رو به رو است شاید شما برخی صفحات را حذف کرده باشید ولی آنها را ریدایرکت نکرده باشید یا تغییراتی در صفحات و پیوند های سایت خود ایجاد کرده باشید که با این ارورها مواجه میشود.

گاهی حتی زمانی که این ارور ها رفع میشود همچنان این ارور ها رو شما در این قسمت مشاهده میکنید برای اینکه از پایداری این URL Errors مطمئن شوید یک بار بر روی گزینه ی mark as fixed بزنید که گوگل تا یه مدت از این خطا چشم پوشی کند اگر مشکل رفع شده باشد دیگر این خطا رو مشاهده نخواهید کرد اما در صورتی که مشکل همچنان ادامه دار باشد گوگل بعد از مدتی دوبار این پیغام را برای شما ارسال خواهد کرد.

با ایجاد صفحات دایرکت برای صفحات حذف شده و همچنین آپدیت به روز سایت map خود این خطاها رفع خواهد شد اگر در رابطه با سایت مپ سوای دارید میتوانید مقاله ی نقشه ی سایت چیست و چه کاری انجام میدهد را مطالعه کنید اما چنانچه باز هم خطاهای url errors را داشتید با ما همراه باشید:

خطای 404

زمانی با این خطا روبه رو میشویم که ربات های گوگل با سایت شما میتوانند ارتباط برقرار کنند اما با آدرس برخی صفحات ارتباط آنها قطع است یا فایل درخواستی آنها موجود نمیباشد. زمانی که ربات گوگل شروع به خزیدن از یک صفحه به صفحه ی دیگر سایت میکند اگر آدرس صفحه ی بعدی حذف شده باشد یا تغییر پیدا کرده باشد به کاربر شما خطای 404 را نشان میدهد و لینک داده شده به صفحه ی مورد نظر را شکسته طلقی میکند.

این خطا ممکن است گاهی هم به خاطر لینک های اشتباه در فایل های جاوااسکریپت و یا نقشه سایت به وجود آمده باشد و یا ممکن است به صورت سهوی یا عمدی سایت دیگر به لینک های داخلی سایت شما لینک اشتباه ارسال کرده باشد برای حل این مشکل شما باید با ادمین سایت مقابل تماس بگیرید و از او خواهش کنید لینک اشتباهی که به سایت شما داده است را درست کند.

رفع خطای 404

برای رفع این خطا به نکات زیر توجه کنید:

1 – از عدم تغییر آدرس صفحه اطمینان پیدا کنید.

2 – اگر صفحه ای را حذف کرده این و قصد ایجاد و احیای مجدد آن را ندارید با استفاده از ریدایرکت 301 آدرس اون صفحه را به صفحه ای دیگر انتقال دهید.

3 – مطمئن شوید که صفحات شما در حالت پیش نویس به آنها لینک داده نشده باشد.

4 – با توجه به مقاله ی ” نقشه ی سایت چیست ؟ ” سعی کنید همیشه نقشه ی سایت خود را آپدیت کنید تا آدرس صفحاتی که حذف یا تغییر داشته اند را آپدیت کنید.

5 – شما باید چک کنید که این خطایی که با 404 مواجه شدید با www نمایش داده میشود یا بدون آن و یا http است یا https بسیاری مواقع پیش میآید که شما گواهی نامه ی ssl میگیرید اما تمامی صفحات سایت شما به آدرس https تغییر آدرس نمیدهد و کاربر با ارور 404 مواجه میشود.

حال برای رفع این مشکل داخل کنسول گوگل وب مستر تولز وارد زیر منوی crawl شوید و در قسمت errors گزینه  ی urlerrors را انتخاب کنید در این قسمت وارد سربرگ not found شوید ، حال آدرس صفحه ی مورد نظر را کلیک کنید و تمامی لینک های که به این صفحه داده شده است را حذف کنید ، همچنین اگر مدیر یک سایت وردپرسی هستید میتوانید از افزونه ی Broken Link Checker استفاده کنید.

خطای soft 404 چیست؟

همانطور که ذکر شد اگر کاربری آدرس صفحه ی حذف شده ای را به اشتباه وارد کند سرور خطای 404 میدهد که این خطا از طرف مرورگر و موتورهای جستجو است و کاملا قابل تشخیص است اما خطای soft404 مقداری جدیتر از این خطا است؛ شما باید این خطا رو جدی بگیرد و درکوتاه ترین مدت سعی در حل این خطا داشته باشید این خطا هنگامی رخ میدهد که صفحه ی مورد نظر کاربر وجود ندارد و صفحه ی دیگری با محتوای کم و محتوانی نامناسب به کاربرنمایش داده میشود در این صورت شما با خطای soft 404 مواجه خواهید شد!!!

رفع خطای soft 404  

1 – مجددا با استفاده از ریدایرت 301 صفحات پاک شده و یا تغییر پیدا کرده را ریدایرکت کنید

2 –  چنانچه صفحه ی جدیدی با محتوای مشابه صفحه ی قبلی ایجاد کرده اید صفحه ی قدیم را حذف کنید.

3 –  تمامی تنظیمات را برای صفحات حذف شده تغییر دهید و برای انها پیغام های 404 ” آدرس یافت نشد” یا 410 “صفحه پاک شده است” قرار دهید.

یکی از دلایکی که کاربران با خطای soft404 رو به رو میشوند محتوای کم و نامناسب صفحه است حتما مطمئن شوید که محتوای ایجاد شده در صفحات حداقل 300 کلمه داشته باشد و محتوای کپی ، پیس شده و تکراری استفاده نکنید.

خطای not followed در سرچ کنسول گوگل چیست؟

این خطا زمانی ایجاد میشود که گوگل توانایی follow برخی از Url های شما را نداشته باشد که معمولا به این دلایل به وجود میآید :

1 – ریدایرکت ها : همیشه سعی کنید صفحات خود را با روشی صحیح ریدایرکت کنید، و تغییر مسیر های سایت خود را به درستی انجام دهید به طور مثال از ریدایرکت 302 که یک ریدایرکت موقت است به جای ریدایرکت 301  که یک ریدایرکت دائم است استفاده نکنید.

2 – فلش و فایل های جاوا اسکریپت ، کوکی ها و غیره

برخی از قابلیت های فایل های جاوا اسکریپت ، کوکی ها و فلش ها و یا session Id ها میتوانند موجب اختلال در روند کار خزندگان گوگل شوند که شما این موارد را نیز میتوانید با fetch as Google سایت خود رابررسی کنید که در ارتباط با سایت شما گوگل مشکلی نداشته باشد.

خطای URLS blocked for smartphones

در کل این خطا به معنی این است که یک صفحه و یا حتی چند صفحه از سایت شمادر گوشی های موبایل از طریق فایل robot.txt که قبلا در موردش صحبت کردم مسدود شده است ، اما این خطا صرفا به این معنی نیست و شاید مسدود شدن صفحات شما در سیستم های دسکتاپ هم دیده شود بنابراین برای رفع این خطا در فایل robot.txt صفحات مسدود شده را بررسی کنید، برای مشاهده ی این خطال میتوانید به قسمت crawl و زیر منوی crawl Errors مراجعه کنید.

خطای Faulty redirect

اگر در قسمت crawl و در زیر منوی crawl Error به قسمت Smartphones نگاهی بیاندازید ممکن است این خطا را مشاهده کنید ،حال این خطا نشان دهنده ی آن است که برخی از صفحات سایت شما در موبایل ها فقط به صفحه ی اصلی اشاره میکنند و کاربر قادر به مشادهده ی url های داخلی سایت شما نیست، قطعا هر سایتی یک صفحه ی اصلی دارد و چندین صفحه ی داخلی برخی مواقع کاربر با گوشی موبایل که وارد سایت میشود تمامی لینک های داخلی صفحه ی اصلی رو باز مکنند که این میتواند خطای Faulty redirect را برای شما به وجود بیارود به عکس زیر نگاهی بیاندازید :

حال برای رفع خطای Faulty redirect ابتدا به تنظیمات جداسازی URL های گوشی و دسکتاپ مثلا در افزونه ی سئو خود نگاهی بیاندازید و اگر باز مشکل برطرف نشد میتوانید مشکل را با استفاده از فایل htaccess برطرف کنید ، فراموش نکنید که تنظیمات رسپانسیو سایت شمابرای گوگل بسیار اهمیت دارد و یکی از پوینت های مثبتی که سایت شما میتواند دریافت کنید همین حالت ریسپانسیو بودن است.

خطای Article too long

همانطور که از معنی این خطا متوجه میشود این خطا به معنی آن است که مقاله ای که در url یا صفحه ی مورد نظر قرار دارد طولانی است، اما این موضوع ممکن با مقاله ی شما اصلا مرتبط نباشد، چرا که تا حدود 3000 کلمه رو گوگل به عنوان مقاله ی طولانی در نظر نمیگیرد و گوگل بخش نظرات را ممکن است به عنوان مقاله ایندکس کرده باشد که با قرار دادن بخش دیدگاه ها داخل iframe یا حتی با استفاده از ajax که بخش نظرات در لحظه بارگذاری شود این خطا برطرف میشود و اگر از سایت های وردپرسی استفادده میکنید مشکل از طرف قالب شماست .

خطای data too old

این خطا زمانی رخ میدهد که شما مقاله های خبری داخل سایت خود قرار میدهید و گوگل سایت شما رو به عنوان یک سایت خبری در نظر میگیرد در این صورت خبر هایی که سنشون از دو روز بالاتر باشد رو با این ارور برای شما مشخص میکند چرا که خبر ها از نظر گوگل نباید بعد از دو روز منتشر و ایندکس شوند و اگر گوگل خبر تکراری که بعد از دو روز تازه ایندکس شده باشد ببیند با خطای data too old برای شما مشخص میکند.

خطای empty article

این خطا زمانی رخ میدهد که گوگل نمیتواند محتوای متنی شما رو استخراج کند احتمالا محتوای شما داخل iframe قرار گرفته یا کد های جاوا اسکریپت شما اجازه دسترسی گوگل به محتوای مطلب شما را نمیدهد یا حتی ممکنه شما اشتباها با ویژگی های css مثل display :none یا visibility: hidden محتوا رو غیر قابل مشاهده کرده باشید این مسائل رو برطرف کنید.

خطای Flash content

اخیرا سیستم عامل های اندرویید و همچنین ios از فایل های فلشی پشتیبانی نمیکنند ، بنابراین گوگل تغییر الگوریتمی داشته که صفحاتی که زیاد از فایل های فلشی استفاده کرده باشند را در قسمت crawl Error و زیر مجموعه ی Smartphone با خطای Flash content نمایش میدهد همانطور که قبلا هم ذکر کردن ریسپانسیو بودن صفحات شما برای گوشی ها از نظر گوگل بسیار مهم است.

خطای tile not allow

این مشکل بخاطر عدم معتبر بودن عنوان مطلب شماست که میتوانید با استفاده از کد های h و یا title مشکل رو برطرف کنید، معمولا در سایت های وردپرسی ما با این خطا مواجه نمیشویم اما اگر مواجه شدید نوشته ی داخل صفحه رو بررسی کنید و عنوان رو تغییر دهید.

خطای page too large

این خطا زمانی رخ میدهد که سند html شما از حد معمولا سنگین تر باشد اسناد html معمولا باید سایز 256 کیلوبایت را داشته باشند باز هم این مشکل میتواند به خاطر بخش دیدگاه ها و نظرات باشد که با سند html یکسان تلقی شده است.

خطای Article disproportionately short و خطای Article too short

این دو خطا زمانی رخ میدهد که محتوای متنی شما خیلی کوتاه باشد همانطور که میدانید محتوای متنی شما نباید کمتر از 300 کلمه داشته باشد بنابراین اگر در صفحات خود از رسانه استفاده میکنید توضیح مرتبط با رسانه را نیز در همان صفحه قرار دهید.

خطای extraction failed در گوگل وب مستر تولز

این خطا زمانی رخ میدهد که گوگل وب مستر نمیتواند عنوان، متن و تاریخ انتشار محتوای متنی شما را تشخیص دهد و در google news منتشر کند برای اینکه مطمئن شوید اطلاعات وارد شده ی نوشته ی شما صحیح میباشد صفحه رو بررسی کنید و فایل مپ سایت خود را مجدد ارسال کنید.

خطای data not found

این خطا زمانی رخ میدهد که گوگل در پیدا کردن تاریخ متون شما و محتوای سایت با مشکل رو به رو میشودما در وردپرس با این خطا به ندرت بر میخوریم و اگر از فایل های html استفاده میکنید متاتگ date را بررسی کنید

خطای access denied  چیست ؟

همانطور که میدانید خزنده های گوگل از طریق لینک ها وارد صفحات میشوند و داخل صفحات سایت هم از همین طریق جا به جا میشوند و اگر دسترسی به یک قسمتی از سایت بسته شده باشد با این خطا رو به رو میشوید معمولا به خاطر صفحات لاگین که کاربران رو مجبور به ورد میکند این خطا رخ میدهد و شما میتوانید برای حل این مشکل اول از همه فایل robot.txt را بررسی کنید و اگر مشکل برطرف نشد از ابزار fetch a Google کمک بگیرید