با سلام خسته نباشید
من حدود 2 ماه پیش بازدید سایتم خیلی خوب ولی با مشکل high response time server مواجه شدم که با عوض کردن سرور و بهبود سرعت سایت مشکلاتم حل شد در این زمینه. ولی هنوز بازدیدم خیلی کم برای سایت مپم از افزونه wordpress seo استفاده میکردم که با این اوصاف تیک سایت مپش رو براداشم و برای سایت مپ سایت به سراغ google sitemap xml رفتم. و برای فایل robots.txt هم از همونی که سایت wordpress.org بیشنهاد داده بود استفاده کردم که نمونشو براتون میزارم :
User-agent: *
Disallow: /feed/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-
Allow: /wp-content/uploads/
Sitemap: http://mechanic98.ir/sitemap.xml.gz
ولی با این کار تو sitemap تو قسمت google webmaster tool بهم 15 نا اخطار داد و صفحات بلاک شده تو قسمت Blocked URLs به 776 تا صفحه رسید. که من فایل روبوت رو عوض کردم و به جاش اینو گذاشتم:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://mechanic98.ir/sitemap.xml.gz
ولی بعد گذشت یک هفته همون 776 صفحه ای که بلوک شده بود و اون 15 اخطا به قوت خودش باقیه !!!
خطایی که گوگل وبمستر در قسمت سایت مپ میده اینه:
Url blocked by robots.txt
Sitemap contains urls which are blocked by robots.txt.
Example: http://mechanic98.ir...فیلم-های-آموزش%
خلاصه همه جور کاری کردم ولی نمیدونم چرا اینقد گیر میده. حتی الان تو google page speed رتبه 88 از 100 رو کسب کردم و سایت رو خیلی بهینه کردم ولی دیگه راه به جایی نمی برم، خواهش میکنم کمک کنید دارم تصویر