انجمن


میخواستم بپرسم که این ربات تکس برای سایت مناسبه یا نه؟  (۳ نوشته)

  • mahdi120012

    آفلاین
    عضو
    تعداد نوشته‌ها: ۵۷
    تشکر شده: ۲ بار
    # نوشته شده: ۱۰ سال پیش
    ۲ تیر ۱۳۹۳ - ۱۳:۲۵

    سلام

    میخواستم بپرسم که این ربات تکس برای سایت مناسبه یا نه؟
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Sitemap: http://dinomazhab.com/sitemap.xml

  • فروشگاه 4شما

    آفلاین
    عضو
    تعداد نوشته‌ها: ۳۳۲
    تشکر شده: ۱۵ بار
    # نوشته شده: ۱۰ سال پیش
    ۲ تیر ۱۳۹۳ - ۱۶:۱۳

    درود . بله نسخه ی ساده و مناسب سایت های وردپرس همینه ولی بهتره کد زیر رو ، پایین disallow هاتون اضافه کنید . مربوط به ربات های موتور جستجو هستش :

    Crawl-delay: 1

  • جعبه سازی

    آفلاین
    عضو
    تعداد نوشته‌ها: ۹۴
    تشکر شده: ۳ بار
    # نوشته شده: ۱۰ سال پیش
    ۳ تیر ۱۳۹۳ - ۱۵:۲۰

    بهترین نوع ساختار روبوت تکست برای وردپرس:

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-content/uploads
    
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    Sitemap: http://your.com/sitemap.xml

درباره‌ی این موضوع



برچسب‌ها