انجمن


robots.txt  (۴ نوشته)

  • WeAre.ir

    آفلاین
    عضو
    تعداد نوشته‌ها: ۱۴۴
    تشکر شده: ۴۶ بار
    # نوشته شده: ۷ سال پیش
    ۱۶ اسفند ۱۳۹۰ - ۰۲:۳۵

    ذوستان لینک های ساده من به این صورته:
    http://www.weare.ir/interesting/scientific/heaviest-people-in-history/
    و اینم robots.txt

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-content/uploads
    
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    Sitemap: http://www.weare.ir/sitemap.xml

    سوال اینه که اون جمله

    Disallow: /category/*/*

    باید باشه تو فایل روبوت یا پاکش کنم؟ بعنی منافاتی با لینک های بنده که بر اساس دسته بندی هستنئ نداره؟

  • turkm4hdi

    آفلاین
    عضو
    تعداد نوشته‌ها: ۴۹
    تشکر شده: ۴۷ بار
    # نوشته شده: ۷ سال پیش
    ۱۶ اسفند ۱۳۹۰ - ۰۶:۱۰

    اگه می خواین ایندکس بشه باید حذفش کنید
    ولی بهتره دسته بندی ها و برچسب ها و بایگانی ایندکس نشن
    چون مطالبتون تکراری محسوب می شه و رتبه اش میاد پایین.

    کاربران زیر به‌خاطر این نوشته تشکر کرده‌اند:
    WeAre.ir
  • WeAre.ir

    آفلاین
    عضو
    تعداد نوشته‌ها: ۱۴۴
    تشکر شده: ۴۶ بار
    # نوشته شده: ۷ سال پیش
    ۱۶ اسفند ۱۳۹۰ - ۰۹:۲۶

    ممنون turkm4hdi .یعنی با اون قسمت

    Disallow: /category/*/*

    فقط دسته بندی ها ایندکس نمیشن؟ آیا ممکنه لینک هام هم که فرمتی شبیه همین کد بالا دارن ایندکس نشه یا ربطی ندارن بهم؟
    الان Restricted by robots.txt ‎(499) هست.

  • turkm4hdi

    آفلاین
    عضو
    تعداد نوشته‌ها: ۴۹
    تشکر شده: ۴۷ بار
    # نوشته شده: ۷ سال پیش
    ۱۶ اسفند ۱۳۹۰ - ۱۸:۳۲

    سلام هر چیزی اولش /category باشه ، ربات جستجوگر نمی تونه واردش بشه
    چون از robots پیروی میکنه

    کاربران زیر به‌خاطر این نوشته تشکر کرده‌اند:
    NESTED - WeAre.ir

درباره‌ی این موضوع



برچسب‌ها