انجمن


فایل robot.txt عالی  (۱۰ نوشته)

  • AliHM

    آفلاین
    عضو
    تعداد نوشته‌ها: ۴۳
    تشکر شده: ۱۲ بار
    # نوشته شده: ۸ سال پیش
    ۱۴ دی ۱۳۸۹ - ۰۶:۲۳

    سلام چند وقتیه دیگه گوگل سایت مپ منو نمیشناسه از چندتا پرسیدم گفتن چون robot.txt رو هاستت نیست اینطوریه

    دنبال یه فایل روبوت خوب گشتم اما تو سایتا خارجی هر کدوم یه گیزی نوشته بودن.حالا من از برو بچه ها خواهش میکنم یه فایل robot.txt خوب که برای وردپرس باشه هم گوگل بره بالا هم سایت مپ ما شناخته بشه بذارن تا استفاده کنیم. ممنون

  • Parsa

    آفلاین
    عضو فعال
    تعداد نوشته‌ها: ۱۹۲۱
    تشکر شده: ۲۶۸۳ بار
    # نوشته شده: ۸ سال پیش
    ۱۴ دی ۱۳۸۹ - ۰۷:۲۹

    تنها كاربرد robot.txt كه من ديدم در وردپرس: سايت مپ، جلوگيري از ايندكس پوشه هاي مانند wp-content بوده

    براي ساختش هم اين سايت كمك ميكنه
    http://www.mcanerin.com/en/search-engine/robots-txt.asp

  • vincent

    آفلاین
    عضو
    تعداد نوشته‌ها: ۱۲۸
    تشکر شده: ۱۷۰ بار
    # نوشته شده: ۸ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۰:۰۳

    سلام

    من از افزونه pc robots.txt استفاده می‌کنم

    اینم کدی یه که توی robots.txt درست می‌کنه که خودت هم توی تنظیمات افزونه می‌تونی تغییرش بدی (این افزونه خودش سایت مپ درست می‌کنه. اگه از این استفاده نمی‌کنی حتما خودت آدرس سایت مپ رو هم به فایل robots.txt اضافه کن):

    User-agent: Alexibot
    Disallow: /
    
    User-agent: Aqua_Products
    Disallow: /
    
    User-agent: asterias
    Disallow: /
    
    User-agent: b2w/0.1
    Disallow: /
    
    User-agent: BackDoorBot/1.0
    Disallow: /
    
    User-agent: BlowFish/1.0
    Disallow: /
    
    User-agent: Bookmark search tool
    Disallow: /
    
    User-agent: BotALot
    Disallow: /
    
    User-agent: BotRightHere
    Disallow: /
    
    User-agent: BuiltBotTough
    Disallow: /
    
    User-agent: Bullseye/1.0
    Disallow: /
    
    User-agent: BunnySlippers
    Disallow: /
    
    User-agent: CheeseBot
    Disallow: /
    
    User-agent: CherryPicker
    Disallow: /
    
    User-agent: CherryPickerElite/1.0
    Disallow: /
    
    User-agent: CherryPickerSE/1.0
    Disallow: /
    
    User-agent: Copernic
    Disallow: /
    
    User-agent: CopyRightCheck
    Disallow: /
    
    User-agent: cosmos
    Disallow: /
    
    User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
    Disallow: /
    
    User-agent: Crescent
    Disallow: /
    
    User-agent: DittoSpyder
    Disallow: /
    
    User-agent: EmailCollector
    Disallow: /
    
    User-agent: EmailSiphon
    Disallow: /
    
    User-agent: EmailWolf
    Disallow: /
    
    User-agent: EroCrawler
    Disallow: /
    
    User-agent: ExtractorPro
    Disallow: /
    
    User-agent: FairAd Client
    Disallow: /
    
    User-agent: Flaming AttackBot
    Disallow: /
    
    User-agent: Foobot
    Disallow: /
    
    User-agent: Gaisbot
    Disallow: /
    
    User-agent: GetRight/4.2
    Disallow: /
    
    User-agent: Harvest/1.5
    Disallow: /
    
    User-agent: hloader
    Disallow: /
    
    User-agent: httplib
    Disallow: /
    
    User-agent: HTTrack 3.0
    Disallow: /
    
    User-agent: humanlinks
    Disallow: /
    
    User-agent: InfoNaviRobot
    Disallow: /
    
    User-agent: Iron33/1.0.2
    Disallow: /
    
    User-agent: JennyBot
    Disallow: /
    
    User-agent: Kenjin Spider
    Disallow: /
    
    User-agent: Keyword Density/0.9
    Disallow: /
    
    User-agent: larbin
    Disallow: /
    
    User-agent: LexiBot
    Disallow: /
    
    User-agent: libWeb/clsHTTP
    Disallow: /
    
    User-agent: LinkextractorPro
    Disallow: /
    
    User-agent: LinkScan/8.1a Unix
    Disallow: /
    
    User-agent: LinkWalker
    Disallow: /
    
    User-agent: LNSpiderguy
    Disallow: /
    
    User-agent: lwp-trivial/1.34
    Disallow: /
    
    User-agent: lwp-trivial
    Disallow: /
    
    User-agent: Mata Hari
    Disallow: /
    
    User-agent: Microsoft URL Control - 5.01.4511
    Disallow: /
    
    User-agent: Microsoft URL Control - 6.00.8169
    Disallow: /
    
    User-agent: Microsoft URL Control
    Disallow: /
    
    User-agent: MIIxpc/4.2
    Disallow: /
    
    User-agent: MIIxpc
    Disallow: /
    
    User-agent: Mister PiX
    Disallow: /
    
    User-agent: moget/2.1
    Disallow: /
    
    User-agent: moget
    Disallow: /
    
    User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
    Disallow: /
    
    User-agent: MSIECrawler
    Disallow: /
    
    User-agent: NetAnts
    Disallow: /
    
    User-agent: NICErsPRO
    Disallow: /
    
    User-agent: Offline Explorer
    Disallow: /
    
    User-agent: Openbot
    Disallow: /
    
    User-agent: Openfind data gatherer
    Disallow: /
    
    User-agent: Openfind
    Disallow: /
    
    User-agent: Oracle Ultra Search
    Disallow: /
    
    User-agent: PerMan
    Disallow: /
    
    User-agent: ProPowerBot/2.14
    Disallow: /
    
    User-agent: ProWebWalker
    Disallow: /
    
    User-agent: psbot
    Disallow: /
    
    User-agent: Python-urllib
    Disallow: /
    
    User-agent: QueryN Metasearch
    Disallow: /
    
    User-agent: Radiation Retriever 1.1
    Disallow: /
    
    User-agent: RepoMonkey Bait & Tackle/v1.01
    Disallow: /
    
    User-agent: RepoMonkey
    Disallow: /
    
    User-agent: RMA
    Disallow: /
    
    User-agent: searchpreview
    Disallow: /
    
    User-agent: SiteSnagger
    Disallow: /
    
    User-agent: SpankBot
    Disallow: /
    
    User-agent: spanner
    Disallow: /
    
    User-agent: suzuran
    Disallow: /
    
    User-agent: Szukacz/1.4
    Disallow: /
    
    User-agent: Teleport
    Disallow: /
    
    User-agent: TeleportPro
    Disallow: /
    
    User-agent: Telesoft
    Disallow: /
    
    User-agent: The Intraformant
    Disallow: /
    
    User-agent: TheNomad
    Disallow: /
    
    User-agent: TightTwatBot
    Disallow: /
    
    User-agent: toCrawl/UrlDispatcher
    Disallow: /
    
    User-agent: True_Robot/1.0
    Disallow: /
    
    User-agent: True_Robot
    Disallow: /
    
    User-agent: turingos
    Disallow: /
    
    User-agent: TurnitinBot/1.5
    Disallow: /
    
    User-agent: TurnitinBot
    Disallow: /
    
    User-agent: URL Control
    Disallow: /
    
    User-agent: URL_Spider_Pro
    Disallow: /
    
    User-agent: URLy Warning
    Disallow: /
    
    User-agent: VCI WebViewer VCI WebViewer Win32
    Disallow: /
    
    User-agent: VCI
    Disallow: /
    
    User-agent: Web Image Collector
    Disallow: /
    
    User-agent: WebAuto
    Disallow: /
    
    User-agent: WebBandit/3.50
    Disallow: /
    
    User-agent: WebBandit
    Disallow: /
    
    User-agent: WebCapture 2.0
    Disallow: /
    
    User-agent: WebCopier v.2.2
    Disallow: /
    
    User-agent: WebCopier v3.2a
    Disallow: /
    
    User-agent: WebCopier
    Disallow: /
    
    User-agent: WebEnhancer
    Disallow: /
    
    User-agent: WebSauger
    Disallow: /
    
    User-agent: Website Quester
    Disallow: /
    
    User-agent: Webster Pro
    Disallow: /
    
    User-agent: WebStripper
    Disallow: /
    
    User-agent: WebZip/4.0
    Disallow: /
    
    User-agent: WebZIP/4.21
    Disallow: /
    
    User-agent: WebZIP/5.0
    Disallow: /
    
    User-agent: WebZip
    Disallow: /
    
    User-agent: Wget/1.5.3
    Disallow: /
    
    User-agent: Wget/1.6
    Disallow: /
    
    User-agent: Wget
    Disallow: /
    
    User-agent: wget
    Disallow: /
    
    User-agent: WWW-Collector-E
    Disallow: /
    
    User-agent: Xenu's Link Sleuth 1.1c
    Disallow: /
    
    User-agent: Xenu's
    Disallow: /
    
    User-agent: Zeus 32297 Webster Pro V2.9 Win32
    Disallow: /
    
    User-agent: Zeus Link Scout
    Disallow: /
    
    User-agent: Zeus
    Disallow: /
    
    User-agent: Adsbot-Google
    Disallow:
    
    User-agent: Googlebot
    Disallow:
    
    User-agent: Mediapartners-Google
    Disallow:
    
    User-agent: *
    Disallow: /cgi-bin/
    Disallow: /wp-admin/
    Disallow: /wp-includes/
    Disallow: /wp-content/plugins/
    Disallow: /wp-content/cache/
    Disallow: /wp-content/themes/
    Disallow: /wp-login.php
    Disallow: /wp-register.php
  • عبدالماجد شه بخش ( ایجباری )

    آفلاین
    عضو فعال
    تعداد نوشته‌ها: ۱۰۳۱
    تشکر شده: ۱۴۳۲ بار
    # نوشته شده: ۸ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۰:۱۵

    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: /feed
    Disallow: /comments
    Disallow: /category/*/*
    Disallow: */trackback
    Disallow: */feed
    Disallow: */comments
    Disallow: /*?*
    Disallow: /*?
    Allow: /wp-content/uploads
    
    # Google Image
    User-agent: Googlebot-Image
    Disallow:
    Allow: /*
    
    Sitemap: http://www.yonadi.com/sitemap.xml

    به جای yonadi.com آدرس سایت خودت رو بنویس .
    اینجوری سایت مپت هم شناسایی میشه .

  • AliHM

    آفلاین
    عضو
    تعداد نوشته‌ها: ۴۳
    تشکر شده: ۱۲ بار
    # نوشته شده: ۸ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۴:۰۷

    ممنون پارسا جان سایته جالب بود

    عبور, عجب سایت مپیه؟ اما احساس نمیکنی زیاده گوگل خسته بشه؟
    مجید جان ممنون این همون فایلیه که تو اکثر سایتاهست و فکر کنم همین هم مفید باشه

    باز هم ممنون

  • عبدالماجد شه بخش ( ایجباری )

    آفلاین
    عضو فعال
    تعداد نوشته‌ها: ۱۰۳۱
    تشکر شده: ۱۴۳۲ بار
    # نوشته شده: ۸ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۶:۱۸

    AliHM گفت:

    مجید جان ممنون این همون فایلیه که تو اکثر سایتاهست و فکر کنم همین هم مفید باشه

    باز هم ممنون

    خواهش میکنم دوست عزیز در ضمن اسمم مجید نیست اسمم عبدالماجد یا به اختصار ماجد هست که مجید و ماجد هر دو از یک مصدر و عربی هستند . در ضمن توی این انجمن هر چی میپرسیم بهمون جواب میدن حال ما یه دفعه جواب بدیم چی میشه ؟
    خطاب به دوست دیگه AliHM حتما از افزونه های مخصوص ساخت سایت مپ استفاده کن مثل google sitemap و امثالشان و برای تنظیمات بیشتر در مورد ایندکس شدن و غیره به این تایپک برو
    http://forum.wp-persian.com/topic/9213

  • vincent

    آفلاین
    عضو
    تعداد نوشته‌ها: ۱۲۸
    تشکر شده: ۱۷۰ بار
    # نوشته شده: ۸ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۷:۰۹

    AliHM گفت:
    عبور, عجب سایت مپیه؟ اما احساس نمیکنی زیاده گوگل خسته بشه؟

    اختیار داری گوگل و خستگی؟ سایت من که زیادی هم ایندکس شده (:
    این لیست بلندبالا موتور جستجوهای موزی و مضر ان که اینجوری جلوی دسترسی شون به سایت گرفته می‌شه.

    مشکل هم به نظر می رسه حل شده باشه پس تاپیک رو به حل شده تغییر بده.

  • mohsenmusic

    آفلاین
    عضو
    تعداد نوشته‌ها: ۹
    تشکر شده: ۴ بار
    # نوشته شده: ۶ سال پیش
    ۲۸ آبان ۱۳۹۲ - ۲۱:۱۶

    دوستان توجه داشته باشید که بعضی از کد ها که در سایت ها قرار میگیره باید طبق تنظیمات ورد پرس شما باشه
    مثال :
    در کد Disallow: /*?*
    Disallow: /*?
    میگه صفحاتی که در آدرس علامت سوال داره رو بیخیال شو
    این کد در صورتی که در ورد پرس شما تنظیمات > پیوند های یکتا روی پیشفرض مثل http://toptala.ir/?p=123 باشه فایل روبوت تکست از ایندکس شدن صفحات جلوگیری میکنه این مشکلی بود که خود من داشتم
    موفق باشید

  • Seo one

    آفلاین
    عضو
    تعداد نوشته‌ها: ۲۵۰
    تشکر شده: ۸۹ بار
    # نوشته شده: ۶ سال پیش
    ۸ آذر ۱۳۹۲ - ۲۲:۳۲

    عزیزم تاپیک سه سال پیش رو آوردید بالا یکم دقت کنید

    کاربران زیر به‌خاطر این نوشته تشکر کرده‌اند:
    mohsenmusic
  • mohsenmusic

    آفلاین
    عضو
    تعداد نوشته‌ها: ۹
    تشکر شده: ۴ بار
    # نوشته شده: ۶ سال پیش
    ۱۱ آذر ۱۳۹۲ - ۱۸:۴۶

    شرمنده ولی این مشکل منو خیلی اذیت کرد . و من با جستجو در همین مطالب قدیمی دنبال حل مسئله بودم و نتیجه نگرفتم فکر کردم شاید خیلی ها این مطلب رو بخوونن مثل خودم
    مرسی

درباره‌ی این موضوع



برچسب‌ها

هیچ برچسبی نیست.