انجمن

انجمن وردپرس فارسی » افزونه‌ها و دست‌کاری‌ها


فایل robot.txt عالی  (۱۰ نوشته)

  • AliHM

    آفلاین
    عضو
    تعداد نوشته‌ها: ۴۳
    تشکر شده: ۱۲ بار
    # نوشته شده: ۱۴ سال پیش
    ۱۴ دی ۱۳۸۹ - ۰۶:۲۳

    سلام چند وقتیه دیگه گوگل سایت مپ منو نمیشناسه از چندتا پرسیدم گفتن چون robot.txt رو هاستت نیست اینطوریه

    دنبال یه فایل روبوت خوب گشتم اما تو سایتا خارجی هر کدوم یه گیزی نوشته بودن.حالا من از برو بچه ها خواهش میکنم یه فایل robot.txt خوب که برای وردپرس باشه هم گوگل بره بالا هم سایت مپ ما شناخته بشه بذارن تا استفاده کنیم. ممنون

  • Parsa

    آفلاین
    عضو فعال
    تعداد نوشته‌ها: ۱۹۲۱
    تشکر شده: ۲۶۸۳ بار
    # نوشته شده: ۱۴ سال پیش
    ۱۴ دی ۱۳۸۹ - ۰۷:۲۹

    تنها كاربرد robot.txt كه من ديدم در وردپرس: سايت مپ، جلوگيري از ايندكس پوشه هاي مانند wp-content بوده

    براي ساختش هم اين سايت كمك ميكنه
    http://www.mcanerin.com/en/search-engine/robots-txt.asp

  • vincent

    آفلاین
    عضو
    تعداد نوشته‌ها: ۱۲۸
    تشکر شده: ۱۷۰ بار
    # نوشته شده: ۱۴ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۰:۰۳

    سلام

    من از افزونه pc robots.txt استفاده می‌کنم

    اینم کدی یه که توی robots.txt درست می‌کنه که خودت هم توی تنظیمات افزونه می‌تونی تغییرش بدی (این افزونه خودش سایت مپ درست می‌کنه. اگه از این استفاده نمی‌کنی حتما خودت آدرس سایت مپ رو هم به فایل robots.txt اضافه کن):

    User-agent: Alexibot
Disallow: /

User-agent: Aqua_Products
Disallow: /

User-agent: asterias
Disallow: /

User-agent: b2w/0.1
Disallow: /

User-agent: BackDoorBot/1.0
Disallow: /

User-agent: BlowFish/1.0
Disallow: /

User-agent: Bookmark search tool
Disallow: /

User-agent: BotALot
Disallow: /

User-agent: BotRightHere
Disallow: /

User-agent: BuiltBotTough
Disallow: /

User-agent: Bullseye/1.0
Disallow: /

User-agent: BunnySlippers
Disallow: /

User-agent: CheeseBot
Disallow: /

User-agent: CherryPicker
Disallow: /

User-agent: CherryPickerElite/1.0
Disallow: /

User-agent: CherryPickerSE/1.0
Disallow: /

User-agent: Copernic
Disallow: /

User-agent: CopyRightCheck
Disallow: /

User-agent: cosmos
Disallow: /

User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /

User-agent: Crescent
Disallow: /

User-agent: DittoSpyder
Disallow: /

User-agent: EmailCollector
Disallow: /

User-agent: EmailSiphon
Disallow: /

User-agent: EmailWolf
Disallow: /

User-agent: EroCrawler
Disallow: /

User-agent: ExtractorPro
Disallow: /

User-agent: FairAd Client
Disallow: /

User-agent: Flaming AttackBot
Disallow: /

User-agent: Foobot
Disallow: /

User-agent: Gaisbot
Disallow: /

User-agent: GetRight/4.2
Disallow: /

User-agent: Harvest/1.5
Disallow: /

User-agent: hloader
Disallow: /

User-agent: httplib
Disallow: /

User-agent: HTTrack 3.0
Disallow: /

User-agent: humanlinks
Disallow: /

User-agent: InfoNaviRobot
Disallow: /

User-agent: Iron33/1.0.2
Disallow: /

User-agent: JennyBot
Disallow: /

User-agent: Kenjin Spider
Disallow: /

User-agent: Keyword Density/0.9
Disallow: /

User-agent: larbin
Disallow: /

User-agent: LexiBot
Disallow: /

User-agent: libWeb/clsHTTP
Disallow: /

User-agent: LinkextractorPro
Disallow: /

User-agent: LinkScan/8.1a Unix
Disallow: /

User-agent: LinkWalker
Disallow: /

User-agent: LNSpiderguy
Disallow: /

User-agent: lwp-trivial/1.34
Disallow: /

User-agent: lwp-trivial
Disallow: /

User-agent: Mata Hari
Disallow: /

User-agent: Microsoft URL Control - 5.01.4511
Disallow: /

User-agent: Microsoft URL Control - 6.00.8169
Disallow: /

User-agent: Microsoft URL Control
Disallow: /

User-agent: MIIxpc/4.2
Disallow: /

User-agent: MIIxpc
Disallow: /

User-agent: Mister PiX
Disallow: /

User-agent: moget/2.1
Disallow: /

User-agent: moget
Disallow: /

User-agent: Mozilla/4.0 (compatible; BullsEye; Windows 95)
Disallow: /

User-agent: MSIECrawler
Disallow: /

User-agent: NetAnts
Disallow: /

User-agent: NICErsPRO
Disallow: /

User-agent: Offline Explorer
Disallow: /

User-agent: Openbot
Disallow: /

User-agent: Openfind data gatherer
Disallow: /

User-agent: Openfind
Disallow: /

User-agent: Oracle Ultra Search
Disallow: /

User-agent: PerMan
Disallow: /

User-agent: ProPowerBot/2.14
Disallow: /

User-agent: ProWebWalker
Disallow: /

User-agent: psbot
Disallow: /

User-agent: Python-urllib
Disallow: /

User-agent: QueryN Metasearch
Disallow: /

User-agent: Radiation Retriever 1.1
Disallow: /

User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /

User-agent: RepoMonkey
Disallow: /

User-agent: RMA
Disallow: /

User-agent: searchpreview
Disallow: /

User-agent: SiteSnagger
Disallow: /

User-agent: SpankBot
Disallow: /

User-agent: spanner
Disallow: /

User-agent: suzuran
Disallow: /

User-agent: Szukacz/1.4
Disallow: /

User-agent: Teleport
Disallow: /

User-agent: TeleportPro
Disallow: /

User-agent: Telesoft
Disallow: /

User-agent: The Intraformant
Disallow: /

User-agent: TheNomad
Disallow: /

User-agent: TightTwatBot
Disallow: /

User-agent: toCrawl/UrlDispatcher
Disallow: /

User-agent: True_Robot/1.0
Disallow: /

User-agent: True_Robot
Disallow: /

User-agent: turingos
Disallow: /

User-agent: TurnitinBot/1.5
Disallow: /

User-agent: TurnitinBot
Disallow: /

User-agent: URL Control
Disallow: /

User-agent: URL_Spider_Pro
Disallow: /

User-agent: URLy Warning
Disallow: /

User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /

User-agent: VCI
Disallow: /

User-agent: Web Image Collector
Disallow: /

User-agent: WebAuto
Disallow: /

User-agent: WebBandit/3.50
Disallow: /

User-agent: WebBandit
Disallow: /

User-agent: WebCapture 2.0
Disallow: /

User-agent: WebCopier v.2.2
Disallow: /

User-agent: WebCopier v3.2a
Disallow: /

User-agent: WebCopier
Disallow: /

User-agent: WebEnhancer
Disallow: /

User-agent: WebSauger
Disallow: /

User-agent: Website Quester
Disallow: /

User-agent: Webster Pro
Disallow: /

User-agent: WebStripper
Disallow: /

User-agent: WebZip/4.0
Disallow: /

User-agent: WebZIP/4.21
Disallow: /

User-agent: WebZIP/5.0
Disallow: /

User-agent: WebZip
Disallow: /

User-agent: Wget/1.5.3
Disallow: /

User-agent: Wget/1.6
Disallow: /

User-agent: Wget
Disallow: /

User-agent: wget
Disallow: /

User-agent: WWW-Collector-E
Disallow: /

User-agent: Xenu's Link Sleuth 1.1c
Disallow: /

User-agent: Xenu's
Disallow: /

User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /

User-agent: Zeus Link Scout
Disallow: /

User-agent: Zeus
Disallow: /

User-agent: Adsbot-Google
Disallow:

User-agent: Googlebot
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php

  • عبدالماجد شه بخش ( ایجباری )

    آفلاین
    عضو فعال
    تعداد نوشته‌ها: ۱۰۳۱
    تشکر شده: ۱۴۳۲ بار
    # نوشته شده: ۱۴ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۰:۱۵ 

    User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

Sitemap: http://www.yonadi.com/sitemap.xml

    به جای yonadi.com آدرس سایت خودت رو بنویس .
    اینجوری سایت مپت هم شناسایی میشه .

  • AliHM

    آفلاین
    عضو
    تعداد نوشته‌ها: ۴۳
    تشکر شده: ۱۲ بار
    # نوشته شده: ۱۴ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۴:۰۷

    ممنون پارسا جان سایته جالب بود

    عبور, عجب سایت مپیه؟ اما احساس نمیکنی زیاده گوگل خسته بشه؟
    مجید جان ممنون این همون فایلیه که تو اکثر سایتاهست و فکر کنم همین هم مفید باشه

    باز هم ممنون

  • عبدالماجد شه بخش ( ایجباری )

    آفلاین
    عضو فعال
    تعداد نوشته‌ها: ۱۰۳۱
    تشکر شده: ۱۴۳۲ بار
    # نوشته شده: ۱۴ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۶:۱۸

    AliHM گفت:

    مجید جان ممنون این همون فایلیه که تو اکثر سایتاهست و فکر کنم همین هم مفید باشه

    باز هم ممنون

    خواهش میکنم دوست عزیز در ضمن اسمم مجید نیست اسمم عبدالماجد یا به اختصار ماجد هست که مجید و ماجد هر دو از یک مصدر و عربی هستند . در ضمن توی این انجمن هر چی میپرسیم بهمون جواب میدن حال ما یه دفعه جواب بدیم چی میشه ؟
    خطاب به دوست دیگه AliHM حتما از افزونه های مخصوص ساخت سایت مپ استفاده کن مثل google sitemap و امثالشان و برای تنظیمات بیشتر در مورد ایندکس شدن و غیره به این تایپک برو
    http://forum.wp-persian.com/topic/9213

  • vincent

    آفلاین
    عضو
    تعداد نوشته‌ها: ۱۲۸
    تشکر شده: ۱۷۰ بار
    # نوشته شده: ۱۴ سال پیش
    ۱۴ دی ۱۳۸۹ - ۱۷:۰۹

    AliHM گفت:
    عبور, عجب سایت مپیه؟ اما احساس نمیکنی زیاده گوگل خسته بشه؟

    اختیار داری گوگل و خستگی؟ سایت من که زیادی هم ایندکس شده (:
    این لیست بلندبالا موتور جستجوهای موزی و مضر ان که اینجوری جلوی دسترسی شون به سایت گرفته می‌شه.

    مشکل هم به نظر می رسه حل شده باشه پس تاپیک رو به حل شده تغییر بده.

  • mohsenmusic

    آفلاین
    عضو
    تعداد نوشته‌ها: ۹
    تشکر شده: ۴ بار
    # نوشته شده: ۱۱ سال پیش
    ۲۸ آبان ۱۳۹۲ - ۲۱:۱۶

    دوستان توجه داشته باشید که بعضی از کد ها که در سایت ها قرار میگیره باید طبق تنظیمات ورد پرس شما باشه
    مثال :
    در کد Disallow: /*?*
    Disallow: /*?
    میگه صفحاتی که در آدرس علامت سوال داره رو بیخیال شو
    این کد در صورتی که در ورد پرس شما تنظیمات > پیوند های یکتا روی پیشفرض مثل http://toptala.ir/?p=123 باشه فایل روبوت تکست از ایندکس شدن صفحات جلوگیری میکنه این مشکلی بود که خود من داشتم
    موفق باشید

  • Seo one

    آفلاین
    عضو
    تعداد نوشته‌ها: ۲۵۰
    تشکر شده: ۸۹ بار
    # نوشته شده: ۱۱ سال پیش
    ۸ آذر ۱۳۹۲ - ۲۲:۳۲

    عزیزم تاپیک سه سال پیش رو آوردید بالا یکم دقت کنید

    کاربران زیر به‌خاطر این نوشته تشکر کرده‌اند:
    mohsenmusic

  • mohsenmusic

    آفلاین
    عضو
    تعداد نوشته‌ها: ۹
    تشکر شده: ۴ بار
    # نوشته شده: ۱۱ سال پیش
    ۱۱ آذر ۱۳۹۲ - ۱۸:۴۶

    شرمنده ولی این مشکل منو خیلی اذیت کرد . و من با جستجو در همین مطالب قدیمی دنبال حل مسئله بودم و نتیجه نگرفتم فکر کردم شاید خیلی ها این مطلب رو بخوونن مثل خودم
    مرسی

درباره‌ی این موضوع



برچسب‌ها

هیچ برچسبی نیست.