مصنوعي استخباراتود بازار موندنې لټون

د Robots.txt فایل څه شی دی؟ هرڅه چې تاسو ورته اړتیا لرئ د SEO لپاره د روبوټ فایل لیکلو، سپارلو، او بیا ولیکئ

موږ په اړه یوه جامع مقاله لیکلې ده څنګه د لټون انجنونه ستاسو ویب پاڼې لټوي، کرال کوي، او لیست کوي. په دې پروسه کې یو بنسټیز ګام دی robots.txt فایل، ستاسو سایټ کرال کولو لپاره د لټون انجن لپاره دروازه. پوهیدل چې څنګه د روبوټس.txt فایل په سمه توګه جوړ کړئ د لټون انجن اصلاح کولو کې اړین دی (SEO).

دا ساده مګر ځواکمن وسیله د ویب ماسټرانو سره مرسته کوي چې څنګه د لټون انجنونه د دوی ویب پاڼې سره اړیکه ونیسي. د روبوټس.txt فایل پوهیدل او په اغیزمنه توګه کارول د ویب پاڼې د اغیزمن لیست کولو او د لټون انجنی پایلو کې د غوره لیدلو ډاډ ترلاسه کولو لپاره اړین دي.

د Robots.txt فایل څه شی دی؟

د robots.txt فایل د متن فایل دی چې د ویب پاڼې په روټ ډایرکټر کې موقعیت لري. د دې لومړنی هدف د لټون انجنی کرالرانو ته لارښوونه کول دي چې د سایټ کومې برخې باید کرال شوي او لیست شي. دوتنې د روباټونو د جلا کولو پروتوکول کاروي (REP)، یو معیاري ویب پاڼې د ویب کرالرانو او نورو ویب روبوټونو سره د خبرو اترو لپاره کاروي.

REP رسمي انټرنیټ معیار ندی مګر په پراخه کچه منل شوی او د لوی لټون انجنونو لخوا ملاتړ کیږي. منل شوي معیار ته ترټولو نږدې د لوی لټون انجنونو لکه ګوګل، Bing، او Yandex څخه اسناد دي. د نورو معلوماتو لپاره، لیدنه وکړئ د ګوګل د Robots.txt مشخصات سپارښتنه کیږي.

ولې Robots.txt د SEO لپاره مهم دی؟

  1. کنټرول شوی کرول: Robots.txt د ویب پاڼې مالکینو ته اجازه ورکوي چې د لټون انجنونو ته د دوی د سایټ ځانګړو برخو ته د لاسرسي مخه ونیسي. دا په ځانګړې توګه د نقل شوي منځپانګې، شخصي ساحو، یا حساس معلوماتو سره د برخو د لرې کولو لپاره ګټور دی.
  2. مطلوب کرول بودیجه: د لټون انجنونه د هرې ویب پاڼې لپاره د کرال بودیجه تخصیص کوي، د هغو پاڼو شمیر چې د لټون انجن بوټ به په سایټ کې کرال کوي. د غیر متناسب یا لږو مهمو برخو په منع کولو سره، robots.txt د دې کرال بودیجې په ښه کولو کې مرسته کوي، ډاډ ترلاسه کوي چې ډیرې مهمې پاڼې کرال شوي او لیست شوي دي.
  3. د ویب پاڼې د بارولو وخت ښه شوی: د غیر ضروري سرچینو ته د لاسرسي څخه د بوټونو مخنیوي سره، robots.txt کولی شي د سرور بار کم کړي، په بالقوه توګه د سایټ د بارولو وخت ښه کړي، په SEO کې یو مهم فکتور.
  4. د غیر عامه پاڼو د لیست کولو مخنیوی: دا د غیر عامه ساحو ساتلو کې مرسته کوي (لکه سټینګ سایټونه یا پرمختیا ساحې) د لیست کولو او د لټون پایلو کې څرګندیدو څخه.

Robots.txt اړین حکمونه او د هغوی کارول

  • اجازه راکړئ: دا لارښود د دې مشخص کولو لپاره کارول کیږي چې د سایټ کومې پاڼې یا برخې باید د کرالرانو لخوا لاسرسی ومومي. د مثال په توګه، که یوه ویب پاڼه د SEO لپاره په ځانګړې توګه اړونده برخه ولري، د 'اجازه' کمانډ کولی شي ډاډ ترلاسه کړي چې دا کرول شوی.
Allow: /public/
  • نه منل: د 'اجازه' برعکس، دا کمانډ د لټون انجن بوټو ته لارښوونه کوي چې د ویب پاڼې ځینې برخې کرال نه کړي. دا د هغو پاڼو لپاره ګټور دی چې د SEO ارزښت نلري، لکه د ننوتلو پاڼې یا سکریپټ فایلونه.
Disallow: /private/
  • وائلډ کارډونه: وائلډ کارډونه د نمونو د سمون لپاره کارول کیږي. ستوری (*) د حروفونو هر ترتیب استازیتوب کوي، او د ډالر نښه ($) د URL پای ته اشاره کوي. دا د URLs پراخه لړۍ مشخص کولو لپاره ګټور دي.
Disallow: /*.pdf$
  • د سایټ نقشه: په robots.txt کې د سایټ نقشه ځای شاملول د لټون انجنونو سره په سایټ کې ټولې مهمې پاڼې موندلو او کرال کولو کې مرسته کوي. دا د SEO لپاره خورا مهم دی ځکه چې دا د سایټ ګړندۍ او ډیر بشپړ لیست کولو کې مرسته کوي.
Sitemap: https://martech.zone/sitemap_index.xml

Robots.txt اضافي کمانډونه او د دوی کارول

  • کارن-اجنټ: مشخص کړئ چې کوم کرالر قانون پلي کیږي. 'د کارونکي ایجنټ: *' قانون په ټولو کرالرونو پلي کوي. بېلګه:
User-agent: Googlebot
  • نه انډیکس: پداسې حال کې چې د معیاري robots.txt پروتوکول برخه نه ده، ځینې د لټون انجنونه پوهیږي نهیندیکس لارښود په robots.txt کې د یوې لارښوونې په توګه چې ټاکل شوي URL ته اشاره نه کوي.
Noindex: /non-public-page/
  • کرول ځنډول: دا کمانډ له کرالرانو څخه غوښتنه کوي چې ستاسو سرور ته د هټ کولو ترمینځ یو مشخص وخت انتظار وکړي ، د سرور بار مسلو سره د سایټونو لپاره ګټور.
Crawl-delay: 10

ستاسو د Robots.txt فایل څنګه ازموینه وکړئ

که څه هم دا په کې ښخ شوی دی د ګوګل لټون کنسولد لټون کنسول د robots.txt فایل ټیسټر وړاندیز کوي.

د ګوګل لټون کنسول کې ستاسو د روبوټ.txt فایل ازموینه وکړئ

تاسو کولی شئ خپل د Robots.txt فایل په ښي خوا کې په دریو نقطو کلیک کولو او غوره کولو سره بیا وسپارئ د بیا کتنې غوښتنه وکړئ.

خپل Robots.txt فایل د ګوګل لټون کنسول کې بیا وسپارئ

خپل د Robots.txt فایل ازموینه یا بیا وسپارئ

ایا د Robots.txt فایل د AI بوټونو کنټرول لپاره کارول کیدی شي؟

د robots.txt فایل د تعریف کولو لپاره کارول کیدی شي که نه AI بوټونه، د ویب کرالرونو او نورو اتوماتیک بوټو په شمول، کولی شي ستاسو په سایټ کې مینځپانګې کرال یا وکاروي. فایل د دې بوټونو لارښود کوي، دا په ګوته کوي چې د ویب پاڼې کومې برخې دوی ته د لاسرسي اجازه لري یا منع دي. د robots.txt اغېزمنتوب چې د AI بوټو چلند کنټرولوي په څو فکتورونو پورې اړه لري:

  1. د پروتوکول اطاعت: ډیری نامتو د لټون انجنی کرالر او ډیری نور AI بوټان مقرر شوي مقرراتو ته درناوی کوي
    robots.txt. په هرصورت، دا مهمه ده چې یادونه وکړو چې فایل د تطبیق وړ محدودیت په پرتله د غوښتنې څخه ډیر دی. بوټونه کولی شي دا غوښتنې له پامه غورځوي، په ځانګړې توګه هغه چې د لږ بې رحمه ادارو لخوا پرمخ وړل کیږي.
  2. د لارښوونو ځانګړتیا: تاسو کولی شئ د مختلف بوټو لپاره مختلف لارښوونې مشخص کړئ. د مثال په توګه، تاسو ممکن ځانګړي AI بوټو ته اجازه ورکړئ چې ستاسو سایټ کرال کړي پداسې حال کې چې نورو ته اجازه نه ورکوي. دا په کارولو سره ترسره کیږي User-agent په robots.txt د فایل مثال پورته. د مثال په ډول، User-agent: Googlebot د ګوګل د کرالر لپاره لارښوونې مشخص کړي، پداسې حال کې چې User-agent: * په ټولو بوټو به تطبیق شي.
  3. محدودیتونه: په داسې حال کې robots.txt کولی شي بوټونه د ټاکل شوي مینځپانګې ځړولو مخه ونیسي؛ دا له دوی څخه مینځپانګه نه پټوي که دوی دمخه پوهیږي URL. برسیره پردې، دا د مینځپانګې کارولو محدودولو لپاره هیڅ وسیله نه وړاندې کوي کله چې دا کښته شي. که چیرې د مینځپانګې محافظت یا د کارولو ځانګړي محدودیتونو ته اړتیا وي ، نورې میتودونه لکه د پټنوم محافظت یا د لاسرسي کنټرول ډیر پیچلي میکانیزمونه ممکن اړین وي.
  4. د بوټونو ډولونه: ټول AI بوټونه د لټون انجنونو پورې تړاو نلري. مختلف بوټونه د مختلفو موخو لپاره کارول کیږي (د بیلګې په توګه، د معلوماتو راټولول، تحلیلونه، د مینځپانګې سکریپینګ). د robots.txt فایل د دې مختلف ډوله بوټو لپاره د لاسرسي اداره کولو لپاره هم کارول کیدی شي ، تر هغه چې دوی REP ته غاړه کیږدي.

د robots.txt فایل د AI بوټو لخوا د سایټ مینځپانګې کرول کولو او کارولو په اړه ستاسو د غوره توبونو نښه کولو لپاره مؤثره وسیله کیدی شي. په هرصورت، د دې وړتیاوې د سخت لاسرسي کنټرول پلي کولو پر ځای د لارښوونو چمتو کولو پورې محدود دي، او د دې اغیزمنتوب د روبوټ جلا کولو پروتوکول سره د بوټونو په اطاعت پورې اړه لري.

د robots.txt فایل د SEO ارسنل کې یو کوچنی مګر پیاوړی وسیله ده. دا کولی شي د پام وړ د ویب پاڼې لید او د لټون انجن فعالیت اغیزمن کړي کله چې په سمه توګه کارول کیږي. د دې کنټرول کولو سره چې د سایټ کومې برخې کرول شوي او لیست شوي، ویب ماسټران کولی شي ډاډ ترلاسه کړي چې د دوی خورا ارزښتناکه مینځپانګه روښانه شوې، د دوی SEO هڅو او د ویب پاڼې فعالیت ښه کوي.

Douglas Karr

Douglas Karr د CMO دی OpenINSIGHTS او بنسټ ایښودونکی Martech Zone. ډګلاس د لسګونو بریالي مارټیک پیلونو سره مرسته کړې ، د مارټیک استملاک او پانګوونې کې د 5 ملیارد ډالرو څخه ډیر په پام کې نیولو کې مرسته کړې ، او د دوی د پلور او بازار موندنې ستراتیژیو پلي کولو او اتومات کولو کې شرکتونو سره مرستې ته دوام ورکوي. ډګلاس په نړیواله کچه پیژندل شوی ډیجیټل بدلون او د مار ټیک ماهر او سپیکر دی. ډګلاس د ډمي لارښود او د سوداګرۍ مشرتابه کتاب یو خپور شوی لیکوال هم دی.

اړونده بیشتر

بېرته پورته تڼۍ ته
نژدې

اډ بلاک کشف شو

Martech Zone د دې وړتیا لري چې تاسو ته دا مینځپانګه په هیڅ لګښت چمتو کړي ځکه چې موږ د اعلاناتو عاید ، وابسته لینکونو ، او سپانسرشپونو له لارې زموږ سایټ منیټ کوو. موږ به ستاینه وکړو که تاسو زموږ د سایټ لیدو سره سم خپل د اعلاناتو بلاکر لرې کړئ.