فایل Robots.txt چیست؟

فایل Robots.txt چیست؟

در این مطلب به طور کامل فایل Robots.txt را بررسی کرده‌ایم و نحوه عملکرد آن و دستورات مهم آن را آورده‌ایم.

فایل Robots.txt فایلی است که بوسیله آن به موتورهای جستوجو می‌گوییم کدام فایل‌ها و صفحات سایت را ایندکس نکند. اغلب موتورهای جستوجو مانند گوگل و بینگ از این فایل برای فهم بهتر از سایت شما استفاده می‌کنند.

فایل Robots.txt چیست؟

چرا فایل Robots.txt اهمیت دارد؟

اغلب سایت‌ها به این فایل نیازی ندارند، چرا که موتور جستوجوی گوگل در طول سال‌های فعالیتش می‌تواند متوجه صفحات و فایل‌هایی که برای کاربر مهم باشد می‌شود.

بنابراین به صورت خودکار صفحاتی که برای کاربر ارزش کمتری دارد را ایندکس نمی‌کند.

اما به طور کلی 3 دلیل وجود دارد که باعث می‌شود شما برای ساخت فایل Robots.txt اقدام کنید:

صفحات خصوصی سایت

در بعضی از مواقع صفحاتی در سایتتان وجود دارد که نمی‌خواهید آن‌ها را در نتایج جستوجو نشان دهید. مانند صفحات ورود یا پرداخت.

وجود این صفحات برای هر سایتی می‌تواند ضروری باشد اما نمایش آن‌ها در نتایج جستوجو چندان کار منطقی‌ای نمی‌باشد. به این دلیل است که باید از فایل Robots.txt برای مخفی کردن این صفحات از روبات‌ها استفاده کنید.

افزایش بودجه کرال

در بعضی از شرایط ممکن است موتورهای جستوجو تمامی صفحاتتان را کرال نکنند. برای مدیریت بهتر ایندکس شدن، صفحاتی که برایتان کمتر ارزش دارند را در فایل Robots.txt بلاک کنید تا روبات‌ها بودجه سایتتان را در صفحات ارزشمندتر صرف کنند.

جلوگیری کردن از ایندکس منابع

همانطور که پیشتر اشاره کردیم موتورهای جستوجو اغلب نیازی به فایل Robots.txt ندارند و می‌توانند درک درستی از سایتتان پیدا کنند، اما برای فایل‌های مولتی مدیا مانند تصاویر و فایل‌های PDF اینگونه نیست و در اینجاست که شما برای ساخت فایل Robots.txt باید دست به کار شوید.

پایین‌ترین خط در فایل Robots.txt مربوط به همین فایل‌هاست که می‌توانید دسترسی روبات‌ها را به آن‌ها محدود کنید.

نحوه ایجاد فایل Robots.txt

قبل از اینکه به نحوه ساخت فایل Robots.txt بپردازیم ببینیم که آیا به این فایل نیاز دارید یا نه؟!

ابتدا در سرچ کنسول گوگل صفحاتی که ایندکس شده‌اند را چک کنید.

اگر تعداد صفحات سایتتان با تعدادی که گوگل آن‌ها را ایندکس کرده است برابر باشد نیازی به ساخت فایل Robots.txt نخواهید داشت.

اما اگر این تعداد با همدیگر همخوانی نداشتند وقت آن رسیده است تا خود را برای ساخت فایل Robots.txt آماده کنید.

نحوه ساخت فایل Robots.txt

قدم اول برای ساخت فایل Robots.txt ایجاد یک فایل نوت است تا اطلاعات مورد نیازتان را در آن وارد کنید.

در قدم بعدی اطلاعات زیر را داخل فایل Robots.txt کپی کنید:

User-agent: X
Disallow: Y

User-agent برای نام روباتی است که می‌خواهید قوانین را برایش مشخص کنید.

و هر دستوری که بعد از Disallow نوشته شود به این معنی است که میخواهید دسترسی آن ربات را برایش محدود کنید.

به عنوان مثال:

User-agent: googlebot
Disallow: /images

توسط این دستور به ربات‌های گوگل دستور می‌دهید تا تصاویر سایتتان را ایندکس نکنند.

همچنین اگر می‌خواهید یک دسترسی مشخص را برای تمامی ربات‌ها محدود کنید میتوانید از علامت (*) به جای نام ربات استفاده کنید

به عنوان مثال:

User-agent: *
Disallow: /images

این دستور در فایل Robots.txt به تمامی ربات‌ها می‌گوید که تصاویر را ایندکس نکنند.

این تنها یکی از دستورات مهم در فایل Robots.txt بود که برای درک بهتر شما آن را قرار دادیم. در ادامه دستورات دیگر را با هم بررسی می‌کنیم.

دستورات مهم فایل Robots.txt

در ادامه تعدادی از دستورات مهم فایل Robots.txt را آورده‌ایم

محدود کردن ربات‌ها به کل سایت

User-agent: *
Disallow: /

توسط این دستور می‌توانید دسترسی تمام ربات‌ها را به سایتتان محدود کنید.

توجه داشته باشید که حتی با به کار بردن این دستور در فایل Robots.txt کرالینگ سایت شما توسط ربات‌ها محدود می‌شود و همچنان امکان دارد تعدادی از صفحاتتان ایندکس شود.

محدود کردن ربات‌ها به دایرکتوری‌های خاص

User-agent: *

Disallow: /calendar/

Disallow: /junk/

Disallow: /books/fiction/contemporary/

توسط این دستور میتوانید دسترسی ربات‌ها را به دایرکتوری مد نظرتان محدود کنید.

توجه داشته باشید که بعد از انتخاب کردن دایرکتوری نیاز است تا به وسیله یک اسلش (/) خط را بسته تا دستور قابلیت اجرا پیدا کند.

همچنین لازم به ذکر است که با نوشتن این دستور کرالینگ ربات‌ها محدود می‌شود و در مواقعی ممکن است تا آن‌ها همچنان توسط موتورهای جستوجو ایندکس شوند.

دسترسی به یک ربات خاص

User-agent: Googlebot-news

Allow: /

User-agent: *

Disallow: /

به وسیله این دستور به ربات گوگل اجازه دسترسی به کل سایت را داده‌اید.

عدم دسترسی تنها به یک ربات خاص

User-agent: Unnecessarybot

Disallow: /

User-agent: *

Allow: /

در این دستور اگر به جای لغت (Unnecessarybot) نام ربات مد نظرتان را قرار دهید دسترسی آن به تمام سایت شما محدود می‌شود ولی دیگر ربات‌ها می‌توانند بدون مشکل سایتتان را کرال کنند.

عدم دسترسی به یک صفحه خاص

User-agent: *

Disallow: /useless_file.html

Disallow: /junk/other_useless_file.html

اگر بعد از اسلش (/) مسیر یک صفحه از سایتتان را وارد کنید، توسط تمام ربات‌ها دسترسی به آن صفحه محدود می‌شود.

عدم دسترسی به یک صفحه خاص

عدم دسترسی به یک تصویر خاص

User-agent: Googlebot-Image

Disallow: /images/dogs.jpg

توسط این دستور شما به ربات گوگل ایمیج (Googlebot-Image) دستور داده‌اید تا تصویری با نام (dogs.jpg) را بررسی نکند.

عدم دسترسی به تمامی تصاویر

User-agent: Googlebot-Image

Disallow: /

اگر این دستور را در فایل Robots.txt قرار دهید دسترسی بات گوگل ایمیج (Googlebot-Image) به تمامی تصاویر سایت محدود می‌شود.

عدم دسترسی به یک فرمت خاص

User-agent: Googlebot

Disallow: /*.gif$

در بعضی از شرایط تصمیم دارید تا بعضی از فایل‌ها مانند gif توسط ربات‌ها بررسی نشوند. برای انجام این کار دستور بالا را در فایل روبوت خود قرار دهید.

فایل Robots.txt را در کجا قرار دهیم؟

بعد از ساخت فایل روبوت تی اکس تی نوبت به قرار دادن آن در سایت می‌باشد.

فایل Robots.txt را باید در دایرکتوری اصلی سایتتان بارگذاری کنید. توجه داشته باشید که اگر این فایل را در دیگر پوشه‌ها بارگذاری کنید دیگر کارایی نخواهد داشت!به عنوان مثال مسیری که باید برای فایل ربوت تی اکس تی انتخاب کنید چنین خواهد بود:

https://example.com/robots.txt

بررسی خطا در فایل Robots.txt

بسیار مهم است که مطمئن باشید فایل Robots.txtی که ساخته‌اید به درستی کار می‌کند، چرا که در صورت وجود یک خطای کوچک سایتتان دیگر توسط موتورهای جستوجو ایندکس نخواهد شد.

خوشبختانه گوگل برای بررسی این فایل یک سرویس بسیار کارآمد ارائه داده‌است که می‌توانید بررسی فایل Robots.txt را به آن بسپارید.

توسط این ابزار می‌توانید خطاها و هشدارهایی که برای فایل شما وجود دارند را بررسی و در جهت رفع آن اقدام کنید.

تفاوت فایل Robots.txt با متا تگ

شاید این سوال برایتان به وجود آمده باشد که چرا وقتی می‌توانیم با یک متا تگ ساده “noindex” کارمان را راه بی‌اندازیم، چه نیازی به فایل Robots.txt خواهیم داشت؟

همانطور که پیشتر به آن اشاره کردیم، برای نوایندکس (noindex) کردن فایل‌های مولتی مدیا مانند فایل‌های PDF به وسیله متا تگ‌ها محدودیت خواهیم داشت.

همچنین اگر تعداد صفحاتی که نمی‌خواهید ایندکس شوند زیاد باشند بسیار راحت‌تر خواهد بود تا آن‌ها را در فایل Robots.txt مشخص کنید تا اینکه بخواهید تک به تک متا تگ‌های آنها را به “noindex” تغییر دهید.

همچنین باجت کرال شما وقتی که از متا تگ نو ایندکس استفاده می‌کنید همچنان خرج می‌شود. بنابراین برای اینکه بتوانید رتبه بهتری را در نتایج جستجو از آن خود کنید بهتر است از فایل Robots.txt استفاده کنید.

5/5 - (3 امتیاز)
مثل یک ربات! همیشه در حال یادگیری و پیشرفتم. و تنها هدفم این است که به شما کمک کنم تا خط اول گوگل را برای خود کنید.
آنچه در این مقاله می‌خوانید
مطالب مرتبط

4 پاسخ

  1. ممنون از مطلب خوبتون، میتونید لطفا یک نمونه آماده از فایل روبوت را قرار دهید تا بدون چالش بتونم در سایتم بارگذاری کنم؟

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

نیاز به بهبود رتبه سایتتان دارید؟

با بروزترین روش‌ها و الگوریتم‌های سئو به کمکتان می‌آیم و از آن‌ها در ارتقای رتبه سایت شما استفاده می‌کنم.