فایل Robots.txt چیست؟

فایل Robots.txt فایلی است که بوسیله آن به موتورهای جستوجو می‌گوییم کدام فایل‌ها و صفحات سایت را ایندکس نکند. اغلب موتورهای جستوجو مانند گوگل (به انگلیسی: Google) و بینگ (به انگلییسی: Bing) از این فایل برای فهم بهتر از سایت شما استفاده می‌کنند.

چرا فایل Robots.txt اهمیت دارد؟

اغلب سایت‌ها به این فایل نیازی ندارند، چرا که موتور جستوجوی گوگل در طول سال‌های فعالیتش می‌تواند متوجه صفحات و فایل‌هایی که برای کاربر مهم باشد شود.

بنابراین به صورت خودکار صفحاتی که برای کاربر ارزش کمتری دارد را ایندکس (به انگلیسی: Index) نمی‌کند.

اما به طور کلی 3 دلیل وجود دارد که باعث می‌شود شما برای ساخت فایل Robots.txt اقدام کنید:

صفحات خصوصی سایت

در بعضی از مواقع صفحاتی در سایتتان وجود دارد که نمی‌خواهید آن‌ها را در نتایج جستوجو نشان دهید. مانند صفحات ورود یا پرداخت.

وجود این صفحات برای هر سایتی می‌تواند ضروری باشد اما نمایش آن‌ها در نتایج جستوجو چندان کار منطقی‌ای نمی‌باشد. به این دلیل است که باید از فایل روبوت برای مخفی کردن این صفحات از روبات‌ها استفاده کنید.

افزایش بودجه کرال

در بعضی از شرایط ممکن است موتورهای جستوجو تمامی صفحاتتان را کرال (به انگلیسی: Crawl) نکنند. برای مدیریت بهتر ایندکس شدن، صفحاتی که برایتان کمتر ارزش دارند را در فایل Robots.txt بلاک کنید تا روبات‌ها بودجه سایتتان را در صفحات ارزشمندتر صرف کنند.

جلوگیری کردن از ایندکس منابع

همانطور که پیشتر اشاره کردیم موتورهای جستوجو اغلب نیازی به این فایل ندارند و می‌توانند درک درستی از سایتتان پیدا کنند، اما برای فایل‌های مولتی مدیا مانند تصاویر و فایل‌های PDF اینگونه نیست و در اینجاست که شما برای ساخت فایل Robots.txt باید دست به کار شوید.

پایین‌ترین خط در فایل Robots.txt مربوط به همین فایل‌هاست که می‌توانید دسترسی روبات‌ها را به آن‌ها محدود کنید.

نحوه ایجاد فایل Robots.txt

قبل از اینکه به نحوه ساخت فایل Robots.txt بپردازیم ببینیم که آیا به این فایل نیاز دارید یا نه؟!

ابتدا در سرچ کنسول گوگل (به انگلیسی: Google Search Console) صفحاتی که ایندکس شده‌اند را چک کنید.

اگر تعداد صفحات سایتتان با تعدادی که گوگل آن‌ها را ایندکس کرده است برابر باشد نیازی به ساخت فایل Robots.txt نخواهید داشت.

اما اگر این تعداد با همدیگر همخوانی نداشتند وقت آن رسیده است تا خود را برای ساخت فایل روبوت آماده کنید.

نحوه ساخت فایل Robots.txt

قدم اول برای ساخت فایل Robots.txt ایجاد یک فایل نوت (به انگلیسی: Note) است تا اطلاعات مورد نیازتان را در آن وارد کنید.

در قدم بعدی اطلاعات زیر را در آن قرار دهید:

User-agent: X
Disallow: Y

User-agent برای نام روباتی است که می‌خواهید قوانین را برایش مشخص کنید.

و هر دستوری که بعد از Disallow نوشته شود به این معنی است که میخواهید دسترسی آن ربات را برایش محدود کنید.

به عنوان مثال:

User-agent: googlebot
Disallow: /images

توسط این دستور به ربات‌های گوگل دستور می‌دهید تا تصاویر سایتتان را ایندکس نکنند.

همچنین اگر می‌خواهید یک دسترسی مشخص را برای تمامی ربات‌ها محدود کنید میتوانید از علامت (*) به جای نام ربات استفاده کنید

به عنوان مثال:

User-agent: *
Disallow: /images

این دستور به تمامی ربات‌ها می‌گوید که تصاویر را ایندکس نکنند.

این تنها یکی از دستورات مهم در فایل Robots.txt بود که برای درک بهتر شما آن را قرار دادیم. در ادامه دستورات دیگر را با هم بررسی می‌کنیم.

دستورات مهم فایل Robots.txt

در ادامه تعدادی از دستورات مهم فایل Robots.txt را آورده‌ام.

محدود کردن ربات‌ها به کل سایت

User-agent: *
Disallow: /

توسط این دستور می‌توانید دسترسی تمام ربات‌ها را به سایتتان محدود کنید.

توجه داشته باشید که حتی با به کار بردن این دستور کرالینگ سایت شما توسط ربات‌ها محدود می‌شود و همچنان امکان دارد تعدادی از صفحاتتان ایندکس شود.

محدود کردن ربات‌ها به دایرکتوری‌های خاص

User-agent: *
Disallow: /calendar/ 
Disallow: /junk/
Disallow: /books/fiction/contemporary/

توسط این دستور می‌توانید دسترسی ربات‌ها را به دایرکتوری مد نظرتان محدود کنید.

توجه داشته باشید که بعد از انتخاب کردن دایرکتوری نیاز است تا به وسیله یک اسلش (/) خط را بسته تا دستور قابلیت اجرا پیدا کند.

همچنین لازم به ذکر است که با نوشتن این دستور کرالینگ ربات‌ها محدود می‌شود و در مواقعی ممکن است تا آن‌ها همچنان توسط موتورهای جستوجو ایندکس شوند.

دسترسی به یک ربات خاص

User-agent: Googlebot-news
Allow: /
User-agent: *
Disallow: /

به وسیله این دستور به ربات گوگل اجازه دسترسی به کل سایت را داده‌اید.

عدم دسترسی تنها به یک ربات خاص

User-agent: Unnecessarybot
Disallow: /
User-agent: *
Allow: /

در این دستور اگر به جای لغت (Unnecessarybot) نام ربات مد نظرتان را قرار دهید دسترسی آن به تمام سایت شما محدود می‌شود ولی دیگر ربات‌ها می‌توانند بدون مشکل سایتتان را کرال کنند.

عدم دسترسی به یک صفحه خاص

User-agent: *
Disallow: /useless_file.html
Disallow: /junk/other_useless_file.html

اگر بعد از اسلش (/) مسیر یک صفحه از سایتتان را وارد کنید، توسط تمام ربات‌ها دسترسی به آن صفحه محدود می‌شود.

عدم دسترسی به یک تصویر خاص

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg

توسط این دستور شما به ربات گوگل ایمیج (Googlebot-Image) دستور داده‌اید تا تصویری با نام (dogs.jpg) را بررسی نکند.

عدم دسترسی به تمامی تصاویر

User-agent: Googlebot-Image
Disallow: /

اگر این دستور را در فایل Robots.txt قرار دهید دسترسی بات گوگل ایمیج (Googlebot-Image) به تمامی تصاویر سایت محدود می‌شود.

عدم دسترسی به یک فرمت خاص

User-agent: Googlebot
Disallow: /*.gif$

در بعضی از شرایط تصمیم دارید تا بعضی از فایل‌ها مانند gif توسط ربات‌ها بررسی نشوند. برای انجام این کار دستور بالا را در فایل روبوت خود قرار دهید.

فایل Robots.txt را در کجا قرار دهیم؟

بعد از ساخت فایل روبوت تی اکس تی نوبت به قرار دادن آن در سایت می‌باشد.

فایل Robots.txt را باید در دایرکتوری اصلی سایتتان بارگذاری کنید. توجه داشته باشید که اگر این فایل را در دیگر پوشه‌ها بارگذاری کنید دیگر کارایی نخواهد داشت! به عنوان مثال مسیری که باید برای فایل ربوت تی اکس تی انتخاب کنید چنین خواهد بود:

https://example.com/robots.txt

بررسی خطا در فایل Robots.txt

بسیار مهم است که مطمئن باشید فایل Robots.txtی که ساخته‌اید به درستی کار می‌کند، چرا که در صورت وجود یک خطای کوچک سایتتان دیگر توسط موتورهای جستوجو ایندکس نخواهد شد.

خوشبختانه ابزارهای بسیار متنوعی برای بررسی عملکرد فایل روبت وجود دارد که می‌توانید از آن‌ها استفاده کنید. توسط این ابزارها می‌توانید خطاها و هشدارهایی که برای فایل شما وجود دارند را بررسی و در جهت رفع آن اقدام کنید.

تفاوت فایل Robots.txt با متا تگ

شاید این سوال برایتان به‌وجود آمده باشد که چرا وقتی می‌توانیم با یک متا تگ ساده “noindex” کارمان را راه بی‌اندازیم، چه نیازی به ساخت فایل Robots.txt خواهیم داشت؟

همانطور که پیشتر به آن اشاره کردم، برای نوایندکس (به انگلیسی: noindex) کردن فایل‌های مولتی مدیا مانند فایل‌های PDF به وسیله متا تگ‌ها محدودیت خواهیم داشت.

همچنین اگر تعداد صفحاتی که نمی‌خواهید ایندکس شوند زیاد باشند بسیار راحت‌تر خواهد بود تا آن‌ها را در فایل Robots.txt مشخص کنید تا اینکه بخواهید تک به تک متا تگ‌های آنها را به “noindex” تغییر دهید.

همچنین باجت کرال شما وقتی که از متا تگ نو ایندکس استفاده می‌کنید همچنان خرج می‌شود. بنابراین برای اینکه بتوانید رتبه بهتری را در نتایج جستجو از آن خود کنید بهتر است از فایل Robots.txt استفاده کنید.

فایل آماده Robots.txt

تا به اینجای مطلب با این فایل و نحوه درست کردنش آشنا شدید. در پایان دو فایل Robots.txt برای سایت‌های فروشگاهی و دیگر سایت‌ها را قرار داده‌ام که می‌توانید با خیالی آسوده از آن‌ها استفاده کنید.

فایل آماده Robots.txt برای سایت فروشگاهی

اگر در نظر دارید تا با طراحی سایت فروشگاهی کسب و کار خود را گسترش دهید حتماً نیاز به فایل آماده Robots.txt خواهید داشت، مب‌توانید از کدهای زیر برای انواع سایت‌های فروشگاهی استفاده کنید. فقط توجه داشته باشید که نیاز است حتما آن را برای سایت خود شخصی سازی کنید.

User-agent: *
 
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /search/
Disallow: *?s=*
Disallow: *?p=*
Disallow: *&p=*
Disallow: *&preview=*
Disallow: /*feed
 
Sitemap: https://Domain.com/sitemap_index.xml

فایل آماده Robots.txt برای انواع سایت‌ها

کدهایی که در زیر آمده است را می‌توانید برای دیگر سایت‌ها استفاده کنید. فراموش نکنید که قبل از استفاده حتماً آن را شخصی سازی کنید.

User-Agent: *
 
Disallow: /wp-admin/
Disallow: /readme.html
 
Allow: /wp-admin/admin-ajax.php
 
Sitemap: https://Domain.com/sitemap_index.xml

سوالات متداول

جمع بندی

در این مطلب به تمامی جزئیات مهم ساخت فایل Robot.txt پرداخته شد. اینکه چگونه آن را بسازیم و آن را در کجای سایت قرار دهیم تا ربات‌های موتورهای جستوجو بهتر از جزئیات سایتمان مطلع شوند. همچنین این نکته حائز اهمیت است که اگر سایتتان هک شده باشد نیاز است تا حتماً این فایل را بروزرسانی کنید.

همچنین اگر سوالی در این باره دارید آن را در بخش دیدگاه‌ها با من در میان بگذارید.