آموزش دستور allow / disallow

بهینه سازی سایت با استفاده از فایل htaccess

 

 

کنترل ربات ها يا اسپايدر موتورهاي جستجو در افزايش سئو و بهينه سازي سايت کاربرد بسزايي دارند. از اين دو دستور disallow / allow براي محدود کردن يا دسترسي دادن به يک پوشه استفاده مي شود.

محدود کردن <== /disallow:/path
دسترسی داشتن <== /allow:/path

نوشتن کلي درون فايل robots.txt به اين طريق اشتباه است:

/disallow:/Sales/ , /Shopping
allow:/site/search

دستور زير يعني هيچ روبوتي حق ورود ندارد:

*:user-agent
/:disallow

نوشتن توضيحات در فايل robots.txt با علامت # مي باشد:

all robots are allowed#

محدود کردن دسترسي به فايل هاي خاص:

$disallow:/*.gif
$disallow:/*.eps

منع کردن ربات (دستور مخصوص موتور گوگل) از خواندن تمام پوشه هايي است که نام آنها با private شروع مي شوند:

/*disallow:/private

منع کردن ربات (گوگل) از بخش هايي که بلافاصله بعد از نام سايت هرچيزي آمده و بعد از آن علامت سؤال و بعد از علامت باز هر چيز ديگري آمده است:

?*/:disallow
مثال <== Mysite.com/step?finish

نکته: به آدرس هايي که مي دهيد دقت داشته باشيد که بزرگي و کوچکي حروف را رعايت فرماييد.

 

 

منبع : seokhane.com