robot.txt
“روبوٹ ڈاٹ ٹی ایکس ٹی“ ویب سائٹ کی روٹ ڈائریکٹری پہ موجود ایسی مسل کا نام ہے جو سرچ انجن سپائڈر (کرالر ، باٹ) کو مخصوص ویب صفحات کی انڈیکسنگ کرنے سے منع کرتی ہے۔
اس مسل میں آپ اپنی ویب سائٹ پر موجود ان ویب صفحات یا ڈائریکٹری کا اندراج کر سکتے ہیں جن کا ریکارڈ سرچ انجن میں رکھنا مطلوب نہ ہو۔
اس مقصد کے لیے Robots Exclusion protocol استمعال کیا جاتا ہے جس کے ذریعے ویب سائٹ منتظم سرچ انجن سپائڈر کو اپنی ویب کے ان حصوں کے متعلق بتاتا ہے جن کا سرچ انجن میں اندراج نہ کرنا مطلوب ہو۔
اسی طرح اگر کسی HTML مسل میں مندرجہ ذیل کوڈ لکھا جائے تو بھی سرچ انجن سپائڈر اس کا اندراج اپنے ڈیٹا بیس میں نہیں کرے گا۔
کوڈ:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
