robots.txt file ওয়ার্ডপ্রেস সাইট এবং ব্লগার সাইটে সেট আপ করার নিয়ম

Robots.txt

ওয়ার্ডপ্রেস সাইট এবং ব্লগার সাইটের জন্য robots.txt file সেট আপ করা অত্যন্ত গুরুত্বপূর্ন কাজ। কোন সাইটে রোবট ডট টেক্সট ফাইল না থাকলে সে সাইট সুশৃংখল ভাবে নিয়ন্ত্রিত হয় না। সাইটে কোন পেজ ইনডেক্স করতে হবে বা কোন পেজ ইনডেক্স করতে হবে না তা রোবট ডট টেক্সট কর্তৃক নিয়ন্ত্রিত হয়ে থাকে। রোবট ডট টেক্সট গুগুল বট কে বলে দেয় কোন সাইট বা কোন পেজকে ইনডেক্স করতে হবে আর কোনটা করতে হবে না। তাই রোবট ডট টেক্সট ফাইল ব্লগ সাইট বা ওয়েব সাইটে থাকা অত্যন্ত প্রয়োজন। আজকে আমরা আলোচনা করবো robots.txt file…