robots.txt file ওয়ার্ডপ্রেস সাইট এবং ব্লগার সাইটে সেট আপ করার নিয়ম

Robots.txt

ওয়ার্ডপ্রেস সাইট এবং ব্লগার সাইটের জন্য robots.txt file সেট আপ করা অত্যন্ত গুরুত্বপূর্ন কাজ। কোন সাইটে রোবট ডট টেক্সট ফাইল না থাকলে সে সাইট সুশৃংখল ভাবে নিয়ন্ত্রিত হয় না। সাইটে কোন পেজ ইনডেক্স করতে হবে বা কোন পেজ ইনডেক্স করতে হবে না তা রোবট ডট টেক্সট কর্তৃক নিয়ন্ত্রিত হয়ে থাকে। রোবট ডট টেক্সট গুগুল বট কে বলে দেয় কোন সাইট বা কোন পেজকে ইনডেক্স করতে হবে আর কোনটা করতে হবে না। তাই রোবট ডট টেক্সট ফাইল ব্লগ সাইট বা ওয়েব সাইটে থাকা অত্যন্ত প্রয়োজন। আজকে আমরা আলোচনা করবো robots.txt file ওয়ার্ডপ্রেস সাইট এবং ব্লগার সাইটে সেট আপ করার নিয়ম সম্পর্কে। কিভাবে একটি ব্লগ সাইটে বা ওয়েবসাইটে রোবট ডট টেক্সট ফাইল সেট আপ করা যায়।

robots.txt file কি :

robots.txt ফাইল হচ্ছে কোন ওয়েবসাইটের জন্য নির্দেশনা মূলক কোড যা গুগুল বটের মতো ক্রাউলারদের বলে দেয় কোন সাইট বা কোন পেজকে ইনডেক্স করতে হবে। রোবটস ডট টেক্সট ফাইল এসইও এর একটি অন্যতম অংশ। রোবট ডট টেক্সট ফাইল ব্লগ সাইট বা ওয়েব সাইটের মধ্যে থাকা জরুরী। রোবট ডট টেক্সট ফাইল ওয়েব সাইটের রুট ফোল্ডারের মধ্যে থাকতে হবে। রোবট ডট টেক্সট গুগুল বটকে নির্দেশ দেয় কোন পেজ সূচিকরন করা যাবে বা কোন পেজকে সূচিকরন করা যাবে না। গুগুল বট সে অনুযায়ী ক্রাউল করে থাকে। তাই রোবট ডট টেক্সট ফাইল ওয়েব সাইটের মধ্যে সঠিক ভাবে সেট আপ করতে হবে। কারন আপনার সেট আপ করা নির্দেশনা মোতাবেক সাইটকে বা সাইটের পেজকে ইনডেক্স করা হবে। আপনি যা Allow করে দিবেন তা ইনডেক্স করা হবে। আর যা Disallow করে দিবেন তা ইনডেক্স করা হবে না।

Robots.txt file সেট আপের নিয়ম :

প্রত্যেকটা সার্চ ইন্জিনের নিজস্ব বট আছে যা নিজস্ব নিয়ম অনুসরন করে কোন সাইটকে বা পেজ কে ইনডেক্স করে থাকে। এই বট গুলো বিভিন্ন সাইট বা পেজ গুলোতে ঘুরে ঘুরে ক্রাউল করে থাকে। যার ফলে আমাদের সাইট, পেজ, ট্যাগ বা ক্যাটাগরি ক্রাউল হয়ে থাকে। আর এই ক্রাউল করার ক্ষেত্রে নির্দেশনা দিয়ে থাকে রোবট ডট টেক্সট ফাইল। আসুন জেনে নেওয়া যাক কিভাবে সাইটে রোবট ডট টেক্সট ফাইল সেট আপ করা যায়।

ওয়ার্ডপ্রেস সাইটে robots.txt file সেট আপের নিয়ম :

ওয়াডপ্রেস সাইটে রোবট ডট টেক্সট ফাইল সেট আপ করতে হলে প্রথমে কোন ব্রাউজার ওপেন করে আপনার সাইটের ড্যাশবোর্ড বা বেকেন পেজে প্রবেশ করুন। তখন নিচের মতো আপনার সাইটের বেকেন পেজ দেখতে পাওয়া যাবে।

Dashboard :

Dashbord

এই ড্যাশবোর্ডের Plugins এ ক্লিক করে New Plugins এ ক্লিক করতে হবে। তারপর একটা ইন্টারফেস দেখতে পাবেন। সেখান থেকে সার্চ বারে Yoast SEO plugins লিখে সার্চ করে প্লাগিনটি একটিভিট করে নিতে হবে। তখন আপনার ড্যাশবোর্ডে বাম সাইটে Y, SEO লেখা দেখতে পাবেন। উপরের ড্যাশবোর্ডের নিচের লাল আয়াতাকার ঘরে দেখতে পাচ্ছেন। এবার SEO তে ক্লিক করুন। একটি ড্রপ ডাউন লিস্ট দেখতে পাবেন। তাতে Tools এ ক্লিক করুন। তখন নিচের মতো ইন্টারফেস দেখতে পাবেন।

Dashboard 2 :

Dashboard 2

এই ইন্টারফেসে File editor ক্লিক করুন। তখন একটি ডিফল্ট রোবট ডট টেক্সট ফাইল দেখতে পাবেন। আপনি সেটা রাখলে রাখতে পারেন। অথবা আপনি নিজের ইচ্ছা মতো রোবট ডট টেক্সট ফাইল সেট করে দিতে পারেন। কোন পেজ ইনডেক্স করতে না চাইলে তা Disallow করতে পারেন। আবার কোন পেজ ইনডেক্স করতে চাইলে Allow করে দিতে পারেন। ওয়ার্ডপ্রেস সাইটে এভাবে আপনার সাইটে রোবট ডট টেক্সট ফাইল সেট আপ করতে পারেন।

রোবট ডট টেক্সট ফাইল :

User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /.swf Disallow: //?
Disallow: /*/trackback/
Disallow: /listing/

আপনার সাইটে রোবট টেক্সট ফাইল আছে কিনা তা দেখতে চাইলে https:// Example.com/robots.txt লিখে সার্চ করে দেখতে পারেন। উল্লেথ্য এথানে example.com এর জায়গায় আপনার সাইটের নাম বসিয়ে সার্চ করতে হবে।

ব্লগার সাইটে robots.txt file সেটা আপের নিয়ম :

ব্লগসাইট তৈরির ক্ষেত্রে সবচেয়ে জনপ্রিয় সাইট হচ্ছে ব্লগার ডট কম। এখানে শুধু ডোমেন ক্রয় করতে হবে হোস্টিং ফ্রি। তাই এর জনপ্রিয়তা তুঙ্গে। ব্লগার ডট কম সাইটে robots.txt ফাইল সেট আপ করতে হলে আপনার সাইটের ড্যাশবোর্ড অর্থাৎ আপনার সাইটের বেকেন পেজ ওপেন করুন। তখন নিচের মতো ইন্টারফেস দেখতে পাবেন।

Blogger Dashboard :

Blogger Dashboard

এই ইন্টারফেসে Settings অপশনে ক্লিক করতে হবে তাহলে উপরের মতো ইন্টারফেস দেখতে পাবেন। এখানে Enable custom robots.txt এর ডান পাশের বাটন On করে দিন। তারপর নিচে custom robots.txt এর উপর ক্লিক করুন। তারপর নিচের ইন্টারফেসের মতো দেখতে পাবেন।

Blogger Dashboard 2 :

Blogger Dashboard 2

এই ইন্টারফেসে নিচের কোডটি বসিয়ে দিন। শুধু https://mrshop2.blogspot.com এর জায়গায় আপনার সাইটের নাম বসিয়ে দিবেন। তারপর সেভ বাটনে ক্লিক করে সেভ করে দিন।

কোড :

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://mrshop2.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

এবার নিচের ইন্টারফেসের Enable custom robots header tags এর ডান পাশের বাটন ওপেন করে দিন। তাহলে নিচের তিনটি টপিক হাইলাইট হবে। Home page tags, Archive and search page tags, Post and page tags. এই তিনটি ট্যাগের কাজ একে একে সম্পূর্ন করতে হবে।

Blogger Dashboard 3 :

Blogger Dashboard 3

Enable custom robots header tags এর তিনটি টপিকের কাজ নিচে তুলে ধরা হলো। প্রথমে Home page tags এ ক্লিক করলে নিচের মতো ইন্টারফেস দেখতে পাবেন। নিচের ইন্টারফেসের মাধ্যমে কাজ গুলো সম্পূন্ন করতে হবে। এখানে all এবং noodp লাল তীর চিহ্ন দেওয়া বাটন ওপেন করে দিন। এরপর Archive and search page tags এ ক্লিক করে noindex এবং noodp বাটন ওপেন করে দিন। এরপর Post and page tags এ ক্লিক করে all এবং noodp দুটি বাটন ওপেন করে দিন। অর্থাৎ নিচের মতো পরপর অন্য দুটি পেজ এই রকম দেখতে পাবেন। সেই পেজ গুলোতে নিচে উল্লেখিত ট্যাগ গুলো ওপেন করে দিন।

Blogger Dashboard 4 :

Blogger Dashboard 4

  1. Home page tags : all, noodp এই দুটি বাটন ওপেন করে দিন।
  2. Archive and search tags : noindex, noodp এই দুই বাটন ওপেন করে দিন।
  3. Post and page tags : all, noodp এই দুই বাটন ওপেন করে দিন।

এভাবে তিনটি টপিকে উল্লেখিত ‍দুটি করে বাটন ওপেন করে দিন। বাস আপনার ব্লগার ডট কম সাইটে রোবট ডট টেক্সট ফাইল সেট আপ করা সম্পন্ন হয়ে গেল। উপরে উল্লেখিত নিয়ম ফলো করে ওয়ার্ডপ্রেস সাইট এবং ব্লগার ডট কম সাইটে রোবট ডট টেক্সট ফাইল সেট আপ করতে পারেন।

পড়ুন :

কিভাবে ব্লগসাইট তৈরি করবেন।

কিভাবে ব্লগসাইট অনপেজ এসইও করবেন।

পরিশেষে কথা হচ্ছে ওয়েবসাইট বা ব্লগসাইটে রোবট টেক্সট ফাইল (robots.txt file) সেট আপ অত্যন্ত সুনিপন ভাবে করতে হবে। রোবট ডট টেক্সট ফাইল অত্যন্ত সেনসিটিভ ফাইল। এই ফাইলের কোডটি সঠিক নাহলে আপনার সাইট, সাইটের পেজ, ট্যাগ, ক্যাটাগরি গুলো সঠিক ভাবে ইনডেক্স হবে না। আর ইনেডেক্স না হলে আপনার সাইট কেউ দেখতে পাবে না। তাই আমরা রোবট ডট টেক্সট ফাইল কোডটি যথাযথ ভাবে সেট আপ করবো এবং এসইও ক্ষেত্রে এক ধাপ এগিয়ে যাবো। আর্টিকেলটি পড়ে ভালো লেগে থাকলে বন্ধুদের মাঝে শেয়ার করুন। আর কোন পরামর্শ থাকলে কমেন্টে মতামত দিবেন।

Related posts

Leave a Comment