Dalam proses Search Engine Optimization, faktor pertama yang harus diperhatikan oleh setiap SEO Specialist adalah Crawlability, atau seberapa mudah web kita di crawl.
Karena tahapan yang sangat penting, menjadikan seorang SEO harus memutuskan mana bagian dari website kita yang penting untuk muncul di halaman hasil pencarian, dan semua itu diputuskan saat perancangan strategi SEO dengan membatasi halaman-halaman yang tidak seharusnya muncul, atau tidak memberi manfaat sama sekali bagi user.
Untuk membatasi aktivitas crawling di website, kita mengenal sebuah file yang mampu membantu crawlbot memutuskan, apakah ia bisa melanjutkan proses crawling, file tersebut bernama robots.txt.
Apa itu Robots.txt?
Robots.txt adalah sebuah file yang diletakan dalam root domain, bertujuan untuk memberi instruksi kepada robot (dalam hal ini search engine bot), halaman mana yang bisa di crawl dengan menjelaskan Allow (izinkan), dan halaman mana yang tidak bisa di crawl dengan menjelaskan Disallow (dilarang).
Baca tentang : Bagaimana cara kerja Robot Search Engine
Bentuk dari file robots.txt sendiri terdiri dari 3 baris kode sederhana, yaitu:
User-agent:
Disallow:
Allow:User-agent digunakan untuk menjelaskan siapa (nama penyedia/pembuat robot), sedangkan disalow dan allow sesuai dengan penjelasan di atas. Nama-nama user agent yang umum digunakan adalah sebagai berikut:
- googlebot (untuk general crawler dari Google Search)
- googlebot-news (untuk spesifik crawler dari Google untuk konten berita)
- googlebot-image/1.0 (untuk spesifik crawler dari Google untuk konten gambar)
- googlebot-video/1.0 (untuk spesifik crawler dari Google untuk konten video)
- bingbot (untuk general crawler dari Bing Search)
- slurp (untuk general crawler dari Yahoo Search)
- duckduckbot (untuk general crawler dari Duck-Duck-Go Search)
- baiduspider (untuk general crawler dari Baidu Search)
- dll
Untuk informasi lengkap tentang Crawlbot, silahkan merujuk ke halaman artikel dibawah ini:
Baca Juga : Macam-macam Crawlbot di Search Engine
Apakah Perlu Setting Robots.txt?
Sekali lagi, fungsi dari robots.txt adalah untuk membantu menjelaskan kepada crawlbot bagian yang seharusnya di index, dan bagian mana yang tidak seharusnya di index, dari website kalian.
Tips dari saya adalah pastikan hanya informasi-informasi yang penting dan menguntungkan bagi strategi SEO kalian saja yang sebaiknya di index. Saya yakin kini banyak pertanyaan di benak kalian terkait “bagaimana cara membedakan mana yang penting dan tidak penting untuk di index?” bukan begitu?
Semua akan dikembalikan ke strategi marketing Anda. Sebagai contoh, halaman promosi, menurut Saya, halaman-halaman ini mungkin tidak perlu di crawl dan di index oleh robot, mengingat halaman ini akan berubah-ubah seiring berjalan waktu, dan kondisional.
Cara Membuat Robots.txt
Lalu apakah kita bisa membuat Robots.txt? Ya, tentu saja!
Robots.txt cukup mudah di buat, karena jika diperhatikan extension file ini adalah *.txt, dimana bisa kita buat hanya dengan bantuan aplikasi seperti notepad.
Namun, tidak bisa kita pungkiri, internet sudah membantu banyak hal, termasuk pembuatan file ini. Dimana kita bisa membuat hanya dengan mengakses sebuah website bernama Robots.txt Generator.
Anda cukup memasukan url apa yang boleh atau tidak boleh untuk di crawl dalam halaman tersebut, kemudian save filenya ke komputer anda. Kemudian cukup upload ke root folder domain anda.