Mengapa Perlu Adanya Robots.txt?

Robots.txt sebagai salah satu penunjang keberhasilan dalam SEO website agan. Bukan sebuah plugin SEO seperti lainnya tetapi hanya sebuah file kecil akan tetapi memiliki khasiat yang besar. Search Engine mengunakan robot mereka untuk mengcrawl (menjelajahi) dunia maya untuk mengumpulkan database mereka. Dengan file robots.txt kita dapat mengatur perjalanan robot (pengembara atau laba-laba) dalam menjelajahi website kita. Mana-mana saja bagian yang boleh di crawl / di jelajahi oleh robot SE dan mana yang tidak boleh (privat)

Saat pertama website di bangun , sudah memiliki robots.txt yang general, dimana file robots.txt tersebut memperbolehkan mengcrawl semua bagian dalam website tersebut. Dan jika agan menginginkan robot Search Engine (kita kenal dengan sebutan “bot” ) menjelajahi semua bagian website agan, maka agan tidak perlu merubah lagi struktur dalam file robots.txt.

User-agent: *
Disallow:

Tetapi bagaimana jika kita memiliki beberapa halaman prvasi yang hanya ingin kita ketahuai sendiri bukan tersebar luas di database Search Engine. Disinilah fungsinya robots.txt, membatasi ruang gerak bot para search engine yang datang berkunjung ke website kita.

Perintah Umum (Snytax) Dalam robots.txt

User-agent: *
yang berarti perintah ini berlaku untuk semua robot yang datang ke website agan

User-agent: googlebot
yang berarti peritah ini hanya berlaku untuk googlebot

Disallow: /
yang berarti melarang robots.txt untuk mencrawl wilayah tersebut.

Allow: /
yang berarti memperbolehkan robots.txt untuk mencrawl wilayah tersebut.

untuk lebih jelasnya agan bisa mempelajari snytax disini dan disini

Cara Membuat Robots.txt dan Penempatannya

Silakan buka notepad agan dan copy pastekan kode dibawah:(saya gunakan robots.txt yang biasa saya gunakan untuk website saya, agan boleh mengubah kode tersebut agar sesuai dengan kebutuhan agan)

User-agent: Googlebot
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*?*
Disallow: /*?
Disallow: /*.gz$
Disallow: /*.png$
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.cgi$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*.php*
Disallow: /wp-*

# allow Google ImageBot to search all images
User-agent: Googlebot-Image
Disallow:

# disable duggmirror
User-agent: duggmirror
Disallow: /

User-agent: Mediapartners-Google*
Disallow:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php

Sitemap: http://www.namadomain.com/sitemap.xml.gz
Sitemap: http://www.namadomain.com/sitemap.xml

Pada bagian bawah http://www.namadomain.com silakan agan ganti dengan nama domain agan sendiri.

Jika sudah, di save dengan nama file robots

Penempatannya adalah di Cpanel hosting website tersebut.
1. Login terlebih dahulu di Cpanel
2. File manager
3. Public_html
4. tempatkan di root domain yang bersangkutan. (jika domain yang bersangkutan adalah addon domain , berarti agan harus masuk terlebih dahulu kedalam folder domain agan baru kemudian di uploadkan. )

Silakan check dengan mengetikan www.domainanda.com/robots.txt pada browsing favorite agan

Agan juga bisa memeriksa validator struktur robots.txt agan secara online disini

Posted in: