Cara Optimalkan Wordpress Robots.txt Agar Lebih Seo Friendly
Apakah Anda ingin mengoptimalkan file robots.txt WordPress Anda?
Tidak yakin mengapa dan bagaimana file robots.txt penting bagi SEO Anda?
Tidak yakin mengapa dan bagaimana file robots.txt penting bagi SEO Anda?
Dalam artikel ini, kami akan menunjukkan cara untuk mengoptimalkan robots.txt WordPress untuk SEO dan membantu Anda memahami pentingnya file robots.txt.
File robots.txt situs Anda memainkan peran penting dalam kinerja SEO situs Anda secara keseluruhan. Pada dasarnya memungkinkan Anda untuk berkomunikasi dengan mesin pencari dan biarkan mereka tahu bagian mana dari situs Anda yang harus diindeks.
Apakah saya Benar-benar Membutuhkan File Robots.txt?
Tidak adanya sebuah file robots.txt tidak akan membuat mesin pencari mengindeks situs web Anda. Namun, sangat disarankan agar Anda membuat satu. Jika Anda ingin mengirimkan situs Anda XML sitemap ke mesin pencari, maka ini adalah di mana mesin pencari akan mencari sitemap XML Anda kecuali Anda telah ditentukan dalam Google Webmaster Tools .
Kami sangat menyarankan bahwa jika Anda tidak memiliki file robots.txt di situs Anda, maka Anda segera membuat satu.
Dimana file Robots.txt? Cara Membuat Robots.txt file?
File robots.txt biasanya berada di folder root situs Anda. Anda akan perlu untuk menghubungkan ke situs Anda menggunakan klien FTP atau dengan menggunakan berkas manager cPanel untuk melihatnya.
Hal ini sama seperti file teks biasa, dan Anda dapat membukanya dengan editor teks biasa seperti Notepad.
Jika Anda tidak memiliki file robots.txt di root direktori situs Anda, maka Anda bisa membuat satu. Yang perlu Anda lakukan adalah membuat file teks baru di komputer Anda dan menyimpannya sebagai robots.txt. Selanjutnya, cukup meng-upload ke folder root situs Anda.
Cara Menggunakan Robots.txt file?
Format file robots.txt sebenarnya cukup sederhana. Baris pertama biasanya user agent. user agent sebenarnya nama bot pencarian.
Misalnya, Googlebot atau BingBot . Anda dapat menggunakan tanda bintang * untuk menginstruksikan semua bot.
Baris berikutnya dengan diizinkan atau Larang instruksi untuk mesin pencari, sehingga mereka tahu bagian mana yang ingin mereka untuk mengindeks, dan mana yang Anda tidak ingin diindeks.
Contoh file robots.txt :
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Dalam contoh file robots.txt untuk diatas, kami telah menginstruksikan semua bot indeks image upload directory.
Dalam dua baris berikutnya telah dianulir untuk indeks plugin WordPress direktori dan file readme.html.
Mengoptimalkan file Robot.txt Anda untuk SEO
Dalam pedoman webmaster, Google menyarankan webmaster untuk tidak menggunakan file robots.txt untuk menyembunyikan konten berkualitas rendah. Jika Anda berpikir tentang menggunakan file robots.txt untuk menghentikan Google mengindeks kategori, tanggal, dan halaman arsip lainnya, maka itu tidak mungkin menjadi pilihan yang bijaksana.
Ingat, tujuan dari robots.txt adalah untuk menginstruksikan bot apa yang harus dilakukan dengan konten yang mereka crawl di situs Anda.
Ada plugin WordPress lainnya yang memungkinkan Anda untuk menambahkan meta tag seperti nofollow dan noindex di halaman arsip Anda. Plugin WordPress SEO juga memungkinkan Anda untuk melakukan hal ini. Kami tidak mengatakan bahwa Anda harus memiliki halaman arsip Anda deindexed, tetapi jika Anda ingin melakukannya, maka itu cara yang tepat untuk melakukannya.
Anda tidak perlu menambahkan halaman WordPress login, direktori admin, atau halaman registrasi untuk robots.txt karena login dan pendaftaran halaman memiliki tag noindex yang ditambahkan oleh WordPress.
Hal ini menyarankan Anda disallow berkas readme.html dalam file robots.txt Anda. File readme ini dapat digunakan oleh seseorang yang sedang mencoba untuk mencari tahu versi WordPress yang Anda gunakan. Jika ini adalah seorang individu, maka mereka dapat dengan mudah mengakses file dengan hanya browsing untuk itu.
Di sisi lain jika seseorang menjalankan query berbahaya untuk menemukan situs WordPress menggunakan versi tertentu, maka tag disallow dapat mencegahnya dan dapat melindungi Anda dari serangan-serangan massal.
Anda juga dapat disallow Plugin WordPress direktori. Hal ini akan memperkuat keamanan situs Anda jika seseorang mencari plugin yang rentan khusus untuk memanfaatkan untuk serangan massal.
Menambahkan Sitemap XML Anda ke File Robots.txt
Jika Anda menggunakan WordPress plugin SEO Yoast atau plugin yang lain untuk menghasilkan sitemap XML Anda, maka plugin akan mencoba untuk secara otomatis menambahkan sitemap Anda baris terkait ke dalam file robots.txt.
Namun jika gagal, maka plugin akan menampilkan link ke XML Sitemaps Anda yang dapat Anda tambahkan ke file robots.txt Anda secara manual seperti ini:
Sitemap: http://www.webanda.com/post-sitemap.xml
Sitemap: http://www.webanda.com/page-sitemap.xml
Seperti apa file Robots.txt yang Seo Friendly?
Jujur, banyak blog populer menggunakan file robots.txt sangat sederhana. Isinya bervariasi, tergantung pada kebutuhan situs tertentu:
Bagaimana cara Menerapkannya?
Pertama, login ke control panel hosting Anda, misalnya, cPanel. Cari dan file manager terbuka di direktori file selain Backup. Sekarang, Anda dapat melihat file-file website Anda seperti Robots.txt. Namun, jika anda tidak menemukan file tersebut, maka buatlah file baru dan beri nama sebagai Robots.txt .
Kemudian, Anda perlu klik kanan pada file Robots.txt Anda dan klik kode sunting setelah pembukaan. Kemudian, pilih utf-8 sebagai pengkodean karakter dan klik edit. Setelah ini, copy dan paste kode berikut dalam file. Jangan lupa ganti tulisan www.webanda.com dengan domain anda.
sitemap: http://www.webanda.com/sitemap.xml
User-agent: *
# disallow all files in these directories
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*
Disallow: /*?*
User-agent:Mediapartners-Google*
Allow:/
User-agent:Googlebot-Image
Allow:/wp-content/uploads/
User-agent:Adsbot-Google
Allow:/
User-agent:Googlebot-Mobile
Allow:/
Semoga dengan menerapkan Robots.txt diatas, Wordpress Anda semakin Seo Friendly.
File robots.txt situs Anda memainkan peran penting dalam kinerja SEO situs Anda secara keseluruhan. Pada dasarnya memungkinkan Anda untuk berkomunikasi dengan mesin pencari dan biarkan mereka tahu bagian mana dari situs Anda yang harus diindeks.
Apakah saya Benar-benar Membutuhkan File Robots.txt?
Tidak adanya sebuah file robots.txt tidak akan membuat mesin pencari mengindeks situs web Anda. Namun, sangat disarankan agar Anda membuat satu. Jika Anda ingin mengirimkan situs Anda XML sitemap ke mesin pencari, maka ini adalah di mana mesin pencari akan mencari sitemap XML Anda kecuali Anda telah ditentukan dalam Google Webmaster Tools .
Kami sangat menyarankan bahwa jika Anda tidak memiliki file robots.txt di situs Anda, maka Anda segera membuat satu.
Dimana file Robots.txt? Cara Membuat Robots.txt file?
File robots.txt biasanya berada di folder root situs Anda. Anda akan perlu untuk menghubungkan ke situs Anda menggunakan klien FTP atau dengan menggunakan berkas manager cPanel untuk melihatnya.
Hal ini sama seperti file teks biasa, dan Anda dapat membukanya dengan editor teks biasa seperti Notepad.
Jika Anda tidak memiliki file robots.txt di root direktori situs Anda, maka Anda bisa membuat satu. Yang perlu Anda lakukan adalah membuat file teks baru di komputer Anda dan menyimpannya sebagai robots.txt. Selanjutnya, cukup meng-upload ke folder root situs Anda.
Cara Menggunakan Robots.txt file?
Format file robots.txt sebenarnya cukup sederhana. Baris pertama biasanya user agent. user agent sebenarnya nama bot pencarian.
Misalnya, Googlebot atau BingBot . Anda dapat menggunakan tanda bintang * untuk menginstruksikan semua bot.
Baris berikutnya dengan diizinkan atau Larang instruksi untuk mesin pencari, sehingga mereka tahu bagian mana yang ingin mereka untuk mengindeks, dan mana yang Anda tidak ingin diindeks.
Contoh file robots.txt :
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Dalam contoh file robots.txt untuk diatas, kami telah menginstruksikan semua bot indeks image upload directory.
Dalam dua baris berikutnya telah dianulir untuk indeks plugin WordPress direktori dan file readme.html.
Mengoptimalkan file Robot.txt Anda untuk SEO
Dalam pedoman webmaster, Google menyarankan webmaster untuk tidak menggunakan file robots.txt untuk menyembunyikan konten berkualitas rendah. Jika Anda berpikir tentang menggunakan file robots.txt untuk menghentikan Google mengindeks kategori, tanggal, dan halaman arsip lainnya, maka itu tidak mungkin menjadi pilihan yang bijaksana.
Ingat, tujuan dari robots.txt adalah untuk menginstruksikan bot apa yang harus dilakukan dengan konten yang mereka crawl di situs Anda.
Ada plugin WordPress lainnya yang memungkinkan Anda untuk menambahkan meta tag seperti nofollow dan noindex di halaman arsip Anda. Plugin WordPress SEO juga memungkinkan Anda untuk melakukan hal ini. Kami tidak mengatakan bahwa Anda harus memiliki halaman arsip Anda deindexed, tetapi jika Anda ingin melakukannya, maka itu cara yang tepat untuk melakukannya.
Anda tidak perlu menambahkan halaman WordPress login, direktori admin, atau halaman registrasi untuk robots.txt karena login dan pendaftaran halaman memiliki tag noindex yang ditambahkan oleh WordPress.
Hal ini menyarankan Anda disallow berkas readme.html dalam file robots.txt Anda. File readme ini dapat digunakan oleh seseorang yang sedang mencoba untuk mencari tahu versi WordPress yang Anda gunakan. Jika ini adalah seorang individu, maka mereka dapat dengan mudah mengakses file dengan hanya browsing untuk itu.
Di sisi lain jika seseorang menjalankan query berbahaya untuk menemukan situs WordPress menggunakan versi tertentu, maka tag disallow dapat mencegahnya dan dapat melindungi Anda dari serangan-serangan massal.
Anda juga dapat disallow Plugin WordPress direktori. Hal ini akan memperkuat keamanan situs Anda jika seseorang mencari plugin yang rentan khusus untuk memanfaatkan untuk serangan massal.
Menambahkan Sitemap XML Anda ke File Robots.txt
Jika Anda menggunakan WordPress plugin SEO Yoast atau plugin yang lain untuk menghasilkan sitemap XML Anda, maka plugin akan mencoba untuk secara otomatis menambahkan sitemap Anda baris terkait ke dalam file robots.txt.
Namun jika gagal, maka plugin akan menampilkan link ke XML Sitemaps Anda yang dapat Anda tambahkan ke file robots.txt Anda secara manual seperti ini:
Sitemap: http://www.webanda.com/post-sitemap.xml
Sitemap: http://www.webanda.com/page-sitemap.xml
Seperti apa file Robots.txt yang Seo Friendly?
Jujur, banyak blog populer menggunakan file robots.txt sangat sederhana. Isinya bervariasi, tergantung pada kebutuhan situs tertentu:
Bagaimana cara Menerapkannya?
Pertama, login ke control panel hosting Anda, misalnya, cPanel. Cari dan file manager terbuka di direktori file selain Backup. Sekarang, Anda dapat melihat file-file website Anda seperti Robots.txt. Namun, jika anda tidak menemukan file tersebut, maka buatlah file baru dan beri nama sebagai Robots.txt .
Kemudian, Anda perlu klik kanan pada file Robots.txt Anda dan klik kode sunting setelah pembukaan. Kemudian, pilih utf-8 sebagai pengkodean karakter dan klik edit. Setelah ini, copy dan paste kode berikut dalam file. Jangan lupa ganti tulisan www.webanda.com dengan domain anda.
sitemap: http://www.webanda.com/sitemap.xml
User-agent: *
# disallow all files in these directories
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /archives/
Disallow: /*?*
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*
Disallow: /*?*
User-agent:Mediapartners-Google*
Allow:/
User-agent:Googlebot-Image
Allow:/wp-content/uploads/
User-agent:Adsbot-Google
Allow:/
User-agent:Googlebot-Mobile
Allow:/
Semoga dengan menerapkan Robots.txt diatas, Wordpress Anda semakin Seo Friendly.
No comments