Cara Blokir IP Address Bad Bots di Htaccess Retakan Download 2023

Cara Blokir IP Address Bad Bots di Htaccess Retakan Free Download 2023

Tidak semua pengunjung website adalah manusia (human traffic). Terkadang Robot juga bisa mengunjungi website. Seperti User Agent, Crawler, Bots dan Link Scrapper. Robot dirancang dengan algoritma tertentu untuk scanning dan scrapping suatu website. Namun tidak jarang, proses scanning atau scrapping itu akan menimbulkan overload pada resource server.

Alhasil, server website kita menjadi error, berujung dengan 502 Bad Gateway, 508 Limit Reached atau 500 Internal Server Error (not available). Untuk mengatasi ini, maka kita perlu mempelajari cara blokir IP Address Bad Bots menggunakan file .htaccess.

Apa itu Bad Bots, User Agent Bot, Crawler, Link Scrapper?

Bad Bots digunakan untuk berbagai tujuan berbeda, seperti scanning, scrapping, serangan DDoS, pengambilalihan akun, dan masih banyak lagi. Bots juga dapat mendistorsi traffic yang kalian dapatkan dari search engine, membuat metrik keliru dan terkadang menyebabkan kerusakan di sistem (overload).

Website dengan puluhan hingga ratusan ribu pengunjung perhari sangat rentan diserang badbots.

Kasus yang paling sering terjadi adalah bot crawler dan link scrapper. Dimana Crawler ini akan secara terus menerus menelusuri seluruh halaman hingga keujung website. Bahkan, image dan file-pun juga tidak luput di scan oleh Bot Crawler. Selengkapnya, coba lihat skema cara kerja web crawler berikut :

cara-kerja-badbots-crawler-website-8602085

Sembari melakukan crawling, bot akan melakukan scrapper. Scrapping inilah yang nantinya dapat memberatkan resource website. Dia akan secara sengaja mengakses semua file untuk selanjutnya di copy dan kumpulkan datanya ke server mereka.

Pada kasus tersebut, maka Bots itu bisa kita bilang sebagai User Agent. Dimana Bot diprogram oleh sekelompok lembaga, misalnya Ahrefs, Semrush, Moz, dan lain sebagainya.

Kenapa Harus Blokir Bad Bots?

  1. Menyebabkan kekeliruan metrik analytics traffic
  2. Terkadang menimbulkan Overload Resource Server
  3. Menguras Bandwidth server
  4. Scrapper dapat membuka Backlink website
  5. Keamanan website menjadi sangat rentan
  6. Rawan akan spam dan advertisement merugikan
  7. Bad Bots tidak merespon Rule yang ada di Robots.txt

Cara Blokir IP Address dan Bad Bots dengan File .htaccess

Untuk memblokir IP Addres Bad Bots melalui .htaccess, kalian memerlukan akses ke file manager website. Jika file .htaccess belum tersedia, silahkan di create file saja secara manual. Namun jika file sudah ada, kalian tinggal edit dan tambahan kode.

  1. Buka CPanel, Plesk Panel, ISP Config atau via FTP File
  2. Lanjut, masuk ke folder Root website
  3. Temukan file .htaccess, buka dan lakukan pengeditan
    blokir-bad-bots-melalui-htaccess-website-6229145
  4. Tambahkan kode berikut ini di paling atas :
    #Remove or add more rules as per your needs.
    BrowserMatchNoCase "Baiduspider" bad_bots
    BrowserMatchNoCase "BLEXBot" bad_bots
    BrowserMatchNoCase "SemrushBot" bad_bots
    BrowserMatchNoCase "AhrefsBot" bad_bots
    BrowserMatchNoCase "DotBot" bad_bots
    BrowserMatchNoCase "MJ12bot" bad_bots
    BrowserMatchNoCase "Rogerbot" bad_bots
    BrowserMatchNoCase "aiHitBot" bad_bots
    BrowserMatchNoCase "spbot" bad_bots
    BrowserMatchNoCase "oBot" bad_bots
    BrowserMatchNoCase "DeuSu" bad_bots
    BrowserMatchNoCase "ia_archiver" bad_bots
    BrowserMatchNoCase "ExaBot" bad_bots
    BrowserMatchNoCase "Sitebot" bad_bots
    BrowserMatchNoCase "Gigabot" bad_bots
    BrowserMatchNoCase "MetaURI" bad_bots
    BrowserMatchNoCase "FlipboardProxy" bad_botsOrder Allow,Deny
    
    Allow from ALL
    Deny from env=bad_bots
    Deny from 5.188.210.0/24
  5. Sedangkan, untuk blokir IP Address ketik kode berikut : Deny from IPADDRESS
  6. Kalian juga bisa blokir IP Address Range dengan IP Range To CIDR
  7. Untuk mendapatkan nama BOT User Agent, kalian bisa buka Logs Websiteuser-agent-logs-website-5121994

Namun, tidak semua bot itu jahat loh ya sobat. Bot media sosial (Facebook, Twitter, dkk.) dan bot mesin pencari (Google, Bing, Yandex dkk.). Jangan pernah blokir User Agent dari Google, Bing, Social Media dan sebangsanya ya. Sekian tutorial Cara Blokir IP Address Bad Bots dengan htaccess. Semoga bermanfaat!

Leave a Comment