GEOcekBot
Kalau kamu melihat GEOcekBot/0.1 di log server, itu bot milik dikutip.com. Bot ini membaca website hanya ketika seseorang meminta audit untuk alamat tersebut di dikutip.com. Ini bukan crawler yang menjelajah internet.
Yang dibaca
- Halaman depan (alamat yang dimasukkan, termasuk redirect-nya).
- /robots.txt, /llms.txt, dan /sitemap.xml.
Paling banyak empat permintaan per audit, dengan batas waktu 15 detik dan ukuran 3 MB. Hasil untuk alamat yang sama dipakai ulang selama 24 jam, jadi websitemu tidak dibaca berulang kali.
Yang tidak dilakukan
- Tidak mengikuti link ke halaman lain.
- Tidak mengirim formulir, login, atau menjalankan JavaScript.
- Tidak mengakses alamat jaringan internal atau privat.