Tarafından Programlar jrobotx.sf.net

Standart Web Robot Dışlama Protokolü, robotlar.txt uymak için bir Java kütüphane.