# Google
User-Agent: Googlebot
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/

# Alexa
User-Agent: ia_archiver
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/

# AltaVista
User-Agent: Scooter
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/

# AOL Netfind / Excite
User-Agent: ArchitextSpider
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/

# hotbot
User-Agent: Slurp
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/

# InfoSeek
User-Agent: InfoSeek Sidewinder
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/

# Lycos
User-Agent: Lycos_Spider_(T-Rex)
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/

# WebCrawler
User-Agent: WebCrawler/3.0
Disallow: /cgi-bin/ 
/demos/ 
/adminmodule/ 
/adminmodule2/ 
/gp/