# robots.txt
#
########################################################################
# For the syntax of this file, see:                                    #
#                                                                      #
# http://www.robotstxt.org/wc/exclusion.html                           #
# http://www.robotstxt.org/wc/norobots.html                            #
#                                                                      #
########################################################################

########################################################################
# See: http://grub.org/
#  Or: http://aboutus.looksmart.com/about.jhtml?dir=corp&page=privacy
#  Or: http://counter.li.org/news/grub.php
#
User-agent: grub-client
Disallow: /

########################################################################
# See: http://search.msn.com/webmasters/msnbot.aspx
#
User-agent: msnbot
Disallow: /

########################################################################
# CMS should not be dl'ed:
#
User-Agent: *
Disallow: /t3lib

########################################################################
# Googlebot is not supposed to dl RPMs, so:
#
User-Agent: Googlebot
Disallow: /uploads/media/
Disallow: /fileadmin/fwbuilder/

########################################################################
# Ask-Jeeves/Teoma should not download our DEBs and RPMs, so:
# (see: http://sp.ask.com/docs/about/tech_crawling.html)
User-agent: Teoma
Disallow: /fileadmin/fwbuilder/
# Taoma supports also:
#Allow: /fileadmin/fwbuilder/public/

########################################################################
# Yahoo! Slurp should not download our DEBs and RPMs, so:
# see also: http://help.yahoo.com/help/us/ysearch/slurp
User-agent: Slurp
Disallow: /fileadmin/fwbuilder/
# Slurp supports also:
#Allow: /fileadmin/fwbuilder/public/
# and * as wildcards and right-anchoring with $

########################################################################