Methods
allowed? (Robotex)
allowed? (Robotex::ParsedRobots)
delay (Robotex::ParsedRobots)
delay (Robotex)
delay! (Robotex)
get_robots_txt (Robotex)
new (Robotex::ParsedRobots)
new (Robotex)
parse_host (Robotex)
timeout (Robotex)
timeout= (Robotex)
to_regex (Robotex::ParsedRobots)