# File lib/robots.rb, line 124 def allowed?(uri) uri = URI.parse(uri.to_s) unless uri.is_a?(URI) host = uri.host @parsed[host] ||= ParsedRobots.new(uri, @user_agent) @parsed[host].allowed?(uri, @user_agent) end