User-agent: * Allow: /* Allow: *.css Allow: *.js Allow: *.jpg Allow: *.gif Allow: *.png Allow: /images/*