diff --git a/robots-txt/index.md b/robots-txt/index.md index 23269c0..55a907e 100644 --- a/robots-txt/index.md +++ b/robots-txt/index.md @@ -1,9 +1,13 @@ +--- +title: robots.txt +--- + ## robots.txt - [Alle Inhalte für alle User-Agents erlauben](alle-inhalte-fuer-alle-user-agents-erlauben) - [Alle Inhalte für alle User-Agents verbieten](alle-inhalte-fuer-alle-user-agents-verbieten) -## Weiterführende Informationen +### Weiterführende Informationen - [The Web Robots Pages](http://www.robotstxt.org/){:target="blank"} - [Wikipedia: Robots Exclusion Standard](http://de.wikipedia.org/wiki/Robots_Exclusion_Standard){:target="blank"}