Was ist robots.txt?
Einfach erklärt
Eine kleine Datei auf einer Website, in der steht, welche Bereiche Suchmaschinen ansehen dürfen. Eine Art Hausordnung für automatische Besucher.
Stand der Erklärung: 28. Juli 2026 · aus der laufenden Berichterstattung von Syntiq AI