A robot.txt segítségével utasítást adhatunk, hogy egy adott oldalt bejárjanak vagy sem. Óvatosnak kell lennünk egy elírás és máris elzárjuk oldalunkat a Google robotjai elől. Ezen fájlba feltétlen helyezzük el a sitemap.xml linkjét, így a Google-t továbbsegítjük a weboldal felfedezésére.
Robot.txt
