SEO és GEO szójegyzékTechnikai SEO
robots.txt
Meghatározás
A robots.txt egy egyszerű szöveges fájl a weboldalad gyökérkönyvtárában, amely javaslatokat ad a keresőrobotoknak, hogy mely URL-eket ne térképezzék fel. Célja, hogy a robotok ne pazarolják az erőforrásaikat felesleges vagy alacsony értékű oldalak (pl. admin felületek, belső keresési találatok) letöltésére. Ezzel segítesz nekik, hogy a fontos tartalmaidra fókuszáljanak. A fájlban megadhatod az XML oldaltérképed (sitemap) helyét is. Fontos tévhit, hogy a robots.txt tiltás megakadályozza az indexelést; valójában csak a feltérképezést szabályozza. Ha egy letiltott oldalra link mutat, a Google a tartalom ismerete nélkül is indexelheti, ezért a keresőből való kizárásra a `noindex` meta tag a megfelelő eszköz.
Gyakori kérdések
Mire való a robots.txt?
A robots.txt fájl arra szolgál, hogy javaslatokat tegyél a keresőrobotoknak (pl. a Googlebotnak), hogy mely oldalakat vagy mappákat ne látogassák meg a weboldaladon. Ezzel szabályozhatod a feltérképezést, de fontos tudni, hogy ez csak egy útmutatás, nem egy szigorúan betartatott parancs.
Mi a különbség a robots.txt és a noindex között?
A robots.txt a feltérképezést (crawling) akadályozza meg, vagyis azt, hogy a robot egyáltalán letöltse az oldalt. A noindex meta tag ezzel szemben az indexelést tiltja: a robot feltérképezi az oldalt, de az utasítás alapján nem fogja megjeleníteni a keresési találatok között. Ha egy oldalt biztosan el akarsz rejteni a Google-ből, a `noindex` a megfelelő megoldás.
Hogyan néz ki egy alap robots.txt fájl?
A fájl direktívákból áll. A `User-agent: *` minden robotra vonatkozik. A `Disallow: /admin/` letiltja a /admin/ mappa és az alatta lévő URL-ek feltérképezését. Az `Allow: /admin/public/` felülírhatja a tiltást egy almappára. A `Sitemap: https://example.com/sitemap.xml` sor pedig megadja az XML oldaltérkép helyét.
Hol kell elhelyezni a robots.txt fájlt?
A robots.txt fájlt mindig a weboldalad legfelső szintű mappájában, azaz a gyökérkönyvtárában kell elhelyezni, hogy a `https://domainneved.hu/robots.txt` címen elérhető legyen. Ha máshol van, a keresőrobotok nem találják meg, és úgy tekintik, mintha nem is létezne, tehát mindent engedélyezettnek vesznek.
Mit érdemes beleírni egy átlagos robots.txt-be?
Általában az adminisztrációs felületeket, a belső keresési találatokat tartalmazó oldalakat, a kosár- és pénztárfolyamat URL-jeit, valamint a paraméterezett, duplikációt okozó linkeket szokás letiltani. Emellett mindig javasolt megadni az XML sitemap elérési útját is, hogy segítsd a keresőrobotok munkáját.
Lehetnek gondok egy rosszul beállított robots.txt-tel?
Igen, egyetlen elgépelt karakter is komoly problémát okozhat. Ha például véletlenül a `Disallow: /` direktívát használod, azzal a teljes weboldaladat letiltod a feltérképezés alól, ami az organikus forgalmad gyors elvesztéséhez vezethet. Mielőtt élesítenél egy módosított fájlt, mindig teszteld a Google Search Console robots.txt tesztelő eszközével, vagy nézd meg az ingyenes crawler ellenőrzőnkkel, mit enged a fájl a kereső- és AI-botoknak.
Ingyenes SEO és AI láthatósági audit
Szeretnél szintet lépni?
Kapcsolódó kifejezések:
- Indexelés (indexing)
- Feltérképezés (crawling)
- Googlebot
- XML sitemap
- Canonical tag
- Duplikált tartalom (duplicate content)
- Árva oldal (orphan page)
- 301-es átirányítás
- 404-es hiba
- 403-as hiba (403 Forbidden)
- 500-as hiba (500 Internal Server Error)
- URL (webcím)
- Webes adatkinyerés (web scraping)
- Core Web Vitals
- LCP (Largest Contentful Paint)
- HTTPS / SSL
- Mobiloptimalizálás (mobile optimization)
- Strukturált adat (schema markup)
- Hreflang
- Technikai SEO (technical SEO)