Ugrás a tartalomra

SEO és GEO szójegyzékTechnikai SEO

robots.txt

Meghatározás

A robots.txt egy egyszerű szöveges fájl a weboldalad gyökérkönyvtárában, amely javaslatokat ad a keresőrobotoknak, hogy mely URL-eket ne térképezzék fel. Célja, hogy a robotok ne pazarolják az erőforrásaikat felesleges vagy alacsony értékű oldalak (pl. admin felületek, belső keresési találatok) letöltésére. Ezzel segítesz nekik, hogy a fontos tartalmaidra fókuszáljanak. A fájlban megadhatod az XML oldaltérképed (sitemap) helyét is. Fontos tévhit, hogy a robots.txt tiltás megakadályozza az indexelést; valójában csak a feltérképezést szabályozza. Ha egy letiltott oldalra link mutat, a Google a tartalom ismerete nélkül is indexelheti, ezért a keresőből való kizárásra a `noindex` meta tag a megfelelő eszköz.

Gyakori kérdések

Mire való a robots.txt?

A robots.txt fájl arra szolgál, hogy javaslatokat tegyél a keresőrobotoknak (pl. a Googlebotnak), hogy mely oldalakat vagy mappákat ne látogassák meg a weboldaladon. Ezzel szabályozhatod a feltérképezést, de fontos tudni, hogy ez csak egy útmutatás, nem egy szigorúan betartatott parancs.

Mi a különbség a robots.txt és a noindex között?

A robots.txt a feltérképezést (crawling) akadályozza meg, vagyis azt, hogy a robot egyáltalán letöltse az oldalt. A noindex meta tag ezzel szemben az indexelést tiltja: a robot feltérképezi az oldalt, de az utasítás alapján nem fogja megjeleníteni a keresési találatok között. Ha egy oldalt biztosan el akarsz rejteni a Google-ből, a `noindex` a megfelelő megoldás.

Hogyan néz ki egy alap robots.txt fájl?

A fájl direktívákból áll. A `User-agent: *` minden robotra vonatkozik. A `Disallow: /admin/` letiltja a /admin/ mappa és az alatta lévő URL-ek feltérképezését. Az `Allow: /admin/public/` felülírhatja a tiltást egy almappára. A `Sitemap: https://example.com/sitemap.xml` sor pedig megadja az XML oldaltérkép helyét.

Hol kell elhelyezni a robots.txt fájlt?

A robots.txt fájlt mindig a weboldalad legfelső szintű mappájában, azaz a gyökérkönyvtárában kell elhelyezni, hogy a `https://domainneved.hu/robots.txt` címen elérhető legyen. Ha máshol van, a keresőrobotok nem találják meg, és úgy tekintik, mintha nem is létezne, tehát mindent engedélyezettnek vesznek.

Mit érdemes beleírni egy átlagos robots.txt-be?

Általában az adminisztrációs felületeket, a belső keresési találatokat tartalmazó oldalakat, a kosár- és pénztárfolyamat URL-jeit, valamint a paraméterezett, duplikációt okozó linkeket szokás letiltani. Emellett mindig javasolt megadni az XML sitemap elérési útját is, hogy segítsd a keresőrobotok munkáját.

Lehetnek gondok egy rosszul beállított robots.txt-tel?

Igen, egyetlen elgépelt karakter is komoly problémát okozhat. Ha például véletlenül a `Disallow: /` direktívát használod, azzal a teljes weboldaladat letiltod a feltérképezés alól, ami az organikus forgalmad gyors elvesztéséhez vezethet. Mielőtt élesítenél egy módosított fájlt, mindig teszteld a Google Search Console robots.txt tesztelő eszközével, vagy nézd meg az ingyenes crawler ellenőrzőnkkel, mit enged a fájl a kereső- és AI-botoknak.

Ingyenes SEO és AI láthatósági audit

Szeretnél szintet lépni?

Az audit ingyenes, és semmilyen kötelezettséggel nem jár.