Így optimalizálhatod webhelyed feltérképezési keretét

A következőkben megismerkedhetsz a „feltérképezési keret” fogalmával, és megtudhatod, hogy hogyan optimalizálhatod azt webhelyeden!

Mi az a feltérképezési keret?

A feltérképezési keret szabja meg, hogy a Google robotja egy nap alatt hány oldalt térképez fel webhelyeden. Ez a mennyiség minden nap változik egy keveset, de összességében stabilnak mondható. Talán minden nap 10 oldalt térképez fel webhelyeden a Google, vagy éppen 250-et, esetleg 1500-at, és így tovább.

A feltérképezési keretet általában webhelyed mérete, „egészsége” (hogy hány hibát talál rajta a Google), és a webhelyedre mutató hivatkozások száma határozza meg. Ezen tényezők egy részét te magad is befolyásolhatod, amire lejjebb ki is térünk majd.

Hogyan működnek a feltérképezők robotok?

A feltérképezést végző robotok, mint például a Googlebot először is kap egy listát egy webhely URL-jeiről, amiket fel kell térképeznie. A feltérképezés előtt a robots.txt fájlt is megnyitja, hogy ellenőrizze, mely URL-eket térképezheti fel webhelyeden.

Miután a robot feltérképezett egy URL-elt és átnézte a tartalmait, hozzáadja a feladatlistájához azokat az URL-eket, amiket azon az oldalon talált.

A Google több okból is dönthet úgy, hogy fel kell térképeznie egy URL-t. Lehet, hogy valaki hivatkozott az adott URL-re, vagy megemlítette egy Tweetben, esetleg frissítésre került egy webhely XML webhelytérképében, és így tovább… Senki sem tudja pontosan, hogy mi alapján dönt erről a Google, de amikor így tesz, akkor az URL felkerül a feltérképezési listájára.

Mikor okozhat problémát a feltérképezési keret?

Ha a Google-nak sok URL-t kell feltérképeznie webhelyeden, és ez belefér a feltérképezési keretébe, akkor nincs probléma. De tegyük fel, hogy webhelyed 250 ezer oldalból áll, és a Google naponta csak 2 500 oldalt térképez fel ezekből. Lesznek olyan oldalak (például a főoldal), amiket többször térképez vizsgál majd át, mint másokat. Ha nem lépsz közbe, akkor akár 200 napba is beletelhet, mire a Google felfedezi, hogy egy oldaladon változás történt. Ha azonban naponta 50 ezer oldalt térképezhet fel, akkor gyorsan végez majd 250 ezres webhelyeddel.

Ha ki szeretnéd deríteni, hogy webhelyednek problémái vannak-e a feltérképezési kerettel, akkor a kövesd az alábbi lépéseket. Ne feledd, hogy ez a módszer azt feltételezi, hogy webhelyed viszonylag kevés URL-ből áll, amiket a Google feltérképez ugyan, de nem indexeli őket (mert például megtiltottad neki az indexelést).

1. Állapítsd meg, hogy hány oldalból áll webhelyed. XML webhelytérképed sokat segíthet ebben.
2. Lépj be a Google Search Consolbe-ba.
3. Nyisd meg a Régi eszközök és jelentések menüt a bal oldalon, és válaszd a Feltérképezési statisztika jelentést.
4. Oszd el webhelyed oldalainak számát a „Naponta feltérképezett oldalak” átlagos mennyiségével.
5. Ha az érték nagyobb, mint kb. 10 (tehát legalább 10-szer annyi oldalad van, mint amennyit a Google egy nap alatt feltérképez webhelyeden), akkor valószínűleg érdemes lenne optimalizálnod feltérképezési keretedet. Ha ez az érték 3-nál kevesebb, akkor minden rendben!

Mely URL-eket térképezi fel a Google webhelyeden?

Mielőtt optimalizálásba kezdenél, érdemes kideríteni, hogy a Google robotja mely URL-eket térképezi fel webhelyeden. Ezt legpontosabban a szervered naplófájljából derítheted ki, amihez érdemes valamilyen naplófájl-elemző programot használni.

Vess egy pillantást szervered naplófájljaira

Attól függően, hogy milyen webtárhelyet használsz, nehezebb lehet hozzáférned ezekhez a naplófájlokhoz. Azonban már ha csak úgy érzed, hogy feltérképezési kereted optimalizálásra szorul, mindenképpen meg kell szerezned őket valahogyan. Ha webtárhelyed nem kínál hozzáférést ezekhez a fájlokhoz, akkor jobb lenne másik szolgáltatóra váltani.

A feltérképezési keret kijavítása olyan, mint az autószerelés. Nem elég csak kívülről ránézni – fel kell nyitnod a motorháztetőt. A naplófájlok első ránézésre kissé ijesztők lehetnek. Hamar látni fogod majd, hogy a naplók rengeteg adatot tartalmaznak. Ott vannak például a gyakori 404-es hibák, amik felett talán átfut a szemed, pedig nagyon fontos, hogy kijavítsd őket.

Hogyan bővítsd ki feltérképezési keretedet

Nézzük meg, hogy mit tehetsz annak érdekében, hogy a Google több oldalt térképezhessen fel webhelyeden.

Webhely-karbantartás: csökkentsd a hibákat

Az első lépés a keret kibővítésében biztosítani, hogy a feltérképezendő oldalak a következő két válaszkód valamelyikét adják vissza: 200 (azaz „OK”) vagy 301 (végleges átirányítás). Bármilyen más válaszkód nem megfelelő a feltérképezési keret szempontjából. A Google Analytics és más analitikai eszközök csak azokat az oldalakat tudják elemezni, amik 200-as válaszkóddal reagálnak. Tehát ne ezekben keresd a hibás oldalakat.

Nézz bele szervered naplófájljaiba, keresd meg a leggyakoribb problémákat és javítsd ki őket. A legegyszerűbb módszer kiválasztani az összes olyan URL-t, amelyek nem 200-as vagy 301-es válaszkóddal rendelkeznek, és sorba rendezni őket az alapján, hogy milyen gyakran próbálták elérni őket.

A hibajavításhoz lehet, hogy a forráskódot kell kijavítanod. Vagy egy másik címre kell átirányítanod egy URL-t. Ha tudod, hogy mi okozta a problémát, próbáld kijavítani annak okát is, hogy a későbbiekben kevesebb ilyen hiba fordulhasson elő.

A Google Search Console is felsorol néhány ilyen hibát webhelyedről, amiket érdemes gyakran ellenőrizni és kijavítani.

Zárd ki a robotokat webhelyed bizonyos részeiről

Ha webhelyednek vannak olyan részei, amik felesleges, hogy megjelenjenek a Google találatai között, akkor kizárhatod őket az indexelésből a robots.txt fájl segítségével. Ezzel a fájlal csak óvatosan bánj, mert ha nem megfelelően fogalmazod meg benne az utasításokat, akkor komoly feltérképezési és indexelési problémákat okozhatsz webhelyeden.

A nagyobb webáruházakban gyakori például, hogy a termékeket többféleképpen is lehet szűrni, és minden szűrő egy egyedi URL-t hoz létre a webhelyen, amit a Google felvehet a feltérképezendő URL-ek közé. Ilyen esetekben nagyon fontos tudatni a Google robotjával, hogy ezeknek az oldalaknak csak egy-két verzióját szeretnéd feltérképeztetni, de a többit nem.

Rövidítsd le átirányítási láncaidat

Amikor 301-es átirányítást állítasz be egy URL-re, akkor valami nagyon fura dolog történik. A Google meglátja ezt az új URL-t, és hozzáadja a feladatlistájához. Nem minden esetben követi azonnal, csak hozzáadja a listájához, és megy tovább a dolgára.

Amikor átirányítási láncokat hozol létre, például amikor átirányítasz egy nem WWW oldalt egy WWW-re, aztán HTTP-ről HTTPS-rehtt, akkor mindenütt rögtön két átirányításod lesz, amit tovább tart feltérképezni.

Szerezz több hivatkozást

Ezt persze mondani könnyebb, mint kivitelezni. A link buildinghez nem elég szuper tartalmakat készíteni, hiszen másoknak is tudniuk kell róla, hogy szuper tartalmaid vannak. Ehhez jó PR-ra és aktív közösségi jelenlétre lesz szükséged.

Ha akut indexelési problémákat észlelsz webhelyeden, akkor első körben mindenképpen érdemes ellenőrizned feltérképezési hibáidat, lezárnod webhelyed néhány részét és lerövidíteni az átirányítási láncaidat. A link building egy nagyon lassú folyamat, amivel nem érdemes csak a feltérképezési keret kibővítése miatt foglalkozni. Persze ha egy nagy webhelyet szeretnél kiépíteni, akkor mindenképpen sok visszahivatkozásra lesz szükséged.

Röviden: a feltérképezési keret optimalizálása kemény munka

A feltérképezési keret optimalizálása nem a gyenge idegzetűeknek való feladat. Ha webhelyedet megfelelően karbantartod, vagy viszonylag kis méretű, akkor valószínűleg nem is lesz szükséged rá. Ha webhelyed közepes méretű és karban tartod, akkor a fenti tippekkel könnyedén bővítheted keretedet.

Írta: Mocsonoky Csaba | A cikk forrása eredetileg angol nyelven jelent meg a Yoast.com-on: https://yoast.com/crawl-budget-optimization/