Un ghid pentru începători pentru accesarea cu crawlere pe web

Indiferent dacă sunteți proprietar de site web sau un profesionist SEO, este esențial să înțelegeți accesarea cu crawlere a site-urilor web, modul în care motoarele de căutare accesează cu crawlere site-urile și paginile web și cum clasifică (sau decide să nu clasifice) o pagină pentru o anumită interogare de căutare.

Accesarea cu crawlere a site-ului este un proces tehnic și, pentru a fi sincer, nu trebuie să înțelegeți aspectul tehnic din spatele lucrurilor. Doar înțelegerea conceptului principal și a ceea ce puteți face pentru a facilita accesarea cu crawlere a site-urilor web pentru motoarele de căutare precum Google vă poate ajuta să vă faceți site-ul mai prietenos pentru motoarele de căutare, să urmați cele mai bune practici SEO și să vă poziționați mai sus în paginile cu rezultate ale motoarelor de căutare (SERP-uri).

În această postare vom discuta:

• Ce este accesarea cu crawlere a site-ului web
• Diferitele tipuri de accesare cu crawlere a site-urilor web
• Cum arată viitorul accesării cu crawlere a site-urilor web în 2022 și ulterior
• Cum puteți facilita accesarea cu crawlere a site-urilor web pentru Google

Să o luăm de sus.

Ce este crawling-ul web?

Înainte de a trece mai departe, este esențial să înțelegem ce este crawling-ul web.

Crawlingul se referă la procesul prin care motoarele de căutare descoperă conținut nou și actualizat pe internet. Motoarele de căutare fac acest lucru trimițând crawler-uri (cunoscute și sub numele de roboți, roboți sau păianjeni).

Acești roboți „se accesează” pe internet pentru a vedea dacă există o pagină nouă pe care o pot indexa pe SERP-uri. În mod similar, acești roboți caută și paginile care au fost actualizate recent cu conținut nou.

Tipul de „conținut” poate varia – de la pagini web la imagini la videoclipuri la PDF-uri.

Limitările cu care se confruntă crawlerele web

După cum vă puteți imagina, este o muncă grea să preluați fiecare pagină web de pe internet și să o accesați cu crawlere pentru conținut nou. Asta din cauza volumului mare de pagini web de pe internet. În plus, milioane și milioane de pagini noi apar zilnic pe web.

Acest lucru necesită o mulțime de resurse de calcul, ceea ce poate duce la probleme de sustenabilitate. Vom vorbi mai multe despre acest lucru mai târziu în acest articol, ce înseamnă acest lucru pentru viitorul crawling-ului web și impactul potențial al acestei limitări asupra webmasterilor și profesioniștilor SEO.

Pentru moment, ar trebui să înțelegeți cum acești crawler-uri sau păianjeni încearcă să depășească această problemă devenind mai eficienți și cum puteți profita de acest lucru în beneficiul dumneavoastră.

Păianjenii cu crawlere preiau de obicei câteva pagini web și le accesează cu crawlere. Apoi urmează linkurile (linkuri interne și link-uri externe) de pe acele pagini web pentru a găsi URL-uri noi pe care să le acceseze cu crawlere și să le indexeze. Acest lucru îi ajută pe crawler-uri să devină mai eficienți în construirea unei baze de date gigantice de adrese URL.

Și acesta este motivul pentru care adăugarea de link-uri către pagini de pe paginile dvs. web - în special link-uri interne relevante din punct de vedere contextual către alte pagini este o practică SEO recomandată.

Două tipuri de accesare cu crawlere web

Potrivit Google, există două tipuri de accesare cu crawlere web:

1. Descoperire
2. Reîmprospăta

„Când vine vorba de crawling, avem două tipuri de crawling. Unul este un acces cu crawlere prin descoperire în care încercăm să descoperim pagini noi pe site-ul dvs. web. Iar celălalt este o reîmprospătare cu crawlere în care actualizăm paginile existente despre care știm”, spune John Mueller de la Google.

Frecvența accesării cu crawlere – în afară de tipul de accesare cu crawlere – depinde și de frecvența cu care conținutul este actualizat pe site-ul sau pe pagina dvs. web. De exemplu, dacă pagina de pornire a site-ului dvs. este actualizată mai regulat decât alte pagini, probabil că veți vedea mai multă activitate de accesare cu crawlere pe pagina respectivă.

Și așa cum am explicat mai devreme, păianjenii cu crawlere vor găsi, de asemenea, link-uri pe pagina principală și vor accesa cu crawlere paginile pe care le găsesc cu acele link-uri.

Deci, o accesare cu crawlere de reîmprospătare (pentru pagina de pornire, pentru a verifica dacă există conținut nou) poate duce și la o accesare cu crawlere de descoperire dacă acolo este găsit un link către o pagină nouă.

Un ultim punct de înțeles despre acest lucru este că Googlebot este capabil să recunoască modele pentru a-și ajusta în consecință accesul la reîmprospătare.

John Mueller de la Google a explicat acest lucru cu următorul exemplu:

„De exemplu, dacă aveți un site de știri și îl actualizați din oră, atunci ar trebui să aflăm că trebuie să-l accesăm cu crawlere din oră. În timp ce dacă este un site de știri care se actualizează o dată pe lună, atunci ar trebui să învățăm că nu trebuie să ne accesăm cu crawlere în fiecare oră.

Și acesta nu este un semn de calitate, sau un semn de clasament sau ceva de genul ăsta. Din punct de vedere tehnic, am învățat că putem accesa asta o dată pe zi, o dată pe săptămână, și asta e în regulă.”

Google face acest lucru pentru a economisi resursele de accesare cu crawlere. După cum am menționat mai devreme, crawling-ul este o muncă grea și poate necesita o mulțime de resurse de calcul zi de zi. Acest lucru nu este foarte durabil, mai ales că internetul continuă să crească.

Acest lucru duce la următorul nostru punct.

Viitorul accesării cu crawlere web în 2022 și mai departe

Într-un episod recent al podcastului Search Off the Records, echipa Google Search Relations a sugerat că Google ar putea reduce rata de accesare cu crawlere pentru a economisi resursele de calcul și pentru a promova sustenabilitatea.

„Calculatul, în general, nu este cu adevărat durabil. Suntem fără dioxid de carbon din 2007 sau ceva de genul, nici nu știu, dar asta nu înseamnă că nu putem reduce și mai mult amprenta noastră asupra mediului. Iar crawling-ul este unul dintre acele lucruri prin care devreme am putea tăia niște fructe care se agață jos”, a spus Gary Illyes de la Google.

El a explicat în continuare modul în care Google ar putea atinge acest obiectiv de durabilitate prin reducerea ratei de reîmprospătare cu crawlere.

„Un lucru pe care îl facem, și s-ar putea să nu avem nevoie să facem atât de mult, este reîmprospătările cu crawlere. Ceea ce înseamnă că, odată ce descoperim un document, o adresă URL, mergem, îl accesăm cu crawlere și apoi, în cele din urmă, vom reveni și vom revedea acea adresă URL. Acesta este un crawl de reîmprospătare.

Și apoi, de fiecare dată când ne întoarcem la acea adresă URL, aceasta va fi întotdeauna o reîmprospătare cu crawlere. Acum, cât de des trebuie să ne întoarcem la acea adresă URL?”

Ce înseamnă o rată redusă de accesare cu crawlere pentru proprietarii de site-uri web și SEO?

Rata redusă de accesare cu crawlere pentru accesările cu crawlere de reîmprospătare ar încetini probabil indexarea și actualizările clasamentelor pentru paginile web actualizate. Cu toate acestea, nu înseamnă neapărat o poziție mai slabă în motoarele de căutare.

Gary Illyes a confirmat în timpul podcastului că „este o concepție greșită” să se gândească „dacă o pagină este accesată cu crawlere mai mult, va fi clasată mai mult”.

7 sfaturi despre cum să îmbunătățiți accesarea cu crawlere pe site-ul dvs

Acum că știți ce este accesarea cu crawlere web și ce vă poate rezerva viitorul accesării cu crawlere web, să analizăm pe scurt câteva sfaturi pe care le puteți folosi pentru a îmbunătăți accesarea cu crawlere pe site-ul dvs. web.

1. Actualizați-vă conținutul des. Dacă publicați o postare pe săptămână - fără alte actualizări de conținut pe site-ul dvs. - Google va recunoaște modelul și va încetini accesul cu crawlere pentru site-ul dvs., așa cum am aflat mai devreme.
2. Actualizați Google odată ce site-ul dvs. este actualizat, trimițând adresa URL pentru reindexare în Google Search Console.
3. Creați linkuri mai relevante din punct de vedere contextual de pe site-urile web accesate cu crawlere în mod regulat, precum și din paginile web accesate în mod regulat de pe site-ul dvs.
4. Dedicați timp și efort pentru a îmbunătăți viteza de încărcare a site-ului dvs. Dacă un site web este prea lent pentru a se încărca, crawlerele site-ului vă pot abandona site-ul.
5. Adăugați o hartă a site-ului și păstrați-o actualizată pentru a ajuta Google cu accesarea cu crawlere pe web. Verificați harta site-ului dvs. aici.
6. Reduceți numărul de pagini orfane de pe site-ul dvs. Paginile orfane sunt acele pagini care nu au niciun link care să indice către ele.
7. Reduceți lanțurile de redirecționare

Sperăm că ați găsit util acest ghid pentru începători pentru accesarea cu crawlere pe web. Dacă aveți întrebări sau comentarii, anunțați-ne în secțiunea de comentarii de mai jos.