Cum găsesc, accesează cu crawlere și indexează conținutul motoarele de căutare?

Search Engine Optimization

Nu recomand adesea clienților să își construiască propriile sisteme de comerț electronic sau de gestionare a conținutului din cauza tuturor opțiunilor de extensibilitate nevăzute care sunt necesare în zilele noastre - axate în principal pe căutare și optimizarea socială. Am scris un articol pe cum să selectați un CMS și încă îl arăt companiilor cu care lucrez, care sunt tentați doar să-și construiască propriul sistem de gestionare a conținutului.

Cu toate acestea, există absolut situații în care o platformă personalizată este o necesitate. Atunci când aceasta este soluția optimă, totuși îi împing pe clienții mei să construiască caracteristicile necesare pentru a-și optimiza site-urile pentru căutare și social media. În principiu, există trei caracteristici cheie care sunt o necesitate.

  • robots.txt
  • Harta site-ului XML
  • Metadata

Ce este un fișier Robots.txt?

robots.txt fișier - robots.txt fișier este un fișier text simplu care se află în directorul rădăcină al site-ului și le spune motoarelor de căutare ce ar trebui să includă și să excludă din rezultatele căutării. În ultimii ani, motoarele de căutare au solicitat, de asemenea, să includeți calea către un sitemap XML în fișier. Iată un exemplu al meu, care permite tuturor roboților să acceseze cu crawlere site-ul meu și, de asemenea, să-i direcționeze către sitemap-ul meu XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Ce este un Sitemap XML?

Harta site-ului XML - La fel cum HTML este pentru vizualizare într-un browser, XML este scris pentru a fi digerat programatic. Un sitemap XML este practic un tabel al fiecărei pagini de pe site-ul dvs. și data ultimei actualizări. Sitemap-urile XML pot fi, de asemenea, înlănțuite în margarete ... adică un Sitemap XML se poate referi la altul. Este minunat dacă doriți să organizați și să defalcați elementele site-ului dvs. în mod logic (întrebări frecvente, pagini, produse etc.) în propriile lor Sitemap-uri.

Sitemap-urile sunt esențiale, astfel încât să puteți informa în mod eficient motoarele de căutare ce conținut ați creat și când a fost editat ultima dată. Procesul pe care îl folosește un motor de căutare atunci când mergeți pe site-ul dvs. nu este eficient fără a implementa un sitemap și fragmente.

Fără un sitemap XML, riscați ca paginile dvs. să nu fie descoperite niciodată. Ce se întâmplă dacă aveți o nouă pagină de destinație a produsului care nu este conectată intern sau extern. Cum îl descoperă Google? Ei bine, pur și simplu pune ... până când nu se găsește un link către acesta, nu vei fi descoperit. Din fericire, motoarele de căutare permit totuși sistemelor de gestionare a conținutului și platformelor de comerț electronic să le lanseze un covor roșu!

  1. Google descoperă un link extern sau intern către site-ul dvs.
  2. Google indexează pagina și o clasează în funcție de conținutul său și de conținutul și calitatea site-ului linkului de referință.

Cu un sitemap XML, nu lăsați descoperirea conținutului dvs. sau actualizarea conținutului dvs. la voia întâmplării! Prea mulți dezvoltatori încearcă să ia comenzi rapide care îi afectează și pe ei. Ei publică același fragment bogat pe site, oferind informații care nu sunt relevante pentru informațiile paginii. Ei publică un sitemap cu aceleași date pe fiecare pagină (sau toate sunt actualizate la actualizarea unei singure pagini), oferind cozi motoarelor de căutare pe care le joacă în sistem sau nu sunt de încredere. Sau nu fac deloc ping la motoarele de căutare ... așa că motorul de căutare nu își dă seama că au fost publicate informații noi.

Ce sunt metadatele? Microdate? Fragmente bogate?

Fragmentele bogate sunt microdate atent etichetate care este ascuns vizualizatorului, dar vizibil în pagină pentru motoarele de căutare sau site-urile de socializare. Acest lucru este cunoscut sub numele de metadate. Google este conform Schema.org ca standard pentru includerea unor lucruri precum imagini, titluri, descrieri ... precum și o mulțime de alte fragmente informative, cum ar fi prețul, cantitatea, informațiile despre locație, evaluările etc. Schema va îmbunătăți semnificativ vizibilitatea motorului dvs. de căutare și probabilitatea ca un utilizator să facă clic prin.

Facebook folosește OpenGraph protocol (desigur că nu ar putea fi la fel), Twitter are chiar și un fragment pentru a vă specifica profilul Twitter. Din ce în ce mai multe platforme folosesc aceste metadate pentru a previzualiza linkurile încorporate și alte informații atunci când publică.

Paginile dvs. web au o semnificație subiacentă pe care oamenii o înțeleg atunci când citesc paginile web. Dar motoarele de căutare au o înțelegere limitată a ceea ce se discută în acele pagini. Adăugând etichete suplimentare la HTML-ul paginilor dvs. web - etichete care spun „Hei motor de căutare, aceste informații descriu acest film, locație sau persoană sau videoclip” - puteți ajuta motoarele de căutare și alte aplicații să vă înțeleagă mai bine conținutul și afișați-l într-un mod util, relevant. Microdatele sunt un set de etichete, introdus cu HTML5, care vă permite să faceți acest lucru.

Schema.org, Ce este MicroData?

Desigur, niciuna dintre acestea nu este necesară ... dar le recomand cu drag. De exemplu, când distribuiți un link pe Facebook și nu apare nicio imagine, titlu sau descriere ... puțini oameni vor fi interesați și vor face clic efectiv. Și dacă fragmentele dvs. de schemă nu sunt în fiecare pagină, desigur, puteți apărea în continuare în rezultatele căutării ... dar concurenții vă pot învinge atunci când au afișate informații suplimentare.

Înregistrați-vă sitemap-urile XML cu Search Console

Este imperativ ca, dacă v-ați construit propriul conținut sau platformă de comerț electronic, să aveți un subsistem care să pingă motoarele de căutare, să publice microdate și apoi să ofere un sitemap XML valid pentru conținutul sau informațiile despre produs!

Odată ce fișierul dvs. robots.txt, sitemap-urile XML și fragmentele bogate sunt personalizate și optimizate pe tot site-ul dvs., nu uitați să vă înregistrați pentru Consola de căutare a fiecărui motor de căutare (cunoscută și sub numele de instrument pentru webmasteri), unde puteți monitoriza starea și vizibilitatea site-ului pe motoarele de căutare. Puteți chiar să specificați calea sitemap-ului dvs. dacă nu este listată niciuna și puteți vedea cum îl consumă motorul de căutare, dacă există sau nu probleme, și chiar cum să le corectați.

Lansați covorul roșu către motoarele de căutare și rețelele de socializare și veți găsi site-ul dvs. pe o poziție mai bună, intrările dvs. pe paginile cu rezultate ale motorului de căutare au făcut clic pe mai multe, iar paginile dvs. au distribuit mai multe pe rețelele de socializare. Totul se adaugă!

Cum funcționează împreună Robots.txt, Sitemaps și MetaData

Combinarea tuturor acestor elemente seamănă mult cu desfășurarea covorului roșu pentru site-ul dvs. Iată procesul de accesare cu crawluri pe care îl ia un bot împreună cu modul în care motorul de căutare indexează conținutul dvs.

  1. Site-ul dvs. are un fișier robots.txt care face trimitere și la locația dvs. Sitemap XML.
  2. Sistemul dvs. CMS sau de comerț electronic actualizează Sitemap-ul XML cu orice pagină și publică data sau informațiile despre data de editare.
  3. Sistemul dvs. CMS sau de comerț electronic face ping motoarelor de căutare pentru a le informa că site-ul dvs. a fost actualizat. Le puteți face ping direct sau puteți utiliza RPC și un serviciu de genul Ping-o-matic pentru a trece la toate motoarele de căutare cheie.
  4. Motorul de căutare revine instantaneu, respectă fișierul Robots.txt, găsește pagini noi sau actualizate prin intermediul sitemap-ului, apoi indexează pagina.
  5. Când indexează pagina dvs., utilizează microdate bogate de fragmente pentru a îmbunătăți pagina cu rezultatele motorului de căutare.
  6. Pe măsură ce alte site-uri relevante se leagă de conținutul dvs., conținutul dvs. se clasează mai bine.
  7. Pe măsură ce conținutul dvs. este distribuit pe rețelele de socializare, informațiile bogate despre fragmente specificate vă pot ajuta să previzualizați în mod corespunzător conținutul și să le direcționați către profilul dvs. social.

4 Comentarii

  1. 1

    site-ul meu web nu este capabil să indexeze conținut nou, iau sitemap-uri și adrese URL pe webmaster, dar încă nu pot îmbunătăți acest lucru. Este o problemă de backend google?

Ce părere ai?

Acest site folosește Akismet pentru a reduce spamul. Aflați cum sunt procesate datele despre comentarii.