Cum găsesc, accesează cu crawlere și indexează conținutul motoarele de căutare?
Nu recomand adesea clienților să-și construiască propriile sisteme de comerț electronic sau de gestionare a conținutului din cauza opțiunilor de extensibilitate nevăzute necesare în zilele noastre – concentrate în primul rând pe căutare și optimizare socială. Am scris un articol despre selectarea unui CMS, și le arăt în continuare companiilor cu care lucrez, care sunt tentate să-și construiască sistemul de management al conținutului.
Cum funcționează motoarele de căutare?
Să începem cu modul în care funcționează motoarele de căutare. Iată o prezentare generală excelentă de la Google.
Cu toate acestea, există absolut situații în care o platformă personalizată este o necesitate. Când aceasta este soluția optimă, încă îmi forțesc clienții să dezvolte funcțiile necesare pentru a-și optimiza site-urile pentru căutare și rețelele sociale. Trei caracteristici cheie sunt o necesitate.
- robots.txt
- Harta site-ului XML
- Metadata
Ce este un fișier Robots.txt?
robots.txt fișier - robots.txt fișierul este un fișier text simplu în directorul rădăcină al site-ului și le spune motoarele de căutare ce ar trebui să includă și să excludă din rezultatele căutării. În ultimii ani, motoarele de căutare au solicitat, de asemenea, să includeți în fișier calea către un sitemap XML. Iată un exemplu de-al meu, care permite tuturor roboților să acceseze cu crawlere site-ul meu și, de asemenea, îi direcționează către harta mea XML de site:
User-agent: *
Sitemap: https://martech.zone/sitemap_index.xmlCe este un Sitemap XML?
Harta site-ului XML - Ca. HTML este pentru vizualizare într-un browser, XML este scris pentru a fi digerat programatic. Un XML Harta site-ului este un tabel cu fiecare pagină de pe site-ul dvs. și când a fost actualizată ultima dată. Sitemap-urile XML pot fi, de asemenea, conectate în lanț... adică, un Sitemap XML se poate referi la altul. Este grozav dacă doriți să organizați și să descompuneți elementele site-ului dvs. în mod logic (Întrebări frecvente, pagini, produse etc.) în propriile Sitemap-uri.
Sitemap-urile sunt esențiale pentru a informa eficient motoarele de căutare ce conținut ați creat și când a fost editat ultima dată. Procesul unui motor de căutare atunci când accesați site-ul dvs. nu este eficient fără implementarea unui sitemap și a fragmentelor.
Fără un sitemap XML, riști ca paginile tale să nu fie niciodată descoperite. Ce se întâmplă dacă aveți o nouă pagină de destinație a produsului care nu este conectată intern sau extern? Cum îl descoperă Google? Ei bine, până când nu se găsește un link către el, nu vei fi descoperit. Din fericire, motoarele de căutare permit sistemelor de management al conținutului și platformelor de comerț electronic să le dezvolte un covor roșu, totuși!
- Google descoperă un link extern sau intern către site-ul dvs.
- Google indexează pagina și o clasifică în funcție de conținutul acesteia și de conținutul și calitatea site-ului link-ului de trimitere.
Cu un sitemap XML, nu lăsați descoperirea sau actualizarea conținutului dvs. la voia întâmplării! Prea mulți dezvoltatori încearcă să ia scurtături care îi rănesc și pe ei. Ei publică același fragment bogat pe site, oferind informații care nu sunt relevante pentru informațiile din pagină. Ei publică o hartă a site-ului cu aceleași date pe fiecare pagină (sau toate acestea sunt actualizate atunci când o pagină se actualizează), dând cozi motoarelor de căutare pentru a spune că folosesc sistemul sau nu sunt de încredere. Sau nu dau deloc ping la motoarele de căutare... așa că motorul de căutare nu realizează că au fost publicate informații noi.
Ce sunt metadatele? Microdate? Fragmente bogate?
Fragmentele bogate sunt microdate atent etichetate ascuns pentru vizualizator, dar vizibil pe pagină pentru motoarele de căutare sau site-urile de social media pentru a le utiliza. Acest lucru este cunoscut sub numele de metadate. Google se conformează Schema.org ca standard pentru includerea unor lucruri precum imagini, titluri, descrieri și o multitudine de alte fragmente informative, cum ar fi prețul, cantitatea, informațiile despre locație, evaluările etc. Schema va îmbunătăți semnificativ vizibilitatea motorului dvs. de căutare și probabilitatea ca un utilizator să facă clic pe acesta.
Facebook folosește OpenGraph protocol (desigur, nu ar putea fi la fel), X are chiar și un fragment pentru a specifica profilul tău X. Tot mai multe platforme folosesc aceste metadate pentru a previzualiza linkurile încorporate și alte informații atunci când publică.
Paginile dvs. web au o semnificație subiacentă pe care oamenii o înțeleg atunci când citesc paginile web. Dar motoarele de căutare au o înțelegere limitată a ceea ce se discută în acele pagini. Adăugând etichete suplimentare la HTML-ul paginilor dvs. web - etichete care spun „Hei motor de căutare, aceste informații descriu acest film, locație sau persoană sau videoclip” - puteți ajuta motoarele de căutare și alte aplicații să vă înțeleagă mai bine conținutul și afișați-l într-un mod util, relevant. Microdatele sunt un set de etichete, introdus cu HTML5, care vă permite să faceți acest lucru.
Schema.org, Ce este MicroData?
Desigur, niciuna dintre acestea nu este necesară ... dar le recomand cu drag. De exemplu, când distribuiți un link pe Facebook și nu apare nicio imagine, titlu sau descriere ... puțini oameni vor fi interesați și vor face clic efectiv. Și dacă fragmentele dvs. de schemă nu sunt în fiecare pagină, desigur, puteți apărea în continuare în rezultatele căutării ... dar concurenții vă pot învinge atunci când au afișate informații suplimentare.
Înregistrați-vă sitemap-urile XML cu Search Console
Dacă ți-ai creat propriul conținut sau platformă de comerț electronic, este imperativ să ai un subsistem care să trimită ping motoarele de căutare, să publice microdate și apoi să furnizeze o hartă XML validă a site-ului pentru conținutul sau informațiile despre produs de găsit!
Odată ce fișierul dvs. robots.txt, hărțile de site XML și fragmentele îmbogățite sunt personalizate și optimizate pe întregul site, nu uitați să vă înregistrați pentru fiecare motor de căutare. Căutare Console (cunoscut și sub numele de Webmaster instrument) unde puteți monitoriza starea de sănătate și vizibilitatea site-ului dvs. pe motoarele de căutare. Puteți chiar să specificați calea Sitemap-ului dvs. dacă nu este listată și să vedeți cum o consumă motorul de căutare, dacă există sau nu probleme cu acesta și chiar cum să le corectați.
Desfășurați covorul roșu către motoarele de căutare și rețelele de socializare și veți vedea că site-ul dvs. este clasat mai bine, că intrările dvs. din paginile cu rezultate ale motorului de căutare sunt mai multe clic și paginile dvs. vor fi distribuite mai mult pe rețelele sociale. Totul se aduna!
Cum funcționează împreună Robots.txt, Sitemaps și MetaData
Combinarea tuturor acestor elemente este ca și cum ai întinde covorul roșu pentru site-ul tău. Iată procesul de accesare cu crawlere pe care un bot îl efectuează împreună cu modul în care motorul de căutare vă indexează conținutul.
- Site-ul dvs. are un fișier robots.txt care face trimitere și la locația dvs. Sitemap XML.
- CMS-ul dvs. sau sistemul de comerț electronic actualizează Sitemap-ul XML cu orice pagină și publică date sau editează informații despre data.
- CMS-ul dvs. sau sistemul de comerț electronic dă ping motoarele de căutare pentru a le informa că site-ul dvs. a fost actualizat. Puteți să le trimiteți direct ping sau să utilizați RPC și un serviciu precum Ping-o-matic pentru a trimite către toate motoarele de căutare cheie.
- Motorul de căutare revine instantaneu, respectă fișierul Robots.txt, găsește pagini noi sau actualizate prin harta site-ului și apoi indexează pagina.
- Când vă indexați pagina, acesta utilizează titlul, metadescrierea, elementele HTML5, titlurile, imaginile, etichetele alt și alte informații pentru a indexa corect pagina pentru căutările aplicabile.
- Când vă indexați pagina, aceasta utilizează titlul, meta-descrierea și microdatele de fragmente bogate pentru a îmbunătăți pagina cu rezultatele motorului de căutare.
- Pe măsură ce alte site-uri relevante se leagă de conținutul dvs., conținutul dvs. se clasează mai bine.
- Pe măsură ce conținutul dvs. este partajat pe rețelele sociale, informațiile de fragmente bogate specificate vă pot ajuta să previzualizați corect conținutul și să îl direcționați către profilul dvs. social.
