Kiire juhend faili Robots.txt kirjutamiseks

Ainus viis saada ühendust otsingumootori ämblikuga või roomik, on läbi faili nimega robots.txt. Või parem. Kui saadate oma veebisaidi ettepaneku Google'ile, seisab see silmitsi lihtsalt kolossaalse teabehulgaga.

Kuidas tutvuda nii suure õpikuga, et tundub, et ei leia kunagi kõike, mida vajad? Te konsulteerite vihje. Noh: fail robots.txt on teie veebisaidi register.

See on lihtsalt täidetav dokument, mis ütleb otsingumootori roomajale, mida otsida. Lühidalt: aitate tal mõista, millest teie sait koosneb, et algoritm saaks anda teile järjestuse, mis on kooskõlas teie tehtud tööga.

Kas keegi oskab faili robots.txt kirjutada?

Lühike vastus on jah. Aus vastus on ei. Kuigi faili robots.txt grammatika on äärmiselt lihtne ja selle koosseis koosneb mõnest reast, on parem loota asjatundliku veebimeistri hoolde, kes teab, kuhu käed panna. Piisab ju väikesest veast, et kahjustada teie veebisaidi positsioneerimist ja seetõttu kõik SEO toimingud enne alustamist peatada.

Enne alustamist tea ühte asja: igaüks saab vaadata mis tahes saidi faili robots.txt, kirjutades domeeni järele /robots.txt. Võite isegi konsulteerida Google'iga!

Sellise faili saate kirjutada ilma spetsiaalset tarkvara alla laadimata. Tegelikult piisab, kui kasutada märkmikku ja salvestada, arvake ära, .txt-vormingus.

Kirjutame koos faili robots.txt: päise

Alustame algusest, nagu see on alati loogiline teha. Faili ava, õigemini päis, on täielikult pühendatud ämbliku nimele, millele eelneb väike sõnastus, mis on alati sama. Oletame, et soovite, et Google teid märkaks. Nii et esimene rida on järgmine:

Kasutajaagent: Googlebot

See väga lühike string ütleb Google'ile, et kõik järgnev pakub talle kindlasti huvi. Kui soovite, et kõik seda tüüpi faili lugevad roomajad saaksid dokumendiga tutvuda, asendage Googlebot lihtsa *, tärn.

Nüüd, kui olete märkinud, millise ämbliku, st KELLE, peate märkima ka MIDA ta peab lugema.

Iga koodirida vastab definitsiooni järgi masina toimingule. On ütlematagi selge, et iga käsk failis robots.txt vastab sellele, mida masin ei peaks tegema. Ja see on võti, mis võimaldab teil kirjutada tõeliselt tõhusa. Me räägime käsust DISALLOW.

Mis on käsk DISALLOW?

Il keela käsk võimaldab teil arutleda välistamise teel. Teisisõnu, kui öeldakse, et kõigepealt tuleb öelda, mida ei tohiks teha, siis te arutlete välistamisega. Lisaks keelamisele on olemas ka luba, mis on ploki erand.

Kui soovite kirjutada head robotifaili, peate mõtlema teistpidi, nii et peate Google'ile ütlema, mida see ei tohiks lugeda. Kui kirjutad:

Disallow:

Ämblik loeb kogu teie saiti ilma piduriteta.

Kui pärast „Disallow:” sisestate kaldkriipsu (seetõttu Disallow: /), siis saiti otsingumootoritesse ei sisestata, punkt.

Keela: /kataloogid/

Asendage sõnakataloog kaustaga, mille ämblikvaade ei lubata. Sama saate teha ka konkreetse failiga.

Keela: /minufail.html

TÄHELEPANU kirjavahemärgid ja tähed, suur- või väiketähtedega. Seda tüüpi failid hoiavad seda tüüpi pisiasju kõrgelt, kuid neil on suur erinevus.

Miks takistaksite Google'il suurt osa teie saidist lugemast? Seda tüüpi faili kirjutades on oluline mõista, millised failid ei tohiks otsingumootoris ilmuda, kuid ilma neid kuritarvitamata. Kuid teadke, et igaüks, kes teab selle konkreetse faili täpset aadressi, pääseb sellele igal juhul juurde.

Mis on käsk ALLOW?

Faili saab lisada erandi käsuga LUBAMA. Grammatika on identne, kuid see loob mõned erandid DISALLOW-le, mis võimaldab avada ämbliku jaoks huvitavaid uurimisvõimalusi.

Väike näidisfail:

Kasutajaagent: Googlebot

Keela: /images/

Luba: /images/holidays.jpg

Põhimõtteliselt ütlesime Googlebotile, et ta ei arvestaks pildikaustaga, välja arvatud selle sees oleva konkreetse fotoga, nimelt pühade fotoga.

Ja see, poisid, ongi kõik. Kirjutasime oma esimese faili robots.txt. Muidugi, see, mida me tegeliku saidi jaoks teeme, võib veidi erineda, kuid mitte palju. Kui kahtlete, küsige alati nõu spetsialiseerunud veebihaldurilt. Soovitame teil proovida see kõigepealt ise kirjutada ja saata see talle kontrollimiseks, et omandada alged ja mõista paremini, kuidas teie sait töötab.

Milline on korrelatsioon faili robots.txt ja saidiplaanide vahel?

Saidikaart on spetsiaalsete pistikprogrammide loodud fail, mis sisaldab kõiki saidil olevaid linke. Kui ämblik saidile siseneb, loeb ta kõigepealt roboteid ja seejärel roomab saidil. Kui robot leiab roomamise käigus saidiplaani aadressi, on kogu protsess palju lihtsam.

Lisage ülaltoodud koodile järgmine:

Saidi kaart: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

Kokkuvõtteks

Kõik robotite failid on samad. See tähendab, et Google'i jaoks kirjutatud robotifail töötab hästi ka Bingi jaoks ja järgib sama grammatikat.

Hästi organiseeritud fail robots.txt võimaldab teil seda teha säästa roomiku aega. Ärge heitke meelt: see on esimene samm edu suunas!