SITE MEKLĒŠANA

Kā izdzēst vietni vai tās fragmentus no Google indeksa

Saskaņā ar Google pieņemto indeksēšanas koncepciju,Tiek ņemta vērā informācijas pilnīgums, objektivitāte un tā atbilstība meklēšanas vaicājumam, kad tiek doti rezultāti. Ja vietne ar nelegālu saturu iekļūst indeksā vai resurss ir paredzēts surogātpastu, tad šādas vietnes lapas netiks atzīmētas meklētājprogrammas vispārējā datubāzē. Mums ir svarīgi uzzināt, kā vietni no servera izdzēst meklēšanas rezultātos.

Google nulles indeksēšanas iespējas

Kad rāpuļprogramma ir savākšanas programmainformācija par jauniem resursiem - skenēs vietni pa lapām, tad, ja tā atbilstu Google politikai par parsēšanu, tā tiks indeksēta. Bet mēs arī aprakstīsim, kā izdzēst savu vietni vai atsevišķus fragmentus meklētājprogrammām, izmantojot robots.txt - rādītāju un tajā pašā laikā meklēšanas termināli.

Lai izslēgtu visu resursu no izdošanas,servera saknes mape, kurā atrodas šī vietne, izveido īpašu teksta zonu - iepriekš minēto robots.txt. Šo zonu apstrādā meklētājprogrammas un darbojas saskaņā ar instrukcijām lasīt.

Paturiet prātā, ka Google meklētājprogrammaindeksējiet lapu, pat ja lietotājam nav atļauts skatīt. Kad pārlūkprogramma reaģē uz 401 vai 403, "Piekļuve nav derīga", tas attiecas tikai uz apmeklētājiem, nevis uz šī meklēšanas servera savākšanas programmām.

Lai saprastu, kā vietni izdzēst no meklēšanas indeksēšanas, teksta rādītājā jāievada šādas rindiņas:

Lietotāja aģents: Googlebot

Disallow: /

Tas norāda meklēšanas robotam, ka ir aizliegts indeksēt visu vietnes saturu. Tālāk ir norādīts, kā izdzēst Google vietni, lai vietne neaptver resursu noteiktu vietņu sarakstā.

Skenēšanas opcijas dažādiem protokoliem

Ja jums ir nepieciešams uzskaitīt atsevišķus standartusSaites, par kurām jūs vēlaties piemērot īpašus Google indeksēšanas noteikumus, piemēram, hiperteksta protokolu http / https atsevišķi atsevišķi, tas arī jāraksta robots.txt šādā veidā (piemērs).

(http://yourserver.com/robots.txt) - jūsu vietnes domēna nosaukums (jebkura)

Lietotāja aģents: * - jebkurai meklētājprogrammai

Atļaut: / - atļaut pilnīgu indeksēšanu

Kā https protokolu pilnīgi noņemt vietni no problēmas

(https://yourserver.com/robots.txt):

Lietotāja aģents: *

Neatļaut: / pilnīgu indeksācijas aizliegumu

Neatliekama resursu URL noņemšana no Google meklēšanas rezultātiem

Ja jūs nevēlaties gaidīt atkārtotu indeksēšanu, unVietnei vajadzētu būt paslēptai, cik drīz vien iespējams, iesaku izmantot pakalpojumu http://services.google.com/urlconsole/controller. Pre-robots.txt jau ir jāiekļauj vietnes servera saknes direktorijā. Atbilstošie norādījumi jāraksta tajā.

Ja rādītājs kāda iemesla dēļ nav pieejamslai rediģētu saknes direktorijā, pietiek ar to, lai to izveidotu mapē ar objektiem, kuriem nepieciešams meklētājprogrammās slēpties. Pēc tam, kad jūs to izdarīsit un pārejiet pie pakalpojuma, lai automātiski noņemtu hiperteksta adreses, Google nekontrolē mapes, kas ir reģistrētas, lai tos noņemtu, izmantojot robots.txt.

Šādas neredzamības periodu nosaka 3 mēneši. Pēc šī perioda direktoriju, kas ir izņemts no problēmas, Google atkal apstrādās.

UzKā vietni noņemt, lai daļēji skenētu

Kad meklēšanas bot nolasa robotu saturu.txt, pēc tam tiek pieņemti konkrēti lēmumi, pamatojoties uz tā saturu. Pieņemsim, ka no displeja jāizslēdz viss direktorijs ar nosaukumu anatom. Lai to izdarītu, pietiek ar šādu norādījumu rakstīšanu:

Lietotāja aģents: Googlebot

Aizliegt: / anatom

Vai arī, piemēram, jūs vēlaties, lai visi attēli, piemēram, .gif, netiktu indeksēti. Lai to izdarītu, pievienojiet šādu sarakstu:

Lietotāja aģents: Googlebot

Disallow: /*.gif$

Šis ir vēl viens piemērs. Ļaujiet tai noņemt no parsēšanas informācijas par dinamiski ģenerētām lapām, pēc tam pievienojiet ierakstu tipam rādītājā:

Lietotāja aģents: Googlebot

Disallow: / *?

Tātad, aptuveni, un noteikumi parmeklētājprogrammas. Vēl viena lieta ir tāda, ka par to visu ir daudz ērti izmantot META tagu. Un tīmekļa pārziņi bieži izmanto tikai tādu standartu, kas regulē meklētājprogrammu darbību. Bet par to mēs parunāsim sekojošos pantos.

  • Reitings:



  • Pievienot komentāru