Hoe de-indexeer je je website?

Heb je ooit het verontrustende besef gehad dat je iets cruciaals onbeschermd hebt achtergelaten? Stel je eens voor dat je ontdekt dat je waardevolle digitale content - vergelijkbaar met het wijd open laten staan van de voordeur van je huis - onbedoeld is blootgesteld aan de wereld via Google. Dit scenario, vergelijkbaar met de ontdekking dat je test omgeving of privacygevoelige informatie is geïndexeerd door Google, kan onmiddellijk zorgen baren over wie er nog meer toegang zou kunnen hebben. In de digitale wereld is het een algemeen doel om ervoor te zorgen dat onze content door het juiste publiek wordt gevonden op zoekmachines zoals Google. De noodzaak om specifieke pagina's aan het zicht van het publiek te onttrekken komt echter vaker voor dan je zou denken. Of het nu gaat om het beperken van juridische risico's, het beschermen van gevoelige informatie of het beheren van verouderde content, het dringend verwijderen van ongewenste pagina's uit Google is een kritieke taak die onmiddellijke en zorgvuldige aandacht vereist.

Onderdelen:

1. De-indexeren begrijpen
2. Voorbereiden op de-indexeren
3. Methoden om je website te de-indexeren
4. Gebruikelijke gevallen voor de-indexeren
5. De-indexering controleren
6. Overwegingen en gevolgen

1. De-indexering begrijpen

In het digitale tijdperk kan zichtbaarheid in zoekmachines zoals Google een tweesnijdend zwaard zijn. Hoewel het verkeer en betrokkenheid naar je website stimuleert, is het onder bepaalde omstandigheden nodig om specifieke inhoud onzichtbaar te maken voor zoekmachines. Dit proces, dat bekend staat als de-indexeren, houdt in dat zoekmachines opdracht krijgen om specifieke pagina's uit hun resultaten te verwijderen, waardoor ze feitelijk ontoegankelijk worden voor de gemiddelde online zoeker. Maar waarom is de-indexeren belangrijk en wat is het verschil met het vaak verwarrende begrip delisting?

De-indexeren

De-indexeren is om verschillende redenen cruciaal: om gevoelige informatie te beschermen, om te voldoen aan wettelijke eisen, om je online reputatie te beheren of gewoon om de onbedoelde blootstelling van niet-openbare domeinen zoals staging sites te corrigeren. Het geeft website-eigenaren controle over de zichtbaarheid van hun inhoud en zorgt ervoor dat alleen relevant, geschikt materiaal toegankelijk is via zoekmachines.

Delisting

Aan de andere kant verwijst delisting naar het verwijderen van een website of webpagina uit de index van een zoekmachine naar goeddunken van de zoekmachine, vaak vanwege het schenden van richtlijnen of de aanwezigheid van schadelijke inhoud. Delisting kan worden gezien als een bestraffende actie van de zoekmachine, terwijl de-indexering een vrijwillige actie is die om strategische redenen door de eigenaar van de website wordt geïnitieerd.

Inzicht in het onderscheid tussen deze twee acties is cruciaal voor digitale professionals. De-indexeren is een proactieve maatregel, een hulpmiddel in je digitale gereedschapskist om te beheren hoe je inhoud online wordt waargenomen en toegankelijk is. Of je nu eigendomsinformatie wilt beschermen, juridische risico's wilt beperken of er gewoon voor wilt zorgen dat alleen de meest relevante pagina's je merk vertegenwoordigen, weten hoe je door de nuances van de-indexeren moet navigeren is een onmisbare vaardigheid in het huidige digitale landschap.

2. Voorbereiden op de-indexeren

Voordat je begint aan de reis naar de-indexeren, is een strategische pauze essentieel. In deze voorbereidende fase gaat het niet alleen om technische gereedheid, maar ook om het begrijpen van de mogelijke gevolgen en om ervoor te zorgen dat elke stap die je neemt in lijn is met je bredere digitale strategie. Het beoordelen van de impact van de-indexering is de eerste kritieke stap. Hierbij worden de voordelen van het verwijderen van een pagina uit de zoekresultaten afgewogen tegen de mogelijke nadelen, zoals minder webverkeer of verminderde online zichtbaarheid.

Overweeg de volgende vragen als leidraad voor je effectbeoordeling:

• Wat is het doel van het de-indexeren van deze inhoud? Identificeer de belangrijkste redenen achter de noodzaak om te de-indexeren, of deze nu te maken hebben met privacy, naleving van de wet of merkbeheer.
• Hoe beïnvloedt het de-indexeren het algehele verkeer op mijn website en de ranking in zoekmachines? Begrijp dat het verwijderen van pagina's uit de zoekresultaten kan leiden tot een tijdelijke dip in het verkeer. Het is cruciaal om te analyseren of de pagina's in kwestie belangrijke verkeersaanjagers zijn en hoe hun afwezigheid de SEO-prestaties van je site kan beïnvloeden.
• Is er een mogelijkheid om deze pagina's in de toekomst opnieuw te indexeren? Soms is de-indexeren een tijdelijke maatregel. Denk na over de langetermijnstrategie voor de inhoud die je verwijdert. Moeten deze pagina's opnieuw worden geïndexeerd? Zo ja, plan dan een naadloos herindexeringsproces.

Net zo belangrijk is het om alternatieve strategieën te overwegen voordat je verder gaat. In sommige gevallen kan het aanpassen van inhoud of het bijwerken van privacy-instellingen je doelen beter dienen dan volledig de-indexeren. Als het doel bijvoorbeeld is om verouderde inhoud te vernieuwen, kan het bijwerken van de bestaande pagina's met actuele informatie gunstiger zijn voor het behoud van SEO-rankings terwijl de relevantie van de inhoud wordt gewaarborgd.

Evalueer bovendien de technische en administratieve aspecten van het de-indexeren. Zorg ervoor dat je de benodigde toegang hebt om wijzigingen door te voeren, zoals het toevoegen van no-index tags of het bijwerken van het robots.txt bestand. Voor websites met meerdere beheerders of complexe contentmanagementsystemen zijn duidelijke communicatie en coördinatie van het grootste belang om tegenstrijdige acties of misstappen te voorkomen.

3. Methoden om je website te de-indexeren

Het succesvol verwijderen van webpagina's uit zoekmachine-indexen vereist een goed begrip van de beschikbare tools en technieken. Of je nu toegang hebt tot Google Search Console of niet, er zijn verschillende methoden om je de-indexeringsdoelen te bereiken.

Robots.txt bestand

Het robots.txt-bestand speelt een cruciale rol bij het beheren van de manier waarop zoekmachines met je site omgaan. Het is belangrijk op te merken dat het robots.txt-bestand zoekmachines kan verhinderen nieuwe pagina's te crawlen, maar dat het niet reeds geïndexeerde pagina's verwijdert.

Om toekomstige indexering te voorkomen:

Plaats: Zorg ervoor dat het robots.txt bestand zich in de hoofdmap van je site bevindt.

/ (root)
|
|-- robots.txt # Dit bestand moet in de hoofddirectory staan
|
|-- Index.html # Belangrijkste HTML-bestand voor de website
|
|-- css/ # Directory voor CSS-bestanden
| style.css
| layout.css
|
|-- js/ # Directory voor JavaScript-bestanden
| app.js
| helper.js
|
|-- images/ # Directory voor afbeeldingen
| logo.png
| banner.jpg

Syntax: Gebruik de disallow richtlijn om aan te geven welke URL's of directories niet mogen worden gecrawld. Bijvoorbeeld, Disallow: /private-directory/ voorkomt dat zoekmachines inhoud in die directory openen en indexeren.

// robots.txt
User-agent: *
Niet toestaan: /private-directory/

Je kunt je robots.txt bestand debuggen in Google Search Console of in een van de robots.txt testprogramma's die je online kunt vinden. Deze zullen je helpen om de juiste set regels in je bestand op te nemen. Zo zorg je ervoor dat bepaalde pagina's en mappen in de toekomst niet meer worden geïndexeerd.

Meta Tags

Het gebruik van no-index meta tags is een krachtige methode om zoekmachines op te dragen specifieke pagina's uit hun indexen te weren. Deze aanpak is geschikt voor bijna alle webinhoud en vereist geen toegang tot Google Search Console.

Implementatie: Voeg <meta name=“robots” content=“noindex”> in het <head> gedeelte van de HTML van elke pagina die je wilt de-indexeren.

<head>
...
<meta name=“robots” content=“noindex”>
...
</head>

Veelzijdigheid: Metatags zijn effectief voor een breed scala aan inhoudstypen en bieden een eenvoudige oplossing voor paginaspecifieke de-indexering.

Google Search Console

Voor degenen die toegang hebben tot Google Search Console biedt deze tool een directe methode om een verzoek in te dienen voor het verwijderen van pagina's uit de index van Google.

Verificatie: Zorg ervoor dat je site is geverifieerd in Google Search Console. Verzoek tot verwijdering: Gebruik de functie “URL's verwijderen” om de-indexering van specifieke pagina's aan te vragen. Deze tool moet met voorzichtigheid worden gebruikt, omdat het een snelle maar tijdelijke verwijdering biedt (tot 90 dagen), voornamelijk voor urgente situaties.

Methoden op de server

De X-Robots-Tag HTTP header is vooral handig voor inhoudstypen die geen metatags kunnen bevatten, zoals PDF-bestanden of afbeeldingen. Deze methode is extreem krachtig en eenvoudig te implementeren (als je toegang hebt) om inhoud in bulk uit de zoekmachine te verwijderen. Zoals we later zullen zien als we het hebben over test omgevingen die worden geïndexeerd. Deze header is handig om de hele omgeving te de-indexeren.

Configuratie: Configureer je webserver om X-Robots-Tag: noindex op te nemen in de HTTP-header van het antwoord voor de bronnen die je wilt de-indexeren. Flexibiliteit: Met deze methode kan het indexeren van verschillende inhoudstypen worden geregeld, wat een veelzijdige oplossing biedt voor webbeheerders.

Wettelijke en privacyverzoeken

In situaties met gevoelige informatie of juridische kwesties kan het nodig zijn om direct actie te ondernemen.

Directe verzoeken: Zoekmachines bieden meestal mechanismen om de verwijdering van inhoud aan te vragen onder bepaalde voorwaarden, zoals schending van het auteursrecht of de aanwezigheid van persoonlijke informatie. Documentatie: Wees bereid om gedetailleerde documentatie te verstrekken ter ondersteuning van je verzoek en houd je aan de specifieke richtlijnen van de zoekmachine.

4. Gebruikelijke gevallen voor De-indexeren

Goed, laten we samenvatten wat we tot nu toe hebben:

De-indexeren verschilt van verwijderen. Delisting treedt op wanneer je pagina's uit de index worden verwijderd als gevolg van een penalty door Google. De-indexeren daarentegen is een vrijwillige actie die je onderneemt om pagina's uit de index te verwijderen die daar niet horen te staan.

Het is cruciaal om de mogelijke impact van de-indexeren te begrijpen, vooral hoe dit het organische verkeer naar je website kan beïnvloeden.

Er zijn een paar methoden die je kunt gebruiken om een pagina uit Google te de-indexeren, zoals het toevoegen van een metatag of het gebruik van de verwijdertool in Google Search Console.

Gelukkig zijn er typische scenario's waarbij specifieke methoden of combinaties daarvan nodig zijn voor een effectieve de-indexering uit Google. Hieronder vind je verschillende use-cases die je kunnen helpen bij het bepalen van de juiste acties voor jouw specifieke situatie. Hoewel jouw omstandigheden enigszins kunnen verschillen, bieden deze use-cases over het algemeen een betrouwbare blauwdruk om te volgen.

Acceptatie- of testomgeving geïndexeerd

Wanneer je je site googelt en je ontdekt dat je acceptatieomgeving geïndexeerd is, moet je oppassen dat je niet de fout maakt om de richtlijn Disallow: / toe te voegen aan het robots.txt-bestand van de acceptatieomgeving. Er zijn twee redenen waarom dit geen goed idee is.

1. De eerste is, zoals ik al eerder schreef, dat het robots.txt bestand alleen toekomstige indexering voorkomt. Dat betekent dat alles wat geïndexeerd is in de index blijft staan en zichtbaar blijft in Google.
2. Het tweede is dat de acceptatieomgeving vaak dezelfde repository gebruikt als je productieomgeving. Dit betekent dat de code wordt gedeeld, alleen de inhoud verschilt. Dat betekent dat het robots.txt-bestand voor acceptatie en productie hetzelfde bestand zal zijn. Als je dit op Disallow: / zal ook de toegang tot productie voor Google blokkeren, iets wat je niet wilt.

Wat moet je dan doen?

1. Eerst moeten we ervoor zorgen dat de geïndexeerde acceptatiepagina's worden gede-indexeerd. De beste manier om dit te doen is via de X-Robots-tag in de respons van de pagina, omdat deze kan worden ingesteld voor het hele subdomein en alle pagina's in één keer beïnvloedt. Als je dat niet kunt doen, kun je de no-index tag gebruiken. Dit is een paginarichtlijn, dus het kan zijn dat je daar wat extra configuratie nodig hebt voor verschillende paginaclusters of subdirectories. En nogmaals, wees voorzichtig dat dit geen invloed heeft op je productieomgeving.
2. Als dat is gebeurd, moeten we helaas wachten tot Google alle pagina's uit de index heeft verwijderd. Dit kost tijd omdat Google alle geïndexeerde pagina's opnieuw moet bekijken en deze moet de-indexeren. Gezien het aantal geïndexeerde pagina's kan dit maanden duren. Maar als het klaar is met het verwijderen van al je acceptatie url's, ben je in principe klaar.

Als het robots.txt-bestand voor acceptatie en productie niet worden gedeeld, kun je overwegen om de Disallow: / toe te voegen voor wat extra veiligheid.

Verouderde of achterhaalde inhoud

Wanneer inhoud op je platform niet langer nodig is, maar nog wel geïndexeerd wordt, kun je meerdere dingen doen.

1. De eerste en heel eenvoudige is om de inhoud gewoon te verwijderen. Iedereen die een pagina opent die is verwijderd, komt terecht op een 404-pagina die aangeeft dat de pagina niet meer bestaat.
2. Dit is geen goede gebruikerservaring en daarom leiden we dit soort pagina's vaak door naar een bovenliggende map. Als voorbeeld wordt /blog/oud-blog omgeleid naar /blog. Door dit te doen verwachten we dat de 'waarde' die een pagina in de zoekmachine heeft verzameld in de tijd dat hij live was, wordt doorgestuurd naar de bovenliggende directory, zodat er niets van die hard verdiende 'waarde' verloren gaat. Daarnaast komt de gebruiker niet op een 404-pagina terecht als hij op deze pagina klikt in de zoekresultaten. De redirect, of 404-reactie, vertelt de zoekmachine dat de pagina is gewijzigd (verplaatst of verwijderd) en dat de nieuwe bestemming kan worden gevonden aan het einde van de redirect. Met de gekozen optie wordt de vermelding uit de zoekmachine verwijderd.

Eén ding waar je rekening mee moet houden als je pagina's verwijdert en doorstuurt, is dat die pagina's enige waarde kunnen hebben. Misschien niet voor jou, maar misschien wel voor anderen. Dus de aanpak die je kiest moet zorgvuldig worden overwogen. Zoals ik al eerder zei kun je er ook voor kiezen om de pagina te behouden en de inhoud bij te werken. Of als je een nieuwe pagina hebt die de oude pagina gaat vervangen, kun je een canonical link element gebruiken om vanaf de oude pagina naar die nieuwe pagina te verwijzen. Het punt is dat als je je in een situatie bevindt waarin je een pagina wilt verwijderen, je er heel zeker van moet zijn dat je hem nooit meer nodig hebt en dat je je door hem te verwijderen volledig bewust bent van wat de gevolgen zullen zijn.

Gevoelige informatie blootgelegd

Als er pagina's zijn geïndexeerd die gevoelige informatie bevatten, is het heel belangrijk om snel actie te ondernemen. Het is belangrijk dat hier twee factoren in het spel zijn.

1. Eén is de link naar de pagina die door google is geïndexeerd.
2. De andere is de pagina met gevoelige informatie die jij beheert.

Het eerste wat je wilt doen is de informatie offline halen. De actie die je onderneemt hangt af van het type gevoelige informatie en wat de use case in eerste instantie was. Als de gevoelige informatie alleen mag worden bekeken door ingelogde gebruikers, dan moet het achter een inlogmuur worden geplaatst. Als het daar helemaal niet hoort te staan, kun je het verwijderen. Gezien de inhoud heb je de volgende opties:

• De pagina verwijderen (404 of 410)
• De inhoud op de pagina bijwerken
• De metatag no-index aan de pagina toevoegen (minder veilig)

Tegelijkertijd wil je ook de link (vermelding) verwijderen uit de index van de zoekmachine. Dit kun je handmatig doen vanuit Google Search Console en dit duurt ongeveer 6 maanden. In die tijd moet je de juiste maatregelen hebben genomen om de gevoelige informatie te beschermen. Want na die periode kan het resultaat weer worden getoond in de zoekresultaten. Als je het resultaat eerder wilt tonen, omdat je de pagina hebt opgeschoond of omdat deze achter een inlogmuur zit, kun je je verzoek uit Google Search Console verwijderen en is alles weer normaal.

Problemen met dubbele inhoud

First things first, duplicate content zal je geen penalty opleveren. Maar het is niet goed om dubbele inhoud op je website te hebben. Want dat vreet een deel van je crawlbudget op. Bovendien beslist de zoekmachine welke van de twee pagina's in de zoekmachine terechtkomt. Je verliest dus ook de controle over wat je in de index wilt laten zien.

Er kan een reden zijn waarom je duplicate content op je website wilt hebben. Denk aan een vanity URL voor marketingdoeleinden of producten met dezelfde producttekst. In dat geval wil je wel dat de pagina's bestaan voor de gebruiker, maar wil je niet dat ze geïndexeerd worden.

Hier heb je een paar opties:

1. De eerste is al besproken en dat is om de pagina die je niet in de index wilt hebben te no-indexeren. Dit kun je doen door de noindex tag toe te voegen aan de <head> van die pagina.
2. Een andere optie die je hebt is om een canonical link element te gebruiken. We hebben dit al kort aangestipt. Maar in de context van duplicate content is het het makkelijkst uit te leggen. Je kunt een canonical zien als een redirect onder de motorkap. Die heeft geen invloed op wat de gebruiker ziet, maar wel op wat Google kan zien. Je voegt het ook toe aan de <head> van de pagina, waar je de pagina opgeeft die geïndexeerd moet worden. Dus met een canonical kan een gebruiker nog steeds de dubbele pagina bezoeken en zien. Maar wanneer een bot op de pagina landt om deze te indexeren, vertelt de canonical de bot dat hij in plaats van deze pagina, de pagina moet indexeren of bezoeken die in de canonical is gespecificeerd. Het voordeel hiervan is dat je het probleem met dubbele inhoud actief aanpakt, omdat je direct verwijst naar de pagina die geïndexeerd zou moeten worden. Als je alleen de pagina zou noindexeren, is er geen hint of teken naar de werkelijke pagina die je wilt laten indexeren.

Kun je ze allebei gebruiken? Dat kan, maar de noindex heeft voorrang op de canonical en dat kan conflicten geven. Mijn advies zou dus zijn om er een te kiezen op basis van het doel dat je wilt bereiken.

Er kan ook een reden zijn waarom je geen dubbele inhoud op je website wilt hebben. Die niet in de index zou moeten staan en niet zichtbaar zou moeten zijn voor een gebruiker. Een voorbeeld kan zijn wanneer zowel de http als de https versie van je website zijn geïndexeerd. Of wanneer een slash achteraan niet wordt omgeleid. Bijvoorbeeld wanneer /blog/post-about-something en /blog/post-about-something/ beide toegankelijk zijn. Er is een klein verschil, namelijk de slash aan het einde van het tweede voorbeeld. Hierdoor wordt een compleet nieuwe pagina weergegeven, maar met dezelfde inhoud. Als je je in een situatie bevindt waarin dit het geval is, heb je één machtige bondgenoot en dat is de redirect. Je kunt zelfs een redirect-regel maken die je helpt om dit in bulk te doen. Hiermee worden alle http-pagina's omgeleid naar https, en alle pagina's met een schuine streep naar pagina's zonder schuine streep. Ook dit zal tijd kosten voordat alle pagina's uit de index zijn verwijderd. Maar omdat je een redirect hebt ingesteld, zal deze ook nooit meer geïndexeerd worden.

Overgang naar een nieuw domein

Ik zou hier een aparte blogpost over kunnen schrijven, omdat een domeinovergang een nauwgezet proces vereist om ervoor te zorgen dat alle behaalde rankings behouden blijven. Het belangrijkste voor de indexering is dat de oude url's worden omgeleid naar hun nieuwe tegenhangers. Dit kan een één-op-één relatie zijn die de beste kans biedt op het behoud van een ranking voor een pagina. Het kan in bulk worden gedaan op directoryniveau of zelfs op domeinniveau. Beide opties zullen de ranking niet behouden en zullen ook afbreuk doen aan de gebruikerservaring. Een gebruiker zal moeten zoeken nadat hij op de nieuwe website terecht is gekomen. Het beste om te onthouden is dat je een redirectplan zo specifiek mogelijk moet maken.

Als je, om wat voor reden dan ook, geen rankings wilt behouden en een domein volledig uit de index wilt verwijderen, dan weet je nu dat je verschillende opties tot je beschikking hebt.

• Je kunt de hele website verwijderen en Google alle 404's die het tegenkomt laten opruimen.
• Of je kunt het hele domein op noindex zetten en Google alle URL's uit de index laten verwijderen.

Maar ook hier geldt dat je het indexeren niet moet beperken vanuit het robots.txt bestand, want dan kan Google je pagina's niet meer zien. Je oude domein in de index laten staan.

De-indexering controleren

Google Search Console is, zoals de naam al aangeeft, je go to als het gaat om het controleren van de indexatie van je website. Hier kun je een overzicht krijgen van welke pagina's geïndexeerd zijn en welke niet.

Deze laatste zijn allemaal gegroepeerd onder verschillende redenen. Bijvoorbeeld vanwege de noindex richtlijn.

Er is nog een andere manier waarop je kunt controleren of een pagina nog steeds beschikbaar is in de index: door je pagina te Googlen. Om specifieker te zijn met de site: of inUrl: directives kun je je zoekopdracht verfijnen.

site:https://acceptance.yourwebsite.com

Dit toont je alle pagina's voor die specifieke site of pagina. Als het nog steeds in de zoekresultaten verschijnt, betekent dat: Google heeft de pagina nog niet bezocht of je instelling is niet goed waardoor Google de pagina nog kan indexeren. Als het maar om één pagina gaat, kun je ook een herindexering van de pagina aanvragen via Google Search Console. Dit kan het proces versnellen, maar kan alleen per pagina worden gedaan. Soms moet je dus gewoon afwachten.

Overwegingen en gevolgen

Aan het einde van dit artikel is er nog één belangrijk punt om rekening mee te houden. Dit is al een paar keer genoemd, maar ik wil er graag wat speciale aandacht aan besteden. Het de-indexeren van pagina's heeft effect op het verkeer naar je website. Als je een pagina verwijdert uit de index van Google, kan Google die pagina niet meer tonen aan zijn gebruikers. Wees dus voorzichtig als je pagina's gaat verwijderen.

Als de reden voor verwijdering overduidelijk is (bijv. de pagina mag niet publiekelijk beschikbaar zijn), hoef je je geen zorgen te maken. Maar als het gaat om verouderde inhoud, pagina- of websitemigraties is het belangrijk om goed te begrijpen wat je probeert te doen en te bereiken. Overweeg om een professional in te huren om je te helpen als je je op zo'n kruispunt bevindt. Want het kan lang duren om pagina's hoog in de resultaten te krijgen, maar je kunt ze ook heel snel weer kwijtraken.