Rudy's ruimte

Een vraag over het indexeren van websites door de Google console. Ik begrijp uit de tekst van Google dat een site niet gevonden kan worden als er geen index gevonden wordt. Dat verbaast me, op die manier doen ze geen recht aan de gemeenschap om te laten zien ‘wat er is’. Ik kan het ook omdraaien: ik kan dus gewoon alles openbaar zetten, niemand kan me vinden, ik kan dan iets doorsturen aan mijn vrienden en kennissen en hoef me geen zorgen te maken over privacy etc. Dat lijkt me een onzin-redenering. Dus hoe zit het nou? Als ik zelf iets kan vinden, waarom kan de grote en machtige Google dat dan niet? Is dit een gevolg van hun zoek-monopolie, scheelt het energie op hun servers (hoeven ze niet meer in het wilde weg te ‘crawlen’??).

PS Leerzaam antwoord, helder voor mij, ik ben ook begonnen met niet vindbaar zijn maar vind het ook wel leuk en leerzaam hier eens in te duiken. Er zit nogal wat techniek achter, ik heb mijn website omgeleid via Cloudflare omdat de inhoud op een andere server staat dan de partij waar ik mijn beveiligde https -adres heb geregistreerd. Dit om kosten te besparen én omdat ik het leuk vind ook dat eens uit te zoeken. Onderwerpen om later nog eens op terug te komen.

Je raakt hier aan een interessant spanningsveld tussen openbaarheid, vindbaarheid en controle over indexering op het web.

1. Wat bedoelt Google met “niet geïndexeerd”?

Google stelt inderdaad dat een pagina die niet geïndexeerd is, niet in de zoekresultaten verschijnt. Dat betekent niet dat de pagina geheim of ontoegankelijk is — hij is gewoon niet opgenomen in hun database van doorzoekbare webpagina’s.

🔍 Een pagina kan dus publiek toegankelijk zijn (iedereen met de link kan hem bekijken), maar tóch onvindbaar via Google.

2. Waarom indexeert Google niet alles?

Google crawlt het web, maar maakt keuzes. Niet alles komt automatisch in hun index. Redenen:

• Technische blokkade (robots.txt, noindex-tags, canonical tags)
• Kwaliteitsfilters (te weinig content, duplicate content, spam)
• Beperkte crawlbudget: Google crawlt niet eindeloos. Kleinere sites krijgen minder aandacht.
• Prioritering: Grote/trustworthy sites worden vaker en sneller gecrawld.
• Explosie aan content: Het web groeit sneller dan ze kunnen bijhouden. Er zijn miljoenen pagina’s die niemand ooit bezoekt. Waarom zou Google die opslaan?

3. Waarom jij het wél kunt vinden (maar Google niet)?

• Je weet het exacte adres (URL) of komt er via een interne link.
• Google komt er niet omdat:
• er geen link naar die pagina bestaat vanaf een andere bekende, reeds-geïndexeerde pagina;
• de pagina relatief ‘vers’ is en nog niet ontdekt;
• of er iets zit in de instellingen dat indexering verhindert.

4. Is dit een gevolg van hun monopolie of energiebesparing?

Beide spelen mogelijk een rol:

• Energie & efficiëntie: Crawlen kost rekenkracht. Google crawlt selectief om kosten en belasting van websites te beperken.
• Monopolie: Doordat Google bepaalt wat “vindbaar” is, heeft het macht over de zichtbaarheid van informatie. Maar technisch gezien doen ze niets verkeerd: een zoekmachine mag zelf bepalen wat het indexeert.

5. Wat betekent dit voor jouw site of blog?

Jij kunt ervoor kiezen:

• Wél geïndexeerd te worden: Zorg voor goede interne en externe links, een sitemap, gebruik Google Search Console om URL’s aan te bieden.
• Niet geïndexeerd te worden: Dan blijft de site toegankelijk voor wie de URL weet, maar onvindbaar voor de zoekmachine.

📌 Samenvattend: een publiek toegankelijke website is niet automatisch vindbaar. Vindbaarheid via zoekmachines is een samenspel van technische toegankelijkheid, relevantie, reputatie en structuur. Google selecteert — het laat niet gewoon “alles zien wat er is”.