twittermania.nl

facebook rss

Ooit, in een grijs verleden van een 140-karakters micro-blog konden de grote (en kleine) zoekmachines kijken wat wij allemaal produceerden en die tweets doken op in de resultaten van zoekmachines. Maar toen wilde dat micro-blog geld verdienen en verdwenen tweets uit de zoekresultaten van de grootste zoekmachine Google. De concurrent Bing betaalde nog wel voor de toegang en bleef tweets tonen. Aan die vreemde spagaat komt nu een einde door een aanpassing is Twitters robot.txt!

Voor wie niet zo in internet en zoekmachines zit, even een klein college in lekentaal: zoekmachines gebruiken kleine softwaretooltjes, spiders, om het web af te struinen en in kaart te brengen. Als je niet wilt dat zo’n spider jouw website bezoekt en indexeert, dan kun je in een klein tekstbestand zeggen dat dat niet mag. Dat tekstbestandje heeft een naam: robots.txt. Bijna iedere website heeft die en je kunt ze zo zien! Type maar eens het volgende adres in de adresbalk van je browser: http://www.websitediejewiltkijken.nl/robots.txt.

SearchEngineLand ontdekte dat Twitter een aanpassing heeft gedaan in het robots.txt bestand waardoor de spiders van zoekmachines vanaf dat moment alle tweets kunnen benaderen, voorheen stond daar een groot stopbord voor:

“Twitter recently updated its robots.txt file . . . [and this] opens up millions of pages to being crawled . . . [by] Google, Bing, Yahoo, Yandex and other bots.”

Even voor de duidelijkheid: het is dus niet dat de Firehose met alle realtime data opengesteld is, maar spiders kunnen nu wel op eigen kracht indexeren.

Dus met een beetje mazzel kunnen we straks weer tweets via Google vinden, ik ben benieuwd!

Bron ©Twittermania @Hermaniak

Gerelateerde artikelen

1 reactie to “Twitter opent alle tweets voor spiders zoekmachines”

  1. Wouter blom says:

    er zijn natuurlijk een groot aantal diensten die dit voor mensen die dit wilde al beschikbaar had.

    Zelf ben ik wel erg gechameerd van de oplossing van twylah.com

    je ziet de onderwerpen en individuele tweets in google opduiken..

    Overigens is er wel meer nodig dan het aanpassen van de robots.txt om de tweets vindbaar te maken. Echt zou het helpen als twitter de RSS feed van de tweets beschikbaar zou maken. DAT zou echte doorzoekbaarheid goed doen.

Reageer...