Tweet

Andermans site scrapen, wanneer mag dat? /5 reacties

Een zoekmachine bouwen is veel werk. En dat geldt niet alleen voor algemene zoekmachines zoals Google, maar ook voor speciale zoekmachines voor huizen, auto’s, contactadvertenties en noem maar op.

Scrapen

Veel van dat werk zit hem in het verzamelen en onderhouden van de content. Hoe houd je je database up-to-date, wanneer verwijder je een te koop staand huis en bij welke advertenties moet je ingrijpen omdat er iets illegaals wordt verkocht? Erg fijn dus als je al dat gedoe kunt uitbesteden, en jij je alleen bezig hoeft te houden met zoekresultaten tonen - en natuurlijk de advertenties eromheen. Scrapen, het hergebruiken van stukjes content van andermans site op je eigen site, is een manier van uitbesteden van dat werk.

Zoekopdrachten

Met de juiste scriptjes kan dat allemaal volautomatisch. Je geeft zoekopdrachten door naar de achterliggende site(s) die je gebruikt, je verwijdert de oorspronkelijke layout, advertenties en andere ongewenste zaken van de resultaten en je zet er je eigen layout omheen. Kost een middag met PHP en af en toe wat aanpassingen omdat de sites die je gebruikt zo onbeleefd zijn om zomaar hun layout aan te passen.

Juridische maatregelen

Bovendien heb je als advertentiesite of zoekmachine meestal wel iets beters te doen dan allerhande bijdehante botjes buiten houden

Het moge duidelijk zijn dat de beheerders van die achterliggende sites hier niet blij mee zijn. Zij doen al het werk en jij gaat met de advertentie-inkomsten lopen. Nu kun je natuurlijk allerlei technische trucs gaan uithalen, zoals IP-adressen blokkeren of de layout steeds een beetje aanpassen, maar dat is heel erg vermoeiend en bovendien heb je als advertentiesite of zoekmachine meestal wel iets beters te doen dan allerhande bijdehante botjes buiten houden.
Dat kun je dan ook maar beter uitbesteden aan je advocaat. Want een vonnis tot staken en gestaakt houden van dat scrapen op straffe van een dwangsom van 1000 euro per dag is een stuk effectiever dan een .htaccess-bestand (een bestandje waarin staat dat een geldige gebruiker met bijbehorend wachtwoord moet worden opgegeven) of /etc/hosts.deny (een bestandje dat aangeeft wie geen gebruik mag maken van een site) van ettelijke kilobytes.

Maar ja, dan moet die advocaat wel een recht in stelling kunnen brengen. Zomaar iets laten verbieden gaat meestal niet. Dus wat valt er juridisch te doen tegen scrapen? Of - omgekeerd - wat mag je scrapen van andermans site?

Auteursrecht

Als de scraper de site leegtrekt en op zijn eigen site aanbiedt, dan is het meestal makkelijk. Dat noemen we inbreuk op auteursrecht en dat mag niet.
Slimme scrapers bouwen dus een systeem dat ter plekke zoekopdrachten doorgeeft en het resultaat ombouwt naar hun eigen layout. Dat is geen inbreuk op het auteursrecht, want er zit geen auteursrecht op een lijst met zoekresultaten (SERPS). Een SERP is door een machine gegenereerd, en pas als een mens een creatieve keuze maakt over wat wel of niet getoond moet worden, kan er auteursrecht op de pagina gelden. Een pagina uit DMOZ of Yahoo! is dus wel auteursrechtelijk beschermd, want daar werken menselijke redacteuren.