Inhaltsdiebstahl, Datenmining über die Konkurrenz und Preisscanner
Bots belasten Websites rund um die Uhr. Sie “scrapen” Inhalte und veröffentlichen sie unerlaubterweise auf anderen Websites.
Sie erhalten dafür keine Backlinks und auch keine Nennung als Autor. Genau genommen werden Sie niemals wissen, dass ihre Inhalte gescrapt wurden, es sei denn, Sie investieren Zeit und suchen nach Ihren Inhalten auf Google oder Bing.
Der so entstandene Duplicate Content wirkt sich negativ auf Ihre Website aus und verringert Ihren Google Pagerank. Dies verursacht direkt weniger Besucher, und daraus resultierend, weniger Umsatz.
Kurz und knapp ausgedrückt: Web Scraping kann Ihre Website daran hindern, erfolgreich zu sein und zu wachsen.
Skrupellose Mitbewerber verwenden Bots, um sich wertvolle Daten ihrer Konkurrenten zu besorgen. eCommerce-Websites sind besonders anfällig für Preisscans, Produktmatching, das Ausspähen von Produktvarianten sowie Verfügbarkeiten. Online-Shops sind ein offensichtliches Ziel für Bad Bots, auch wegen Flash-Sales und zeitlich begrenzten Angeboten – ein Schatz für Web Scraper
Wenn Bots Preis- und Produktinformationen scrapen, füttern Sie die aggregierten Daten in ein Analysesystem, das es Ihrer Konkurrenz ermöglicht, Ihre Preise und Produkte fast in Echtzeit zu überwachen. Oft machen Sekunden den Unterschied, ob Sie als Verkäufer den Verkauf machen oder der Scraper, der Ihre Daten stiehlt.
Websites der Reiseindustrie wie etwa Online-Reisebüros, Fluggesellschaften, Hotels und Suchseiten werden ständig von Bots gescrapt. Mitbewerber und Aggregatoren verwenden Bots außerdem dazu, um vorgegebene APIs zu umgehen, Cross-Selling und Upselling-Potenziale zu finden und Inhalte zu stehlen.
Wie können Sie erkennen, ob Sie betroffen sind?
Normalerweise merken Sie nichts, außer Sie sehen genau hin. Deutliche Hinweise darauf, dass Sie ein Opfer von Bad Bots sind sind zum Beispiel:
- Sie sehen Ihre Inhalte an mehreren Stellen im Netz, oft auf den Websites von Mitbewerbern
- Sie merken, dass Konkurrenten ihre Preise sehr schnell ändern, nachdem Sie Ihre Preise verändet haben
Fallbeispiel: Amazon und Diapers.com
Diapers.com war ein sehr gut laufender Online-Shop mit einem umfangreichen Sortiment an Babyprodukten. Anazon.com war ein erfolgreicher Buchhändler, der in andere Märkte einsteigen wollte: unter anderem Babyprodukte.
Amazon begann damit, die Preise und Produkte von Diapers.com mit Bots zu scannen und lernte so deren Geschäftsstrategie. Mit diesen Daten baute Amazon Diaper.coms Produktpalette nach und unterbot deren Preise konstant in Echtzeit.
Innerhalb eines Jahres hatte Amazon Amazon Mom gelauncht und kaufte die drastisch billiger gewordene Firma, die diapers.com betrieb zum Spottpreis. Eine Strategie, die wesentlich schneller zum Ziel führte, als wenn Amazon seine Baby-Produktlinie selbst aus dem Boden gestampft hätte.
(Quelle: https://slate.com/technology/2013/10/amazon-book-how-jeff-bezos-went-thermonuclear-on-diapers-com.html)