Bekannte Bots und Spider automatisch ausschließen
Dieser Post wurde innerhalb kürzester Zeit von Blogger wegen Verstößen gegen die Community Richtlinien gesperrt, wir haben den Post überarbeitet und hoffen somit sämtliche Community Wortfilter besänftigt zu haben.
Wir konnten das Programm der Webcrawler / Spider die unsere Webs belästigten, finden und hatten dadurch auch ein Hilfsmittel um die Plagegeister auszusperren. Bei der Durchforstung der Hintertürchensucher/:innen fiel uns auch eine Domain mit ca. 1.500 Anklopfer an den nicht vorhandenen Hintertürchen als einsamer Spitzenreiter auf.
Sie kamen von einer im WebOfTrust ziemlich gut dank kyrilischer Bewertungen angesehenen Cyberdollarplattform ... wobei die Kundenbewertungen in den Reviews Portalen maximal 1,5 Sternchen hergaben. Da hat sich WOT leider wohl mal wieder zu sehr auf seinen prämierten Alghorithmus verlassen. Ich glaube der ist doch immer noch fehlerhaft ... quod erat demonstrandum!
Was die Cyberdollarplattform eigentlich bei uns wollte??? Mit Referrerspam hat die immer wieder kehrende Untersuchung von vermuteten Adminbereichen ja wohl eigentlich nichts zu tun.
Und unsere paar Penunzen reichen denen nicht mal fürs Frühstück, geschweige denn fürs Vesper... aber 1.500 Mal in ca. 50 Tagen an den Admin Bereichen anklopfen und dann abgewiesen werden, weil die nicht da sind. Halt eben verkalkuliert! Soll ja manchmal bis ganz selten bei Banken und bei Börsen vorkommen...
Ein Webcrawler / Spider ist übrigens ein automatisiertes Programm oder ein Bot, der
systematisch Websites durchsucht und deren Inhalte indexiert. Sie geben die Domain ein und der Crawler / Spider marschiert die Domain durch und mit einer aufbereiteten Sitemap, findet er auch etliches. So wird bei dem von uns gefunden Crawler / Spider sogar angezeigt welche Fehler in der Konfiguration der Domain gemacht wurden. Was natürlich die Erfolgschancen der Plagegeister leider enorm erhöht!
Was wir allerdings auch genutzt haben, um die Sicherheit unserer Webs um einiges zu erhöhen...
Diesen Crawler / Spider haben wir übrigens nicht aus irgendwelchen dunklen Kanälen heruntergeladen! Das Programm ist Freeware und kann über eine seit Jahrzehnten alt eingessesene seriöse amerikanische Plattform, die sogar hier auf diesem Blog verewigt wurde, auch von Ihnen heruntergeladen werden... (Als Brotkrummen Hinweis >> rechts unten ...)
Crawler / Spider werden normalerweise hauptsächlich zur Indexierung von Seiten für
Suchmaschinen eingesetzt, finden aber auch Anwendung in Coupon- und
Preisvergleichs-Apps sowie bei SEO, RSS und sämtlichen anderen Aggregations-Aufgaben.
Die Anwendungsvielfalt ist eigentlich beeindruckend, leider haben auch andere die Möglichkeiten entdeckt, die nichts Gutes im Sinne haben... wobei wir immer noch nicht wissen, was die bei uns wollten! Wir wissen nur daß Sie es gemacht haben!
