Spider Information

Herzlich willkommen auf der Informationsseite der Neofonie GmbH zu von uns eingesetzten Spidern.

Wir sind einer der führenden Anbieter für die Entwicklung anspruchsvoller Internetlösungen und mobiler Apps. Im Auftrag unserer Kunden durchsuchen unsere Spider das World Wide Web (WWW) gezielt nach Inhalten zur Weiterverarbeitung.

Sollten Sie Probleme mit einem unserer Spider haben, bieten wir Ihnen hier Informationen zur Lösung Ihres Problems. Sie finden die wichtigsten Informationen rund um unsere Spider sowie Lösungsansätze für am häufigsten auftretende Probleme. Selbstverständlich können Sie auch jederzeit persönlich mit uns in Kontakt treten und uns Ihr Anliegen per E-Mail unter der Adresse spider-l@neofonie.de schildern.

Informationen für erfahrene Webseiten-Betreiber

Haben Sie als Webseiten-Betreiber bereits Erfahrungen mit Eintragungen in der robots.txt, nutzen Sie bitte die folgende User-Agent-Kennung zur Steuerung unserer Spider auf Ihrer Webseite. Anderenfalls bitten wir Sie, zunächst die in den FAQs weiter unten zu findende detaillierte Anleitung zu lesen.

Die User-Agent-Kennungen für die Spider der Neofonie GmbH lauten: search:robot oder neofonie

Die häufigsten Fragen

Wozu spidert die Neofonie GmbH die Webseiten?

Die Neofonie GmbH realisiert als Dienstleister für Ihre Kunden anspruchsvolle Internetlösungen. Als Begründer der ersten deutschsprachigen Suchmaschine besitzt sie insbesondere im Bereich der Suchtechnologien eine jahrzehntelange Erfahrung. Im Zuge der Realisation von Kundenprojekten und wissenschaftlichen Forschungsprojekten wird meist das deutschsprachige Netz nach Daten durchsucht, welche dann mit wissenschaftlichen Methoden analysiert und mit daraus gewonnenen Informationen angereichert werden. Hierzu wird ausschließlich das öffentlich zugängliche Netz als Grundlage genommen und es werden strikt alle Datenschutzrichtlinien eingehalten. Wie von Suchmaschinen allgemein bekannt, werden Originalinhalte ausschließlich über Links referenziert. Da die neu erschlossenen Inhalte meist einer viel breiteren Öffentlichkeit zugänglich gemacht werden, ist der resultierende Nutzen für einzelne Webseitenbetreiber enorm, da Ihre Seiten über neue geschaffene Zusammenhänge auffindbar geworden sind.

In Zusammenarbeit mit renommierten Unternehmen aus der Wirtschaft realisieren wir Lösungen für Portale, deren Nutzen allgemein anerkannt sind und bereits zum Standard einer breiten Öffentlichkeit geworden sind.

Unsere hervorragenden Referenzen in der Wirtschaft und unsere Projekte können Sie hier einsehen.

Was ist bzw. was macht ein Spider?

Die allgemeinen Grundsätze zum Spidern von Internetseiten bringen den guten Willen der Betreiber zum Ausdruck, im Internet verantwortlich zu handeln. Alle von der Neofonie GmbH eingesetzten Spider möchten auch den Interessen der Betreiber von Webseiten gerecht werden und Inhalte von Webseiten möglichst ohne jegliche Beeinträchtigung von Webservern abholen.

Trotzdem sollen Sie als Betreiber einer Webseite in der Lage sein, den Zugriff auf Ihre Seiten zu steuern und zu entscheiden, was sie der Öffentlichkeit zugänglich machen möchten und was nicht.

Hierfür wurde das sogenannte „Robot-Exclusion-Standard-Protokoll“ (http://de.wikipedia.org/wiki/Robots_Exclusion_Standard) geschaffen. Dabei ist festgelegt, dass ein Spider beim Besuch eines Webservers zunächst eine Datei namens „robots.txt“ im Wurzelverzeichnis des Servers sucht, herunterlädt und auswertet. Über die darin enthaltenen Regeln kann ein Spider von bestimmten Webseitenbereichen ferngehalten oder sogar ganz ausgesperrt werden. Außerdem kann in dieser Datei dem Spider mitgeteilt werden, dass der Spider eine Sitemap-Datei (http://de.wikipedia.org/wiki/Sitemaps) benutzen könnte. Was Sie konkret tun müssen, um den Zugriff für einen Spider der Neofonie zu beschränken, wird weiter unten detailliert beschrieben.

Zusätzlich oder alternativ zur beschriebenen Vorgehensweise können Sie für einzelne Seiten das HTML-Meta-Tag „robots“ (http://de.selfhtml.org/html/kopfdaten/meta.htm) benutzen, um die Indexierung beziehungsweise das Weiterverfolgen enthaltener Links zu steuern.