Aktionen

DepSpid

Aus SETI.Germany Wiki

DepSpid
DepSpid
Ziel:Sammle statistische Daten über die Struktur des Internets
Kategorie:Webcrawler
Homepage:http://www.depspid.net/
Betreiber:Bjoern Henke Deutschland
Status:inaktiv/beendet
Projektadressen
Serverstatus:DepSpid
Forum:DepSpid Forum
SETI.Germany
Teambeitritt:SETI.Germany beitreten
Forenthread:SETI.Germany Forum
Workunits
Calculator Mehr Informationen einblenden
Betriebssysteme:Windows 32 Bit
Bildschirmschoner:Nicht vorhanden
Checkpoints:Nicht vorhanden
Spider Mehr Informationen einblenden
Betriebssysteme:Windows 32 Bit
Bildschirmschoner:Nicht vorhanden
Checkpoints:Nicht vorhanden

DepSpid (Dependency Spider) verfolgte 2 Ziele:

Erstellen einer Datenbank, welche die Abhängigkeiten zwischen individuellen Webseiten und Gruppen von Webseiten beinhaltet. Sammeln statistischer Daten über die Struktur des Netzes.

DepSpid benutzte eine nicht CPU-intensive Anwendung, um Websites durchzuscannen („Crawlen“). Mit nicht CPU-intensiv ist gemeint, dass die WUs dieses Projektes (bis zu 20 gleichzeitig) friedlich laufen, während auch CPU-intensive Anwendungen von anderen Projekten laufen.

Nur gelegentlich wird mal die ein oder andere CPU-Sekunde abgezweigt. Eine laufende WU rief normalerweise zwischen 150 und 250 Websites auf, entsprechend musste man auch für 20 WUs gleichzeitig nicht unbedingt die allerschnellste Leitung haben.

Die WUs hatten eine feste Laufzeit (1 Tag), egal wie lange der Rechner in diesem Zeitraum aktiv oder online war. Pro ca. 5 MiB Traffic gab es einen BOINC-Cobblestone.

Die Anwendung führte keine Skripte aus, sodass eventuelle Viren nicht ausgeführt worden (vgl. dieser Post nicht mehr erreichbar). Von der Benutzung auf Firmenrechnern wurde jedoch abgeraten, da nicht beeinflusst werden konnte, welche Seiten aufgerufen worden, und nun einmal auch anstößige Seiten zum Internet gehören.

Ziel der ganzen Sache war es, einerseits eine Datenbank aufzubauen, welche die Abhängigkeiten zwischen Websites im Internet enthält, und andererseits statistische Daten über die Struktur des Internets zu erhalten.

Die Spider-Anwendung war nur für Windows verfügbar.

Projektende

26. Oktober 2008

Weblinks

Single Sign On provided by vBSSO