| Vorheriges Thema anzeigen :: Nächstes Thema anzeigen |
| Autor |
Nachricht |
Cantaloop
•-->
Anmeldedatum: 03.11.2005
Beiträge: 26
Wohnort: Wien
|
 Verfasst am: 23.02.2006 - 12:03 Titel: Auf der Suche nach einem guten Agenten |
 |
|
Hi Leuts,
habe folgendes Problem: ich möchte von außen eine wirklich große Website überwachen (25.000+ html Doks) und die ganze Site lokal speichern. Zusätzlich soll das Proggi auch nach einem zweiten durchlauf alle neuen html-dokumente auf der site finden und runterladen...
kennt vielleicht irgendwer eine gute (wenn möglich AS-Fähige) Applikation?
Grüße
Cantaloop |
|
| Nach oben |
|
 |
iScript
•---->
Anmeldedatum: 29.03.2001
Beiträge: 1116
|
| Verfasst am: 24.02.2006 - 01:16 Titel: |
|
|
schau dir mal web-devil von chaotic-sofware an.
vielleicht ist das etwas.
das ist auf jeden fall auch scriptfähig.
ich glaube, das ist genau das, was du suchst.
die machen überhaupt gute software.
http://www.chaoticsoftware.com/
_________________
- anholn deit kriegen - |
|
| Nach oben |
|
|
iScript
•---->
Anmeldedatum: 29.03.2001
Beiträge: 1116
|
| Verfasst am: 24.02.2006 - 01:41 Titel: |
|
|
Eine zugegeben etwas alte Beschreibung von Heise (noch zu OS 9-Zeiten). Das gibt's aber auch schon lange für X, und es sollte sich noch einiges getan haben:
| Heise hat 1998 hat Folgendes geschrieben: | Der Web Devil gefällt mir da schon besser. Der kann zwar weder Dateien per ftp holen, noch kennt er einen Batch-Modus. Dafür arbeitet das 10-Dollar-Programm von `Chaotic Software´ rekursiv, holt auch die auf den Seiten plazierten Grafiken vom Server und folgt den Links - auf Wunsch sogar jenen zu anderen Sites. Die Preferences lassen nur einen Eintrag vermissen: die Unterstützung von Proxies. Wer also übers Firmennetz surft oder bei einem Internet-Provider wie Germany.Net unter Vertrag steht, muß auf die Unterstützung des teuflisch guten Hilfsprogramms verzichten. Ansonsten findet sich aber jede sinnvolle Einstellung im Preferences-Dialog, beispielsweise die (abschaltbare) Beschränkung der Suchtiefe oder auch das Verhalten, wenn eine Datei bereits vorhanden ist (neue Datei umbenennen, alte überschreiben, überspringen, nur holen, falls neuer). Auf Wunsch folgt das Tool lediglich jenen Links, die auf denselben Server und/oder dasselbe Verzeichnis verweisen. Sämtliche Aktionen werden protokolliert, wenn auch nicht gerade ausführlich.
Die `gesaugten´ Dateien landen entsprechend der Verzeichnisstruktur des Servers lokal auf der Platte, so daß man ausgehend von der Default-Seite - die unschönerweise grundsätzlich in index.html umbenannt wird - auch verläßlich in die finstersten Untiefen hinab surfen kann. Leider werden absolute Links nicht in relative umgewandelt.
Der Clou: ein kleines AppleScript - im Gegensatz zum Deputy ist der Devil scriptable - zieht die jeweils aktuelle Seite des Browsers als Ausgangspunkt für tiefere Recherchen heran:
tell application "Netscape Navigator"
copy item 1 of (get window info
(item 1 of (list windows))) to theURL
end tell
tell application "Web Devil"
geturl theURL
end tell
Mit etwas Geschick kann man das Listing natürlich auch an den Internet Explorer anpassen oder erweitern - etwa so, daß alle offenen Fenster verfolgt werden. |
_________________
- anholn deit kriegen - |
|
| Nach oben |
|
|
|
|
Du kannst keine Beiträge in dieses Forum schreiben.
Du kannst auf Beiträge in diesem Forum nicht antworten.
Du kannst deine Beiträge in diesem Forum nicht bearbeiten.
Du kannst deine Beiträge in diesem Forum nicht löschen.
Du kannst an Umfragen in diesem Forum nicht mitmachen.
|
Powered by phpBB © 2001, 2002 phpBB Group
Deutsche Übersetzung von phpBB.de |
|
|
FAQ
Suchen
Mitgliederliste
Benutzergruppen
Registrieren
Profil
Einloggen, um private Nachrichten zu lesen
Login
