supertobs Mai 10, 2008 · bearbeitet Mai 10, 2008 von supertobs Hallo Thomas, hallo Forum, ich habe hier in diesem Forum schon so viel gelernt, ich schreibe auch selbst in meinem Musterdepot eine Art Zusammenfassung mit vielen Links zu den entsprechenden Beiträgen. Ein Schock war die Downtime von ein paar Tagen vor ein paar Monaten. Da kam ich auf den Gedanken das Forum selbst regelmäßig zu sichern. Meine Fragen: - Darf man das? - Wird man gesperrt? (Mein Tool kam nach ein paar jsp nicht weiter) - Wieviel GB sind das eigentlich? - Welches Tool am Mac oder PC ist das Beste? (webdumper bei MAC ist irgendwie hängen geblieben) Gruss, supertobs Diesen Beitrag teilen Link zum Beitrag
Stairway Mai 10, 2008 Hallo Supertobs, ich glaube es war vor einigen Monaten mal die Frage, ob man das Forum herunterladen darf, um sich Offline die Beiträge durchzulesen, da wurde dann eben darauf aufmerksam gemacht, dass dann der Traffic und die Kosten enorm steigen würden. Wenn ich das richtig im Sinn habe. Regards. Diesen Beitrag teilen Link zum Beitrag
Thomas Mai 10, 2008 Hallo supertobs, das Forum wird auch so regelmäßig gesichert - keine Panik, da kann nichts weg kommen. Mit gewissen Tools kann theoretisch jeder selbst das Forum crawlen und abspeichern. Also vom dürfen her ... ja. Allerdings rate ich davon ab, denn dies erzeugt eine enorme Serverlast, da ja jede Seite durch Rechenleistung erst erzeugt werden muss. Dies wäre einem DOS-Angriff ähnlich. Ich kann der Sache auch von Seiten der Serverconfig her vorbeugen, so dass nur eine begrenze Anzahl von Abfragen z.B. innerhalb 10sek. möglich sind und beim Überschreiten die IP für eine gewisse Zeit gesperrt wird. Also lasst es lieber. Der Inhalt des Forums ist soweit save. Diesen Beitrag teilen Link zum Beitrag
Breston Mai 14, 2008 Mit gewissen Tools kann theoretisch jeder selbst das Forum crawlen und abspeichern. Eben. Also vom dürfen her ... ja. Allerdings rate ich davon ab, denn dies erzeugt eine enorme Serverlast, da ja jede Seite durch Rechenleistung erst erzeugt werden muss. Dies wäre einem DOS-Angriff ähnlich. Nö - Google (und andere Suchmaschinen) machen ja auch nichts anderes, und deren Zugriffe sind ja offensichtlich erwünscht (weshalb hast Du die Crawling-Anweisungen eigentlich explizit auf den googlebot eingeschränkt?). Und Massendownloader kann man natürlich auch so timen, dass sie entsprechende Wartezeiten zwischen den Abfragen einlegen. Diesen Beitrag teilen Link zum Beitrag
Thomas Belser Mai 15, 2008 Nö - Google (und andere Suchmaschinen) machen ja auch nichts anderes, und deren Zugriffe sind ja offensichtlich erwünscht (weshalb hast Du die Crawling-Anweisungen eigentlich explizit auf den googlebot eingeschränkt?). Und Massendownloader kann man natürlich auch so timen, dass sie entsprechende Wartezeiten zwischen den Abfragen einlegen. Stimmt so nicht direkt. Die Robots wühlen sich eher durch den Quelltext durch und indizieren den textlichen Inhalt. Wenn man sich dagegen die ganzen Foren-Beiträge lädt, müssen ja auch Grafiken, Scripts, StyleSheet-Dateien und vieles weitere heruntergeladen werden, was sehr viel Traffic verursacht. ;-) Diesen Beitrag teilen Link zum Beitrag
Thomas Mai 15, 2008 Wo er Recht hat, hat er Recht. Zudem ist ein Suchspider um ein vielfaches langsamer (Monate) im Vergleich bei einem vollständigen "Backup". weshalb hast Du die Crawling-Anweisungen eigentlich explizit auf den googlebot eingeschränkt?Für die Vermeidung von duplicate content und der Spider soll ja nur wirklich relevante Seiten indexieren. Diesen Beitrag teilen Link zum Beitrag
Ice_Hammer Mai 17, 2008 · bearbeitet Mai 17, 2008 von Ice_Hammer Mach doch einen Geschäftszweig daraus, eine Offlineversion 29,95 + Versand! Das kostet die Kommerbibel auch und dort steht nicht so viel, wie hier... Ach ja und für meine Idee hätte ich gern 0,5 € für jede CD Danke!!! Diesen Beitrag teilen Link zum Beitrag
IefTina Mai 17, 2008 Mach doch einen Geschäftszweig daraus, eine Offlineversion 29,95 + Versand! Das kostet die Kommerbibel auch und dort steht nicht so viel, wie hier... Ach ja und für meine Idee hätte ich gern 0,5 für jede CD Danke!!! Gute Idee um mal einen kleinen business case aufzumachen. 'Risiko' ist gering, wenn on-demand gebrannt wird. Use-Cases: - Erinnerung 'meine Beiträge' - Backup - für langsame/instabile Inet-Verbindungen oder Downtimes z.B. Reisende, Urlauber, .. Vielleicht reduktion von Traffic, weil sich der Download-Aufwand ggf. nicht mehr lohnt. Diesen Beitrag teilen Link zum Beitrag
