Dynamische Push Webseiten einlesen

[DBK]

Hallo,

 

wie schon oft diskutiert möchte ich Webseiten in EXCEL einlesen und weiterverarbeiten bzw. mit Triggerwerten vergleichen.

Das funktioniert auch problemlos mit der zugehörigen EXCEL Funktion zum einlesen von Webseiten, zum Beispiel alle 60 Sekunden.

 

Ich suche jedoch (bisher vergeblich im Web) eine Möglichkeit, eine Webseite mit dynamischen Push(!)-Kursen (wie zum Beispiel "www.boerse-stuttgart.de" die Tabelle "Marktübersicht") einzulesen OHNE jedesmal die Seite aktiv aufzurufen, wie es EXCEL tun würde mit der eingebauten Funktion.

 

Hintergrund ist ganz einfach, dass ich bei jeder aktiven Abfrage der Kurse (=Aufruf der Webseite) im Minutentakt zahlreiche aktive Aufrufe erzeuge (bei 1 Minute = 60 * 8 Std. = 480 pro Tag), die evtl. bewirken könnten, dass meine IP-Adresse gesperrt werden könnte (konjunktiv) ....

 

Wenn ich jedoch Push-Anzeigen lesen könnte, würde nicht jedesmal ein aktiver Aufruf der Webseite durch mich erzeugt werden.

 

Die Web-Daten müssen auch nicht unbedingt in EXCEL eingelesen werden.

 

Bei mir geht es darum, dass ich in EXCEL täglich für jede Aktie einen Triggerkurs berechne und reagieren möchte, wenn dieser über- oder unterschritten ist.

Diese 30 Triggerkurse z. Bsp. bei DAX-Werten liegen in EXCEL vor. Natürlich wollte ich diese 30 Trigger-Kurse nicht täglich händisch übertragen wollen. ;-)

 

Die Webseite möchte ich frei wählen können. Also kein Tool von flatex, Consors etc. mit Bindung an eine bestimmte Datenquelle.

Konkret wäre es "https://www.boerse-stuttgart.de/rd/de/indizes/constituents?ID_NOTATION=20735" ; da ich dort aus bestimmten Gründen die Spalten "Geld" und "Brief" beobachten und mit meinen EXCEL-Werten vergleichen möchte.

 

Ich wäre schon zufrieden, wenn mir jemand einen Hinweis auf mögliche Scripte, Programmodule etc. geben könnte, die ich dann ggf. noch anpassen müsste....

 

Danke im Voraus

Gruß Klaus

[RED-BARON]

Hallo,

 

wie schon oft diskutiert möchte ich Webseiten in EXCEL einlesen und weiterverarbeiten bzw. mit Triggerwerten vergleichen.

Das funktioniert auch problemlos mit der zugehörigen EXCEL Funktion zum einlesen von Webseiten, zum Beispiel alle 60 Sekunden.

 

Ich suche jedoch (bisher vergeblich im Web) eine Möglichkeit, eine Webseite mit dynamischen Push(!)-Kursen (wie zum Beispiel "www.boerse-stuttgart.de" die Tabelle "Marktübersicht") einzulesen OHNE jedesmal die Seite aktiv aufzurufen, wie es EXCEL tun würde mit der eingebauten Funktion.

 

Hintergrund ist ganz einfach, dass ich bei jeder aktiven Abfrage der Kurse (=Aufruf der Webseite) im Minutentakt zahlreiche aktive Aufrufe erzeuge (bei 1 Minute = 60 * 8 Std. = 480 pro Tag), die evtl. bewirken könnten, dass meine IP-Adresse gesperrt werden könnte (konjunktiv) ....

 

Wenn ich jedoch Push-Anzeigen lesen könnte, würde nicht jedesmal ein aktiver Aufruf der Webseite durch mich erzeugt werden.

 

Die Web-Daten müssen auch nicht unbedingt in EXCEL eingelesen werden.

 

Bei mir geht es darum, dass ich in EXCEL täglich für jede Aktie einen Triggerkurs berechne und reagieren möchte, wenn dieser über- oder unterschritten ist.

Diese 30 Triggerkurse z. Bsp. bei DAX-Werten liegen in EXCEL vor. Natürlich wollte ich diese 30 Trigger-Kurse nicht täglich händisch übertragen wollen. ;-)

 

Die Webseite möchte ich frei wählen können. Also kein Tool von flatex, Consors etc. mit Bindung an eine bestimmte Datenquelle.

Konkret wäre es "https://www.boerse-stuttgart.de/rd/de/indizes/constituents?ID_NOTATION=20735" ; da ich dort aus bestimmten Gründen die Spalten "Geld" und "Brief" beobachten und mit meinen EXCEL-Werten vergleichen möchte.

 

Ich wäre schon zufrieden, wenn mir jemand einen Hinweis auf mögliche Scripte, Programmodule etc. geben könnte, die ich dann ggf. noch anpassen müsste....

 

Danke im Voraus

Gruß Klaus

 

 

Sieht nach einem Ansatz aus

 

https://developer.mozilla.org/en/docs/Creating_a_dynamic_status_bar_extension

[H.B.]

Du stellst vermutlich die falsche Frage.

 

Wenn du intraday-Daten auswerten möchtest, dann ist eine Webseite aus meiner Sicht die falsche Datenquelle.

Was du brauchst ist eine api, aus der du die Daten auslesen kannst.

 

Google oder yahoo (und auch IB) haben so etwas.

Also Tool hierfür kann ich dir Amibroker/AmiQuote ans Herz legen.

 

Hier ein kleines Ruby-Script zum Auslesen von Google-Daten

module Google_support
=begin
Allgemeine Methode zur Abfrage von Google-Finance-Daten
Aufruf: 
 {Object}.g_query{ google_symbol }   gibt den Google-Datensatz zurück
 [Object}.g_query(4){ google_symbol} extrahiert den Preis
 [Object}.g_query(3){ google_symbol} extrahiert den Handelsplatz
 weitere Datenfelder können analog ausgelesen werden

ToDo: Ausnahmebehandlung: response_code != 200; Symbol nicht gefunden etc.
=end
def g_query position=nil
  host= 'finance.google.com'
  path= '/finance/info?client=ig&q='
  response= Net::HTTP.get_response(host,path + yield)
  if response.code=="200"
    if position.nil?
      response.body
    else
      response.body.split(/:/).at(position).split("\"").at(1)
    end
  end
end

end # module

(im Objekt Google)
Exchanges=[ "AMEX", "NYSE", "NASDAQ", "NYSEARCA", "INDEXSP","TSE", "ETR","BIT","PINK","ASX","EPA"]

def query_symbol
  # kop fragt get_exchange, ob ein Google-Record vorliegt
  kop= lambda do |x|
     unless symbol.nil? || x.nil?
     self.symbol=x+':'+symbol
     end
     get_exchange
  end
  # Falls keine Exchange angegeben wurde, diese versuchen zu bekommen
  get_exchange if exchange.nil?
  # Immer noch keine Exchange, dann alle Standard-Exchanges testen
  Exchanges.detect{|x|  kop.call x } if exchange.nil?
  if exchange.nil?
    symbol
  else
    exchange + ":" + symbol
  end
end

(und)


     # google-symbole müssen ein ":" enthalten!
price =     g_query(4){ query_symbol }.delete(',').to_f

Have Fun

[DBK]

Hi,

 

danke für Deine Antwort.

Ich stimme zu, dass eine API wahrscheinlich die richtige (einzige) sinnvolle Lösung ist.

 

Habe noch keine Ruby-Scripte geschrieben, aber liest das Programm wirklich aus einem "virtuellen" Bildschirm ab, ohne eine die Webseite "physisch" erneut aufzurufen?

Muss mich mal einarbeiten....

 

Die Stuttgarter-Börse-Seite für DAX-Aktien (https://www.boerse-stuttgart.de/rd/de/indizes/constituents?ID_NOTATION=20735)

ist für meinen Zweck wichtig, da dort eine für mich wichtige Info enthalten ist.... ;-))

 

Gruß

Klaus

[pauku1]

Hallo,

...

Ich suche jedoch (bisher vergeblich im Web) eine Möglichkeit, eine Webseite mit dynamischen Push(!)-Kursen (wie zum Beispiel "www.boerse-stuttgart.de" die Tabelle "Marktübersicht") einzulesen OHNE jedesmal die Seite aktiv aufzurufen, wie es EXCEL tun würde mit der eingebauten Funktion.

 

 

Wie so oft führen mehrere Wege zum Ziel. Wenn du Javascript coden kannst, schau mal hier:

 

greasemonkey

 

GreaseSpot Wiki

 

Hilfe zu Greasemonkey

 

Die Lösung, die dir vorschwebt, habe ich auf diesem Weg realisiert (Webseite wird nur 1 x aufgerufen, Pushkurse werden aus dem Browser ausgelesen und in eine Textdatei geschrieben, von dort aus Import nach Excel, Calc, oder wohin man will).

 

Habe leider nicht die Zeit für ein fertiges Beispiel, da mußt du dich selber durchwurschteln. Und wie schon erwähnt, ohne Javascript geht nix.

[DBK]

Hi Pauku1,

 

jau, das isses.

Ich bin auch schon über Greasemonkey gestolpert. Meinte aber, damit nicht weiter zu kommen.

 

War mittlerweile schon in diversen Foren dazu. Was "Fertiges" zumindest für ein "Lesen" der Börsenwerte scheint es nicht zu geben. :-(

 

Aber so heißt es sich einarbeiten und vorarbeiten ... ;-)

 

Danke.

 

Gruß Klaus

[H.B.]

 

Die Stuttgarter-Börse-Seite für DAX-Aktien (https://www.boerse-stuttgart.de/rd/de/indizes/constituents?ID_NOTATION=20735)

ist für meinen Zweck wichtig, da dort eine für mich wichtige Info enthalten ist.... ;-))

 

Gruß

Klaus

 

Moment.

 

Reden hier über eine Anwendung, die zu echten Handelsentscheidungen führt oder einer, die Kurse zur Auswertung in eine Anwendung einpflegt?

Für letzteres reichen EOD-Daten von Google oder Yahoo,

Für ersteres ist ein »echter« Börsenfeed unverzichtbar.

 

Schau dir mal das ib-ruby-Projekt an ( https://github.com/ib-ruby/ib-ruby ). Auf die von der TWS gelieferten Daten kann man sich verlassen.

Push-Kurse auf irgendwelchen Webseiten sind Spielerei (und darüberhinaus nutzlose bandbreitefressende Zeitklauer für Börsennovizen)

[DBK]

Hi,

 

das Ganze funktioniert seit 5 Jahren etwas "mühsam" und mit EXCEL (Abfrage alle 15 Minuten = 34 physische Web-Abfragen pro Tag) und es ist nun Zeit, das Ganze ein bisschen voranzubringen.

 

Die Umstellung in EXCEL auf minütliche Web-Abfrage wäre ein Sache von einer Minute, aber das wären dann rund 8,5*60 = rund 500 physische Web-Abfragen am Tag. Ich fürchte, dass das nicht jeder Provider auf Dauer möchte.... ;-)

 

Deshalb Umstellung auf Push-Kurse. Problem dabei: das auslesen geht nicht mehr mit EXCEL.... Deshalb die Suche nach einer neuen Lösung.

Nur am Rande: Wegen des Delays bei "Realtime" sind nicht alle Online-Sites hilfreich. Für meine Belange kommen mir dabei die Informationen u.a. bei Ariva.de (relativ gut) und börse-stuttgart (bestens) und kostenlos entgegen. ;-)

 

 

In Summe ist der Prozess folgender:

1. Der PC läuft und steht daheim.

2. Das Target für jede Aktie wird am Vorabend in EXCEL berechnet.

3. Neu soll die minütliche Abfrage anhand von Push-Kursen und Vergleich mit dem Target sein - statt dem bisherigen EXCEL.

4. Welche Aktie das Target erreicht, löst eine simple email aus.

5. Da ich tagsüber im Büro am PC sitze, erhalte ich bei Erreichen des Targets eine simple email-Nachricht an meinen Büro-PC (Outlook grüßt rechts unten.. ).

6. Der Rest des Kaufs mit endgültiger Prüfung läuft dann manuell - immer in der Hoffnung, das Target wurde zwischenzeitlich nicht wieder verlassen. Deshalb ist Zeit mal wieder bares Geld.

 

Momentan ist für mich der Anfang mit der Web-Abfrage in Punkt 3. der schwierigste Teil. Programmiererfahrung ist zwar vorhanden, aber - noch nicht - mit JAVA Scripten.

 

Ich hoffe, mein Ansinnen wird etwas klarer. Bis auf Weiteres wird der Kauf weiterhin manuell bleiben..... Keine Sorge ;-).

 

Danke nochmal und Gruß

Klaus

[H.B.]

 

5. Da ich tagsüber im Büro am PC sitze, erhalte ich bei Erreichen des Targets eine simple email-Nachricht an meinen Büro-PC (Outlook grüßt rechts unten.. ).

 

Das gibt's bei ProRealtime »von der Stange«, kostet allerdings. Wenn du dir ein IB-Konto zulegst, kannst du dies in der TWS einstellen.

Man muss sich immer überlegen, wie effektiv eine derartige Eigenentwicklung ist und schauen, ob es nicht vielleicht doch einen professionellen Partner gibt, der das Ganze als qualifizierten, zuverlässigen Service anbietet.

Bei IB gibt es übrigens auch einen edlen Market-Scanner, der dir unendliche Flexibilität bei der Erstellung von Filterreglen bietet.