Community  »  Suchanfragen für Scripts/Programmierung

Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Hallo Leute, ich suche ein Script das bestimmte "Werte" bzw. "Zeilen" aus Webseiten auslesen kann um daraus Statistiken zu erstellen. Hat jemand einen Tip oder kann mir weiterhelfen? Wäre sehr dankbar! MfG Vic Datum: 01.05.2005-16:06
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Willst du Daten aus einer HTML-Seite? Was für Daten willst du denn daraus extrahieren? Welche Programmiersprache? Datum: 01.05.2005-18:55
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Hi Cosmic, ich möchte eigene Wetterstatistiken anfertigen, sprich Daten von verschiedenen Websites extrahieren (z.B. Wetter.com). Die Daten werden auf den Seiten ganz normal angezeigt...wahrscheinlich verbergen sich dahinter auch Scripts aller Programmiersprachen, aber da der Browser diese Daten ja ganz normal ohne ein Applett o.ä. anzeigen kann müsste es doch möglich sein an die daten ranzukommen, oder? MfG und schonmal vielen Dank für die Hilfe Vic Datum: 01.05.2005-20:11
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Nun ja, mit PHP könnte so etwas realisiert werden. Allerdings müsste das Script dann für jede Seite einzeln gebaut werden. Übrigens bin ich mir nicht sicher ob es legal ist die Daten von anderen Seiten so zu verwenden. Aber das Script könnte so funktionieren: 1) Der Server liest die HTML-Seite ein. 2) Der Server sucht mit regulären Ausdrücken nach den Daten. 3) Der Server zeigt diese an. An welche Seite hast du dabei gedacht? Datum: 01.05.2005-21:26
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
zur legalitätsfrage...ich könnte ja auch einfach die ganzen daten abtippen, aber wär halt ne heidenarbeit...und ich benutze sie ja nur privat! "HTML Seite einlesen" hört sich schon ganz gut an!! Habe an Seiten wie wetter.com, donnerwetter.de, wetter123.de usw. gedacht um gute durchschnittswerte zu erhalten! Hätte gedacht sowas in der Art gäbe es bereits. Selber programmieren kann ich nicht, habe jedoch schon mit CGI Scripts gearbeitet und diese je nach Situation etwas umgebaut. MfG Vic Datum: 01.05.2005-21:30
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Verfügst du über PHP? Datum: 01.05.2005-21:58
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Zur Zeit verfüge ich über keinen Webspace, habe auch noch nicht mit PHP gearbeitet. Datum: 01.05.2005-22:00
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Wenn du Webspace mit PHP hast, dann könnte ich dir schon helfen (glaub ich mal). Jedoch brauchst du dann Webseiten wo die Wetterdaten statistisch in einer Tabelle oder ähnlich stehen. Diese Daten können numerisch (z.B. 15° C) oder Wörtlich (z.B. "bewölkt") sein. Datum: 01.05.2005-22:26
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Bei donnerwetter.de werden die Temperaturdaten die ich benötige z.B. im Quelltext in einer ganz normalen HTML Tabelle angezeigt. Meinst du sowas? MfG Vic Datum: 01.05.2005-22:42
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Ja, denn wenn auf einer Seite einfach ein ganz langer Text steht, kann man einem Computer nur schwer erklären was er damit machen soll. Datum: 01.05.2005-23:11
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Ja das hast du recht. Die allermeißten Werte die ich benötige werden ebenfalls der eben genannten Form vorzufinden sein, sprich in HTML Tabellen. Gibt es ein Grundscript für solche Aufgaben?? MfG und vielen Dank Vic Datum: 01.05.2005-23:14
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Ein "Grundscript" würde ich es nicht nennen. Eher eine "Grundidee". Die Idee ist dass du mit regulären Ausdrücken arbeitest. Ein "regulärer Ausdruck" ist ein Suchmuster für dem Computer: z.B. "suche ein Wort das anfängt mit ein S (Gros- oder Kleinschreibung ist egal) dass höchstens 7 Zeichen lang is" Dabei könntest du aus folgender Tabelle <table> <tr> <td>Temperatur</td> <td>26° C</td> </tr> </table> den Satz zwischen <tr> und </tr> holen, diesen aufsplitten und in eine Variable speichern. Die Variable könnte ein assoziativer Array sein, z.B. $Wetterdaten['Temperatur'] = $Temperatur Mit welche Programmiersprachen kennst du dich aus? Datum: 01.05.2005-23:54
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
hey herzlichen Dank schonmal dafür. Ich kenne mich leider mit keiner wirklich aus. (das normale webseiten HTML sehe ich jetzt mal nicht als Prog.sprache an) Habe wie gesagt etwas mit CGI rumgebastelt, ist aber schon einige Jahre her. Das was du schreibst verstehe ich schon, aber mehr auch nicht. Dachte halt ich würde evtl. wieder ein fertiges Script finden das ich für mich modifizieren kann. Selber schreiben kann ich auf jedenfall keins, und das mir einer einfach so eins schreibt ist zuviel verlangt...hmm dummerweise hab ich auch erstmal keine Zeit mir ein paar kenntnisse anzueignen (!). Gibt es wirklich kein Grundscript das ich mit Tips wie z.B. der den du mir gerade gegeben hast modifizieren könnte? MfG Ulf Datum: 02.05.2005-00:04
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Mit CGI meinst du warscheinlich Perl. Damit kenne ich mich nicht so richtig aus. In PHP könnte ein Script so aussehen: <?php $verbindung = fopen('datei.html','r'); $inhalt = fread($verbindung, filesize('datei.html')); fclose($verbindung); ?> Hiermit wird eine Seite ausgelesen (mehr dazu auf http://www.it-academy.cc/content/article_browse.php?ID=1401) Danach kannst du mit einem Muster suchen nach z.B. eine bestimmte Tabelle: <?php $tabelle = preg_grep("/<table id=\"wettertabelle\">.+<\/table>/", $inhalt); ?> Danach kannst du die einzelnen Zeile herausholen: <?php $zeilen = preg_grep("/<tr>.+<\/tr>/", $tabelle); ?> Dann kanst du pro Zeile deine Daten herausholen: <?php $zeilen[0] = preg_replace("/<tr><td>(.+)<\/td><td>(.+)<\/td><\/tr>/", "$1 = $2", $zeilen[0]); $zeilen[0] = split(" = ", $zeilen[0]); ?> Wenn die erste Tabellenzeile jetzt etwas währe wie "Temperatur : 21°", dann währe dies jetzt so verteilt: <?php $zeilen[0][0] = "Temperatur"; $zeilen[0][1] = "21°"; ?> Ich habe das jetzt nicht getestet. Datum: 02.05.2005-12:07
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Wie ich schon auf Perl-Community.de sagte: "Holen" der Datei von einem anderen Rechner: LWP::Simple vom eigenen Rechner: perldoc -f open Auswerten mit HTML::Parser Datum: 02.05.2005-13:50
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
hey Patrick, wow vielen Dank das sieht gut aus! Ich seh schon...ich muss mich demnächst wohl mal in PHP einarbeiten (wenn sich etwas freizeit ergibt). Habe das ganze etwas unterschätzt. Denke gute Tutorials gibt es genug im Inet was? Wie liese sich die auswertung dann realisieren? Muss nicht graphisch sein, eine Tabelle aus errechneten Werten tuts auch. MfG Ulf Datum: 03.05.2005-00:32
re: Script zur Statistikerstellung aus Werten von Webseiten	Seitenanfang
Tja, solche grafische Darstellungen lassen sich mit PHP realisieren, solche Scripte kann man kostenlos im Internet bekommen. Eine rechte gute Sammlung bietet www.HotScripts.com Weiter sollte man halt versuchen die Daten von andere Seiten zu bekommen. Dafür muss dieser Teil des Script für jede Seite einzeln angepasst werden und müssen diese Daten in Zahlen herausgefiltert werden. Der Rest ist eine mathematische Angelegenheit. Datum: 05.05.2005-17:47