Datenbank
- tille
- Topic Author
- Visitor
21 Oct 2010 21:29 #4265
by tille
Datenbank was created by tille
Hallo Patrick,
erzähl mal (und ich hoffe es steht nicht schon 5 mal im Forum - gefunden hab ichs auf jeden Fall nicht):
Wie funktioniert denn Deine tolle Datenbank? Will meinen: Wie werden die Ebay Auktionen ausgewertet, "fotografiert" und archiviert? Macht das ein Tool, was Du mit Suchbegriffen bestückst??
Plauder mal - schließlich sind wir am Stammtisch.... )
Vielleicht interessiert´s ja noch jemand - deswegen hier im Forum gepostet...
Grüße
Tille
erzähl mal (und ich hoffe es steht nicht schon 5 mal im Forum - gefunden hab ichs auf jeden Fall nicht):
Wie funktioniert denn Deine tolle Datenbank? Will meinen: Wie werden die Ebay Auktionen ausgewertet, "fotografiert" und archiviert? Macht das ein Tool, was Du mit Suchbegriffen bestückst??
Plauder mal - schließlich sind wir am Stammtisch.... )
Vielleicht interessiert´s ja noch jemand - deswegen hier im Forum gepostet...
Grüße
Tille
- gawaleus
- Offline
- Administrator
Less
More
22 Oct 2010 18:43 #4266
by gawaleus
Replied by gawaleus on topic Re: Datenbank
Hallo Tille
Im Forum steht bisher noch nichts darüber )
Der Weg bis eine Auktion von eBay in meine Datenbank gelangt ist recht lang, aber natürlich teilweise automatisiert. Anders ginge es nicht, ausser ich würde täglich nichts anderes machen als Auktionen sammeln. )
Ich hatte schon länger vor, mal über die Vorgänge einen Bericht zusammenzustellen. Leider bin ich noch nicht dazu gekommen, bzw. habe es zwischendurch wieder vergessen.
Hier die kürzere Version wie das Ganze funktioniert:
Ich habe bei mir einen Server, der 24h am Tag läuft. Auf diesem habe ich das Programm BayWotch (kurz: BW) installiert. Mit dieser Software können über festgelegte Suchen die Auktionen bei eBay gefunden und in eine lokale Datenbank gespeichert werden. Insgesamt habe ich etwa um die 80 verschiedenen Suchen am Laufen. BW wird alle 30 Minuten einmal gestartet.
Täglich gehe ich morgens alle neu gefunden Auktionen durch und schreibe die neuen Seriennummern in eine Excel-Datei. Gleichzeitig setze ich alle uninteressanten Auktionen (solche die nichts mit G&W zu tun haben) auf „ignorieren“, damit diese nicht erneut erscheinen und verschiebe die gültigen Auktionen (also jene mit G&W) in einen anderen Ordner. Das mache ich jeden Tag, sieben Tage in der Woche und dies dauert jeweils ca. 30 Minuten.
Zu Beginn jeden Monats kommt dann die eigentliche Arbeit:
Zuerst gehe ich alle im letzten Monat gefunden Auktionen (normalerweise etwa 1‘400 bis 1‘600 Stück) durch und weise jeder eine Notiz zu. Insgesamt habe ich über 200 verschiedenen solcher Notizen gespeichert, für jeden möglichen Fall eine. Zum Beispiel Game ohne Box, Game mit Box oder Game mit Box und neuwertig, für die Mini Classics, nur Box ohne Game, nur Anleitung, G&W Zubehör wie Papiere, Batterie-Kleber etc. Nur durch diese Notizen kann ich später die Datensätze auseinanderhalten. Eine solche Notiz sieht in etwa so aus:
01_;Multi Screen;005;C;Loose;DONKEY KONG;DK-52;19;1;4;GAME|
Das wäre ein loser Donkey Kong DK 52 der Multi Screen Serie und es ist ein Game (kein anderer Artikel, also keine Anleitung zum Beispiel). Dies sind die wichtigsten Eckdaten.
Danach weise ich jedem Datensatz, also jeder Auktion die korrekte Länderausgabe zu, indem ich mir jede einzelne Auktion ansehe und in den korrekten Ordner verschiebe. Ich habe zum Beispiel einen Ordner „Pocketsize“, einen „tricOtronic“, einen „J.i21“, einen „standard“ usw. Total um die 15 Ordner.
Anschliessend markiere ich alle neuen Datensätze und rufe über eine Tastenkombination ein Programm auf, das mir von jeder Auktion eine ZIP-Datei erstellt. Diese ZIP-Dateien verschiebe ich auf meinen Server. Vor dort werden sie per Mail verschickt, wenn jemand eine Datei anfordert.
Jetzt endlich kann ich die Daten exportieren. Für den vergangenen Monat exportiere ich alle Auktionen die zwischen dem 1. September 00:00h und dem 30. September 23:59h beendet wurden. Die Daten werden in eine Excel-Datei exportiert.
Diese Excel-Datei öffne ich und entferne diverse Sonderzeichen, danach kopiere ich alle Datensätze in eine andere, speziell vorbereitete Excel-Datei. Dort setze ich das Monatsdatum und die durchschnittlichen Umrechnungskurse vom betreffenden Monat für alle abrufbaren Währungen. Dann lasse ich diverse Makros laufen, die alle Daten aufbereiten, sortieren, umformatieren etc.
Anschliessend habe ich einen SQL-Code, den ich auf total zehn Dateien verteile und die ich dann schlussendlich in die online Datenbank importieren kann. Somit sind alle neuen Auktionen online drin. Gleiches mache ich für die neu erfassten Seriennummern.
Jetzt fehlen noch die Bilder. BayWotch speichert nicht nur die Datensätze der Auktionen, sondern auch das Hauptbild jeder Auktion. Also kopiere ich alle Auktionsnummern vom vergangenen Monat in ein Suchprogramm. Dieses listet mir danach alle Bilder auf. Diese kopiere ich in einen Ordner und mit einem weiteren Programm setze ich die Bildgrösse für alle Bilder neu: Maximal 300 Pixel breit und maximal 300 Pixel hoch. Anschliessend lade ich die Bilder auf den Webserver.
Ganz zum Schluss muss ich noch ein paar Programmdateien anpassen, damit in den Auswahlmenus der neue Monat auch angezeigt wird. Abschliessend noch alles testen und fertig. Der komplette Vorgang den ich hier beschrieben habe dauert in der Regel etwa fünf bis sechs Stunden, bei 1‘800 und mehr Auktionen auch mal sieben Stunden.
Das ist so die Kurzfassung der Vorgänge. Wie gesagt, eine ausführliche Beschreibung ist in Planung )
Na dann: Weiterhin viel Spass mit gameandwatch.ch! )
Grüsse
Patrick
Im Forum steht bisher noch nichts darüber )
Der Weg bis eine Auktion von eBay in meine Datenbank gelangt ist recht lang, aber natürlich teilweise automatisiert. Anders ginge es nicht, ausser ich würde täglich nichts anderes machen als Auktionen sammeln. )
Ich hatte schon länger vor, mal über die Vorgänge einen Bericht zusammenzustellen. Leider bin ich noch nicht dazu gekommen, bzw. habe es zwischendurch wieder vergessen.
Hier die kürzere Version wie das Ganze funktioniert:
Ich habe bei mir einen Server, der 24h am Tag läuft. Auf diesem habe ich das Programm BayWotch (kurz: BW) installiert. Mit dieser Software können über festgelegte Suchen die Auktionen bei eBay gefunden und in eine lokale Datenbank gespeichert werden. Insgesamt habe ich etwa um die 80 verschiedenen Suchen am Laufen. BW wird alle 30 Minuten einmal gestartet.
Täglich gehe ich morgens alle neu gefunden Auktionen durch und schreibe die neuen Seriennummern in eine Excel-Datei. Gleichzeitig setze ich alle uninteressanten Auktionen (solche die nichts mit G&W zu tun haben) auf „ignorieren“, damit diese nicht erneut erscheinen und verschiebe die gültigen Auktionen (also jene mit G&W) in einen anderen Ordner. Das mache ich jeden Tag, sieben Tage in der Woche und dies dauert jeweils ca. 30 Minuten.
Zu Beginn jeden Monats kommt dann die eigentliche Arbeit:
Zuerst gehe ich alle im letzten Monat gefunden Auktionen (normalerweise etwa 1‘400 bis 1‘600 Stück) durch und weise jeder eine Notiz zu. Insgesamt habe ich über 200 verschiedenen solcher Notizen gespeichert, für jeden möglichen Fall eine. Zum Beispiel Game ohne Box, Game mit Box oder Game mit Box und neuwertig, für die Mini Classics, nur Box ohne Game, nur Anleitung, G&W Zubehör wie Papiere, Batterie-Kleber etc. Nur durch diese Notizen kann ich später die Datensätze auseinanderhalten. Eine solche Notiz sieht in etwa so aus:
01_;Multi Screen;005;C;Loose;DONKEY KONG;DK-52;19;1;4;GAME|
Das wäre ein loser Donkey Kong DK 52 der Multi Screen Serie und es ist ein Game (kein anderer Artikel, also keine Anleitung zum Beispiel). Dies sind die wichtigsten Eckdaten.
Danach weise ich jedem Datensatz, also jeder Auktion die korrekte Länderausgabe zu, indem ich mir jede einzelne Auktion ansehe und in den korrekten Ordner verschiebe. Ich habe zum Beispiel einen Ordner „Pocketsize“, einen „tricOtronic“, einen „J.i21“, einen „standard“ usw. Total um die 15 Ordner.
Anschliessend markiere ich alle neuen Datensätze und rufe über eine Tastenkombination ein Programm auf, das mir von jeder Auktion eine ZIP-Datei erstellt. Diese ZIP-Dateien verschiebe ich auf meinen Server. Vor dort werden sie per Mail verschickt, wenn jemand eine Datei anfordert.
Jetzt endlich kann ich die Daten exportieren. Für den vergangenen Monat exportiere ich alle Auktionen die zwischen dem 1. September 00:00h und dem 30. September 23:59h beendet wurden. Die Daten werden in eine Excel-Datei exportiert.
Diese Excel-Datei öffne ich und entferne diverse Sonderzeichen, danach kopiere ich alle Datensätze in eine andere, speziell vorbereitete Excel-Datei. Dort setze ich das Monatsdatum und die durchschnittlichen Umrechnungskurse vom betreffenden Monat für alle abrufbaren Währungen. Dann lasse ich diverse Makros laufen, die alle Daten aufbereiten, sortieren, umformatieren etc.
Anschliessend habe ich einen SQL-Code, den ich auf total zehn Dateien verteile und die ich dann schlussendlich in die online Datenbank importieren kann. Somit sind alle neuen Auktionen online drin. Gleiches mache ich für die neu erfassten Seriennummern.
Jetzt fehlen noch die Bilder. BayWotch speichert nicht nur die Datensätze der Auktionen, sondern auch das Hauptbild jeder Auktion. Also kopiere ich alle Auktionsnummern vom vergangenen Monat in ein Suchprogramm. Dieses listet mir danach alle Bilder auf. Diese kopiere ich in einen Ordner und mit einem weiteren Programm setze ich die Bildgrösse für alle Bilder neu: Maximal 300 Pixel breit und maximal 300 Pixel hoch. Anschliessend lade ich die Bilder auf den Webserver.
Ganz zum Schluss muss ich noch ein paar Programmdateien anpassen, damit in den Auswahlmenus der neue Monat auch angezeigt wird. Abschliessend noch alles testen und fertig. Der komplette Vorgang den ich hier beschrieben habe dauert in der Regel etwa fünf bis sechs Stunden, bei 1‘800 und mehr Auktionen auch mal sieben Stunden.
Das ist so die Kurzfassung der Vorgänge. Wie gesagt, eine ausführliche Beschreibung ist in Planung )
Na dann: Weiterhin viel Spass mit gameandwatch.ch! )
Grüsse
Patrick
- tille
- Topic Author
- Visitor
22 Oct 2010 19:54 #4267
by tille
Replied by tille on topic Re: Datenbank
:ok2: :ok2: :ok2: That´s what i call a real Fan :ok2: :ok2: :ok2:
Danke für die Ausführlichkeit.... ist ne wahnsinns Arbeit!
Besten Dank für den großen Aufwand jeden Tag und jeden Monat :grin:
Danke für die Ausführlichkeit.... ist ne wahnsinns Arbeit!
Besten Dank für den großen Aufwand jeden Tag und jeden Monat :grin:
- gawaleus
- Offline
- Administrator
22 Oct 2010 21:16 #4268
by gawaleus
Replied by gawaleus on topic Re: Datenbank
Bitte schön! Es freut mich, wenn die Arbeit auch anderen hilft unser Hobby weiter zu betreiben :grin: