Datenhaltung

Proggen.org - Lernprojekt: Duplikatefinder
Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8492
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Datenhaltung

Beitrag von Xin » Di Jun 08, 2010 10:22 am

Worum sich bisher niemand kümmert ist die Datenhaltung, also wie werden gefundene Hashs auf der Platte verwaltet.

Wie sieht's hier aus?
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Benutzeravatar
Dirty Oerti
Beiträge: 2229
Registriert: Di Jul 08, 2008 5:05 pm
Wohnort: Thurndorf / Würzburg

Re: Datenhaltung

Beitrag von Dirty Oerti » Di Jun 08, 2010 11:44 am

Also ich kann mich darum kümmern, aber du weißt ja, nur bis spätestens 1. Juli
Vielleicht sollten wir vor allem einmal klären, welche Ansprüche an unsere Datenhaltung gestellt werden.
Demnach kann man dann ein Modell entwerfen, das wir dann umsetzen können.

Ich fang mal an mit den Überlegungen:

Wir haben Hashwerte einzelner Dateien.
Folglich müssen wir Hashwerte in Verbindung mit einer Pfadangabe (der Datei) speichern.
Dazu sollten noch weitere Informationen kommen wie Größe der Datei, Datum der Indizierung (also wann die Datei in die Datenhaltung aufgenommen wurde) und eventuell Informationen zu Erstellungsdatum o.ä.
Gleichzeitig könnte die Datenhaltung aber auch Verknüpfungen zu anderen Elementen innerhalb der Datenhaltung enthalten (^^), um so schnell das Auffinden von Duplikaten zu ermöglichen.
Außerdem müssen noch "Steuerinformationen" gehalten werden, wie z.B. dass die jeweilige Datei nicht als Duplikat anzusehen ist (weil sie z.B. ein Backup ist) o.ä.
Bei Fragen einfach an daniel[ät]proggen[Punkt]org
Ich helfe gerne! :)
----------
Wenn du ein Licht am Ende des Tunnels siehst, freu dich nicht zu früh! Es könnte ein Zug sein, der auf dich zukommt!
----
It said: "Install Win95 or better ..." So I installed Linux.

Benutzeravatar
Bebu
Beiträge: 562
Registriert: Mi Okt 21, 2009 6:19 pm
Wohnort: In der Nähe von Salzburg - Bin aber kein Österreicher!

Re: Datenhaltung

Beitrag von Bebu » Mi Jun 09, 2010 1:34 am

Ich werfe an dieser Stelle mal eine Datenbank in den Raum. Es muss nicht SQLite sein, würde sich aber anbieten. Vielleicht kennt aber noch jemand eine anderes Datenbanksystem, das sich für so einen Zweck besser eigenen würde.
Wer immer nach dem Unerreichbaren jagt, der wird irgendwann auf die Schnauze fallen!

Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8492
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Re: Datenhaltung

Beitrag von Xin » Mi Jun 09, 2010 3:14 pm

Bebu hat geschrieben:Ich werfe an dieser Stelle mal eine Datenbank in den Raum. Es muss nicht SQLite sein, würde sich aber anbieten. Vielleicht kennt aber noch jemand eine anderes Datenbanksystem, das sich für so einen Zweck besser eigenen würde.
Auf den ersten Blick erscheint mir SQLite ebenfalls sinnvoll. Sollte sich niemand dafür finden, würde ich durchaus Interesse anmelden, da ich mit SQLite noch nicht gearbeitet habe und ich das Tutorial hier sowieso gerne mal nachvollziehen wollte.
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Benutzeravatar
Dirty Oerti
Beiträge: 2229
Registriert: Di Jul 08, 2008 5:05 pm
Wohnort: Thurndorf / Würzburg

Re: Datenhaltung

Beitrag von Dirty Oerti » Mi Jun 09, 2010 9:35 pm

Hehe, das meinte ich damit eigentlich.
SQLite ist insofern mein Favorit unter den Datenbanksystemen, da es sehr klein und auch flott ist und außerdem ohne Server auskommt.
Dafür interessieren tu ich mich auch, gearbeitet hab ich damit aber noch nicht. (Ich wollte es auf meinen Heimserver mal testweise installieren und mir die Sache mal angucken)
Bei Fragen einfach an daniel[ät]proggen[Punkt]org
Ich helfe gerne! :)
----------
Wenn du ein Licht am Ende des Tunnels siehst, freu dich nicht zu früh! Es könnte ein Zug sein, der auf dich zukommt!
----
It said: "Install Win95 or better ..." So I installed Linux.

Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8492
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Re: Datenhaltung

Beitrag von Xin » Di Jun 15, 2010 9:55 am

Wir zwei müssen noch Streichhölzer ziehen. Zeit haben wir beide nicht wirklich. Ich habe schon Aufgaben und Du müsstest Dich ziemlich beeilen.
Also... wo bekommen wir die Streichhölzer her, wenn sich sonst keiner hier meldet?
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Benutzeravatar
cloidnerux
Moderator
Beiträge: 3084
Registriert: Fr Sep 26, 2008 4:37 pm
Wohnort: Ram (Gibts wirklich)

Re: Datenhaltung

Beitrag von cloidnerux » Di Jun 15, 2010 1:16 pm

Ich melde mich hier auch mal, obwohl ich noch nicht viel Erfahrung mit Datenbanken gemacht habe.
Ich habe es mal geschafft per C# und ADO.NET auf meine MySQL DB auf meinem Server zuzugreifen, der rest war ja nur noch die aus PHP bekannten Querrys.
Wenn sich sonst keiner meldet und/oder keiner Zeit hat, werde ich versuchen, etwas für Dedupe zusammen zu stricken.
Redundanz macht wiederholen unnötig.
quod erat expectandum

Benutzeravatar
Bebu
Beiträge: 562
Registriert: Mi Okt 21, 2009 6:19 pm
Wohnort: In der Nähe von Salzburg - Bin aber kein Österreicher!

Re: Datenhaltung

Beitrag von Bebu » Di Jun 15, 2010 1:45 pm

Ich könnte auch noch meinen SQLite Wrapper dahingehend überarbeiten. Aber der Lerneffekt wäre für jemanden anders größer.
Wer immer nach dem Unerreichbaren jagt, der wird irgendwann auf die Schnauze fallen!

Benutzeravatar
Dirty Oerti
Beiträge: 2229
Registriert: Di Jul 08, 2008 5:05 pm
Wohnort: Thurndorf / Würzburg

Re: Datenhaltung

Beitrag von Dirty Oerti » So Jun 20, 2010 11:09 am

Tag :)

Also viel werd ich leider nicht mehr hinbekommen (stehen noch allerlei Veranstaltungen auf dem Plan -.- )
Bei Fragen einfach an daniel[ät]proggen[Punkt]org
Ich helfe gerne! :)
----------
Wenn du ein Licht am Ende des Tunnels siehst, freu dich nicht zu früh! Es könnte ein Zug sein, der auf dich zukommt!
----
It said: "Install Win95 or better ..." So I installed Linux.

Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8492
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Re: Datenhaltung

Beitrag von Xin » So Jun 20, 2010 2:38 pm

Dirty Oerti hat geschrieben:Also viel werd ich leider nicht mehr hinbekommen (stehen noch allerlei Veranstaltungen auf dem Plan -.- )
Das vermutete ich schon.

Ich hoffe, Du findest noch etwas Zeit hierfür, wenn Du in die nächste Veranstaltungsreihe gehst.
Gegebenenfalls mache ich das aber.
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Antworten