proggen.org Suchmaschine

Content Management System für proggen.org
Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8858
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

proggen.org Suchmaschine

Beitrag von Xin » Di Apr 19, 2011 9:59 am

Wie ihr alle wisst, habe ich Arbeit bis über den Kopf. Daher mag das ganze hier erstmal wahnsinnig klingen, aber ohne Herausforderungen wär's ja auch langweilig. ^^
Und es ist ein Anschlussprojekt - wenn das Wiki dann irgendwann mal steht, aber ich mache mir gerne frühzeitig Gedanken über kommende Projekte und wie ich kommende Projekte mit bestehenden Projekten vorbereite. Was in diesem Thread läuft, ist also definitiv nichts, was in diesem Jahr noch akut wird.

Schon länger mache ich mit Gedanken über eine Suchmaschine. Ich denke, dass ich da nicht vollkommen blind rangehe, da ich mich mit dem Thema schonmal beruflich beschäftigen konnte. Mit proggen.org würde sich eine themenbezogene Suchmaschine anbieten, also etwas, was bei "Kalorienverbrauch Joggen" keine Ergebnisse liefert, dafür bekomme ich aber bei "C Baum" nicht beim dritten Anhang eines Naturkundelexikons oder römischen Zahlendarstellungen für Förster des Altertums.

Was mich interessiert:
  • Was sucht ihr?
  • Wie sucht ihr?
  • Was findet ihr?
  • Was findet ihr nicht?
  • Was würdet ihr gerne besser finden?
  • Was nervt?
  • Was würde euch begeistern?
Das neue CMS wird ebenfalls eine Suchfunktion benötigen. Es kann also nicht schaden, sich über so ein Thema Gedanken zu machen, bevor das CMS fertig ist.
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Benutzeravatar
cloidnerux
Moderator
Beiträge: 3123
Registriert: Fr Sep 26, 2008 4:37 pm
Wohnort: Ram (Gibts wirklich)

Re: proggen.org Suchmaschine

Beitrag von cloidnerux » Di Apr 19, 2011 10:58 am

Was sucht ihr?
Informationen, Inhalte, Lösungen
Wie sucht ihr?
Wenn ich weis, wo es das gibt, bzw geben könnte direkt an der Addresse oder ich gebe es bei google ein, spezifiziere mein Suchbegriff oder variiere ihn, schau mal bei wolframalpha vorbei. Wenn ich dann immer noch nix habe und ich die Frage beantwortet haben will, dann schreibe ich die Frage in ein Forum.
Was findet ihr?
Entweder nichts, spärliche Informationsfetzen die man erst zusammen setzten muss und auf sei eigenes Problem portieren muss oder man findet genau DAS, was man gesucht hat, was nicht immer eintrifft.
Was findet ihr nicht?
ka?
Das neue CMS wird ebenfalls eine Suchfunktion benötigen. Es kann also nicht schaden, sich über so ein Thema Gedanken zu machen, bevor das CMS fertig ist.
Eine Suchfunktion hatte die c't mal in PHP implementiert.
Konkret haben die einfach die Texte nach Stichwörtern unter Ausblendung von unwichtigen Bindewörtern(und, oder, ist, das ...), die dann in eine Datenbank eingegeben mitsamt Pfad zur Datei und wenn der Suchbegriff eingeben wurde, wurden halt die Entsprechenden Seiten aufgerufen.
Was ich aber als Cool erachten würde, wäre eine W|A anbindung(es gibt ne API), sodass man auch Formeln/Plots direkt aus der Sucher heraus finden kann^^
Redundanz macht wiederholen unnötig.
quod erat expectandum

Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8858
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Re: proggen.org Suchmaschine

Beitrag von Xin » Di Apr 19, 2011 11:07 am

cloidnerux hat geschrieben:
Was sucht ihr?
Informationen, Inhalte, Lösungen
Klingt oberflächlich.... aber als ich es löschen wollte, kam mir doch ein paar Ideen... definiere die Begriffe mal bitte.
cloidnerux hat geschrieben:
Was findet ihr nicht?
ka?
Was fehlt Dir grundsätzlich bei einer Suche?
cloidnerux hat geschrieben:Eine Suchfunktion hatte die c't mal in PHP implementiert.
Konkret haben die einfach die Texte nach Stichwörtern unter Ausblendung von unwichtigen Bindewörtern(und, oder, ist, das ...), die dann in eine Datenbank eingegeben mitsamt Pfad zur Datei und wenn der Suchbegriff eingeben wurde, wurden halt die Entsprechenden Seiten aufgerufen.
Ganz so einfach wird das bei mir nichtmals in der ersten Version laufen. Ich bin auch nicht sonderlich überzeugt, dass ich hier auf eine SQL-Datenbank bauen würde, bestenfalls in einer Proof-Of-Concept-Version.
cloidnerux hat geschrieben:Was ich aber als Cool erachten würde, wäre eine W|A anbindung(es gibt ne API), sodass man auch Formeln/Plots direkt aus der Sucher heraus finden kann^^
Wie möchtest Du auf das Suchergebnis bzw. zukünftige Suchergebenisse Einfluss nehmen können?

Du schriebst, dass Du die Suche variierst. Wie variierst Du? Was würdest Du gerne noch machen können außer Suchbegriffe auszutauschen?
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Benutzeravatar
cloidnerux
Moderator
Beiträge: 3123
Registriert: Fr Sep 26, 2008 4:37 pm
Wohnort: Ram (Gibts wirklich)

Re: proggen.org Suchmaschine

Beitrag von cloidnerux » Di Apr 19, 2011 11:40 am

definiere die Begriffe mal bitte.
Information:
Es geht um eine Antwort auf eine Konkrete Frage, z.B wann die Sprache C erfunden wurde. Nicht dazu gehört für mich alles was darüber hinaus geht, also z.B ein Vergleich mit anderen Programmiersprachen.
Inhalte: Ist für mich etwas wie ein Artikel, Wikieintrag, Blogeintrag etc. Suche ich nach Inhalten, so habe ich noch keine konkrete Vorstellung von dem Thema, will mich also über etwas Informieren, z.B die Sprache C.
Lösungen: Ist im Grunde ein Hybrid aus Info und Inhalt. Es geht um etwas bestimmteres, was vlt auch Hintergrundwissen braucht, aber auch eine Konkrete Aussage erfordert. Z.B wäre eine Lösung für mich ein artikel über einen Linkerfehler im Stil von ...missing..., der dann zum einen kurz erklärt was da jetzt scheif gegenagen ist aber auch eine Konkrete Information enthält: Librarys einbinden!
Was fehlt Dir grundsätzlich bei einer Suche?
Egt nichts, ich nutze die Möglichkeiten die ich habe und versuche so weit wie möglich zu kommen.
Ganz so einfach wird das bei mir nichtmals in der ersten Version laufen. Ich bin auch nicht sonderlich überzeugt, dass ich hier auf eine SQL-Datenbank bauen würde, bestenfalls in einer Proof-Of-Concept-Version.
Man braucht keine Datenbank, man muss aber irgendwie die Informationen aus den Texten extrahieren und komprimiert speichern, da eine live-Volltextsuche viel zu langsam wäre.
Wie möchtest Du auf das Suchergebnis bzw. zukünftige Suchergebenisse Einfluss nehmen können?
Cool wäre in dem Sinne eine Funktion, NUR die Suchergebnisse zu Filtern, sodass man nicht immer neu alles Durchsucht.
Auch cool wäre wenn man per Prä/Suffix die Suche beeinflussen könnte, also etwas wie:

Code: Alles auswählen

forum: C lernen
oder

Code: Alles auswählen

Library @faq
Du schriebst, dass Du die Suche variierst. Wie variierst Du? Was würdest Du gerne noch machen können außer Suchbegriffe auszutauschen?
Zum einen Suchbegriffe spezifizieren, statt "Programmieren lernen" "C-Programmierung lernen".
Auch das Hinzufügen von weiteren Schlüsselwörtern hilft.
Was aber nützlich wäre, wäre eine Filterung für Alte Inhalte, unbeantwortete Foreneinträge, Seiten die einfach nur weiter verweisen, Links zu suchmaschinen.
Redundanz macht wiederholen unnötig.
quod erat expectandum

Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8858
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Re: proggen.org Suchmaschine

Beitrag von Xin » Di Apr 19, 2011 12:03 pm

cloidnerux hat geschrieben:Information:
Es geht um eine Antwort auf eine Konkrete Frage, z.B wann die Sprache C erfunden wurde. Nicht dazu gehört für mich alles was darüber hinaus geht, also z.B ein Vergleich mit anderen Programmiersprachen.
Okay, das wäre dann quasi die Wolfram Alpha Einbindung. ^^
cloidnerux hat geschrieben: Inhalte: Ist für mich etwas wie ein Artikel, Wikieintrag, Blogeintrag etc. Suche ich nach Inhalten, so habe ich noch keine konkrete Vorstellung von dem Thema, will mich also über etwas Informieren, z.B die Sprache C.
Das wäre wie Google, also eine normale Suchmaschine.
cloidnerux hat geschrieben:Lösungen: Ist im Grunde ein Hybrid aus Info und Inhalt. Es geht um etwas bestimmteres, was vlt auch Hintergrundwissen braucht, aber auch eine Konkrete Aussage erfordert. Z.B wäre eine Lösung für mich ein artikel über einen Linkerfehler im Stil von ...missing..., der dann zum einen kurz erklärt was da jetzt scheif gegenagen ist aber auch eine Konkrete Information enthält: Librarys einbinden!
Das wird im Prinzip vom Forum abgedeckt...

Aber die Unterscheidung finde ich gut, da habe ich so auch noch nicht drüber nachgedacht. Schauen wir mal, wie man das in Datenstrukturen verpackt, bzw. wie man herausfinden könnte, was eine Information, ein Inhalt oder eine Lösung darstellt.
cloidnerux hat geschrieben:
Was fehlt Dir grundsätzlich bei einer Suche?
Egt nichts, ich nutze die Möglichkeiten die ich habe und versuche so weit wie möglich zu kommen.
Gibt es Möglichkeiten, die Du Dir vorstellen könntest, die Du aber nicht hast?
Bzw. Möglichkeiten, die Du ganz besonders gerne nutzt?
cloidnerux hat geschrieben:
Ganz so einfach wird das bei mir nichtmals in der ersten Version laufen. Ich bin auch nicht sonderlich überzeugt, dass ich hier auf eine SQL-Datenbank bauen würde, bestenfalls in einer Proof-Of-Concept-Version.
Man braucht keine Datenbank, man muss aber irgendwie die Informationen aus den Texten extrahieren und komprimiert speichern, da eine live-Volltextsuche viel zu langsam wäre.
Das ist eine Datenbank. :-)
Datenbanken kann man mit SQL abfragen - muss man aber nicht.

Die effiziente Speicherung von Texten ist kein Problem.
Viel Interessanter ist die Erstellung und Aktualisierung von Indizes, da muss ich mir noch viele Gedanken zu machen.
cloidnerux hat geschrieben:Cool wäre in dem Sinne eine Funktion, NUR die Suchergebnisse zu Filtern, sodass man nicht immer neu alles Durchsucht.
Auch cool wäre wenn man per Prä/Suffix die Suche beeinflussen könnte, also etwas wie:

Code: Alles auswählen

forum: C lernen
oder

Code: Alles auswählen

Library @faq
Was würdest Du erwarten, wenn Du "Library @ faq" in eine Suchmaschine eingibst?
cloidnerux hat geschrieben:
Du schriebst, dass Du die Suche variierst. Wie variierst Du? Was würdest Du gerne noch machen können außer Suchbegriffe auszutauschen?
Zum einen Suchbegriffe spezifizieren, statt "Programmieren lernen" "C-Programmierung lernen".
Auch das Hinzufügen von weiteren Schlüsselwörtern hilft.
Was aber nützlich wäre, wäre eine Filterung für Alte Inhalte, unbeantwortete Foreneinträge, Seiten die einfach nur weiter verweisen, Links zu suchmaschinen.
Wie hoch wäre Deine Bereitschaft, Inhalte zu bewerten? Zum Beispiel einer Antwort in einem Forum wie "Google ist Dein Freund" die rote Karte zu zeigen?
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Benutzeravatar
cloidnerux
Moderator
Beiträge: 3123
Registriert: Fr Sep 26, 2008 4:37 pm
Wohnort: Ram (Gibts wirklich)

Re: proggen.org Suchmaschine

Beitrag von cloidnerux » Di Apr 19, 2011 3:42 pm

Gibt es Möglichkeiten, die Du Dir vorstellen könntest, die Du aber nicht hast?
Bzw. Möglichkeiten, die Du ganz besonders gerne nutzt?
Eine Möglichkeit heißt immer google^^
Einfach mal eingeben und schauen was dabei herauskommt, ohne viel Arbeit.
Wenn es aber spezieller wird, dann überlege ich im vornherein wo es sinnvoller ist zu suchen.
Wobei man hier differenzieren muss, da ich generell natürlich auch nach "Dingen" Suche, die weit außerhalb von proggen.org liegen und sich so ganz andere Umstände ergeben.
Infos/Inhalte/Lösungen die mir eine Suchmaschine auf proggen.org ausgibt werden sich im höchstwahrscheinlich auf proggen.org beschränken, sodass diese schon für mich zu einer "Spezialisierten Suchmaschine" gehört.
Was würdest Du erwarten, wenn Du "Library @ faq" in eine Suchmaschine eingibst?
Den FAQ Eintrag über die nicht gelinkten Librarys. Ich würde so suchen, weil ich weis das er Existiert, ich aber keine lust habe mich durch Menüs zu klicken.
Wie hoch wäre Deine Bereitschaft, Inhalte zu bewerten? Zum Beispiel einer Antwort in einem Forum wie "Google ist Dein Freund" die rote Karte zu zeigen?
Einigermaßen hoch, hängt von meiner aktuellen Laune ab^^
Es geht hier um Suchmaschinen, wenn ich also von einer Suchmaschine auf einen Beitrag à la "gidf" oder "google yourself" bekomme, ist das iwo etwas sinnlos. Dafür wäre es cool, wenn man direkt eine Weiterleitung zu einer Generischen-Suchmaschine(->google) hätte.
Redundanz macht wiederholen unnötig.
quod erat expectandum

Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8858
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Re: proggen.org Suchmaschine

Beitrag von Xin » Di Apr 19, 2011 4:00 pm

cloidnerux hat geschrieben:
Gibt es Möglichkeiten, die Du Dir vorstellen könntest, die Du aber nicht hast?
Bzw. Möglichkeiten, die Du ganz besonders gerne nutzt?
Infos/Inhalte/Lösungen die mir eine Suchmaschine auf proggen.org ausgibt werden sich im höchstwahrscheinlich auf proggen.org beschränken, sodass diese schon für mich zu einer "Spezialisierten Suchmaschine" gehört.
Ich will differenzieren zwischen Inhalten auf progggen.org und externen Quellen.
Das bedeutet, dass es dann auch einen Crawler gibt, der sich auch selbstständig auf die Suche nach Inhalten macht und diese Indiziert und selbstständig relevante Inhalte sucht.

Darum interessiert mich, wie ihr sucht. Ich will einen Crawler, der das Verhalten immitiert.


Andere dürfen sich gerne beteiligen. ^^
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Dominik
Beiträge: 381
Registriert: Mo Jul 07, 2008 9:39 pm

Re: proggen.org Suchmaschine

Beitrag von Dominik » So Jun 05, 2011 4:51 pm

Finds sehr unnötig eine eigene Suchmaschine/Suche für Proggen zu entwickeln.

Da kannst wählen zwischen anderen Proggen.org/anderen Quellen, hast ne Spinne, ist schnell und du musst dir nicht unnötig Arbeit (umsonst) machen

http://www.google.com/cse/

...
Rechtschreibefehler sind gewollt und dienen der Unterhaltung

Benutzeravatar
Xin
nur zu Besuch hier
Beiträge: 8858
Registriert: Fr Jul 04, 2008 11:10 pm
Wohnort: /home/xin
Kontaktdaten:

Re: proggen.org Suchmaschine

Beitrag von Xin » So Jun 05, 2011 6:53 pm

Dominik hat geschrieben:Finds sehr unnötig eine eigene Suchmaschine/Suche für Proggen zu entwickeln.
Ich habe viele Fragen gestellt, aber diese Antwort passt zu keiner Frage.
Merke: Wer Ordnung hellt ist nicht zwangsläufig eine Leuchte.

Ich beantworte keine generellen Programmierfragen per PN oder Mail. Dafür ist das Forum da.

Dominik
Beiträge: 381
Registriert: Mo Jul 07, 2008 9:39 pm

Re: proggen.org Suchmaschine

Beitrag von Dominik » Mo Jun 06, 2011 6:53 pm

Seh es als Tipp, deine Fragen kannst du durch die Logs am besten beantworten (wer was, wie und mit welchen erfolg gefunden hat)
Rechtschreibefehler sind gewollt und dienen der Unterhaltung

Antworten