ΔΗΜΙΟΥΡΓΙΑ ΜΗΧΑΝΗΣ ΑΝΑΖΗΤΗΣΗΣ

[Aris]

Καλησπέρα

Είμαι καινούριο μέλος και έχω το εξής πρόβλημα.Έχω ως εργασία τη δημιουργία μηχανής αναζήτησης. Ξέρει κανείς που μπορώ να ψάξω?Έχει κανείς προηγούμενη εμπειρία?

Ευχαριστώ

[guardianhelm]

Συγκεκριμένα μηχανή αναζήτησης στο web ή η εργασία ασχολείται γενικότερα με ανάκτηση πληροφορίας;

Αυτό που σίγουρα θα χρειαστείς είναι αντεστραμμένο κατάλογο, με το οποίο αποθηκεύεις τα δεδομένα σου με βάση τα λήμματα που περιέχει το καθένα. υπάρχουν διάφοροι τύποι, αλλά μπορείς να ξεκινήσεις εδώ.

Από εκεί και μετά, θα πρέπει να χρησιμοποιήσεις κάποιου είδους parser για να διαβάζεις τον τύπο δεδομένων που θες. Xml/html parser για web, parser ανάλογα με το τι τύπο αρχείου έχεις για offline δεδομένα.

Από εκεί και μετά, ένας εύκολος τρόπος να αυξήσεις την ποιότητα των αποτελεσμάτων είναι πχ να αφαιρείς λέξεις που είναι πολύ συχνές (πρακτικά αυτά είναι συνήθως αντωνυμίες ή λέξεις που δεν προσθέτουν κάτι στο νόημα).

Επίσης ένα σημαντικό θέμα είναι το precision και το recall.

Αυτός ο τομέας είναι αρκετά πολύπλοκος, γιατί η εμπειρία δείχνει ότι όταν αυξάνεις το ένα, μειώνεται το άλλο, οπότε καλό θα ήταν να βρεις έναν τρόπο να έχεις σχετικά καλά αποτελέσματα και στα δύο. Κάτι που μπορείς να προσπαθήσεις είναι να βρίσκεις συνώνυμα με αποτέλεσμα να ομαδοποιείς παρόμοιες έννοιες και να καταλαβαίνεις πότε λέξεις που έχουν πολλαπλή σημασία χρησιμοποιούνται με τον ένα ή με τον άλλο τρόπο. Να ξέρεις όμως ότι αυτό είναι ιδιαίτερα δύσκολο. Όπως και να έχει, πρέπει να αντιληφθείς ότι είναι πρόβλημα που θα το βρεις μπροστά σου.

Σε πρώτη φάση θα σου έλεγα να ξεκινήσεις με την υλοποίηση του αντεστραμμένου καταλόγου με δικά σου κείμενα, αρχεία text πχ, που είναι τα πιο απλά, μέχρι να σιγουρευτείς ότι ο κατάλογός σου δουλεύει σωστά.