Εισαγωγή Excel σε Βάση

[Uberalles]

Καλημέρα παιδιά...

Θέλω να βάλω ένα αρχείο excel 60.000 γραμμές και 100 στήλες σε μία βάση..

Πως μπορώ να το κάνω αυτό??

Θα υπάρξει πρόβλημα γενικά με το μέγεθος της βάσης?

[nikospara]

Καλημέρα,

Οι βάσεις δεδομένων είναι φτιαγμένες για να κρατάνε πολλές εγγραφές, οπότε δε θα έχεις πρόβλημα. Ε, μην το βάλεις και σε PII με 8Mb... Άλλά ένα σύγχρονο μηχάνημα + σύγχρονη database δε θα πρέπει να έχει πρόβλημα με τον αριθμό των εγγραφών.

Με τίποτα μην βάλεις 100 στήλες σε έναν πίνακα, αυτό το πράγμα δε θα διαχειρίζεται με τίποτα! Σπάσε το σε περισσότερους πίνακες ομαδοποιώντας τα σχετικά μεταξύ τους πεδία και κράτα foreign keys σε έναν κεντρικό.

Τώρα για να το υλοποιήσεις μπορείς να ανοίξεις το εν λόγω Excel ως ODBC Datasource, άρα να διαβάσεις με τους στάνταρ ODBC τρόπους. Σε όποια βάση θέλεις να το μεταφέρεις θα έχει ODBC driver για να γράψεις αυτά που διάβασες.

[Uberalles]

Φίλε μου nikospara σε ευχαριστώ για την απάντηση σου..

Το πρόβλημα είναι ότι σκέψου ότι θα διαχειρίζομαι πελάτες.

Για κάθε πελάτη θα πρέπει να βρω τρόπο να περνάω στην βάση το αντίστοιχο excel που θα έχει το οποίο θα συνολικά θα είναι 300 στήλες (το excel πέρνει μέχρι 256 μου φαίνεται) και 60.000 γραμμές..

Για κάθε πελάτη σκέφτηκα να έχει και δικό του πίνακα ΑΛΛΑ το θέμα είναι πως θα περάσω ένα τόσο μεγάλο αρχείο μέσα στην βάση μου και με ποιον τρόπο..

[Thuglife]

Αν είσαι σε SQL Server μπορώ να βοηθήσω.

[nikospara]

Καταρχάς το ODBC που γράφω παραπάνω είναι ένας καλός τρόπος για να διαβάσεις από Excel ή βάση και να γράψεις σε βάση. Το υλοποιείς σε οποιαδήποτε γλώσσα το υποστηρίζει, δηλ όλες της MS, μέχρι και Java. Ο κώδικας δε θα είναι πολύ μεγάλος (δε θα είναι και μικρός, 300 πεδία είναι αυτά). Δές μήπως ο Thuglife έχει κάποια πιο γρήγορη μέθοδο, στυλ "import from Excel"...

Η εισαγωγή του αρχείου είναι offline ή online; Δηλ είναι κάτι που θα τρέξεις μία φορά και ξεμπέρδεψες, θα τρέχει κάθε μέρα αλλά το βράδι ή οι πελάτες θα υποβάλουν τέτοια αρχεία και πρέπει να τα επεξεργάζεσαι επιτόπου;

Δοκίμασε το ODBC και τα ξαναλέμε. Υπάρχουν πάρα πολλά tutorials.

Εκτός κι αν δεν κατάλαβα που ακριβώς έχεις το πρόβλημα...

[Uberalles]

ΑΚΡΙΒΩΣ το έχετε καταλάβει το πρόβλημα μου..

Ο admin θα ανεβάζει από μία φόρμα τα αρχεία αυτά..

και εγώ πρέπει να τα βάλω μέσα στην βάση μου..

Το θέμα είναι ότι ΣΕΡΝΕΤΑΙ το σύστημα και μου βγάζει error για την μνήμη (την έχω ανεβάσει στα 400Μ από 12Μ που είναι) , το χρόνο για το scriptaki (από 60 που είναι στο 300) ΑΛΛΑ μόνο για ένα excel της μορφής 150 στήλες και 3000 γραμμές ΕΧΩ ΠΡΟΒΛΗΜΑ... μέχρι 2500 μπορώ..Για να φανταστείτε το αρχείο αυτό θα το σπάει ο πελάτης σε 2 κομμάτια εάν είναι περισσότερο από 150 στήλες..

ΤΡΑΓΙΚΑ πράγματα..

Βασικά χρησιμοποιώ ένα sciptaki σε PHP που μου είχε δώσει ένα παιδί σε PHP αλλά γίνεται χαμός σε κλάσεις και αντικείμενα εκεί μέσα για να καταλάβω πώς λειτουργεί,
βασικά θέλω το EXCEL αρχείο να το περάσω σε έναν πίνακα στην phpMyAdmin (γραφικό περιβάλλον για MySQL) αλλά όταν χρησιμοποιώ την import λειτουργία της phpMyAdmin και φορτώνω το excel μου αργεί , κολλάει και δεν γίνεται τίποτα

ΚΟΙΝΩΣ ΤΑ ΠΑΙΖΕΙ ΤΟ ΣΥΣΤΗΜΑ ,

Υ.Γ. από υπολογιστή είναι σχετικά καινούριος

[lazar]

Το πρόβλημα βρίσκεται στην php μέσω browser και όχι στην MySql.

Θα πρέπει να το περάσεις μέσα από το σύστημα, ακόμη και με php μπορείς να το κάνεις, από κονσόλα. Αν δεν ξέρεις πώς, σπάσε το αρχείο σε μικρότερα και ίσως το πάρει.

[pts]

Ρίξε μια ματιά στα MySQL GUI Tools. Εγώ έχω βολευτεί πάρα πολύ με αυτά για τέτοιες δουλειές.

[nikospara]

Τα MySQL GUI Tools δεν εισάγουν δεδομένα από Excel νομίζω...

Στο Google είδα ότι κάποιες βιβλιοθήκες ανάγνωσης Excel από PHP φορτώνουν όλο το αρχείο στη μνήμη. Κάτι τέτοιο ίσως προκαλεί τα προβλήματα που έχεις.

Μια λύση είναι να ψάξεις και να δοκιμάζεις βιβλιοθήκες PHP που κάνουν τη δουλειά αυτή μέχρι να βρείς κάποια που διαβάζει το αρχείο σειριακά.

Μια άλλη λύση είναι να απαιτείς από τους χρήστες να σου δίνουν αρχεία text, πχ TXT ή CSV (δηλ από το Excel Save As το αντίστοιχο). Αυτά μπορείς να τα διαβάζεις μία γραμμή τη φορά και η εισαγωγή να γίνεται σε δευτερόλεπτα, αντί ώρες. (Ακόμα και εδώ υπάρχουν τεχνικές βελτιστοποίησης, που αφορούν όμως τη βάση.)

Αν δεν κάτσει και το text, πάς αναγκαστικά με ODBC. Ψάξε στο Internet για: (α) πώς φτιάχνεις file datasources που να παίρνουν στοιχεία από αρχείο Excel (β) γενική χρήση του ODBC και (γ) χρήση ODBC μέσω PHP.

Καλή επιτυχία

[Uberalles]

Παιδιά σας ευχαριστώ για τις συμβουλές σας...

Την βρήκα την άκρη..

Περνάω τα δεδομένα μέσα απο txt και τα περνάει πολύ γρήγορα..

ΕΥΧΑΡΙΣΤΩ !!!!