ntfs-3g access/creation times and xcopy32

[bxenos]

εχω ενα ψιλο προβληματακι και μετα απο ενα γρηγορο γκουκλιασμα δεν βρηκα κατι και ειπα να ρωτησω μηπως εχει βρει λυση να το διορθωσει κανεις.

εχω ενα linux (δεν θα αναφερω διανομη γιατι δεν εχει σημασια και για να μην αρχισει η γνωστη διαμαχη) και εχω samba και μοιρασμα δισκου ntfs-3g (rw,utf8,allow_other) στον οποιο κανω τα backupια μου απο τους αλλους υπολογιστες.

Οταν κανω backup απο καποιον υπολογιστη μεσω linux ολα καλα.
Οταν κανω απο xp με την

xcopy f:\usr z:\usr /s/h/d

μου αντιγραφει καθε φορα ολα τα αρχεια και οχι μονο αυτα που εχουν ενημερωθει.
Αυτο γινεται γιατι δεν ενημερωνετε η ωρα/ημερομηνια δημιουργιας, αλλα μονο η ημερομηνια/ωρα τροποποιησης

αρχειο τοπικου δισκου xp:

Spoiler:

αρχειο δισκου ntfs-3g σε linux μεσω δικτυου:

Spoiler:

υπαρχει τροπος να ενημερωνονται σωστα οι ημερομηνιες/ωρες ωστε και απο τα xp να κανω backup με xcopy?

[Re-Ti-Re]

Η παρακάτω εντολή:

xcopy f:\usr z:\usr /s/h/d

Κάνει:

    /S          Copies directories and subdirectories except empty ones.
    /H          Copies hidden and system files also.
    /D:m-d-y    Copies files changed on or after the specified date.
                If no date is given, copies only those files whose
                source time is newer than the destination time.

Εγώ χρησιμοποιώ την:

xcopy f:\usr z:\usr /M /S /V /I /Q /Y

Κάνει:

    /M          Copies only files with the archive attribute set,
                turns off the archive attribute.
    /S          Copies directories and subdirectories except empty ones.
    /V          Verifies each new file.
    /I          If destination does not exist and copying more than one file,
                assumes that destination must be a directory.
    /Q          Does not display file names while copying.
    /Y          Suppresses prompting to confirm you want to overwrite an
                existing destination file.

[bxenos]

/M Copies only files with the archive attribute set,
turns off the archive attribute.

το γνωριζω, αλλα αλλαζει το attribute μια και μονο φορα (και γι'αυτο δεν μου κανει) και εγω εχω 4 υπολογιστες με διαφορετικη χρηση και λειτουργικα (1 linux only,3 dual boot) και κανω εναν κρισιμο φακελο ενημερωση σε ολους.
αυτο που κανω δεν εχει βεβαια χρησιμοτητα μονο για backup αλλα γιατι καθε υπολογιστης ειναι επιφορτισμενος με αλλη δουλεια (και με αλλους χρηστες) και ολοι χρειαζονται καποια στοιχεια απο αυτον τον φακελο.

Αν το share disk ειναι σε windows δεν υπαρχει προβλημα. Οι ημερομηνιες ωρες λειτουργουν σωστα. Μεσα απο linux εχω το προβλημα. (και απο παλια με xcopy εγω κανω ακομα και κλωνοποιηση δισκου οταν αλλαζω δισκο σε win9x/xp/nt/2k).

Μοιαζει με bug του ntfs-3g. Μπορεις να το επιβεβαιωσεις εσυ ή καποιος αλλος φιλος οτι συμβαινει και σε σας, ωστε να το καταχωρησω σαν bug στην ομαδα υποστηριξης;

ακολουθει και ενα τμημα του batch file που κανει ενημερωση...

Spoiler:

@echo off
net use z: /delete
net use z: \\192.168.0.1\up2date /USER:xenos [ο κωδικος μου]
echo Will copy from this computer to the server, the user folder

echo --backup opera favorites
xcopy "E:\Documents and Settings\opera*.adr" "f:\usr\text\mydocuments\opera"/s/e/h/c/y/i

echo --backup usr folder to network server
xcopy f:\usr z:\usr /s/e/h/c/d/i/y
if not exist s:\wdsync.exe goto skip_passp
	echo -- backup usr folder to wd passport (if connected)
	xcopy f:\usr s:\backup\usr /s/e/h/c/d/y/i
:skip_passp

[Re-Ti-Re]

Παρακάτω είναι η σύνταξη της εντολής:

Copies files and directory trees.

NOTE: Xcopy is now deprecated, please use Robocopy.

XCOPY source [destination] [/A | /M] [/D[:date]] [/P] [/S [/E]] [/V] [/W]
                           [/C] [/I] [/Q] [/F] [/L] [/G] [/H] [/R] [/T] [/U]
                           [/K] [/N] [/O] [/X] [/Y] [/-Y] [/Z] [/B]
                           [/EXCLUDE:file1[+file2][+file3]...]

  source       Specifies the file(s) to copy.
  destination  Specifies the location and/or name of new files.
  /A           Copies only files with the archive attribute set,
               doesn't change the attribute.
  /M           Copies only files with the archive attribute set,
               turns off the archive attribute.
  /D:m-d-y     Copies files changed on or after the specified date.
               If no date is given, copies only those files whose
               source time is newer than the destination time.
  /EXCLUDE:file1[+file2][+file3]...
               Specifies a list of files containing strings.  Each string
               should be in a separate line in the files.  When any of the
               strings match any part of the absolute path of the file to be
               copied, that file will be excluded from being copied.  For
               example, specifying a string like \obj\ or .obj will exclude
               all files underneath the directory obj or all files with the
               .obj extension respectively.
  /P           Prompts you before creating each destination file.
  /S           Copies directories and subdirectories except empty ones.
  /E           Copies directories and subdirectories, including empty ones.
               Same as /S /E. May be used to modify /T.
  /V           Verifies the size of each new file.
  /W           Prompts you to press a key before copying.
  /C           Continues copying even if errors occur.
  /I           If destination does not exist and copying more than one file,
               assumes that destination must be a directory.
  /Q           Does not display file names while copying.
  /F           Displays full source and destination file names while copying.
  /L           Displays files that would be copied.
  /G           Allows the copying of encrypted files to destination that does
               not support encryption.
  /H           Copies hidden and system files also.
  /R           Overwrites read-only files.
  /T           Creates directory structure, but does not copy files. Does not
               include empty directories or subdirectories. /T /E includes
               empty directories and subdirectories.
  /U           Copies only files that already exist in destination.
  /K           Copies attributes. Normal Xcopy will reset read-only attributes.
  /N           Copies using the generated short names.
  /O           Copies file ownership and ACL information.
  /X           Copies file audit settings (implies /O).
  /Y           Suppresses prompting to confirm you want to overwrite an
               existing destination file.
  /-Y          Causes prompting to confirm you want to overwrite an
               existing destination file.
  /Z           Copies networked files in restartable mode.
  /B           Copies the Symbolic Link itself versus the target of the link

The switch /Y may be preset in the COPYCMD environment variable.
This may be overridden with /-Y on the command line.

Δεν θέλεις να αλλάξεις τα attribute αντί της /M χρησιμοποίησε την /A

[bxenos]

Καλη σκεψη αλλα εχει ενα μειωνεκτημα στην περιπτωση μου. Δεν εχω παντα και τους 4 υπολογιστες ανοικτους, ολοι φρονιζουν να ενημερωνουν και να περνουν ενημερωμενα αρχεια απο το linux/samba/ntfs-3g οποτε καποτε θα πρεπει να σβηνω τα attributes με το χερι (/Μ).
(αλλιως καθε φορα θα αντιγραφει και αρχεια που δεν εχουν αλλαξει για καμποσο καιρο)
Αρα δεν θα ειναι αυτοματη διαδικασια, αρα καποτε θα γινει λαθος σε αρχεια (ειδικα οταν κλεινουν τα ματια απο τη νυστα) και θα χαθουν καποια αρχεια.

Η μονη σωστη λυση οπως το βλεπω ειναι ο συγχρονισμος με ημερομηνια.
Ειμαι και λιγο γεροπαραξενος τωρα ποια βλεπεις, και ψαχνω οριστικη λυση.

Τωρα γιατι να εχω ntfs-3g και οχι linux format; γιατι ειναι dual boot το pc εκεινο λογω καποιων προγραμματων που χρησιμοποιω στα embedded συστηματα και στους αυτοματισμους που θελουν windows στο pc εκεινο. Και οι κοινοχρηστοι φακελοι μοιραζονται οποιο συστημα και να εχει κανει boot. Αλλιως ενα ex3 θα καθαριζε την κατασταση...

[Re-Ti-Re]

Δοκίμασε τα παρακάτω:
Full Backup με παραμέτρους /E /V /I /Q /Y κάθε Παρασκευή.
Backup για κάθε μέρα εκτός Παρασκευής με παραμέτρους /A /S /V /I /Q /Y

Ποτέ μα ποτέ δεν αφήνουμε το Backup στην τύχη του. Ποτέ μα ποτέ δεν κάνουμε Backup χειροκίνητα. Πάντα με προγραμματισμένες ενέργειες που κρατάνε log.

[bxenos]

με την ευκαιρια του ψαξιματος, εντοπισα την αιτια στα XP (εδω πρεπει να ταιριαζει το φταιει η micrοσοφτ).
αν δειτε και στο spoiler που ειχα στο αρχικο μηνυμα απο τα xp, εχει ημερομηνια τροποποιησης παλιοτερη απο την ημερομηνια δημιουργιας, που δεν μου μοιαζει λογικο.

Κανω αλλη δοκιμη, μεσα απο κονσολα, copy /b το ιδιο αρχειο σε αλλο ονομα.
Περνει φρεσκια creation date (σημερινη) αλλα το modify date ειναι αρχαιο (Ιανουαριος 2008) οπως στο αρχικο αρχειο!

Θα φτιαξω (αν δε βρω ετοιμο) ενα προγραμματακι οπως το παλιο touch.exe (που βλεπει ομως 8.3 ονοματα) που ενημερωνει τις ημερομηνιες για να τα επικαιροποιησω ολα και πιθανα να στρωσει ετσι η κατασταση στο ntfs-3g (η θα τα στειλω στο linux και θα τα ξαναπαρω πισω για να δω τι ημερομηνιες θα εχουν).

Οχι τιποτα αλλο αλλα οι ημερομηνιες ειναι απαραιτητες και για το version control του πηγαιου κωδικα, δεν μπορω να παιζω μονο με attrib (και το touch παρατυπο ειναι αλλα αν ειναι να γινει μια φορα δεν πειραζει).

Ποτέ μα ποτέ δεν αφήνουμε το Backup στην τύχη του.

φυσικα οχι. Θα σε ενημερωσω για τις εξελιξεις αν θελεις

[Re-Ti-Re]

Θα με ενδιέφερε ιδικά τα πάντρεμα με το Linux

[bxenos]

ας τα παρουμε απο την αρχη και ας χαλαρωσουμε (θα ειναι ενα μακρυυυυ μηνυμα)...
θα γραφω το μηνυμα παραλληλα με το ψαξιμο για να θυμαμαι μετα απο χρονια, με τι χαζομαρες ασχληθικα καποτε...

αρχικες συνθηκες:
ενα PC με XP, service pack 3
ενα PC με Linux, ntfs-3g δισκο μοιραζομενο με samba. το fstab entry ακολουθει

/dev/sdb1  /media/downloads  ntfs-3g  rw,nosuid,nodev,allow-others,utf8  0  0

πως εμφανιζεται το προβλημα:
θα δημιουργησω και θα τρεξω ενα αρχειο batch με τις παρακατω εντολές

echo | date | grep "/"
echo | time | grep "/"
echo ωχ, αρχισαμε... > x.txt

και δημιουργησαμε το αρχειο x.txt με ωρα δημιουργιας,προσπελασης,κτλ τωρα!

δηλαδη 21/8/2008 1:45:5Χ πμ

το κανω copy στον δισκο του linux μεσω δικτυου

xcopy g:\x.txt z:\ /d

και κανω

dir z:\x.txt

και να η απαντηση της κονσολας

21/08/2008 01:45 πμ 13 x.txt

να και οι ιδιοτητες του πρωτοτυπου αρχειου απο τα windows

και οι ιδιοτητες του αντιγραφου στον δισκο δικτυου Linux

εδω πρεπει να διευκρινησω οτι εκανα μια λαδια για να δω αν η ωρα δημιουργιας ειναι η ωρα που δημιουργησα το αρχειο αυτο, η αυτη που αποθηκευτηκε απο ενα ιδιου ονοματος που διεγραψα λιγο πριν. Οπως βλεπετε ειναι η ωρα του προηγουμενου αρχειου (αρα την εχει κρατησει απο το $mft, πονηρια!).


ωραια, ας ξαναδοκιμασω τωρα το xcopy /d, ιδου

δηλαδη η xcopy θεωρει οτι το αρχικο μου αρχειο που δεν εχει αλλαχθει, ειναι πιο φρεσκο(!!!!) απο το backup του στο linux/samba/ntfs-3g.

ας δοκιμασω και το αναποδο

xcopy z:\x.txt g:\ /d

, εδω δεν εχουμε προβλημα:




τι ειναι αυτο που βλεπει πιο φρεσκο το πρωτοτυπο αρχειο απο το backup του;
που χανετε κατι στο timestamp (εδω σκεφτηκα καμοια διαφορα σε στρογγυλοποιηση χρονου)?
εδω θα χρειαστει να κανω ενα προγραμματακι (εκτος κατηγοριας προγραμματισμου, αλλα τι να κανω, ο σκοπος αγιαζει τα μεσα).

να το προγραμμα στην C (δεν ειναι υποδειγμα προγραμματισμου, αλλα αυριο θα το εχω πεταξει με τα υπολοιπα tmp του δισκου g:\)

#include <stdio.h>
#include <sys/stat.h>
#include <io.h>
#include <fcntl.h>
#include <assert.h>
#include <time.h>

void main(int argc,char **argv){
	assert(argc > 1);
	while(--argc>0){
		struct _stat t;int error; struct tm  *ts; char buf[100];

		++argv;
		printf("file: %-9s:\n",*argv);
		error = _stat(*argv,&t);
		assert(!error);

		ts = localtime(&t.st_atime); 
		strftime(buf, sizeof(buf), "%a %Y-%m-%d %H:%M:%S %Z", ts);
		printf("\taccess=%10lu %s\n",t.st_atime,buf);

		ts = localtime(&t.st_mtime); 
		strftime(buf, sizeof(buf), "%a %Y-%m-%d %H:%M:%S %Z", ts);
		printf("\tmodify=%10lu %s\n",t.st_mtime,buf);

		ts = localtime(&t.st_ctime); 
		strftime(buf, sizeof(buf), "%a %Y-%m-%d %H:%M:%S %Z", ts);
		printf("\tcreate=%10lu %s\n",t.st_ctime,buf);
		
	}
}

και αφου το τρεξω με την εντολη:

x z:\x.txt g:\x.txt

παραγει το αποτελεσμα

file: z:\x.txt :
access=1219273005 Thu 2008-08-21 01:56:45 PDT
modify=1219272351 Thu 2008-08-21 01:45:51 PDT
create=1219272351 Thu 2008-08-21 01:45:51 PDT
file: g:\x.txt :
access=1219272351 Thu 2008-08-21 01:45:51 PDT
modify=1219272351 Thu 2008-08-21 01:45:51 PDT
create=1219272180 Thu 2008-08-21 01:43:00 PDT

(τα νουμερα μετα το = ειναι μοναδες μετρησης που καθοριζοντε απο το καθε λειτουργικο συστημα, ακολουθει και η ανθρωπομορφη μετατροπη τους στην ιδια γραμμη)

ποιος χρονος ειναι πιο φρεσκος στο αρχειο του δισκου g: (xp) σε σχεση με το ιδιο αρχειο του z: (linux) και η xcopy /d θελει συνεχως να ενημερωνει το ... ενημερο αρχειο;
ΚΑΜΙΑ!!! ολοι οι χρονοι του αρχειου xp ειναι ιδιοι ή πιο παλιοι απο του δισκου linux.
Τι στον Τουτατη συμβαινει;

το συμπερασμα ειναι δεν ειναι σφαλμα στο ntfs-3g αυτο που συμβαινει.
εκανα τελικα γκουγλιασμα με xcopy /d bug αντι για ntfs-3g xcopy timestamp που ειχα ψαξει αρχικα, αφου οπως ειπαμε ... φταιει η microsoft

και να μερικoι ομοιοπαθεις
http://www.google.com/search?client=...utf-8&oe=utf-8
http://lists.samba.org/archive/samba...ch/064481.html
και εχει και αλλα...

και τοτε my dear Whatson, θυμηθηκα που ο Re-Ti-Re ειχε ποσταρει το manual της xcopy, υπηρχε μια αναφορα για την

NOTE: Xcopy is now deprecated, please use Robocopy.

.

H robocopy ειχε φτιαχτει για αντιγραφες κρισιμων αρχειων απο την εποχη των NT 4.0 και απο οτι βλεπω
Κατεβενει απο εδω με το resource kit 2003 (admin,mods μην αγχωνεστε, δωρεαν ειναι απο microsoft).

Μοια γρηγορη ματια σε καποια σημαντικα στοιχεια της

Previous versions of Robocopy would fail to copy any pathname longer than 256 characters. The program has now been enhanced to handle pathnames of any length, up to the internal Windows limit of nearlt 32,000 characters

εχει επιλογη για...συνεχες backup
Monitors the source directory for changes, and runs again when n changes have been detected, and the minimum time interval specified by /MOT has elapsed.

Using Robocopy Within a UNIX Shell
You can specify all Robocopy switches in UNIX style (for example, -ETA instead of /ETA). You can also specify source and destination directory paths using the UNIX delimiter (/), rather than the native Windows delimiter (\).

και πολλα αλλα

για να δουμε τωρα δουλευει;

ΟΧΙ. Ξανααντιγραφει ολα τα αρχεια, εχει αρκετα αναλυτικο output και βλεπω οτι αναφερει ολα τα αρχεια ως Newer. Αλλα η συνεχεια αυριο...

[bxenos]

τελικα βρηκα ακρη, τωρα με το robocopy υπαρχει καποιο θεμα δεκατων δευτερολεπτου διαφορας, γι'αυτο κανει αντιγραφη ολα τα αρχεια. Εχει ομως την παραμετρο -fft που δεινει 2 δευτερολεπτα περιθωριο διαφορας timestamp.

αρα:

robocopy f:\usr z:\usr -e -ffe

[Re-Ti-Re]

@bxenos
Τρέχεις Antivirus στα XP; Αν ναι κλείσε το και δες πάλη της ημερομηνίες με xcopy.

[bxenos]

@bxenos
Τρέχεις Antivirus στα XP; Αν ναι κλείσε το και δες πάλη της ημερομηνίες με xcopy.

τρεχω avgfree 8, εκανα disable to resident shield, σκοτωσα και το process με alt-ctrl-del αλλα η ιστορια επαναλαμβανεται. Αντιγραφει ολα τα αρχεια. (Επιβεβαιωσα οτι δεν λειτουργει το antivirus, εκανα copy καποια κρατημενα αρχεια ιων που εχω και δεν γκρινιαζε κανενας)

Αν ο υπολογιστης δικτυου (με τον ιδιο δισκο, τρεχει xp (ειναι dual boot), δεν υπαρχει προβλημα.
Μονο οταν ειναι σε linux εχω προβλημα.

Κατι συμβαινει λογω διαφορετικου χειρισμου χρονου xp/linux. σκεφτηκα και τα localization times. Τα ακυρωσα για ελεγχο (εβαλα οτι ειμαι Γρινουιτς και στα δυο) αλλα τα ιδια και τα ιδια.

ΥΓ. καθε φορα που βλεπω το avatar σου το λυπαμε το καημενο

[Re-Ti-Re]

Συμπέρασμα: φταίει η διαφορετική υλοποίηση ανάμεσα στα λειτουργικά. Αυτό κατάλαβα.

ΥΓ. καθε φορα που βλεπω το avatar σου το λυπαμε το καημενο