Python: Πως μπορώ να δημιουργήσω ένα byte object από δικά μου bits;

[babaliaris]

Αυτό που προσπαθώ να κάνω είναι να δημιουργήσω ένα byte το οποίο περιέχει
δικά μου προσαρμοσμένα bits και δημιουργεί μια πληροφορία η οποία με κάποιον
τρόπο ξέρω τη σημαίνει.


Ας πούμε ότι έχω τα εξής bits σε μια συμβολοσειρά:
bits = "01101001"

Πως μπορώ να τα βάλω μέσα σε ένα byte object το οποίο να έχει ακριβώς το μέγεθος ενός byte?

Δηλαδή να φτιάξω το byte:
byte = 01101001

τo οποίο όταν το γράψω στο αρχείο θα είναι ακριβώς ένα byte σε μέγεθος.



Επίσης πως θα κάνω και το ανάποδο? Δηλαδή διαβάζω από το αρχείο το:
byte = 01101001

και μετά το μετατρέπω σε μια συμβολοσειρά:
bits = "01101001"

Πρέπει να μπορώ να το κάνω για να μεταφράσω την πληροφορία.

Ευχαριστώ.

[MitsakosGR]

Σε ποια γλώσσα προσπαθείς να το κανεις;
Απ'ότι είδα στο άλλο θέμα χρησιμοποιείς python, οπότε δεν ξέρω εκεί να σε βοηθήσω, αλλα στις περισσότερες γλώσσες που ξέρω μπορείς να το κανεις με bitwise operators! Πχ μπορείς να κάνεις είτε με shift operator << και >> είτε με & και | (and και or) για να θέσεις και να διαβάσεις συγκεκριμένα bit!

- - - Updated - - -

Πχ για να θέσεις το τρίτο bit σε μια μεταβλητή μπορείς να κανεις

a = a | 4; // 4 = 100 σε δυαδικο

[guardianhelm]

Υπάρχουν βιβλιοθήκες όπως η bitstring, αλλά γιατί θες να το κάνεις αυτό; Η python δεν είναι φτιαγμένη για να δουλεύεις σε τόσο χαμηλό επίπεδο. Έχεις κάποιο συγκεκριμένο λόγο που χρειάζεσαι bits?

- - - Updated - - -

Δεν είμαι σίγουρος αν υπάρχει τρόπος να δουλέψεις σε κάθε bit έτσι ώστε το καθένα να καταλαμβάνει μόνο ένα bit στη μνήμη, πόσο μαλλον να φτιάχνεις custom bytes και να τα δώσεις στον δίσκο χωρίς να μετατρέψεις το κάθε bit σε one character string.

[babaliaris]

Υπάρχουν βιβλιοθήκες όπως η bitstring, αλλά γιατί θες να το κάνεις αυτό; Η python δεν είναι φτιαγμένη για να δουλεύεις σε τόσο χαμηλό επίπεδο. Έχεις κάποιο συγκεκριμένο λόγο που χρειάζεσαι bits?

- - - Updated - - -

Δεν είμαι σίγουρος αν υπάρχει τρόπος να δουλέψεις σε κάθε bit έτσι ώστε το καθένα να καταλαμβάνει μόνο ένα bit στη μνήμη, πόσο μαλλον να φτιάχνεις custom bytes και να τα δώσεις στον δίσκο χωρίς να μετατρέψεις το κάθε bit σε one character string.

Θέλω να φτιάξω αλγόριθμο συμπίεσης για αυτό. Βρήκα τρόπο να το κάνω.

import struct

number = 0

my_bits = [0,0,0,0,0,1,1,1]

for i in range( len(my_bits ) ):

    mask = my_bits [i]
    mask = mask << i

    number = number | mask

number_of_bytes = struct.pack("i", number)

keep_only_the_first_byte = number_of_bytes [0:1]

Αυτό που γίνεται είναι το εξής:

my_bits = [0,0,0,0,0,1,1,1]

my_number = 0

Για ι = 0, bit = 0

number = 00000000 00000000 00000000 00000000
mask    = 00000000 00000000 00000000 00000000 
result    = 00000000 00000000 00000000 00000000


Για ι = 1, bit = 0

number = 00000000 00000000 00000000 00000000
mask    = 00000000 00000000 00000000 00000000 
result    = 00000000 00000000 00000000 00000000
.
.
.


Για ι = 5, bit = 1

number = 00000000 00000000 00000000 00000000
mask    = 00000000 00000000 00000000 00100000 
result    = 00000000 00000000 00000000 00100000


Για ι = 6, bit = 1

number = 00000000 00000000 00000000 00100000
mask    = 00000000 00000000 00000000 01000000 
result    = 00000000 00000000 00000000 01100000


Για ι = 7, bit = 1

number = 00000000 00000000 00000000 01100000
mask    = 00000000 00000000 00000000 10000000 
result    = 00000000 00000000 00000000 11100000

και τέλος κρατάω το πρώτο μόνο byte το οποίο είναι:
11100000

- - - Updated - - -

Ο ολοκληρμένος αλγόριθμος είναι:

Στο πρώτο μέρος βάζω τα bits μέσα σε ένα byte και στο δεύτερο
τα εξάγω από το byte και τα βάζω μέσα σε μια λίστα. Η έξοδος θα είναι
[1,0,1] άρα η πληροφορία μου είναι 101 + 00000 = 10100000

import struct
 
number = 0
 
my_bits = [1,0,1,0,0,0,0,0]
 
#--------Put all the bits into a number--------#
for i in range( len(my_bits ) ):
 
    mask = my_bits [i]
    mask = mask << i
 
    number = number | mask
#--------Put all the bits into a number--------#
 
 
#Pack the integer into 4 bytes.
number_of_bytes = struct.pack("i", number)
 
#Keep only the first byte.
keep_only_the_first_byte = number_of_bytes [0:1]
 





#Add more 3 bytes. (Make this single byte to an integer number)
new_num = keep_only_the_first_byte + struct.pack("i", 0)[0:3]
 
new_bits = []
mask     = 1
number   = struct.unpack("i", new_num)[0]
 
 
#-----Get the bits (This is the reverse operation)-----#
while number != 0:
 
    bit = number & mask
 
    new_bits.append( bit )
 
    number = number >> 1
#-----Get the bits (This is the reverse operation)-----#
 
 
print(new_bits)

[MitsakosGR]

Νομίζω ότι είναι πιο εύκολο να το γράψεις:

for i in range( len(my_bits ) ):
     number <<= 1
    number |= my_bits [i]

Αποφεύγεις περιττές μεταβλητές και πράξεις! Όπως κάνεις και στο reverse δηλαδή.

[babaliaris]

Νομίζω ότι είναι πιο εύκολο να το γράψεις:

for i in range( len(my_bits ) ):
     number <<= 1
    number |= my_bits [i]

Αποφεύγεις περιττές μεταβλητές και πράξεις! Όπως κάνεις και στο reverse δηλαδή.

Ε εντάξει δεν έχει και τόσο σημασία.

[guardianhelm]

Επίσης αντί για

for idx in range(len(iterable))

μπορείς να χρησιμοποιείς το

for idx, elem in enumerate(iterable)

που είναι πιο καθαρό και σου δίνει ταυτόχρονα και το index και το element. Πχ το:

for i in range( len(my_bits ) ):
    mask = my_bits [i]
    mask = mask << i
    number = number | mask

γίνεται:

for idx, mask in enumerate(my_bits):
    mask = mask << idx
    number = number | mask

[babaliaris]

Τον έφτιαξα τον αλγόριθμο.

Μπορείτε να τον κατεβάσετε και να τον τεστάρετε: https://github.com/babaliaris/Huffman-in-python3

Έχετε υπόψιν σας ότι είναι αρκετά αργός (ο αλγόριθμος) σε αρχεία κειμένου από 1 mb και άνω.