Ζλατίντση Αθανασία
| Σχολή | Επιβλέπων |
|---|---|
| Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών | ΜΑΡΑΓΚΟΣ ΠΕΤΡΟΣ |
Περίληψη:
Η διδακτορική αυτή έρευνα ασχολείται με το θέμα της ψηφιακής επεξεργασίας μουσικών σημάτων και την ανάλυση τους με υπολογιστικές μεθόδους για την εξαγωγή χρήσιμης πληροφορίας για την αναγνώρισή τους. Συγκεκριμένα μελετώνται και αναπτύσσονται αποτελεσματικοί αλγόριθμοι χρησιμοποιώντας μη γραμμικά μοντέλα για την επεξεργασία των σημάτων μουσικής, την κατανόηση μουσικών φαινομένων αλλά και την μοντελοποίηση τους. Οι κύριες εφαρμογές αφορούν τη διερεύνηση και ανάλυση των σχέσεων μεταξύ των μουσικών οργάνων για την κατανόηση της λειτουργίας και των χαρακτηριστικών τους, και την κατηγοριοποίηση τους. Επιπλέον, η μελέτη συνίσταται στην εξέταση των χαρακτηριστικών των διαφορετικών ειδών μουσικής, αλλά και την προσέγγιση της μουσικής βάσει των εκφραστικών ιδιοτήτων της, με απόρροια την μοντελοποίηση των συναισθημάτων και την κατηγοριοποίηση της μουσικής συναρτήσει αυτών. Τέλος, εξετάζεται η αποτελεσματικότητα των μοντέλων αυτών όσον αφορά την ανίχνευση σημαντικών μουσικών και γενικά ακουστικών γεγονότων (audiosalientevents).
Η ανάλυση αυτή συνεισφέρει στην έρευνα και στην τεχνολογία αιχμής που σχετίζεται με την αυτόματη κατηγοριοποίηση μουσικής μέσω των διαφορετικών αυτών πλαισίων, αλλά και στη δημιουργία περιλήψεων και συνοπτικών ηχητικών αποσπασμάτων των ηχητικών σημάτων. Τέτοιες εφαρμογές στις μέρες μας συναντώνται ευρέως στην καθημερινότητα, επιζητώνται δε πλέον, όχι μόνο από ανθρώπους εξειδικευμένης ή ανώτερης τεχνολογικής και μουσικολογικής γνώσης, αλλά και από το ευρύ κοινό σε εφαρμογές από λογισμικό υπολογιστών έως τα κινητά τηλέφωνα τρίτης γενιάς (smartphones). Ακριβώς λόγω αυτής της πληθώρας των ηχητικών, μουσικών, αλλά και πολυμεσικών δεδομένων, η χρησιμότητα της συγκεκριμένης έρευνας συναντάται σε εφαρμογές όπως η αυτόματη αναζήτηση μουσικών κομματιών με βάση το είδος, τις εκφραστικές ιδιότητες ή την αναγνώριση βασικών δομών της μουσικής, όπως για παράδειγμα τα μουσικά όργανα.
Πιο συγκεκριμένα, οι μεθοδολογίες που χρησιμοποιούμε και επεκτείνουμε, ταξινομούνται σε δυο βασικές κατηγορίες.
- Στη μη-γραμμική επεξεργασία σημάτων μουσικής, με ιδέες της Φράκταλ (Fractal) θεωρίας, όπου και διερευνάται η φράκταλ διάσταση των μουσικών σημάτων σε πολλαπλές κλίμακες (multiscale fractal dimension – MFD).
- Σε μη-γραμμικά φαινόμενα διαμορφώσεων πλάτους και συχνότητας (amplitude-frequency modulation, AM-FM), όπου εφαρμόζεται η πολυζωνική ανίχνευση τους σε σήματα μουσικής, τα οποία αναλύονται από συστοιχίες φίλτρων.
Η θεωρία των φράκταλς έχει χρησιμοποιηθεί εκτενώς για την μοντελοποίηση και τον χαρακτηρισμό πολύπλοκων φαινομένων και αντικειμένων, είτε φυσικών, είτε τεχνητών. Ενδείξεις για την χρησιμότητα της συγκεκριμένης θεωρίας σε σήματα φωνής, ώθησαν την έρευνα αυτή στη μελέτη των φράκταλς σε θέματα σχετιζόμενα με την μουσική. Αντίστοιχες ενδείξεις ύπαρξης μη-γραμμικών φαινομένων, όπως αυτά των διαμορφώσεων, κατά την παραγωγή φωνής, καθώς και η γνώση πως η ανθρώπινη ακοή βασίζεται σε μεγάλο βαθμό στις διαμορφώσεις πλάτους και συχνότητας, οδήγησαν στην διερεύνηση της καταλληλότητας των μοντέλων διαμορφώσεων σε σήματα μουσικής.
Με βάση το πλαίσιο αυτό, έχουν προταθεί νέα χαρακτηριστικά για την μοντελοποίηση των μουσικών σημάτων, τα οποία παρουσιάζουν πολλά πλεονεκτήματα σε σχέση με ήδη υπάρχοντα βασικά χαρακτηριστικά. Αυτό έχει εξακριβωθεί με τη χρήση μεθοδολογιών από το πεδίο της αναγνώρισης προτύπων. Τα πειραματικά αποτελέσματα, της αναγνώρισης και κατηγοριοποίησης των σημάτων μουσικής έως τώρα, καθιστούν σαφή την επάρκεια των συγκεκριμένων αλγορίθμων.
Επιπλέον στο χρονικό διάστημα αναφοράς έχει πραγματοποιηθεί εκτενής βιβλιογραφική έρευνα σχετικά με τις εκφραστικές ιδιότητες της μουσικής, τα αποτελέσματα της οποίας θα χρησιμοποιηθούν για την θεωρητική περιγραφή και μοντελοποίηση της μουσικής υπό το πρίσμα αυτό. Επίσης θα αποτελέσουν θεμέλιο για την δημιουργία βάσης δεδομένων με έγκυρες επισημειώσεις (annotation) για την επιτέλεση αξιόπιστης έρευνας. Η διερεύνηση αυτή θα λάβει χώρα τους επόμενους μήνες.
Μέχρι τώρα έχουν πραγματοποιηθεί 3 παρουσιάσεις/δημοσιεύσεις σε διεθνή επιστημονικά συνέδρια και έχει συγγραφεί 1 άρθρο σε έγκριτο διεθνές επιστημονικό περιοδικό (υπό έκδοση).
| Α/Α | Τίτλος Παραδοτέου | Είδος παραδοτέου | Αρχεία |
|---|---|---|---|
01 |
Musical Instruments Signal Analysis and Recognition Using Fractal Features |
Ανακοινώσεις σε συνέδρια |
|
02 |
A Saliency-Based Approach to Audio Event Detection and Summarization |
Ανακοινώσεις σε συνέδρια |
|
03 |
AM-FM Modulation Features for Music Ιnstrument Signal Analysis and Recognition |
Ανακοινώσεις σε συνέδρια |
|
04 |
Multiscale Fractal Analysis of Musical Instrument Signals with Application to Recognition |
Δημοσιεύσεις σε επιστημονικά περιοδικά |
|
05 |
Multimodal Saliency and Fusion for Movie Summarization based on Audal, Visual and Textual Attention |
Δημοσιεύσεις σε επιστημονικά περιοδικά |
|
06 |
Επεξεργασία ΣΗΜΑΤΩΝ ΜΟΥΣΙΚΗΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΑΝΑΓΝΩΡΙΣΗΣ |