Sonification of Text through Braille / “Hörbare” Blindenschrift

 

 

 

blinden erklährung.jpg

 

Download MATLAB Scripts (Both files have to be located in the same folder. / Beide Dateien müssen sich im gleichen Ordner befinden):

https://drive.google.com/open?id=1v4IOoOKNPIBeAnMJjtFisQDh9s-Qa5ye

April 2017

 

For this project I tried to convert the act of reading Braille into an acoustic alternative. Instead of a daily application this is supposed to be interactive art for raising awareness of difficulties in living with disabilities and for seeing communication media we take for granted from a different angle.

The MATLAB script reads the input text and allocates for every letter notes to the points of the Braille alphabet. In this manner every letter is transformed into a chord consisting of one to five notes, following the pattern you can see in the picture above. Like words bracket letters together, the chords of a word are changed to be a cadence. To differentiate the end of a sentence from the end of a word, a seventh is added to the final chord of words that do not end a sentence (major seventh for major chords, minor seventh for minor chords). For capitalized words the cadence is in E flat major, lowercased words are played in C minor (E flat major is the tonic parallel of C minor). Note that in German nouns are always capitalized, which is why there would be much more major chords. The cadences are preselected, however if there are two successive words with the same length and more than 2 letters an alternative cadence is available.

The whole chord sequence is realized with sinusoidal tones, the rhythm as well as the envelope of the chords are adjusted. Depending on the input the result is played and/or saved as a .wav file with the input text as the file name.

 


 

In diesem Projekt wurde versucht, den Vorgang des Lesens von Blindenschrift in eine akustische Variante umzuwandeln. Eine alltägliche Anwendung ist nicht vorgesehen, es handelt sich mehr um interaktive Kunst, die Bewusstsein für Hürden im Leben mit Behinderung schaffen und einen neuen Blick auf gelernte bzw. in ihrer jetzigen Form für selbstverständlich empfundene Kommunikationsmedien werfen soll.

Das MATLAB Programm liest die Buchstaben des eingegebenen Textes ein und teilt bei jedem Buchstaben den Punkten der Blindenschrift Töne zu, wodurch Akkorde aus eins bis fünf Tönen entstehen. Das Schema dieser Umwandlung ist im oberen Bild zu sehen. Danach werden die Akkorde äquivalent zu der Zusammenfassung von Buchstaben als Wort in einer Kadenz zusammengefasst. Um das Satzende zu verdeutlichen wird bei Wörtern, die den Satz nicht beenden, beim Schlussakkord noch eine Septime hinzugefügt, um eine weniger starke Auflösung als beim Satzende zu schaffen (große Sept bei Dur, kleine Sept bei Moll). Großgeschriebene Wörter werden als Kadenzen auf Es-Dur gespielt, kleingeschriebene Wörter als Kadenzen auf C-Moll (Tonikagegenklang von Es-Dur bzw. Es-Dur als Tonikaparallele von C-Moll). Die Kadenzen sind vorausgewählt, wobei im Fall von zwei aufeinanderfolgenden gleichlangen Wörtern mit mehr als zwei Buchstaben eine andere Kadenz zur Verfügung steht, damit nicht zweimal die gleich Kadenz ertönt.

Die fertige Akkordfolge wird mit Sinustönen als Noten umgesetzt und sowie die Rhythmik als auch die Hüllkurve der Akkorde werden gesteuert. Je nach Eingabe wird das Ergebnis abgespielt und/oder als .wav Datei mit der Nachricht als Dateinamen gespeichert.