Aplikacja na smartwatch ostrzega użytkowników z ubytkiem słuchu o dźwiękach w pobliżu

Nowa aplikacja na smartwatch ostrzega niesłyszących lub niedosłyszących użytkowników o pobliskich dźwiękach, takich jak pikanie mikrofalówki lub klaksony samochodu.

„Główną motywacją [do aplikacji] było moje własne doświadczenie oraz rozmowy, które moi koledzy i ja prowadziliśmy z osobami niesłyszącymi i niedosłyszącymi przez kilka lat” – mówi Dhruv Jain, który zaprezentował system o nazwie SoundWatch na wirtualna konferencja ASSETS 28 października.

Jain, która ma problemy ze słuchem, używa w domu SoundWatch, aby uniknąć braku reakcji na czujnik dymu. „Na spacerze na łonie natury powie mi [zegarek], że śpiewają ptaki lub w pobliżu może być wodospad” – mówi. „Te dźwięki sprawiają, że czuję się bardziej obecny i połączony ze światem”.

Istnieją aplikacje podnoszące poziom dźwięku na smartfony. Ale Jain woli natychmiastowe powiadomienia dźwiękowe na nadgarstku a nie kieszeni – a ankiety przeprowadzone wśród osób niesłyszących lub niedosłyszących pokazują, że nie jest sam.

Aplikacja SoundWatch łączy smartfon z systemem Android i telefonem. Zegarek rejestruje dźwięki otoczenia i przesyła te dane do telefonu w celu przetworzenia. Gdy telefon wykryje dźwięk, smartwatch wibruje i wyświetla powiadomienie.

Jain, informatyk z University of Washington w Seattle, wraz ze współpracownikami zaprojektował aplikację do identyfikacji 20 dźwięków. W eksperymentach SoundWatch poprawnie zidentyfikował te 20 dźwięków w 81,2% przypadków. Po ustawieniu nasłuchiwania tylko nagłych dźwięków – alarmu przeciwpożarowego, pukania do drzwi lub budzika – aplikacja była skuteczna w 97,6%. Osiem osób niesłyszących i niedosłyszących, które korzystały z SoundWatch na terenie kampusu uniwersyteckiego, wystawiło aplikację ogólnie pozytywną ocenę, ale zauważyło, że aplikacja błędnie sklasyfikowała niektóre dźwięki w głośnym otoczeniu na zewnątrz.

Jain i współpracownicy pracują teraz nad wersją SoundWatch, którą użytkownicy mogą nauczyć rozpoznawać nowe dźwięki, takie jak ich własny alarm domowy, przy użyciu zaledwie kilku nagrań.

Źródło: Maria Temming

D. Jain et al. SoundWatch: Exploring smartwatch-based deep learning approaches to support sound awareness for deaf and hard of hearing users. The 22nd International ACM SIGACCESS Conference on Computers and Accessibility (ASSETS ’20), October 28, 2020, doi: 10.1145/3373625.3416991.

Zdjęcie: JAIN ET AL./ASSETS 2020

Subscribe
Powiadom o
guest
0 komentarzy
Inline Feedbacks
View all comments
0
Would love your thoughts, please comment.x
()
x