← Wszystkie wpisy

Jeden rdzeń dźwięku na telefonie, komputerze i w przeglądarce

· 2 minuty czytania · Read in English

Z czasem Tellavio wyszło poza Androida. Wersja na komputer i studio w przeglądarce korzystają z tego samego kodu dźwięku co aplikacja na telefonie. Dzięki temu miks brzmi wszędzie tak samo, co do próbki.

Schemat: rdzeń w Kotlin Multiplatform (miks, głośność −16 LUFS, limiter, paczka .storyflow) zasila trzy miejsca pracy. Android i komputer jako JVM, przeglądarka jako WebAssembly.
Jeden rdzeń audio, trzy miejsca pracy.

Szósty wpis z serii o tym, jak powstaje Tellavio.

Specyfikacja nie przewidywała wersji na komputer ani w przeglądarce. Już 6 października zdecydowaliśmy jednak, że obie powstaną, ale na tych samych zasadach co aplikacja: praca lokalnie, bez konta i bez wysyłania nagrań na serwer.

Najpierw rdzeń

Gdyby każda wersja miała własny kod miksu, po kilku miesiącach każda brzmiałaby trochę inaczej. Dlatego jeszcze 6 października przenieśliśmy cały rdzeń dźwiękowy do Kotlin Multiplatform. Ten sam kod liczy miks głosu i muzyki, wyrównanie głośności, limiter, a także odczyt i zapis paczki .storyflow. Na Androidzie i komputerze działa w maszynie wirtualnej Javy, w przeglądarce jako WebAssembly.

Tellavio na komputerze

Od 19 października powstaje wersja na komputer (macOS, Windows, Linux). Ma tę samą bazę danych co aplikacja na Androida, ten sam format nagrywania w blokach z dziennikiem i odzyskiwanie po awarii. 22 października działały już: lista materiałów, scenariusz, nagrywanie z wybranego mikrofonu, odsłuch, podejścia, eksport WAV, biblioteka dźwięków z przeciąganiem plików i paczki projektu.

Najlepszy test był prosty. Paczkę z prawdziwym materiałem z tabletu otworzyliśmy na komputerze. Nagrania miały te same sumy kontrolne, a eksport z komputera trafił w docelową głośność −16 LUFS. Paczka z komputera otworzyła się na tablecie. Komputer to też naturalne miejsce na mikrofon USB, więc aplikacja pamięta wybrany mikrofon po nazwie i blokuje uśpienie systemu w trakcie nagrania.

Wersja na komputer nie jest jeszcze gotowa do pobrania. Czeka na podpisane instalatory i ręczne przejście wszystkich ekranów.

Studio w przeglądarce

9 listopada powstało studio w przeglądarce. Najpierw trzeba było zdecydować, z czego je zbudować. Interfejs mógł powstać w tej samej technologii co aplikacja (Compose), ale rysuje ona wszystko na płótnie, a czytniki ekranu słabo to obsługują. Wybraliśmy zwykłą stronę (Next.js) w serwisie tellavio.com, bo każda kontrolka musi mieć nazwę dla czytnika.

Rdzeń dźwięku przenieśliśmy do przeglądarki jako WebAssembly. Pomiar rozstrzygnął sprawę. Miks 10 minut materiału w Chrome trwał 4,5 s, w Firefoksie 13 s. Ten sam rdzeń skompilowany do zwykłego JavaScriptu potrzebował 58 s i 106 s. Ważniejsze okazało się coś innego: WebAssembly daje próbki identyczne co do bitu z wersją na telefonie i komputerze. Wersja JavaScript liczy ułamki z inną precyzją. Różnice są niesłyszalne, ale testy porównujące pliki bajt po bajcie przestałyby działać.

Studio nagrywa w blokach z dziennikiem jak telefon, odzyskuje nagranie po zamknięciu karty, eksportuje WAV, czyta i zapisuje paczki .storyflow i działa bez internetu po pierwszym otwarciu. Dane zostają w przeglądarce, na Twoim komputerze.

Studio jest już na tellavio.com pod adresem /studio, w pierwszej wersji (0.1). Sprawdziliśmy je w Chrome i Firefoksie z symulowanym mikrofonem; testy z prawdziwym mikrofonem, w Safari i z paczką z tabletu jeszcze trwają.

W następnym wpisie: jak Tellavio stało się aplikacją lektorską dla przewodników Pointale.