Tekst lub głos
Użytkownik pisze w czacie albo wydaje polecenie głosowe po skonfigurowaniu mikrofonu.
Studium przypadku · projekt główny
Navo - lokalny asystent AI dla domu.
Rozmowa z modelem, polecenia głosowe i sterowanie urządzeniami z aplikacji Windows oraz panelu na telefon.
Zrzut aktualnego interfejsu · dane demonstracyjne.
Punkt wyjścia
Jeden sposób obsługi domu.
Chciałem móc rozmawiać z lokalnym modelem AI i zlecać mu konkretne działania bez przeskakiwania między aplikacjami. Navo łączy czat, głos, panel urządzeń i dostęp z telefonu w domowej sieci.
Największe wyzwanie projektowe to przewidywalne przejście od wypowiedzi do działania: rozpoznanie intencji, wybranie właściwego urządzenia i obsługa odpowiedzi w interfejsie.
Jak działa
Od polecenia do akcji.
Lokalny model
Navo rozmawia z modelem uruchomionym przez Ollamę i zachowuje kontekst bieżącej rozmowy.
Wybrane urządzenie
Panel i kontrolery obsługują zgodne urządzenia, między innymi światła Tuya, Android TV i PS5.
Wynik w panelu
Widok urządzeń i rozmowy jest dostępny na Windows oraz na telefonie w sieci lokalnej.
Obecny interfejs
Panel na dwóch ekranach.
Poniższe materiały pokazują obecny wygląd aplikacji na danych demonstracyjnych.
Prezentacja interfejsu · dane pokazowe
Krótki montaż aktualnych zrzutów panelu. Film nie przedstawia nagrania działania aplikacji.
Pobierz wideo ↓Technologie i stan
Projekt stale rozwijam.
Rdzeń powstaje w Pythonie. Rozmowę obsługuje model przez Ollamę, a obsługa głosu i kontrolery urządzeń łączą AI z działaniami w domu. Panel webowy pozwala korzystać z Navo z telefonu w sieci lokalnej.
Pokazuję obecny stan projektu i rzeczywisty interfejs. Lista obsługiwanych urządzeń zależy od zgodności i konfiguracji konkretnego sprzętu.
Czytaj dalej