Case study

Naetha Phigram: realistyczny model 3D budynku z iPhone'a

Skan wnętrz telefonem z LiDAR, powierzchnia rosnąca na Macu w trakcie skanu i teksturowany model do oglądania w przeglądarce. Budynek składa się ze skanów pomieszczeń łączonych w jeden model.

Typ
Własny produkt Kol.ski
Dla kogo
Wspólnoty, zarządcy, firmy serwisowe i inwentaryzacyjne
Zakres
Aplikacja iOS do skanowania, aplikacja macOS do obróbki i łączenia skanów, rekonstrukcja z teksturami, eksport GLB i podgląd w przeglądarce
Stan
Działający prototyp, pierwszy skan docelowego budynku, przed skanem klatki schodowej

Wyzwanie

Wspólnota i zarządca rzadko mają aktualny model budynku. Plany z projektu nie pokazują, jak klatka wygląda dziś, a jednorazowe skany z aplikacji kończą się na jednym pokoju albo jednym przejściu.

Zeskanujmy dziś parking, a jutro dwa piętra wyżej.

Budynku nie da się zeskanować w jednej sesji. Telefon traci orientację na długim przejściu i na schodach, podobne piętra łatwo pomylić, a każdy nowy skan musi trafić we właściwe miejsce modelu, zamiast zepsuć to, co już jest.

Rozwiązanie

iPhone rejestruje obraz, głębię i pozycję kamery i przesyła skan na Maca kablem albo przez Wi-Fi w sieci lokalnej, już w trakcie skanu. MacBook zlewa z każdej klatki powierzchnię i pokazuje ją na bieżąco, po kablu 11 ms po zapisaniu klatki. Po skanie liczy model z teksturami ze zdjęć.

Skan bez robienia zdjęć

Operator idzie przez pomieszczenie, a aplikacja sama wybiera klatki kluczowe po każdych 10 cm albo 10° ruchu. Ekspozycja i balans bieli są zablokowane na czas skanu, więc zdjęcia mają ten sam kolor.

Telefon jako bufor

Minuta skanu to 77-94 MB. Skan przesłany na Maca i potwierdzony znika z telefonu, a przesyłanie po zerwaniu połączenia wznawia się od brakującej klatki. Z Maca skany trafiają do archiwum na dysku współdzielonym, sprawdzane sumami SHA-256.

Budynek z pomieszczeń

Każde pomieszczenie to osobny skan z fragmentem wspólnym z sąsiednim. W Studio układa się skany obok siebie i łączy przyciskiem: program dopasowuje je sam, przy małej części wspólnej pokazuje propozycję do sprawdzenia, a przy zbyt małej odmawia. Skany składają się w projekty, a projekty w katalog budynku.

Strefy do dogrania

Studio wskazuje dziury, powierzchnie widziane za mało i końce skanu. Strefy są ponumerowane na modelu w Studio i na stronie podglądu, a dogrywka wchodzi do projektu jako kolejny skan.

Model w przeglądarce

Eksport dla przeglądarki ma 150 tys. trójkątów, a strona podglądu ma wszystkie biblioteki u siebie, bez połączeń na zewnątrz. Otwiera się na iPhonie z kodu QR pokazanego w Studio.

Punkty, regiony i wersje

Na powierzchni modelu można oznaczyć punkt z identyfikatorem, nazwą i opisem. Model tnie się na regiony, a zatwierdzona wersja dostaje sumy kontrolne i już się nie zmienia.

Rezultat

  • 2urządzenia w całym procesie: iPhone z LiDAR i MacBook
  • 0zdjęć budynku wysyłanych do zewnętrznych usług
  • 99%powierzchni korytarza w modelu; gotowe silniki: Apple Object Capture 44%, COLMAP z OpenMVS 16%
  • 3sekundy na teksturowany model pokoju z 447 klatek
  • 0,5cm od prawdziwego położenia po złączeniu dwóch części skanu pokoju
  • 9,7mm mediany błędu głębi w korytarzu po korekcie dryfu (bez niej 15,4)

Co działa

  • Rejestracja obrazu, głębi i pozycji kamery na iPhonie 16 Pro z blokadą ekspozycji i balansu bieli.
  • Przesyłanie skanów kablem USB i przez Wi-Fi, z potwierdzeniem i wznawianiem, także na żywo.
  • Podgląd powierzchni na żywo i gotowego modelu w Studio, z obrotem, przelotem i chodzeniem po wnętrzu.
  • Rekonstrukcja do teksturowanego GLB, korekta dryfu jako opcja i miara jakości modelu na odłożonych klatkach.
  • Łączenie skanów w projekty i katalog budynku, strefy do dogrania, punkty, regiony i wersje.
  • Eksport do przeglądarki, archiwum skanów i cała praca Studio także poleceniem phigram studio, bez okna.
  • Pierwszy skan docelowego budynku: korytarz, 490 klatek w 212 s, przesłany przez Wi-Fi bez zerwania połączenia.

Przed nami

  • Skan klatki schodowej: dwa poziomy z łączącym biegiem schodów, potem cała klatka od parkingu po ostatnie piętro.
  • Korekta dryfu włączona domyślnie, jeśli potwierdzi się na drugim skanie korytarza i na klatce.
  • Dogrywanie z telefonu: projekt otwarty w aplikacji iOS, ze strefami do dogrania na obrazie z kamery.
  • Maskowanie osób i tablic rejestracyjnych na zdjęciach.

Naetha Phigram nie jest pomiarem geodezyjnym: dokładność modelu podajemy z raportu błędów na punktach kontrolnych.

Architektura

Każda część robi jedno. Wszystko, co robi okno Studio, da się zrobić poleceniem phigram studio.

  1. Phigram Capture

    Rejestruje obraz, głębię i pozycję kamery, przesyła skany i usuwa je po potwierdzeniu, pokazuje modele z Maca

    • Swift
    • SwiftUI
    • ARKit
    • RealityKit
    • LiDAR
  2. Phigram Studio

    Katalogi, projekty i skany, podgląd na żywo, łączenie skanów, strefy, punkty, regiony i wersje, eksport i archiwum

    • Swift
    • SwiftUI
    • Metal
  3. Phigram Processing

    Fuzja głębi, korekta dryfu, siatka, tekstury ze zdjęć, dopasowanie skanów, miara jakości, eksport

    • Swift
    • TSDF
    • ICP
    • glTF 2.0
  4. Phigram Kit

    Format sesji z walidatorem i protokół przesyłania wspólny dla obu aplikacji, kablem i przez Wi-Fi

    • Swift
    • Network
    • Bonjour
    • usbmuxd

Wnioski

  1. Pozycja z telefonu to punkt startu, nie wynik. Błąd rośnie z długością przejścia, więc długi skan trzeba dzielić, a model końcowy wymaga korekty pozycji kamer.
  2. Gotowe silniki gubią się na gładkich ścianach. W korytarzu Apple Object Capture odtworzył 44% tego, co zmierzył LiDAR, COLMAP z OpenMVS 16%, a nasz potok oparty na głębi 99%, więc zostaje własny.
  3. Zmiana bez pomiaru to zgadywanie. Dwie intuicyjne poprawki, wybór ostrzejszych zdjęć do tekstury i dopasowanie pozycji klatek do modelu, po zmierzeniu pogorszyły model i zostały wyłączone.
  4. Budynku nie skanuje się jednym przejściem. Skany pomieszczeń z fragmentem wspólnym, łączone na Macu, są prostsze dla operatora i odporniejsze na błąd niż jedna długa sesja.
  5. Telefon to bufor, nie archiwum. Skan musi szybko trafić na Maca, a dane źródłowe dalej na dysk współdzielony; na Macu zostają wyniki.
  6. Kolor tekstury zależy od aparatu. Bez blokady jeden skan pokoju miał 24 różne czasy naświetlania, z blokadą jeden.
  7. Brak danych zostaje brakiem. Nie dopowiadamy ścian generatywnie w modelu, który ma opisywać rzeczywisty budynek.

Masz budynek do zeskanowania?

Modele wnętrz dla wspólnot, zarządców i firm, gotowe pod identyfikację elementów i warstwy instalacji. Napisz, jeśli chcesz dołączyć do pilotażu.

Pierwsza rozmowa jest bezpłatna: 30 minut online, bez przygotowań i bez zobowiązań.

Napisz do nas

Wiadomość szyfrujemy w Twojej przeglądarce — po drodze nikt poza nami jej nie odczyta. Jeśli chcesz, możesz dodatkowo zaszyfrować treść naszym kluczem PGP i wkleić wynik.

Wpisz co najmniej dwa znaki.
Sprawdź adres e-mail.
Sprawdź numer telefonu.

Podaj e-mail, telefon albo oba.

Podaj e-mail lub telefon.
Nie wpisuj danych wrażliwych (np. o zdrowiu), haseł ani cudzych danych.
Napisz od 10 do 5000 znaków.
Bez tej zgody nie możemy przyjąć wiadomości.