Case study
Naetha Phigram: realistyczny model 3D budynku z iPhone'a
Skan wnętrz telefonem z LiDAR, powierzchnia rosnąca na Macu w trakcie skanu i teksturowany model do oglądania w przeglądarce. Budynek składa się ze skanów pomieszczeń łączonych w jeden model.
- Typ
- Własny produkt Kol.ski
- Dla kogo
- Wspólnoty, zarządcy, firmy serwisowe i inwentaryzacyjne
- Zakres
- Aplikacja iOS do skanowania, aplikacja macOS do obróbki i łączenia skanów, rekonstrukcja z teksturami, eksport GLB i podgląd w przeglądarce
- Stan
- Działający prototyp, pierwszy skan docelowego budynku, przed skanem klatki schodowej
Wyzwanie
Wspólnota i zarządca rzadko mają aktualny model budynku. Plany z projektu nie pokazują, jak klatka wygląda dziś, a jednorazowe skany z aplikacji kończą się na jednym pokoju albo jednym przejściu.
Zeskanujmy dziś parking, a jutro dwa piętra wyżej.
Budynku nie da się zeskanować w jednej sesji. Telefon traci orientację na długim przejściu i na schodach, podobne piętra łatwo pomylić, a każdy nowy skan musi trafić we właściwe miejsce modelu, zamiast zepsuć to, co już jest.
Rozwiązanie
iPhone rejestruje obraz, głębię i pozycję kamery i przesyła skan na Maca kablem albo przez Wi-Fi w sieci lokalnej, już w trakcie skanu. MacBook zlewa z każdej klatki powierzchnię i pokazuje ją na bieżąco, po kablu 11 ms po zapisaniu klatki. Po skanie liczy model z teksturami ze zdjęć.
Skan bez robienia zdjęć
Operator idzie przez pomieszczenie, a aplikacja sama wybiera klatki kluczowe po każdych 10 cm albo 10° ruchu. Ekspozycja i balans bieli są zablokowane na czas skanu, więc zdjęcia mają ten sam kolor.
Telefon jako bufor
Minuta skanu to 77-94 MB. Skan przesłany na Maca i potwierdzony znika z telefonu, a przesyłanie po zerwaniu połączenia wznawia się od brakującej klatki. Z Maca skany trafiają do archiwum na dysku współdzielonym, sprawdzane sumami SHA-256.
Budynek z pomieszczeń
Każde pomieszczenie to osobny skan z fragmentem wspólnym z sąsiednim. W Studio układa się skany obok siebie i łączy przyciskiem: program dopasowuje je sam, przy małej części wspólnej pokazuje propozycję do sprawdzenia, a przy zbyt małej odmawia. Skany składają się w projekty, a projekty w katalog budynku.
Strefy do dogrania
Studio wskazuje dziury, powierzchnie widziane za mało i końce skanu. Strefy są ponumerowane na modelu w Studio i na stronie podglądu, a dogrywka wchodzi do projektu jako kolejny skan.
Model w przeglądarce
Eksport dla przeglądarki ma 150 tys. trójkątów, a strona podglądu ma wszystkie biblioteki u siebie, bez połączeń na zewnątrz. Otwiera się na iPhonie z kodu QR pokazanego w Studio.
Punkty, regiony i wersje
Na powierzchni modelu można oznaczyć punkt z identyfikatorem, nazwą i opisem. Model tnie się na regiony, a zatwierdzona wersja dostaje sumy kontrolne i już się nie zmienia.
Rezultat
- 2urządzenia w całym procesie: iPhone z LiDAR i MacBook
- 0zdjęć budynku wysyłanych do zewnętrznych usług
- 99%powierzchni korytarza w modelu; gotowe silniki: Apple Object Capture 44%, COLMAP z OpenMVS 16%
- 3sekundy na teksturowany model pokoju z 447 klatek
- 0,5cm od prawdziwego położenia po złączeniu dwóch części skanu pokoju
- 9,7mm mediany błędu głębi w korytarzu po korekcie dryfu (bez niej 15,4)
Co działa
- Rejestracja obrazu, głębi i pozycji kamery na iPhonie 16 Pro z blokadą ekspozycji i balansu bieli.
- Przesyłanie skanów kablem USB i przez Wi-Fi, z potwierdzeniem i wznawianiem, także na żywo.
- Podgląd powierzchni na żywo i gotowego modelu w Studio, z obrotem, przelotem i chodzeniem po wnętrzu.
- Rekonstrukcja do teksturowanego GLB, korekta dryfu jako opcja i miara jakości modelu na odłożonych klatkach.
- Łączenie skanów w projekty i katalog budynku, strefy do dogrania, punkty, regiony i wersje.
- Eksport do przeglądarki, archiwum skanów i cała praca Studio także poleceniem
phigram studio, bez okna. - Pierwszy skan docelowego budynku: korytarz, 490 klatek w 212 s, przesłany przez Wi-Fi bez zerwania połączenia.
Przed nami
- Skan klatki schodowej: dwa poziomy z łączącym biegiem schodów, potem cała klatka od parkingu po ostatnie piętro.
- Korekta dryfu włączona domyślnie, jeśli potwierdzi się na drugim skanie korytarza i na klatce.
- Dogrywanie z telefonu: projekt otwarty w aplikacji iOS, ze strefami do dogrania na obrazie z kamery.
- Maskowanie osób i tablic rejestracyjnych na zdjęciach.
Naetha Phigram nie jest pomiarem geodezyjnym: dokładność modelu podajemy z raportu błędów na punktach kontrolnych.
Architektura
Każda część robi jedno. Wszystko, co robi okno Studio, da się zrobić poleceniem phigram studio.
Phigram Capture
Rejestruje obraz, głębię i pozycję kamery, przesyła skany i usuwa je po potwierdzeniu, pokazuje modele z Maca
- Swift
- SwiftUI
- ARKit
- RealityKit
- LiDAR
Phigram Studio
Katalogi, projekty i skany, podgląd na żywo, łączenie skanów, strefy, punkty, regiony i wersje, eksport i archiwum
- Swift
- SwiftUI
- Metal
Phigram Processing
Fuzja głębi, korekta dryfu, siatka, tekstury ze zdjęć, dopasowanie skanów, miara jakości, eksport
- Swift
- TSDF
- ICP
- glTF 2.0
Phigram Kit
Format sesji z walidatorem i protokół przesyłania wspólny dla obu aplikacji, kablem i przez Wi-Fi
- Swift
- Network
- Bonjour
- usbmuxd
Wnioski
- Pozycja z telefonu to punkt startu, nie wynik. Błąd rośnie z długością przejścia, więc długi skan trzeba dzielić, a model końcowy wymaga korekty pozycji kamer.
- Gotowe silniki gubią się na gładkich ścianach. W korytarzu Apple Object Capture odtworzył 44% tego, co zmierzył LiDAR, COLMAP z OpenMVS 16%, a nasz potok oparty na głębi 99%, więc zostaje własny.
- Zmiana bez pomiaru to zgadywanie. Dwie intuicyjne poprawki, wybór ostrzejszych zdjęć do tekstury i dopasowanie pozycji klatek do modelu, po zmierzeniu pogorszyły model i zostały wyłączone.
- Budynku nie skanuje się jednym przejściem. Skany pomieszczeń z fragmentem wspólnym, łączone na Macu, są prostsze dla operatora i odporniejsze na błąd niż jedna długa sesja.
- Telefon to bufor, nie archiwum. Skan musi szybko trafić na Maca, a dane źródłowe dalej na dysk współdzielony; na Macu zostają wyniki.
- Kolor tekstury zależy od aparatu. Bez blokady jeden skan pokoju miał 24 różne czasy naświetlania, z blokadą jeden.
- Brak danych zostaje brakiem. Nie dopowiadamy ścian generatywnie w modelu, który ma opisywać rzeczywisty budynek.
Masz budynek do zeskanowania?
Modele wnętrz dla wspólnot, zarządców i firm, gotowe pod identyfikację elementów i warstwy instalacji. Napisz, jeśli chcesz dołączyć do pilotażu.
Pierwsza rozmowa jest bezpłatna: 30 minut online, bez przygotowań i bez zobowiązań.