# Naetha Phigram: realistyczny model 3D budynku z iPhone'a

Skan wnętrz telefonem z LiDAR, powierzchnia rosnąca na Macu w trakcie skanu i teksturowany model do oglądania w przeglądarce. Budynek składa się ze skanów pomieszczeń łączonych w jeden model.

## W skrócie

- Typ: Własny produkt Kol.ski
- Dla kogo: Wspólnoty, zarządcy, firmy serwisowe i inwentaryzacyjne
- Zakres: Aplikacja iOS do skanowania, aplikacja macOS do obróbki i łączenia skanów, rekonstrukcja z teksturami, eksport GLB i podgląd w przeglądarce
- Stan: Działający prototyp, pierwszy skan docelowego budynku, przed skanem klatki schodowej

## Wyzwanie

Wspólnota i zarządca rzadko mają aktualny model budynku. Plany z projektu nie pokazują, jak klatka wygląda dziś, a jednorazowe skany z aplikacji kończą się na jednym pokoju albo jednym przejściu.

> Zeskanujmy dziś parking, a jutro dwa piętra wyżej.

Budynku nie da się zeskanować w jednej sesji. Telefon traci orientację na długim przejściu i na schodach, podobne piętra łatwo pomylić, a każdy nowy skan musi trafić we właściwe miejsce modelu, zamiast zepsuć to, co już jest.

## Rozwiązanie

iPhone rejestruje obraz, głębię i pozycję kamery i przesyła skan na Maca kablem albo przez Wi-Fi w sieci lokalnej, już w trakcie skanu. MacBook zlewa z każdej klatki powierzchnię i pokazuje ją na bieżąco, po kablu 11 ms po zapisaniu klatki. Po skanie liczy model z teksturami ze zdjęć.

### Skan bez robienia zdjęć

Operator idzie przez pomieszczenie, a aplikacja sama wybiera klatki kluczowe po każdych 10 cm albo 10° ruchu. Ekspozycja i balans bieli są zablokowane na czas skanu, więc zdjęcia mają ten sam kolor.

### Telefon jako bufor

Minuta skanu to 77-94 MB. Skan przesłany na Maca i potwierdzony znika z telefonu, a przesyłanie po zerwaniu połączenia wznawia się od brakującej klatki. Z Maca skany trafiają do archiwum na dysku współdzielonym, sprawdzane sumami SHA-256.

### Budynek z pomieszczeń

Każde pomieszczenie to osobny skan z fragmentem wspólnym z sąsiednim. W Studio układa się skany obok siebie i łączy przyciskiem: program dopasowuje je sam, przy małej części wspólnej pokazuje propozycję do sprawdzenia, a przy zbyt małej odmawia. Skany składają się w projekty, a projekty w katalog budynku.

### Strefy do dogrania

Studio wskazuje dziury, powierzchnie widziane za mało i końce skanu. Strefy są ponumerowane na modelu w Studio i na stronie podglądu, a dogrywka wchodzi do projektu jako kolejny skan.

### Model w przeglądarce

Eksport dla przeglądarki ma 150 tys. trójkątów, a strona podglądu ma wszystkie biblioteki u siebie, bez połączeń na zewnątrz. Otwiera się na iPhonie z kodu QR pokazanego w Studio.

### Punkty, regiony i wersje

Na powierzchni modelu można oznaczyć punkt z identyfikatorem, nazwą i opisem. Model tnie się na regiony, a zatwierdzona wersja dostaje sumy kontrolne i już się nie zmienia.

## Rezultat

| Liczba | Znaczenie |
| --- | --- |
| 2 | urządzenia w całym procesie: iPhone z LiDAR i MacBook |
| 0 | zdjęć budynku wysyłanych do zewnętrznych usług |
| 99% | powierzchni korytarza w modelu; gotowe silniki: Apple Object Capture 44%, COLMAP z OpenMVS 16% |
| 3 | sekundy na teksturowany model pokoju z 447 klatek |
| 0,5 | cm od prawdziwego położenia po złączeniu dwóch części skanu pokoju |
| 9,7 | mm mediany błędu głębi w korytarzu po korekcie dryfu (bez niej 15,4) |

### Co działa

- Rejestracja obrazu, głębi i pozycji kamery na iPhonie 16 Pro z blokadą ekspozycji i balansu bieli.
- Przesyłanie skanów kablem USB i przez Wi-Fi, z potwierdzeniem i wznawianiem, także na żywo.
- Podgląd powierzchni na żywo i gotowego modelu w Studio, z obrotem, przelotem i chodzeniem po wnętrzu.
- Rekonstrukcja do teksturowanego GLB, korekta dryfu jako opcja i miara jakości modelu na odłożonych klatkach.
- Łączenie skanów w projekty i katalog budynku, strefy do dogrania, punkty, regiony i wersje.
- Eksport do przeglądarki, archiwum skanów i cała praca Studio także poleceniem `phigram studio`, bez okna.
- Pierwszy skan docelowego budynku: korytarz, 490 klatek w 212 s, przesłany przez Wi-Fi bez zerwania połączenia.

### Przed nami

- Skan klatki schodowej: dwa poziomy z łączącym biegiem schodów, potem cała klatka od parkingu po ostatnie piętro.
- Korekta dryfu włączona domyślnie, jeśli potwierdzi się na drugim skanie korytarza i na klatce.
- Dogrywanie z telefonu: projekt otwarty w aplikacji iOS, ze strefami do dogrania na obrazie z kamery.
- Maskowanie osób i tablic rejestracyjnych na zdjęciach.

Naetha Phigram nie jest pomiarem geodezyjnym: dokładność modelu podajemy z raportu błędów na punktach kontrolnych.

## Architektura

Każda część robi jedno. Wszystko, co robi okno Studio, da się zrobić poleceniem `phigram studio`.

| Część | Co robi | Technologia |
| --- | --- | --- |
| Phigram Capture | Rejestruje obraz, głębię i pozycję kamery, przesyła skany i usuwa je po potwierdzeniu, pokazuje modele z Maca | Swift, SwiftUI, ARKit, RealityKit, LiDAR |
| Phigram Studio | Katalogi, projekty i skany, podgląd na żywo, łączenie skanów, strefy, punkty, regiony i wersje, eksport i archiwum | Swift, SwiftUI, Metal |
| Phigram Processing | Fuzja głębi, korekta dryfu, siatka, tekstury ze zdjęć, dopasowanie skanów, miara jakości, eksport | Swift, TSDF, ICP, glTF 2.0 |
| Phigram Kit | Format sesji z walidatorem i protokół przesyłania wspólny dla obu aplikacji, kablem i przez Wi-Fi | Swift, Network, Bonjour, usbmuxd |

## Wnioski

- Pozycja z telefonu to punkt startu, nie wynik. Błąd rośnie z długością przejścia, więc długi skan trzeba dzielić, a model końcowy wymaga korekty pozycji kamer.
- Gotowe silniki gubią się na gładkich ścianach. W korytarzu Apple Object Capture odtworzył 44% tego, co zmierzył LiDAR, COLMAP z OpenMVS 16%, a nasz potok oparty na głębi 99%, więc zostaje własny.
- Zmiana bez pomiaru to zgadywanie. Dwie intuicyjne poprawki, wybór ostrzejszych zdjęć do tekstury i dopasowanie pozycji klatek do modelu, po zmierzeniu pogorszyły model i zostały wyłączone.
- Budynku nie skanuje się jednym przejściem. Skany pomieszczeń z fragmentem wspólnym, łączone na Macu, są prostsze dla operatora i odporniejsze na błąd niż jedna długa sesja.
- Telefon to bufor, nie archiwum. Skan musi szybko trafić na Maca, a dane źródłowe dalej na dysk współdzielony; na Macu zostają wyniki.
- Kolor tekstury zależy od aparatu. Bez blokady jeden skan pokoju miał 24 różne czasy naświetlania, z blokadą jeden.
- Brak danych zostaje brakiem. Nie dopowiadamy ścian generatywnie w modelu, który ma opisywać rzeczywisty budynek.

## Masz budynek do zeskanowania?

Modele wnętrz dla wspólnot, zarządców i firm, gotowe pod identyfikację elementów i warstwy instalacji. Napisz, jeśli chcesz dołączyć do pilotażu.

[Porozmawiajmy o projekcie](mailto:hi@kol.ski) · [Zarezerwuj 30 minut](https://calendar.app.google/CJxZPq3FqabCDMS59) · [Projekty](https://kol.ski/pl/projekty)
