# Naetha Phigram: un modello 3D realistico dell’edificio da un iPhone

Scansione degli interni con un telefono dotato di LiDAR, una superficie che cresce sul Mac durante la scansione e un modello con texture da guardare nel browser. L’edificio è composto da scansioni delle stanze unite in un unico modello.

## In breve

- Tipo: Prodotto proprio di Kol.ski
- Per chi: Condomini, amministratori, aziende di manutenzione e di rilievo
- Ambito: App iOS di scansione, app macOS di elaborazione e unione delle scansioni, ricostruzione con texture, export GLB e anteprima nel browser
- Stato: Prototipo funzionante, prima scansione dell’edificio di destinazione, prima della scansione della scala

## Sfida

Il condominio o il suo amministratore raramente hanno un modello aggiornato dell’edificio. I disegni di progetto non mostrano com’è oggi la scala, e le scansioni occasionali fatte con le app si fermano a una sola stanza o a un solo passaggio.

> Oggi scansioniamo il parcheggio, domani due piani più su.

Un edificio non si scansiona in una sola sessione. Su un percorso lungo e sulle scale il telefono perde l’orientamento, i piani simili si confondono facilmente e ogni nuova scansione deve finire nel punto giusto del modello, senza rovinare ciò che c’è già.

## Soluzione

L’iPhone registra immagine, profondità e posizione della fotocamera e invia la scansione al Mac via cavo o via Wi-Fi nella rete locale, già durante la scansione. Il MacBook fonde una superficie da ogni fotogramma e la mostra mentre cresce, via cavo 11 ms dopo il salvataggio del fotogramma. Finita la scansione, calcola un modello con le texture dalle foto.

### Scansione senza scattare foto

L’operatore cammina nella stanza e l’app sceglie da sola i fotogrammi chiave dopo ogni 10 cm o 10° di movimento. Esposizione e bilanciamento del bianco sono bloccati per tutta la scansione, quindi le foto hanno lo stesso colore.

### Il telefono come buffer

Un minuto di scansione occupa 77-94 MB. La scansione inviata al Mac e confermata sparisce dal telefono, e dopo un’interruzione della connessione il trasferimento riprende dal fotogramma mancante. Dal Mac le scansioni passano in un archivio su un disco condiviso, verificate con le somme SHA-256.

### Un edificio fatto di stanze

Ogni stanza è una scansione separata con una parte in comune con quella vicina. In Studio le scansioni si dispongono una accanto all’altra e si uniscono con un pulsante: il programma le allinea da solo, propone un accostamento da verificare quando la parte comune è piccola e rifiuta quando è troppo piccola. Le scansioni formano progetti e i progetti il catalogo dell’edificio.

### Zone da riscansionare

Studio indica i buchi, le superfici viste troppo poco e le estremità della scansione. Le zone sono numerate sul modello in Studio e nella pagina di anteprima, e la nuova scansione entra nel progetto come scansione aggiuntiva.

### Il modello nel browser

L’export per il browser ha 150.000 triangoli e la pagina di anteprima contiene tutte le sue librerie, senza connessioni esterne. Si apre su un iPhone da un codice QR mostrato in Studio.

### Punti, regioni e versioni

Sulla superficie del modello si può segnare un punto con identificatore, nome e descrizione. Il modello si taglia in regioni, e una versione approvata riceve le somme di controllo e non cambia più.

## Risultato

| Numero | Significato |
| --- | --- |
| 2 | dispositivi in tutto il processo: un iPhone con LiDAR e un MacBook |
| 0 | foto dell’edificio inviate a servizi esterni |
| 99% | della superficie del corridoio nel modello; motori pronti: Apple Object Capture 44%, COLMAP con OpenMVS 16% |
| 3 | secondi per un modello con texture di una stanza da 447 fotogrammi |
| 0,5 | cm dalla posizione reale dopo l’unione di due parti della scansione di una stanza |
| 9,7 | mm di errore mediano di profondità nel corridoio con la correzione della deriva (15,4 senza) |

### Cosa funziona

- Registrazione di immagine, profondità e posizione della fotocamera su iPhone 16 Pro con esposizione e bilanciamento del bianco bloccati.
- Invio delle scansioni via cavo USB e via Wi-Fi, con conferma e ripresa, anche in diretta.
- Anteprima dal vivo della superficie e del modello finito in Studio, con rotazione, volo e camminata all’interno.
- Ricostruzione in un GLB con texture, correzione della deriva come opzione e misura della qualità del modello su fotogrammi tenuti da parte.
- Unione delle scansioni in progetti e nel catalogo dell’edificio, zone da riscansionare, punti, regioni e versioni.
- Export per il browser, archivio delle scansioni e tutto il lavoro di Studio anche con il comando `phigram studio`, senza finestra.
- Prima scansione dell’edificio di destinazione: un corridoio, 490 fotogrammi in 212 s, inviato via Wi-Fi senza interruzioni della connessione.

### Prossimi passi

- Scansione della scala: due livelli con la rampa di scale che li collega, poi l’intera scala dal parcheggio all’ultimo piano.
- Correzione della deriva attiva di default, se si conferma su una seconda scansione del corridoio e sulla scala.
- Nuove scansioni dal telefono: il progetto aperto nell’app iOS, con le zone da riscansionare sull’immagine della fotocamera.
- Mascheramento di persone e targhe nelle foto.

Naetha Phigram non è un rilievo geodetico: indichiamo la precisione del modello dal report degli errori sui punti di controllo.

## Architettura

Ogni parte fa una cosa sola. Tutto ciò che fa la finestra di Studio si può fare anche con il comando `phigram studio`.

| Parte | Cosa fa | Tecnologia |
| --- | --- | --- |
| Phigram Capture | Registra immagine, profondità e posizione della fotocamera, invia le scansioni e le cancella dopo la conferma, mostra i modelli dal Mac | Swift, SwiftUI, ARKit, RealityKit, LiDAR |
| Phigram Studio | Cataloghi, progetti e scansioni, anteprima dal vivo, unione delle scansioni, zone, punti, regioni e versioni, export e archivio | Swift, SwiftUI, Metal |
| Phigram Processing | Fusione della profondità, correzione della deriva, mesh, texture dalle foto, allineamento delle scansioni, misura della qualità, export | Swift, TSDF, ICP, glTF 2.0 |
| Phigram Kit | Formato della sessione con validatore e protocollo di trasferimento comune alle due app, via cavo e via Wi-Fi | Swift, Network, Bonjour, usbmuxd |

## Lezioni apprese

- La posizione del telefono è un punto di partenza, non un risultato. L’errore cresce con la lunghezza del percorso, quindi una scansione lunga va divisa e il modello finale richiede la correzione delle pose della fotocamera.
- I motori pronti si perdono sulle pareti lisce. Nel corridoio Apple Object Capture ha ricostruito il 44% di ciò che ha misurato il LiDAR, COLMAP con OpenMVS il 16% e la nostra pipeline basata sulla profondità il 99%, quindi la pipeline resta nostra.
- Una modifica senza misura è un’ipotesi. Due miglioramenti intuitivi, la scelta di foto più nitide per la texture e l’allineamento delle posizioni dei fotogrammi al modello, una volta misurati hanno peggiorato il modello e sono stati disattivati.
- Un edificio non si scansiona in un solo passaggio. Scansioni delle stanze con una parte in comune, unite sul Mac, sono più semplici per l’operatore e più robuste agli errori di una sola sessione lunga.
- Il telefono è un buffer, non un archivio. La scansione deve arrivare presto sul Mac e i dati di origine passano poi su un disco condiviso; sul Mac restano i risultati.
- Il colore della texture dipende dalla fotocamera. Senza blocco una scansione di una stanza aveva 24 tempi di esposizione diversi, con il blocco uno solo.
- I dati mancanti restano mancanti. Non completiamo le pareti in modo generativo in un modello che deve descrivere un edificio reale.

## Hai un edificio da scansionare?

Modelli degli interni per condomini, amministratori e aziende, pronti per l’identificazione degli elementi e i livelli degli impianti. Scrivici se vuoi partecipare al pilota.

[Parliamo del tuo progetto](mailto:hi@kol.ski) · [Prenota 30 minuti](https://calendar.app.google/CJxZPq3FqabCDMS59) · [Progetti](https://kol.ski/it/progetti)
