Case study

Naetha Phigram: un modello 3D realistico dell’edificio da un iPhone

Scansione degli interni con un telefono dotato di LiDAR, una superficie che cresce sul Mac durante la scansione e un modello con texture da guardare nel browser. L’edificio è composto da scansioni delle stanze unite in un unico modello.

Tipo
Prodotto proprio di Kol.ski
Per chi
Condomini, amministratori, aziende di manutenzione e di rilievo
Ambito
App iOS di scansione, app macOS di elaborazione e unione delle scansioni, ricostruzione con texture, export GLB e anteprima nel browser
Stato
Prototipo funzionante, prima scansione dell’edificio di destinazione, prima della scansione della scala

Sfida

Il condominio o il suo amministratore raramente hanno un modello aggiornato dell’edificio. I disegni di progetto non mostrano com’è oggi la scala, e le scansioni occasionali fatte con le app si fermano a una sola stanza o a un solo passaggio.

Oggi scansioniamo il parcheggio, domani due piani più su.

Un edificio non si scansiona in una sola sessione. Su un percorso lungo e sulle scale il telefono perde l’orientamento, i piani simili si confondono facilmente e ogni nuova scansione deve finire nel punto giusto del modello, senza rovinare ciò che c’è già.

Soluzione

L’iPhone registra immagine, profondità e posizione della fotocamera e invia la scansione al Mac via cavo o via Wi-Fi nella rete locale, già durante la scansione. Il MacBook fonde una superficie da ogni fotogramma e la mostra mentre cresce, via cavo 11 ms dopo il salvataggio del fotogramma. Finita la scansione, calcola un modello con le texture dalle foto.

Scansione senza scattare foto

L’operatore cammina nella stanza e l’app sceglie da sola i fotogrammi chiave dopo ogni 10 cm o 10° di movimento. Esposizione e bilanciamento del bianco sono bloccati per tutta la scansione, quindi le foto hanno lo stesso colore.

Il telefono come buffer

Un minuto di scansione occupa 77-94 MB. La scansione inviata al Mac e confermata sparisce dal telefono, e dopo un’interruzione della connessione il trasferimento riprende dal fotogramma mancante. Dal Mac le scansioni passano in un archivio su un disco condiviso, verificate con le somme SHA-256.

Un edificio fatto di stanze

Ogni stanza è una scansione separata con una parte in comune con quella vicina. In Studio le scansioni si dispongono una accanto all’altra e si uniscono con un pulsante: il programma le allinea da solo, propone un accostamento da verificare quando la parte comune è piccola e rifiuta quando è troppo piccola. Le scansioni formano progetti e i progetti il catalogo dell’edificio.

Zone da riscansionare

Studio indica i buchi, le superfici viste troppo poco e le estremità della scansione. Le zone sono numerate sul modello in Studio e nella pagina di anteprima, e la nuova scansione entra nel progetto come scansione aggiuntiva.

Il modello nel browser

L’export per il browser ha 150.000 triangoli e la pagina di anteprima contiene tutte le sue librerie, senza connessioni esterne. Si apre su un iPhone da un codice QR mostrato in Studio.

Punti, regioni e versioni

Sulla superficie del modello si può segnare un punto con identificatore, nome e descrizione. Il modello si taglia in regioni, e una versione approvata riceve le somme di controllo e non cambia più.

Risultato

  • 2dispositivi in tutto il processo: un iPhone con LiDAR e un MacBook
  • 0foto dell’edificio inviate a servizi esterni
  • 99%della superficie del corridoio nel modello; motori pronti: Apple Object Capture 44%, COLMAP con OpenMVS 16%
  • 3secondi per un modello con texture di una stanza da 447 fotogrammi
  • 0,5cm dalla posizione reale dopo l’unione di due parti della scansione di una stanza
  • 9,7mm di errore mediano di profondità nel corridoio con la correzione della deriva (15,4 senza)

Cosa funziona

  • Registrazione di immagine, profondità e posizione della fotocamera su iPhone 16 Pro con esposizione e bilanciamento del bianco bloccati.
  • Invio delle scansioni via cavo USB e via Wi-Fi, con conferma e ripresa, anche in diretta.
  • Anteprima dal vivo della superficie e del modello finito in Studio, con rotazione, volo e camminata all’interno.
  • Ricostruzione in un GLB con texture, correzione della deriva come opzione e misura della qualità del modello su fotogrammi tenuti da parte.
  • Unione delle scansioni in progetti e nel catalogo dell’edificio, zone da riscansionare, punti, regioni e versioni.
  • Export per il browser, archivio delle scansioni e tutto il lavoro di Studio anche con il comando phigram studio, senza finestra.
  • Prima scansione dell’edificio di destinazione: un corridoio, 490 fotogrammi in 212 s, inviato via Wi-Fi senza interruzioni della connessione.

Prossimi passi

  • Scansione della scala: due livelli con la rampa di scale che li collega, poi l’intera scala dal parcheggio all’ultimo piano.
  • Correzione della deriva attiva di default, se si conferma su una seconda scansione del corridoio e sulla scala.
  • Nuove scansioni dal telefono: il progetto aperto nell’app iOS, con le zone da riscansionare sull’immagine della fotocamera.
  • Mascheramento di persone e targhe nelle foto.

Naetha Phigram non è un rilievo geodetico: indichiamo la precisione del modello dal report degli errori sui punti di controllo.

Architettura

Ogni parte fa una cosa sola. Tutto ciò che fa la finestra di Studio si può fare anche con il comando phigram studio.

  1. Phigram Capture

    Registra immagine, profondità e posizione della fotocamera, invia le scansioni e le cancella dopo la conferma, mostra i modelli dal Mac

    • Swift
    • SwiftUI
    • ARKit
    • RealityKit
    • LiDAR
  2. Phigram Studio

    Cataloghi, progetti e scansioni, anteprima dal vivo, unione delle scansioni, zone, punti, regioni e versioni, export e archivio

    • Swift
    • SwiftUI
    • Metal
  3. Phigram Processing

    Fusione della profondità, correzione della deriva, mesh, texture dalle foto, allineamento delle scansioni, misura della qualità, export

    • Swift
    • TSDF
    • ICP
    • glTF 2.0
  4. Phigram Kit

    Formato della sessione con validatore e protocollo di trasferimento comune alle due app, via cavo e via Wi-Fi

    • Swift
    • Network
    • Bonjour
    • usbmuxd

Lezioni apprese

  1. La posizione del telefono è un punto di partenza, non un risultato. L’errore cresce con la lunghezza del percorso, quindi una scansione lunga va divisa e il modello finale richiede la correzione delle pose della fotocamera.
  2. I motori pronti si perdono sulle pareti lisce. Nel corridoio Apple Object Capture ha ricostruito il 44% di ciò che ha misurato il LiDAR, COLMAP con OpenMVS il 16% e la nostra pipeline basata sulla profondità il 99%, quindi la pipeline resta nostra.
  3. Una modifica senza misura è un’ipotesi. Due miglioramenti intuitivi, la scelta di foto più nitide per la texture e l’allineamento delle posizioni dei fotogrammi al modello, una volta misurati hanno peggiorato il modello e sono stati disattivati.
  4. Un edificio non si scansiona in un solo passaggio. Scansioni delle stanze con una parte in comune, unite sul Mac, sono più semplici per l’operatore e più robuste agli errori di una sola sessione lunga.
  5. Il telefono è un buffer, non un archivio. La scansione deve arrivare presto sul Mac e i dati di origine passano poi su un disco condiviso; sul Mac restano i risultati.
  6. Il colore della texture dipende dalla fotocamera. Senza blocco una scansione di una stanza aveva 24 tempi di esposizione diversi, con il blocco uno solo.
  7. I dati mancanti restano mancanti. Non completiamo le pareti in modo generativo in un modello che deve descrivere un edificio reale.

Hai un edificio da scansionare?

Modelli degli interni per condomini, amministratori e aziende, pronti per l’identificazione degli elementi e i livelli degli impianti. Scrivici se vuoi partecipare al pilota.

La prima conversazione è gratuita: 30 minuti online, senza preparazione e senza impegno.

Scrivici

Il messaggio viene cifrato nel tuo browser: lungo il percorso nessuno, a parte noi, può leggerlo. Se vuoi, puoi cifrare ulteriormente il testo con la nostra chiave PGP e incollare il risultato.

Inserisci almeno due caratteri.
Controlla l’indirizzo e-mail.
Controlla il numero di telefono.

Indica l’e-mail, il telefono o entrambi.

Indica l’e-mail o il telefono.
Non inserire dati sensibili (ad esempio sulla salute), password o dati di altre persone.
Scrivi da 10 a 5000 caratteri.
Senza questo consenso non possiamo accettare il messaggio.