Come creare un dataset perfetto per il Gaussian Splatting con Blender e Synthra

Se hai mai provato ad addestrare un Gaussian Splat da foto reali, conosci i problemi: mosso, luci inconsistenti, angoli mancanti. Il training fallisce o produce risultati sfocati nelle zone problematiche. Synthra, l'addon Blender creato da Luxa, risolve tutto generando il dataset direttamente dentro Blender: immagini perfette, posizioni camera precise, nessuna sorpresa.

Perché i dataset sintetici funzionano meglio per certi scenari

La cattura reale è ottima per spazi che non puoi ricreare in 3D: una stanza vera, un paesaggio, un evento all'aperto. Ma per prodotti, modelli architettonici o qualsiasi scena che hai già in Blender, il dataset sintetico vince su tutti i fronti.

• L'illuminazione è completamente controllata. Niente ombre da un'auto di passaggio, niente finestre sovraesposte.
• Le posizioni camera sono matematicamente precise. Synthra le posiziona con lunghezze focali note, così il software di training le legge direttamente da transforms.json invece di stimarle dal feature matching.
• Niente mosso, niente rumore, con un numero sufficiente di campioni Cycles.
• Puoi colmare i buchi di copertura aggiungendo camere manuali e ri-renderizzando solo quei frame.

Cosa genera Synthra

Dopo un render, la cartella di output contiene tre cose che ogni trainer GS si aspetta:

• images/: tutti i frame renderizzati come PNG (0000.png, 0001.png, ...)
• transforms.json: posizioni camera, lunghezze focali e percorsi dei frame nel formato che PostShot, Nerfstudio e la maggior parte dei trainer GS si aspettano
• points3d.ply: una point cloud sparsa in formato COLMAP, esportata dalla geometria Blender, così il trainer ha un punto di partenza immediato senza dover eseguire COLMAP

Step 1: installa Synthra

Scarica l'addon dalla dashboard Luxa oppure da superhivemarket.com/products/synthra. In Blender vai su Modifica → Preferenze → Add-on → Installa, seleziona il file .zip e abilitalo. Il pannello Synthra compare nell'N-panel (premi N nel viewport 3D).

Step 2: scegli la modalità camera giusta

Synthra ha cinque modalità camera. Quella giusta dipende da cosa stai catturando:

• Object Capture: per un singolo prodotto o oggetto. Le camere orbitano il soggetto da più angolazioni ed elevazioni. Ideale per sedie, scarpe, gioielli, qualsiasi oggetto autonomo.
• Indoor Volume: per stanze e interni. Le camere riempiono un volume in modo uniforme con collision detection per evitare di entrare nei muri o nei mobili. Usala per walkthrough architettonici o catture di showroom.
• Walkthrough Path: per sequenze lineari: corridoi, strade, un percorso in un giardino. Le camere seguono una spline con spaziatura costante.
• Hybrid: combina Path e Indoor in un'unica cattura. Metà delle camere seguono il percorso, l'altra metà riempie il volume circostante. Consigliata per interni complessi dove vuoi sia copertura che un percorso di camminata chiaro.
• Manual: posiziona singole camere a mano per angolazioni specifiche che le modalità automatiche non coprono.

Step 3: impostazioni render per il Gaussian Splatting

Qui la maggior parte delle persone sbaglia. Due impostazioni contano più di tutto:

• Campioni Cycles: usa almeno 128. Troppo pochi e il rumore nelle immagini corrompe il training GS, producendo floater e zone sfocate. Per un dataset finale usa 256-512. Per controllare solo l'inquadratura usa Fast Render ⚡ (20 campioni), ma non inviare mai un dataset Fast Render al training.
• Denoising: attivalo per i target GS (PostShot, Nerfstudio). Disattivalo se usi RealityCapture per la fotogrammetria SfM.

Step 4: avvia il render

Nello Step 4 del pannello Synthra, abilita "Camera data (transforms.json)". Questo è il file che collega ogni immagine alla sua posizione nello spazio. Senza di esso, la cartella images è solo un mucchio di foto senza significato spaziale.

Clicca su Start Rendering. Synthra renderizza tutti i frame in automatico e scrive la cartella di output. Quando finisce, clicca "Export points3d.ply" nel pannello di successo per generare la point cloud dalla geometria Blender.

Step 5: addestra con PostShot o Nerfstudio

PostShot è il percorso più veloce dal dataset allo splat addestrato. Trascina l'intera cartella di output sulla finestra di PostShot: rileva transforms.json e points3d.ply in automatico, nessun import manuale necessario. Il training richiede in genere 5-15 minuti.

Per Nerfstudio, punta la cartella con:

ns-train splatfacto --data /path/to/cartella_output/

Step 6: carica su Luxa

Una volta terminato il training, esporta il risultato come file .ply o .splat. Apri la dashboard Luxa, vai al Walk-in Gaussian Editor e carica il file. In pochi secondi puoi percorrere la tua scena nel browser a 60fps. Da lì prendi il codice embed e inseriscilo in qualsiasi sito, oppure condividi il link direttamente.