Obrada zračnih snimaka: kada se isplati vlastita radna stanica, a kada vanjska obrada
Autor: Kristijan Ljutić
Let je gotov, baterije su prazne, a na kartici je šest tisuća fotografija. Klijent čeka ortofoto do petka. Sljedeće pitanje glasi: gdje ćete ih obraditi? Na vlastitom računalu, ili kod nekoga tko to radi na više strojeva odjednom?
Oko tog pitanja kruži puno mišljenja i malo računice. Jedni kupuju najjaču grafičku karticu koju nađu i obrađuju sve sami. Drugi sve šalju van i plaćaju svaki posao posebno. Oboje može biti ispravno. Ovisi o veličini posla, o tome koliko takvih poslova imate godišnje i o tome koliko vrijedi vaše vrijeme.
U nastavku je računica koju u praksi radimo prije svakog većeg posla, nekoliko brojki iz zajednice koja se s tim problemom svakodnevno bori, i nekoliko scenarija koji se događaju češće nego što bi itko priznao.
Obradu radim i sam i za druge. Računajte s tim dok čitate. Zato tekst završava računicom, a ne preporukom.
Računalu su hektari svejedno, ono broji fotografije
Prva zabluda je da se veličina posla mjeri površinom. Isti hektar može biti šest fotografija ili petnaest, ovisno o visini leta, kameri, preklopu i o tome snimate li i kose kadrove. Za računalo je bitan broj fotografija, broj megapiksela po fotografiji i postavke kvalitete koje odaberete u obradi.
Zato u ovom tekstu veličinu posla mjerimo brojem fotografija. Kad netko kaže „snimio sam tisuću hektara”, to još ništa ne znači. Kad kaže „imam dvanaest tisuća fotografija od dvadeset megapiksela”, računica može početi. Za mjerilo: groblje ili gradilište od nekoliko hektara su stotine fotografija, naselje su tisuće, a cijela općina ili grad desetci tisuća.
Što se zapravo događa dok traka napretka stoji
Obrada ima tri faze. Svaka opterećuje računalo drukčije.
Prva faza je poravnanje. Program u svakoj fotografiji traži karakteristične točke, pa ih uspoređuje među fotografijama koje se preklapaju i iz toga računa položaj svake kamere. Ta faza troši procesor i radnu memoriju, a njezino trajanje raste brže od broja fotografija. Dvostruko više fotografija znači znatno više od dvostruko više posla.
Druga faza je izrada dubinskih mapa i gustog oblaka točaka. Tu glavni teret nosi grafička kartica, a usput nastaju stotine gigabajta međuprodukata na disku.
Treća faza je izrada digitalnog modela terena i ortofota. Ona ovisi uglavnom o površini i rezoluciji izlaza, a mnogo manje o broju fotografija. Ortofoto istog područja pri istoj rezoluciji izlaza traje slično s pet ili s deset tisuća fotografija. Poravnanje tih istih fotografija ne.
Jača grafička kartica ubrzava samo dio poravnanja, pronalaženje i sparivanje točaka. Izračun položaja kamera ostaje na procesoru. Više radne memorije ne ubrzava ortofoto. Brži disk pomaže svima. Tko kupuje hardver bez te slike, obično kupi krivu stvar.
Četiri razreda posla i što zajednica kaže o svakom
Do otprilike tisuću fotografija nema dileme. Svaka pristojna radna stanica s dobrom grafičkom karticom to obradi za nekoliko sati, i ne isplati se slati nikome. Ni servisu se ne isplati primiti takav posao, jer režija oko prijema i isporuke pojede sve što strojevi uštede.
Brojke koje slijede su iz javnih foruma, svaka s drugim programom, drugim postavkama i drugim računalom. Čitajte ih kao red veličine, ne kao normu.
Od tisuću do deset tisuća fotografija počinje ozbiljan posao. Obrada traje od jedne noći do nekoliko dana. Na forumu jednog od najpoznatijih programa korisnik opisuje petnaest tisuća fotografija od 45 megapiksela koje su na računalu sa 64 GB radne memorije stale nakon dva dana. Savjet koji je dobio: podijelite posao na blokove od pet tisuća. Drugi korisnici za sličnu veličinu prijavljuju sedamnaest do trideset sati obrade, ovisno o programu i hardveru.
Iznad deset tisuća fotografija posao se mijenja: manje je fotogrametrije, a više upravljanja obradom. Posao se dijeli u blokove, obrada se planira danima, a jedan pad odnosno prekid obrade na 0% ne košta sat, nego dan ili dva. Za četrdeset tisuća fotografija jedan je korisnik od proizvođača dobio procjenu od 27 dana samo za poravnanje. Na forumima se padovi najčešće prijavljuju između šest i deset tisuća fotografija po projektu, na računalima kakva većina ima. S puno više radne memorije i strpljenja ljudi rade i znatno veće projekte u komadu, ali to više nije slučajno. Cloud servisi proizvođača imaju limit po projektu, od nekoliko tisuća do desetak tisuća fotografija, ovisno o servisu i planu. To nije mana programa. To je veličina posla.
Iz tih prijava proizlazi i pravilo „pi puta oko” koje možete staviti u vlastitu tablicu: jedno računalo, ovisno o postavkama kvalitete i hardveru, odradi od sto do nekoliko stotina fotografija na sat, od početka do ortofota. Tisuću fotografija je, dakle, između dva i deset sati, a kod najvećih projekata i više, jer poravnanje raste brže od broja fotografija.
I onda je tu razred o kojem forumi uglavnom šute: pedeset, sto tisuća fotografija i više. To više nije rijetkost. Grad od pedeset kvadratnih kilometara snimljen na tri centimetra po pikselu je, ovisno o preklopu, od trideset do šezdeset tisuća fotografija, a s kosim kadrovima ili na dva centimetra brzo prijeđe sto tisuća. To je danas srednje ozbiljna fotogrametrija, ne egzotika. Na toj veličini jedno računalo više nije pitanje strpljenja. Po pravilu palca odozgo, sto tisuća fotografija je na jednom računalu od tjedan i pol do šest tjedana čistog računanja, i to bez da smo uračunali ijedan prekid i bez ijednog sata vašeg rada. Projekt se dijeli u desetke blokova, svaki blok je sam po sebi posao srednje veličine, a onda ih treba izjednačiti međusobno, po visini i po boji, i spojiti u jedan ortofoto. Sirovih fotografija je blizu terabajta, projekt na disku nekoliko terabajta, a gotov ortofoto grada stotine gigabajta. Svaki scenarij iz nastavka ovog teksta tu ne košta dan, nego tjedan. Na forumima iznad šezdeset tisuća fotografija uglavnom piše samo da je obrada stala. Tko to radi, ne pita na forumu.
Veći posao je skuplji po fotografiji, a ne jeftiniji
Logika iz trgovine ovdje ne vrijedi. Kod obrade fotogrametrije svaka sljedeća tisuća fotografija košta više vremena od prethodne. Razlog je u poravnanju, koje mora usporediti fotografije međusobno, i u nekoliko koraka koji se ne mogu podijeliti na više procesora, pa traju koliko traju bez obzira na to koliko jezgri imate.
To znači da je posao od nekoliko desetaka tisuća fotografija po jednoj fotografiji trećinu do polovicu skuplji od posla od šest tisuća. Tko to ne zna, ponudi cijenu po hektaru iz malog posla, dobije veliki, i onda tjedan dana gleda traku koja se ne miče.
Dijeljenje u blokove je standardan alat i većina programa ga podržava, kao i obradu na dva ili tri računala u mreži. Ali blokove treba spojiti, a razlike u visini i boji na šavovima netko mora ručno riješiti. Obrada na više računala traži skuplju licencu i nekoga tko će je održavati. I to vrijeme ide u računicu.
S dobrom stanicom i blokovima od nekoliko tisuća fotografija velik posao može se odraditi i sam. Traje dulje i traži više pažnje, ali radi se.
Disk pojede više nego što mislite
Fotografije su samo početak. Iz prakse, projekt na disku naraste na četiri do pet puta veličinu sirovih fotografija. Od trideset gigabajta snimaka nastane projekt od sto četrdeset. Dubinske mape, oblak točaka, vezne točke i međuprodukti su tu, i svi moraju stati na brzi lokalni disk, po mogućnosti NVMe, a ne na mrežni disk, jer s mrežnog diska faza gustog oblaka ide višestruko sporije.
Ni izlaz nije malen. Ortofoto od devet tisuća fotografija pri tri centimetra po pikselu izađe kao TIFF od gotovo sedamdeset gigabajta. Obični TIFF format puca na četiri gigabajta, pa treba znati da postoji BigTIFF i da ga svaki program ne zna otvoriti.
A onda još backup. Snimke s terena koje postoje u jednoj kopiji nisu snimke, nego sreća koja još traje. Računajte na dvostruki prostor za sve što ne možete ponovno snimiti.
Scenariji koji se događaju češće nego što itko priznaje
Zamislite četvrti dan obrade velikog posla. U sedam ujutro nestane struje na šest sati. Računalo se podigne, program se pokrene, ali obrada visi: status kaže „u tijeku”, a procesor radi nula posto. Primijetite to tek sutradan popodne. Šest sati bez struje koštalo je dan i pol.
Ili ovo: računalo se u tri ujutro samo restarta zbog nadogradnje sustava, usred izrade gustog oblaka. Obrada kreće ispočetka od zadnje spremljene točke, ako je uopće bilo spremljene točke.
Ili ovo: pretplata na program istekne usred noći. Obrada nastavi, ali grafička kartica ispadne iz nje. Sve radi, samo četiri puta sporije, i to primijetite tek kad se zapitate zašto posao koji je trebao trajati dan traje već tjedan.
I najskuplji scenarij: pogrešna postavka na ulazu. Krivo upisana točnost GNSS prijamnika, kriva kalibracija kamere, kriva visina. Obrada prođe bez ijedne greške, rezultat izgleda lijepo, a teren je nekoliko metara prenisko. Otkrije se kad klijent počne crtati. Tada ide cijela obrada ispočetka, plus ručni popravak svega što je u međuvremenu nacrtano.
Pouka iz sva četiri scenarija je ista. Tko obrađuje danima, mora nadzirati napredak, a ne samo čekati kraj. Tišina je alarm. I svaki od tih scenarija košta puno više od sata rada stroja, jer košta vaše vrijeme i vaš rok. I servisu se događaju isti scenariji. Razlika je u tome tko ih gleda u tri ujutro i tko nosi rok. Zato su pitanja na kraju ovog teksta bitna.
Računica koju rijetko tko napravi do kraja
Kad netko kaže „imam dobro računalo, obradit ću sam”, obično računa samo hardver. Hardver je najmanja stavka.
Radnu stanicu podijelite s tri godine, jer toliko realno traje prije nego što postane spora za ono što radite. Dodajte licencu, trajnu ili pretplatu, i imajte na umu da su obrada na više računala i napredne funkcije redovito u skupljem izdanju. Dodajte pohranu, s backupom, prema omjerima iz prethodnog poglavlja. Dodajte struju: stanica pod punim opterećenjem vuče oko pola kilovata, dakle dva do četiri eura po danu obrade, što na godinu obrade nije sitnica.
Onda dodajte svoje sate. Praćenje obrade, ponavljanje kad nešto pukne, dijeljenje i spajanje blokova, provjera rezultata. Ta stavka gotovo nikad nije u računici, a najčešće presudi. I na kraju dodajte zauzeto računalo: dok tri dana melje jedan posao, ne radi ništa drugo, pa drugi posao koji stigne tog tjedna čeka.
Formula je jednostavna. Godišnji trošak vlastite obrade je trećina cijene stanice, plus licenca, pohrana i struja, plus vaši sati pomnoženi s vašom satnicom. Usporedite to s onim što bi vas isti poslovi koštali vani, i ondje upišite svoje sate: priprema podataka, slanje, provjera isporuke. Manje ih je, ali nisu nula. Kad upišete sate, granica se obično pomakne, i to ne uvijek u smjeru koji ste očekivali.
Kada se vlastita stanica isplati
Ako imate redovit tok manjih i srednjih poslova, stanica koja radi svaki tjedan otplati se brzo i vanjski servis vam ne treba.
Ako trebate kontrolu nad svakim korakom, probati postavke, ponoviti samo jedan dio, usporediti dvije verzije, to se najlakše radi na svom stroju. Tko snima uvijek istu vrstu objekta, na vlastitim podacima brzo nauči što radi, a što ne, i to znanje ne možete kupiti.
Ako podaci ne smiju izaći iz kuće, nema rasprave. Kritična infrastruktura, objekti pod posebnim režimom, snimke na kojima su ljudi i vozila. Ugovor s naručiteljem to ponekad izričito zabranjuje. Pročitajte ga prije nego što išta pošaljete.
Ako vam je linija spora, i to presuđuje. Petsto gigabajta fotografija pri uploadu od sto megabita u sekundi putuje oko jedanaest sati u idealnim uvjetima. Pri dvadeset megabita to su više od dva dana. Ponekad je brže obraditi lokalno nego poslati.
I ako učite, obrađujte sami. Tko želi razumjeti fotogrametriju, mora je vrtjeti svojim rukama. Nema prečaca.
Kada je bolje dati van
Ako vam veliki posao dođe jednom ili dvaput godišnje, kupiti stanicu i licencu za njega loša je investicija, a slaba stanica na velikom poslu gubi dane. To je najčešći slučaj za vanjski servis.
Ako je rok tijesan, više strojeva pobjeđuje jedan. Tko ima deset strojeva, obradu dijeli paralelno, i ono što jedno računalo radi tjedan dana, može biti gotovo za dan ili dva.
Ako je sezona i poslovi se poklope, vlastita stanica postaje usko grlo. Teren ne čeka obradu, a klijent ne čeka teren.
I ako vaše vrijeme vrijedi više na terenu ili kod naručitelja nego ispred trake napretka, obrada je posao koji treba dati van. To nije slabost, to je raspodjela rada.
Srednji put: pilot prije velikog posla
Većina ljudi na kraju završi negdje između. Manje poslove obrađuju sami, a vrhunce sezone i iznimno velika snimanja šalju van. Tako zadrže iskustvo i kontrolu, a ne kupuju hardver za najgori tjedan u godini.
Prije prvog velikog posla, svejedno gdje ga obrađujete, napravite pilot. Uzmite dio snimanja koji je reprezentativan, s najtežim terenom, a ne s najljepšim, i obradite ga do kraja. Iz pilota dobijete stvarnu brzinu obrade na vašem miksu podataka, stvarnu veličinu projekta na disku i prvi pogled na kvalitetu. Rok procijenjen iz pilota je jedini rok koji vrijedi. Rok procijenjen iz prospekta pukne redovito, i to obično za faktor dva.
Ako posao šaljete servisu, pošaljite mu prvo baš taj pilot. Za par dana vidite kvalitetu, komunikaciju i stvarni rok. To je jeftinije od bilo kakvog jamstva.
Šest pitanja koja postavite servisu prije nego što pošaljete išta
1. Gdje se obrada fizički odvija i tko sve ima pristup podacima?
2. Kada se podaci brišu nakon isporuke, i dobivate li to pisano?
3. Koji koordinatni sustav i koji formati izlaze, i dobivate li izvještaj o točnosti?
4. Što ako rezultat ne valja? Tko plaća ponovnu obradu?
5. Od kada teče rok: od uploada ili od trenutka kad su provjerili da su podaci ispravni?
6. Kako šaljete: upload ili disk poštom? Kod velikih snimanja disk je često brži.
Servis koji na ta pitanja nema jasan odgovor nije servis. To je netko s jakim računalom. Nije loše, ali tada znate što kupujete.
Kontrolne točke koje ne šaljete nikome
Jedno pravilo vrijedi bez obzira na to tko obrađuje, vi ili servis. Prije snimanja izmjerite kontrolne točke, i dio njih zadržite za sebe. Uobičajena podjela je otprilike dvije trećine točaka za izjednačenje, koje ulaze u obradu, i trećina za kontrolu, koje ne ulaze nigdje. Rasporedite ih po cijelom području, uključujući rubove, ne samo po sredini, i izmjerite ih točnije nego što od proizvoda očekujete. Točnost rezultata prijavljuje se samo na kontrolnim točkama.
To je jedini pošten način da znate što ste dobili. Izvještaj programa koji kaže da je sve poravnano i da su odstupanja mala govori o unutarnjoj suglasnosti obrade, a ne o tome je li teren na pravom mjestu. Obrada bez ijedne greške i teren nekoliko metara prenisko lako idu zajedno. Kontrolne točke koje nisu ušle u obradu jedine to vide.
Odluka
Ako vam veliki posao dolazi jednom godišnje i ne želite tjedan dana gledati traku napretka, vanjski servis je racionalan izbor. Ako obrađujete svaki tjedan i želite kontrolu, vlastita stanica se isplati. Srednji put je ono gdje većina završi.
Ako i nakon svega ovoga radije kupite jaču grafičku karticu, kupite je. Vlastita stanica je dobra investicija za svakoga tko redovito obrađuje i želi razumjeti što radi. Samo prije toga napišite računicu do kraja, sa svojim satima u njoj, i s jednim velikim poslom koji će sigurno doći u krivo vrijeme.
A kad dođe, znat ćete unaprijed što ćete s njim.
Kristijan Ljutić je dipl. ing. građ. i direktor tvrtke 4D-monitoring. Više od dvadeset godina radi s prostornim podacima, a vodi i orthomap.eu, servis za obradu podataka velikih zračnih snimanja.
