Inteligență Artificială & LLM

Fotografie computațională pentru a vedea stelele: așa funcționează modul „Astrofotografie” al Google Pixel

Fotografie computațională pentru a vedea stelele: așa funcționează modul „Astrofotografie” al Google Pixel

Google Pixel este flagship-ul Google, iar elementul său de diferențiere față de concurența este camera. Compania Mountain View, prin diverși algoritmi, urmărește ca terminalele sale, cu doar doi senzori, să poată realiza, de exemplu, fotografii mai bune când nu există lumină (ceea ce ei numesc Night-pixel">). Cu Google Pixel 4 și 4 XL au făcut un pas înainte în ceea ce privește fotografia de noapte datorită modului „Astrofotografie”.

Așa cum făceau la acea vreme cu modul Vezi nocturnă, Google are a explicat în blogul său dedicat inteligenței artificiale cum funcționează și care sunt mecanismele care permit dispozitivelor sale, atunci când situațiile sunt favorabile, să captureze stelele. AI, desigur, joacă un rol important.

Primele elemente de bază: cum funcționează Night Sight

Photos Movidas Una dintre problemele cu fotografiile cu expunere lungă este că elementele luminoase pot fi neclare - Imagine: Google.

Primul lucru de înțeles este de ce atunci când facem o fotografie în întuneric, fotografia are atât de multă granulație. Pe lângă ISO, se datorează zgomotului de fotografiere. Acesta este definit ca „un tip de zgomot electronic care apare atunci când numărul finit de particule purtătoare de energie (fotonii luminii, în acest caz) este suficient de mic pentru a provoca fluctuații statistice apreciabile într-o măsurătoare”. În acest fel, este posibil să ne gândim că cu cât timpul de expunere este mai lung, cu atât mai multă lumină și mai puțin zgomot, iar pe hârtie este așa, dar vorbim de fotografia mobilă.

Ghidul fotografului de noapte: acesta este ceea ce trebuie să știți pentru a face fotografii noaptea
Ghidul fotografului de noapte: iată ce trebuie să știți pentru a fotografia noaptea

Când folosim un telefon mobil și fotografiam cu un timp de expunere mare, cantitatea de lumină primită crește, dar la fel crește tremuratul rezultat din pulsul nostru. Dacă folosim un trepied lucrurile se schimbă, dar cel mai normal lucru când facem fotografii cu un telefon mobil este să o facem manual.

Ce face Night Shigt pentru a rezolva acest lucru? Împarte expunerea într-o secvență de mai multe cadre cu timpi de expunere mai scurti. Este ca și cum în loc să faci o fotografie timp de 16 secunde, s-ar fi făcut patru fotografii de patru secunde. Cadrele sunt apoi aliniate, compensând tremuratul camerei, producând o imagine finală mai curată, mai puțin granulată. Aproximativ, așa funcționează Night Sight.

Creșterea expunerii (și gestionarea problemelor)

Ozul de noapte Pulsul utilizatorului este o problemă în fotografiile cu expunere lungă.

De la Google explică că „la scurt timp după lansarea Night Sight original, am început să investigăm să facem fotografii în medii în aer liber foarte întunecate, cu scopul de a captura stelele”. Problema este că fotografiarea stelelor necesită un timp de expunere mult mai lung decât o simplă fotografie de noapte, iar acest lucru face ca elemente precum norii, un copac sau stelele în sine să pară neclare din cauza mișcării în sine.

Ce au făcut la Google? La fel ca în vederea nocturnă, dar mai lungă. „Divizăm expunerea în cadre cu timpi de expunere suficient de scurti pentru a face ca stelele să arate ca puncte de lumină”. Timpul optim de expunere pe cadru, după ce ați fotografiat ceruri reale de noapte, sa dovedit a fi maximum 16 secunde.

Cum să faci fotografii mai bune ale Lunii folosind orice, de la o cameră SLR la un telefon mobil
Cum să faci fotografii mai bune ale Lunii folosind orice, de la o cameră SLR la un telefon mobil

Dar expunerea nu este singurul factor, deoarece nu putem uita că în spatele fotografiei se află o persoană care o face și nu este tocmai dispusă să aștepte mai mult decât este necesar pentru a face o fotografie. După cum explică Google, expunerea nu poate fi mărită la infinit din cauza „considerațiilor tehnice”, dar și pentru că „puțini sunt dispuși să aștepte mai mult de patru minute pentru o imagine”.

Permiterea utilizatorului să facă fotografia fără a petrece prea mult timp așteptând este un aspect important al Vederii nocturne

Astfel, modul „Astrofotografie”, în condiții optime (punând telefonul pe trepied, de exemplu), este capabil să realizeze până la maximum 15 fotografii cu un timp de expunere de până la 16 secunde pe cadru. Acest lucru, spun Florian Kainz și Kiran Murthy, ingineri software de la Google Research, „ne permite să captăm suficientă lumină pentru a produce imagini recunoscute”, deși „o aplicație de cameră utilizabilă capabilă să facă fotografii arătoase trebuie să se ocupe de probleme suplimentare care sunt unice pentru fotografia cu lumină scăzută”.

Pixeles Calientes Chiar dacă senzorul nu primește lumină, primește întotdeauna o cantitate mică de electricitate reziduală care provoacă ceea ce sunt cunoscuți sub numele de „pixeli fierbinți”. - Imagine: Google.

Care? Curentul întunericului și al pixelilor fierbinți, primul fiind un derivat al celui de-al doilea. curentul întunecat este curentul electric care circulă prin dispozitivele fotosensibile (cum ar fi senzorul camerei telefonului mobil), chiar și atunci când nu există fotoni care pătrund în dispozitiv. Este ca un curent rezidual nedorit care provoacă așa-numiții pixeli fierbinți, puncte mici mai strălucitoare decât cele imediat apropiate. În imaginea de mai sus se vede clar.

Aplicația pentru cameră este cea care se ocupă de ele. Pentru a face acest lucru, compară valoarea pixelilor din apropiere care nu au fost afectați de curentul întunecat și înlocuiește valorile pixelilor fierbinți. Dacă un pixel fierbinte valorează 1 și un pixel normal valorează 0, aplicația înlocuiește 1 cu 0 și iluminarea este egalizată. „Deoarece valoarea inițială a pixelului este eliminată, există o pierdere de informații despre imagine, dar în practică acest lucru nu afectează în mod semnificativ calitatea imaginii”, spun ei de la Google.

Compunerea imaginii și focalizarea, o altă provocare de luat în considerare

Astrofotografia

Deși utilizatorul vede relativ bine noaptea, camera mobilă nu o face la fel de bine, iar asta este ceva ce se reproduce în vizor, adică pe ecran. Ecranul, dacă nu există lumină, arată o imagine neagră și, evident, este dificil să compunem imaginea pentru a obține rezultatul pe care ni-l dorim. Pentru a rezolva această problemă, Night Sight afișează un „vizor post-declanșare.”

Aproximativ, camera arată imaginea pe care o obține după ce a fost expusă la o expunere lungă. „Fiecare cadru de expunere lungă este afișat pe ecran de îndată ce a fost capturat”, explică ei pe Google și, deoarece fiecare patru are o expunere maximă de 16 secunde, fiecare cadru afișat pe ecran a colectat „de 250 de ori mai multă lumină decât cadrele normale din vizor”, ceea ce face ca imaginea pe care o vedem pe ecran să fie luminoasă și ușor de înțeles pentru ochii noștri

.
Afișând cadre cu expunere lungă imediat ce sunt realizate, camera Pixel permite utilizatorului să vadă scena și să compună cu o mai mare precizie

În ceea ce privește focalizarea, în condiții de lumină scăzută nu este posibil să se utilizeze autofocusul, deoarece nu poate fi analizat la cât de departe sau de a închide senzorul în mod normal. De aceea, uneori, fotografiile ies neclare. În schimb, Google optează pentru „autofocus post-obturator”.

Pentru a face acest lucru, „camera captează două cadre cu focalizare automată cu timpi de expunere de până la o secundă, suficient de lungi pentru a detecta detaliile imaginii chiar și în condiții de lumină slabă”. Aceste două imagini sunt realizate imediat după ce utilizatorul apasă butonul declanșator și sunt folosite exclusiv și exclusiv pentru focalizare, astfel încât să nu afecteze rezultatul final. În cazul în care scena este atât de, așa, așa, atât de întunecată încât acest sistem nu funcționează, camera focalizează automat la infinit.

Întunecarea cerului

Cielo În stânga fotografia netratată, în dreapta aceeași fotografie cu cerul întunecat. - Imagine: Google.

Cu toate procesele menționate mai sus, camera Pixel 4 reușește să facă o fotografie preliminară, dar un aspect mai trebuie lustruit: cerul. Nu putem uita că facem fotografii noaptea, așa că ceea ce se așteaptă utilizatorul (și cu atât mai mult dacă vorbim despre captarea luminii stelelor) este ca cerul să pară întunecat. Cu toate acestea, cu expunerea lungă, cerul tinde să pară ușor iluminat, mai mult decât este în realitate.

Pentru ca cerul să fie mai fiabil, Viziunea nocturnă întunecă selectiv cerul. Aici intervine învățarea automată, care este capabilă să detecteze regiunile fotografiei care reprezintă cerul. Modelul folosește o rețea neuronală convoluțională care se află pe dispozitivul însuși și care a fost „antrenată cu mai mult de 100.000 de imaginietichetate manual”. Această rețea neuronală identifică „fiecare pixel din fotografie” drept „cer” sau „nu cer” și întunecă regiunile corespunzătoare în funcție de scenă.

Exemplu de astrofotografie În această mărire a această imagine puteți vedea diferența dintre o fotografie de noapte și cea obținută cu modul „Astrofotografie”.

În plus, Google afirmă că acest proces permite reducerea zgomotului din cer și „creșterea selectivă a contrastului” pentru a evidenția norii, gradienții de culoare sau, bineînțeles, stelele. Și în timp ce funcționează, are unele limitări tehnice. Unul dintre ele, de exemplu, este că atunci când intervalul de luminozitate dintre elementele cele mai iluminate și cele mai puțin iluminate ale scenei este mai mare de 500.000:1, acestea nu le pot surprinde pe ambele.

Mai multe informații | Google

Partajează acest dosar: