Wist je dat het Japanse Kyocera in 1999 de eerste ‘smartphone’ met een camera introduceerde, de Visual Phone 210? Sindsdien is smartphonefotografie in sneltreinvaart geëvolueerd. Ontdek de lange weg die de technologie afgelegd heeft en hoe smartphonefotografie eigenlijk werkt.
We staan er eigenlijk niet zo bij stil, maar de fotokwaliteit van smartphones is ongekend goed, gezien de beperkte ruimte die de camera’s in beslag nemen op je smartphone. De kwaliteit verbetert zelfs jaarlijks, zonder dat de camera’s noemenswaardig groter worden. Software is daarvoor het toverwoord: de fotokwaliteit van een moderne smartphone is het resultaat van een samenspel van hardware en software, met een steeds grotere rol voor software. Juist omdat de hardware tegen zijn grenzen aanloopt, wordt software steeds belangrijker. In de begindagen was dat wel anders, met telefoons als de Visual Phone van het Japanse Kyocera. Dit toestel was ’s werelds eerste telefoon met een camera. Echter, veel moest je er niet van verwachten: de sensor had een resolutie van slechts 0,11 megapixel. Beeldstabilisatie bestond toen nog niet, maar de Kyocera-telefoon kon wel stabiel neergezet worden met een geïntegreerde standaard. Handig!
Er is nog altijd geen overeenstemming bereikt over wie als eerste een cameratelefoon uitbracht. Samsung ziet zichzelf als marktleider, maar dat geldt net zo voor Kyocera en Sharp.
Wie was er eerst?
Samsung erkent de claim van Kyocera overigens niet: het Zuid-Koreaanse merk vindt dat het als eerste de markt van telefoons met een camera betrad, met de SCH-200. Ze wisten in elk geval een iets hoger megapixel-aantal neer te zetten, met een 0,35MP-sensor. Ook Sharp is een kanshebber voor de eerste plek. Zij introduceerden in november 2000 de J-SH04, met eenzelfde 0,11MP-sensor als in de Kyocera. Het grote verschil tussen de eerste cameratelefoons was de manier waarop je de foto’s kon delen. Sharp was de eerste die je ze via e-mail naar anderen liet versturen. In de jaren die daarop volgden, bleven grote ontwikkelingen uit, tot de lancering van telefoons als de Nokia N95 en de iPhone in 2007. Nokia’s N95 was een toonaangevend model door zijn hoge cameraresolutie (5 MP) en autofocus. Apple bracht smartphonefotografie naar de massa met zijn eerste iPhone. Het zou ook de eerste smartphone zijn die de camera combineert met allerlei handigheden, zoals een programma voor het ordenen van foto’s, dat volgens Apple alle fotoprogramma’s voor mobiele telefoons “mijlenver achter zich liet”. Vanaf de iPhone 3GS, die in 2009 verscheen, en de HTC Dream (of T-Mobile G1) kunnen we écht spreken van smartphones. De 3GS was ook de allereerste iPhone met autofocus en een iets hogere 3MP-resolutie. Gebruikers konden de foto’s vanaf dat moment direct met het internet delen via sociale media, of via e-mail versturen. Kortom: het tijdperk van smartphonefotografie zoals we dat nu kennen is rond 2009 geboren. In 2010 volgde nog de introductie van de selfiecamera – daarmee was het verhaal compleet.
Ontwikkelingen in de jaren 2010
De jaren 2010 waren ook het tijdperk van de razendsnelle doorontwikkeling van camerasensors en lenzen. Met de iPhone 4 kon je voor het eerst video’s in HD-resolutie opnemen. Optische beeldstabilisatie (OIS) liet nog iets langer op zich wachten. LG kwam daarmee in 2007 al eens op de proppen, zij het softwarematig. De optische beeldstabilisatie die je nu in veel telefoons tegenkomt, zat voor het eerst in de Nokia Lumia 920. Fabrikanten als Apple (2014), HTC (2013) en Samsung (2014) volgden Nokia op de voet, met respectievelijk de iPhone 6 Plus, One (M7) en de Galaxy Note 4. In die jaren werd ook het idee van dual-camerasystemen tot leven gebracht: de HTC Evo 3D was in 2011 de eerste in zijn soort. Toen gebruikten smartphonefabrikanten de techniek nog veelal voor 3D-fotografie. Nadat 3D stilaan zijn aantrekkingskracht verloor, bleven de uitgebreidere cameraopstellingen bestaan. Ze kregen nu gewoon diverse ‘fotorollen’ aangemeten. Buiten de hoofdcamera zou je voortaan ook groothoek-, zoom- en macrocamera’s op smartphones tegenkomen. Inmiddels is dat zo goed als de standaardopstelling voor menig Android- en iOS-toestel.
Megapixelrace
Het is voor smartphonefabrikanten ook steeds vaker een gevecht om ergens ‘het hoogste aantal’ van te hebben. Neem de multi-cameraopstellingen. Dat begon jaren geleden met enkele camera’s. Intussen vind je bij de Galaxy S24 Ultra al vier camera’s aan de achterzijde, waarvan twee zoomcamera’s. Andere fabrikanten kunnen die race niet missen, en doen er gretig aan mee: het is bijna onmogelijk geworden om een telefoon met één camera te vinden. Ook de megapixelrace heeft fabrikanten de laatste jaren tot het uiterste gedreven. Rond 2010 zaten we nog op 3 MP. Inmiddels bevat bijna elke telefoon 50MP-camera’s. Soms gaan ze daar nog fors overheen, zoals de S24 Ultra, met zijn 200MP-camera. Hoewel een hogere resolutie zeker iets meer kwaliteit oplevert, mede door de komst van pixel binning, is het toch vooral een cijfermatige race geworden. Het aantal megapixels zegt al een tijdje niets meer over de kwaliteit van het eindresultaat. Tegelijkertijd is het ook een ‘wanhoopsrace’ geworden: fabrikanten proberen met deze evolutie een antwoord te bieden op de beperkingen van smartphonefotografie.
Beperkingen van smartphonefotografie
De ‘kwaliteit’ van smartphonefotografie die we gewoon zijn gaan vinden, is eigenlijk helemaal niet zo vanzelfsprekend. Smartphones zijn niet alleen ongelooflijk dun: ook in de breedte is er relatief weinig ruimte voor de camera’s. Het verschil met betaalbare systeemcamera’s, die vaak zijn uitgerust met APS-C-sensoren, is groot. Zo heeft de 200MP-sensor in de Galaxy S24 Ultra een oppervlak van 1,95 cm2, terwijl een APS-C-sensor een oppervlak van 3,37 cm2 heeft. Dit verschil heeft een grote impact op het formaat van de pixels op je sensor. Hoe groter de sensor, hoe meer ruimte elke afzonderlijke megapixel toebedeeld krijgt. Die beperkte ruimte zorgt er dan weer voor dat afzonderlijke pixels een stuk minder licht (en dus gegevens) kunnen opvangen, wat resulteert in minder gedetailleerde foto’s. Overdag zal je dat niet meteen merken, maar binnenshuis of in de avonduren resulteert dat in wazigere foto’s met meer ruis. Niet alleen de sensortechniek komt met beperkingen. Dat geldt ook voor de lensstructuur. Mede door de beperkte hoeveelheid beschikbare ruimte is die een stuk minder complex en wordt er gebruikgemaakt van een kleiner diafragma. Het diafragma bepaalt onder meer hoeveel licht de sensor bereikt. Op dat vlak is er de laatste jaren wel wat veranderd: steeds vaker gebruiken high-endtelefoons een groot diafragma van bijvoorbeeld f/1.8 of groter. Bij middenklassers blijft het echter steken op f/2.0 of kleiner. Het diafragma is echter niet het hele verhaal: een groter diafragma met goedkope lenzen kan alsnog een slechter fotoresultaat opleveren dan een klein diafragma met een zeer complexe lensstructuur. Perfect zal het vermoedelijk nooit worden: daarvoor is de ruimte gewoon te beperkt. Smartphonelenzen halen op dit punt ongeveer net zoveel licht binnen als een lens met een f/8-diafragma voor full frame-camera’s.
Oplossing: (HDR-)software
Smartphonefabrikanten weten daar inmiddels wel raad mee. Als hardware-evoluties niet meer tot het gewenste resultaat leiden, is het tijd voor zwaarder geschut: uitgebreide AI-softwarepakketten. Wanneer je de sluiterknop indrukt, ontketen je eigenlijk een heel bewerkingsproces. Dat gaat intussen als volgt. Nadat je op de sluiterknop drukt, wordt vrijwel onmiddellijk het opgevangen licht omgezet in elektrische signalen. Deze signalen worden vervolgens door je smartphone omgezet in digitale data. Dit proces wordt afgehandeld door de ISP (Image Signal Processor) in de chipset van je smartphone. Het afgeleverde datapakket is dan nog niet klaar om aan gebruikers te tonen. Een uitgebreid software-algoritme zet alle details op punt. Zo wordt op dat moment bepaald hoe er moet worden omgegaan met schaduwen, kleuren en de algehele belichting van de foto. Ook wordt in dit proces de ruis onderdrukt, worden eventuele filters toegepast en wordt de mogelijke input van de HDR-modus verwerkt. Alle smartphones doorlopen dit proces, al verschillen de exacte stappen en de impact daarvan wel per telefoon. Google gebruikt bijvoorbeeld een algoritme op zijn Pixel-telefoons dat situaties herkent en de foto daarop afstemt. Zo’n algoritme is jarenlang getraind met bestaande foto’s, waarbij bepaalde omstandigheden handmatig zijn verwerkt. Zie het dus gerust als AI-bewerking. Mede door het uitgebreide algoritme wist Google jarenlang de beste smartphonecamera te bieden met een 12MP-sensor. Hoewel de zoekgigant inmiddels ook is opgeschoven naar sensoren met hogere megapixelaantallen, bevestigde het wel dat je niet alleen hardware nodig hebt voor goede foto’s. Sterker nog: goede software kan wel eens belangrijker zijn dan hardware.
“Wanneer je de sluiterknop indrukt, ontketen je eigenlijk een heel bewerkingsproces.”
Toekomst vol AI
AI zal het belang van zulke software alleen nog maar toenemen. Momenteel wordt AI vooral gebruikt om je foto’s te optimaliseren op basis van bestaande kennis. Toekomstige AI-modellen moeten zelfstandiger kunnen opereren, met de mogelijkheid om wiskundige berekeningen op foto’s los te laten, zoals convolutie om pixelwaarden te berekenen op basis van een glijdend venster. Het doel hiervan is dat algoritmes texturen en vormen beter kunnen herkennen, en daardoor ook beter in staat zijn ze te verwerken. In de avond moet AI ervoor zorgen dat je foto’s gedetailleerder worden door meerdere exposures samen te voegen tot één foto. Kunstmatige intelligentie wordt ook al steeds vaker gebruikt om portretfoto’s te optimaliseren met dieptemodellen en ML-technieken. Smartphones gebruiken die algoritmes al jaren, maar nu AI op sommige telefoons lokaal kan worden uitgevoerd, kunnen zulke modellen meer werk verzetten én zich ook blijven ontwikkelen op basis van nieuwe situaties. De tijd zal ons moeten leren welke rol AI exact gaat spelen in smartphonefotografie. Vast staat dat hardware-evoluties, uitzonderingen daargelaten, stilaan naar de zijlijn verwijzen. 1-inch-sensoren zijn wel steeds vaker gemeengoed. Ook periscoopcamera’s met 5x of 10x optische zoom zijn in opkomst, al zien we dat nog vooral op de Ultra-vlaggenschepen. Goedkopere middenklassers gaan vermoedelijk wat saaiere jaren tegemoet, al is de komst van AI ook voor goedkope telefoons onvermijdelijk.
Smartphonefabrikanten strooien al jaren met de noemer ‘AI’. Toch is er de laatste jaren een hoop veranderd: eerst was AI vooral een verzamelnaam voor ML-technieken; nu worden er steeds vaker lokaal berekeningen uitgevoerd.
Compactcamera’s zijn ouderwets
Hoewel smartphones met de nodige camerabeperkingen kampen, staat één ding vast: ze hebben eigenhandig gezorgd voor het uitsterven van de compactcamera. Belangenvereniging voor camerafabrikanten Camera & Imaging Products Association (CIPA) concludeerde in 2013 al dat er tien keer zoveel smartphones werden verkocht als digitale camera’s, en in de jaren die volgden is die verhouding nog verder opgeschoven. Met name de verkoop van compactcamera’s is hierdoor tot stilstand gekomen. Smartphones produceren dusdanig goede foto’s dat mensen geen nood meer hebben aan compactcamera’s. Dat zal ook niet snel veranderen. Voor camerafabrikanten is er geen noodzaak om zulke consumenten te verleiden tot een losse camera. Ze steken hun ontwikkelingsbudgetten liever in prijzige camera’s voor fotografieliefhebbers en professionals.
