Jo muutaman vuoden ajan matkapuhelimet, joissa on salaperäinen ”ToF-anturi” pääkameroiden vieressäEnsi silmäyksellä se näyttää vain pieneltä mustalta pisteeltä kameramoduulissa, mutta se kätkee alleen yhden älypuhelimiin koskaan integroiduista tarkimmista syvyysmittausteknologioista, joka on periytynyt teollisuudesta, robotiikasta ja jopa Kinectin kaltaisista lisälaitteista.
Jos olet nähnyt lyhenteitä, kuten ToF, Time of Flight tai "time-of-flight camera", etkä ole varma, mitä ne tarkoittavat puhelimellasi, tässä on perimmäinen opas. Katsotaanpa. Mikä ToF-anturi tarkalleen ottaen on, miten se toimii, mitä etuja sillä on, mitkä ovat sen todelliset haitat ja mihin valmistajat sitä käyttävät? valokuvauksessa, turvallisuudessa, lisätyssä todellisuudessa tai jopa vakoilukameroiden havaitsemisessa.
Mikä on ToF-anturi matkapuhelimissa?
ToF (Time Of Flight) -anturi on yksinkertaisesti sanottuna syvyyskamera, joka mittaa etäisyyksiä infrapunavalon avullaSen sijaan, että se vain tallentaisi värit ja kirkkauden kuten tavallinen kamera, se keskittyy tietämään, kuinka kaukana kukin piste kohtauksessa on.
Tämän saavuttamiseksi ToF-moduuli integroi valonlähde (laser tai infrapuna-LED), pieni optiikka ja erityinen anturi Se pystyy mittaamaan, kuinka kauan valolta kestää lähteä kappaleesta, heijastua siitä ja palata takaisin. Tämän aikatiedon ja valonnopeuden perusteella järjestelmä laskee etäisyyden ja luo 3D-syvyyskartan reaaliajassa.
Tämän tyyppinen syvyyskamera ei ole yksinomaan matkapuhelimille. Sitä on käytetty vuosia teollisuudessa, tutkimuksessa ja kuluttajatuoteympäristöissä. Kuten Microsoft Kinect, joka jo käytti Time-of-Flight (ToF) -kameraa kehon liikkeiden havaitsemiseen huomattavalla tarkkuudella. Sama pätee edistyneisiin kasvojentunnistusratkaisuihin, joissa puhelin skannaa kasvosi kolmiulotteisesti millisekunneissa.
Älypuhelimissa tuotemerkit, kuten Samsung, LG, Huawei, HONOR, OPPO, Vivo tai jopa Apple Face ID -tyyppisellä järjestelmällään He ovat valinneet tämän teknologian eri aikoina sekä puhelimen taka- että etupuolelle parantaakseen valokuvausta, turvallisuutta ja uusia eleiden käyttötapoja.
ToF-kameran toimintaperiaate: "lentoaika" selitettynä yksinkertaisesti
ToF:n taustalla oleva fyysinen periaate on melko yksinkertainen ymmärtää: Se toimii samalla tavalla kuin tutka tai sukellusveneen kaikuluotain, mutta käyttää äänen sijaan valoa.Ajatuksena on mitata aika, joka valopulssin kulkemiseen pisteeseen ja pisteestä pois kuluu.
Tyypillisessä mobiilissa ToF-järjestelmässä nämä perusvaiheet tapahtuvat: Lähetin lähettää infrapunavalopulsseja; nämä pulssit osuvat kuvassa oleviin kohteisiin ja palaavat anturille.joka mittaa, kuinka kauan niiltä kesti palata takaisin. Mitä pidempi matka-aika, sitä kauempana kohde on.
ToF-kenno itsessään on erityinen pikselimatriisi, samanlainen kuin tavallinen CCD- tai CMOS-kenno, mutta jokainen pikseli pystyy tallentaa paitsi intensiteetin myös siihen saapuvan valonsäteen vaiheen tai vaihesiirronNäiden tietojen perusteella syvyysprosessori laskee, kuinka kaukana kukin kuvan piste on, ja rakentaa syvyyskartan, jossa jokaisella pikselillä on etäisyysarvo.
Suuri etu on se Koko 3D-kartta tallennetaan yhdellä kertaa, yhdellä "laukauksella".ilman, että eri tasoihin tarvitsee tarkentaa tai ottaa useita kuvia, kuten muiden syvyysmittausmenetelmien tapauksessa. Tämä tekee järjestelmästä nopean ja ihanteellisen reaaliaikaiseen videoon, liikkuvien kohteiden seurantaan ja saumattomiin lisätyn todellisuuden kokemuksiin.
Jotta tämä toimisi mobiililaitteella, tarvitaan erillinen prosessori tai tehokas ISP (kuvasignaaliprosessori), joka pystyy nielemään valtavan syvyysdatavirran, suodattamaan sen ja yhdistämään sen perinteiseen kuvaanJos prosessori jää vajaaksi, se huomataan välittömästi viiveinä reaaliaikaisia sumennuskuvia käytettäessä, kasvojentunnistuksen häiriöinä tai AR-sovellusten nykimisenä.
ToF-järjestelmän pääkomponentit
Täydellinen ToF-moduuli älypuhelimessa ei ole vain "yksi anturi lisää"; se koostuu useita synkronoituja lohkoja syvyyskuvan luomiseksi:
- ToF-anturi ja kameramoduuliTämä on siru, joka vastaa heijastuneen valon keräämisestä. Jokainen pikseli muuntaa nämä fotonit vaihe- ja intensiteettitiedoksi, jotka sitten muunnetaan etäisyyksiksi. Mitä korkeampi tämän anturin resoluutio on, sitä yksityiskohtaisempi 3D-kartta on, vaikka käytännössä monet mobiilit ToF-kamerat toimivat edelleen vaatimattomilla resoluutioilla (esimerkiksi 320 × 240 pikseliä).
- InfrapunavalonlähdeSe on yleensä VCSEL-laser tai infrapuna-LED, joka lähettää lähi-infrapunavaloa. Se on suunniteltu... valaise kohtaus kontrolloidulla kuviolla tai säteelläriittävän tehon omaavien etäisyyksien mittaamiseen olematta vaaraksi ihmissilmälle tai kuluttamatta liikaa akkua.
- Syvyysprosessori: "aivot" muuntaa anturilta tulevan raakadatan (ajat, vaiheet, amplitudit) muotoon järjestelmän tulkittavissa oleva syvyyskarttaSe tyypillisesti myös luo passiivisen 2D-infrapunakuvan, käyttää kohinasuodattimia, kompensoi ympäristön valoa ja korjaa epätavallisten heijastusten tai useiden heijastusten aiheuttamat virheet.
Lisäksi kaikki tämä on integroitu puhelimen muiden kameroiden ja pääprosessorin kanssa yhdistää väri- (RGB) ja syvyystiedot (ToF) reaaliajassaTämä on avainasemassa puhtaiden sumennustehosteiden, vakaan kasvojen seurannan tai näytöllä näkyvien kohteiden mittausten saavuttamiseksi.
ToF-antureiden edut muihin syvyysteknologioihin verrattuna
Lentoaikakamerat (ToF) kilpailevat muiden syvyysmittausjärjestelmien, kuten stereoskooppinen näkö (kaksi kameraa) tai strukturoitu valo (heijastetut kuviot, jotka muuttavat muotoaan törmätessään esineisiin). Jokaisella lähestymistavalla on hyvät ja huonot puolensa, mutta ToF on saavuttanut merkittävän jalansijan mobiililaitteissa useista syistä.
Aluksi ToF-anturi Syvyyskartan luominen vaatii vähemmän intensiivistä laskentaa.koska se mittaa suoraan valon kulkuajan jokaisessa pikselissä. Stereoskopiassa taas mobiililaitteen on vertailtava kahta kuvaa ja ratkaistava erittäin kallis vastaavuusongelma suorittimen ja näytönohjaimen suhteen.
ToF-teknologia erottuu myös sen ansiosta suhteellisen alhainen energiankulutusSe käyttää yhtä infrapunavalonlähdettä ja suorempaa prosessointia, mikä johtaa pienempään vaikutukseen akun käyttöikään verrattuna ratkaisuihin, jotka vaativat monimutkaisia projektioita tai useita peräkkäisiä kuvakaappauksia.
Toinen selkeä etu on kyky työskennellä reaaliajassa hyvällä tarkkuudellaToF-kamerat pystyvät luomaan syvyyskarttoja pienillä virheillä (millimetrien tai senttimetrien tasolla, etäisyydestä riippuen) ja erittäin pienellä latenssilla, mikä on ihanteellista sovelluksille, jotka vaativat välitöntä reagointia, kuten videotarkennus, ilmaeleet tai kohteiden seuranta AR-peleissä.
Lopuksi, ne ovat melko monipuolisia järjestelmiä: Ne toimivat kohtuullisen hyvin laajalla dynaamisella valaistusolosuhteiden alueella.sekä sisällä että ulkona vaihtelevassa valossa, kunhan ei synny äärimmäisiä tilanteita, joissa suora auringonvalo ylikuumentaa anturia.
ToF-teknologian rajoitukset ja haitat
Kaikki ei ole hyvin. Todellisuudessa mobiililaitteilla toteutettavilla ToF-moduuleilla on useita rajoituksia, jotka määräävät, miten ja mihin niitä käytetään. Yksi ilmeisimmistä on se, että Kaupallisten ToF-antureiden resoluutio on yleensä alhainenSe on kaukana pääkameroiden megapikselimäärästä. Se riittää äänenvoimakkuuksien, kasvojen tai eleiden havaitsemiseen, mutta jää vajaaksi tehtäviin, jotka vaativat äärimmäistä yksityiskohtien tasoa.
Toinen herkkä kohta on sironneen valon artefaktat erittäin kirkkailla tai lähellä olevilla pinnoillaJos kohde heijastaa liikaa infrapunavaloa anturia kohti, se voi saturoitua ja aiheuttaa outoa heijastuksia tai virheellisen syvyyden alueita. Samanlaista tapahtuu nurkissa ja koverissa syvennyksissä, joissa valo voi heijastua useita kertoja ja aiheuttaa merkittäviä epävarmuuksia mittauksissa.
La Voimakas ympäröivä valo, erityisesti suora auringonvaloSe voi myös pilata juhlat. Hyvin aurinkoisissa ulko-olosuhteissa anturin pikselit voivat kyllästyä auringon infrapunasäteilystä, mikä peittää puhelimen ToF-lähettimestä heijastuvan varsinaisen signaalin. Näissä tapauksissa hyödyllinen mittausalue pienenee ja virheet lisääntyvät.
Kaikkeen tähän on lisättävä fyysisen tilan kysymys. Täydellinen ToF-moduuli vie äänenvoimakkuus, joka on samanlainen kuin perinteisessä kamerassaKoska se tarvitsee oman optiikkansa, lähettimensä ja sensorinsa. Älypuhelimessa, jossa jokainen millimetri on tärkeä, tilan varaaminen vielä yhdelle komponentille ei ole triviaalia, varsinkin jos kameroita on jo useita: laajakulma, tele ja makro.
Lopuksi hinta: vaikka sitä pidetään suhteellisen edullisena ratkaisuna verrattuna monimutkaisiin LiDAR-järjestelmiin tai teollisiin 3D-skannereihin, ToF-anturin lisääminen nostaa laitteen hintaa entisestään.Siksi sen läsnäolo keskittyy pääasiassa keski-, ylä- ja ylähintaluokkiin.
ToF-sovellukset mobiilivalokuvauksessa
Syvyyskartan huomattavin käyttökohde keskivertokäyttäjälle on matkapuhelimen kamerassa. Syvyyskartan ansiosta puhelimessa on Erittäin tarkkaa tietoa siitä, mikä on lähellä ja mikä kaukana jokaisessa kohtauksessa jotain, jota voidaan hyödyntää monin luovin tavoin.
Ensimmäinen ja ilmeisin on parannus muotokuvatila ja kuuluisa bokeh-efektiTietämällä yksityiskohtaisesti, mitkä pikselit kuuluvat kohteeseen ja mitkä taustaan, matkapuhelin voi käyttää paljon luonnollisempaa valikoivaa sumennusta, jossa siirtymät hiusten, käsien, lasien jne. ympärillä ovat sulavia, ja ilman niin monia outoja leikkauksia kuin silloin, kun kaikki riippui vain 2D-algoritmeista.
Toinen tärkeä etu on Nopeampi ja vakaampi automaattitarkennusValotusaika-anturit (ToF) voivat auttaa automaattitarkennusjärjestelmää paikantamaan oikean tarkennustason, vaikka kohde liikkuisi nopeasti tai hämärässä. Videossa tämä tarkoittaa vähemmän tarkennuksen etsintää ja luotettavampaa ihmisten tai esineiden seurantaa, jotka liikkuvat kameraa kohti tai siitä poispäin.
Lisäksi vangitsemisen teko Kaikki syvyystiedot yhdellä otoksella Sen avulla kamera voi käyttää kyseistä 3D-kerrosta välittömästi nopeudesta tinkimättä. Tämä näkyy ominaisuuksissa, kuten reaaliaikaisissa muotokuvissa, simuloiduissa valaistustehosteissa ja suodattimissa, jotka sijoittavat virtuaalisia elementtejä eri syvyyksille millisekunneissa.
Tuotemerkit, kuten Huawei, P30 ProKUNNIOITTAA Näytä 20OPPO ja RX17 Pro ja Etsi X9 ProSamsungin kanssa Galaxy S10 5G tai LG:n kanssa G8 ThinQ He ovat käyttäneet ToF-sensoreita juuri parantaakseen muotokuvaustilaa, taustan sumennusta, 3D-objektien skannausta ja takakameraan linkitettyjä lisätyn todellisuuden sovelluksia.
ToF kasvojentunnistusta ja turvallisuutta varten
Työskentelemällä todellisen tilavuuden eikä pelkän tasaisen kuvan kanssa, järjestelmä on paljon kestävämpi tulostettuja valokuvia tai näytöllä tehtäviä huijausyrityksiä vastaanLisäksi infrapunakuvaus mahdollistaa tunnistuksen toiminnan täydellisessä pimeydessä ilman, että näyttöä tarvitsee kytkeä päälle täydellä kirkkaudella tai ärsyttäviä välähdyksiä kasvoille.
Jotkut valmistajat menevät pelkkää etupaneelia pidemmälle. Esimerkiksi LG G8 ThinQ käyttää etupuolella olevaa ToF-anturia analysoi kämmenen laskimoiden kuvio infrapunavalollaTämä ”verisuonikartta” toimii lisäbiometrisenä tunnisteena puhelimen lukituksen avaamiseksi koskematta siihen, mikä on erittäin hyödyllistä ympäristöissä, joissa käytät käsineitä tai kädet ovat märät.
Tarkkuutensa ja nopeutensa ansiosta ToF mahdollistaa myös havaita monimutkaisia eleitä ilmassa näytön edessä, kuten käden pyörittäminen äänenvoimakkuuden lisäämiseksi, sen siirtäminen sivulle kappaleen vaihtamiseksi tai puheluun vastaaminen koskematta puhelimeen. Tämän tyyppinen "kosketusvapaa" vuorovaikutus on vielä melko rajoitetussa vaiheessa, mutta se avaa oven herkkien sovellusten (kuten pankki- tai kodin automaatiosovellusten) ohjaamiseen turvallisilla eleillä, joita on vaikea toistaa etänä.
Fyysisen yksityisyyden alueella tutkijat ovat jopa osoittaneet, että Matkapuhelimen ToF-anturi voi auttaa havaitsemaan piilotettuja vakoilukameroita.Ajatuksena on, että aika-anturin (ToF) heijastama infrapunavalo tuottaa hyvin ominaisen heijastuksen muiden kameroiden linsseihin. Analysoimalla tätä heijastusta tietyllä sovelluksella on mahdollista tunnistaa mahdolliset piilossa olevat laitteet yllättävän korkealla onnistumisprosentilla verrattuna yksinkertaiseen visuaaliseen tarkastukseen.
Eleohjaus, lisätty todellisuus ja uudet kokemukset
Yksi silmiinpistävimmistä sovelluksista (ja katseenvangitsijoista messuilla, kuten Mobile World Congressissa) on älypuhelimen ohjaus ilmaeleilläAsettamalla käden tietylle etäisyydelle etuosasta, ToF-anturit voidaan sijoittaa optimaaliselle alueelle ja seurata niiden sijaintia 3D:nä.
LG G8 ThinQ teki ominaisuudesta suositun Ilman liikeTämän ominaisuuden avulla voit vastata puheluihin, keskeyttää tai jatkaa musiikin toistoa tai säätää äänenvoimakkuutta yksinkertaisesti liikuttamalla kämmentäsi puhelimen lähellä koskematta näyttöön. Se ei ole vielä aivan tieteisfiktiota, mutta se havainnollistaa kauniisti, miten reaaliaikainen syvyyskartta voi kääntyä uusiksi vuorovaikutuksen muodoiksi.
La lisätty todellisuus (AR) ja virtuaalitodellisuus (VR) Ne hyötyvät myös suuresti ToF-antureista. Melko luotettavan 3D-mallin ansiosta ympäristöstä sovellukset voivat Sijoita virtuaaliobjektit mittakaavaa, etäisyyttä ja todellisia peittoja noudattaen (esimerkiksi virtuaalinen huonekalu, joka on osittain piilossa oikean pöydän takana), mikä antaa paljon uskottavamman integraation tunteen.
Alalla Esineiden tai ihmisten 3D-mallinnus ja skannausMobiili lentoaika-anturi (ToF) voi nopeasti tallentaa perusgeometrian, joka riittää avatarien, prototyyppien tai 3D-tulostusmallien luomiseen. On jo olemassa ratkaisuja, jotka luovat 3D-malleja koko kehosta tai kasvoista tämäntyyppisten antureiden avulla, mikä on aiemmin ollut mahdollista vain melko kalliilla laitteilla.
Alueella on myös vahvaa potentiaalia, saavutettavuus ja luonnollinen vuorovaikutusKyky "ymmärtää" käsien, silmien tai jopa huulten asento 3D:ssä voisi antaa eri tavoin vammaisille ihmisille mahdollisuuden hallita laitteita yksinkertaisesti katsomalla niitä tai pienillä eleillä, ja jotkut tietokone- ja mobiiliprototyypit kokeilevat jo näitä ideoita käyttämällä lentoaika-antureita.
ToF vs. LiDAR ja muut syvyysteknologiat
Käsitteitä on helppo sekoittaa, koska loppujen lopuksi sekä ToF että LiDAR perustuvat mittaamiseen valon lentoaika etäisyyksien laskemiseksiTärkein ero on siinä, miten ne toteutetaan ja mihin sovellukseen ne on tarkoitettu.
Yleisesti ottaen, kun puhumme LiDARista, viittaamme yleensä pitkän kantaman, erittäin tarkat laserskannausjärjestelmätNäitä käytetään autonomisissa ajoneuvoissa, laajamittaisessa 3D-kartoituksessa ja edistyneessä robotiikassa. Ne pystyvät kulkemaan paljon suurempia etäisyyksiä kuin matkapuhelin ja tarjoavat uskomattoman suuria pistetiheyksiä, mutta vastineeksi ne ovat tilaa vieviä ja kalliita.
Toisaalta älypuhelimiin integroidut ToF-kamerat kohdistavat lyhyen ja keskipitkän kantaman kuvauksiin ja priorisoivat olemista. kompakti, edullinen ja helppo integroida kulutuselektroniikkaanSen tarkkuus ja kantama ovat enemmän kuin riittävät valokuvaukseen, kasvojentunnistukseen tai sisätilojen AR-käyttöön, mutta se ei kilpaile suoraan autoteollisuuden tai maanmittauksen LiDARin kanssa.
Verrattuna muihin tekniikoihin, kuten strukturoituun valoon tai puhtaaseen stereoskooppiseen näkemiseen, ToF-kamerat tarjoavat mielenkiintoinen tasapaino kustannusten, kulutuksen, nopeuden ja syvyyskartan laadun välilläTästä syystä niin monet valmistajat ovat ottaneet ne käyttöön kunnianhimoisimmissa malleissaan.
Esimerkkejä matkapuhelimista ja ToF-antureiden tulevaisuudesta
Useat valmistajat ovat testanneet erilaisia kokoonpanoja ToF-anturin ympärillä sekä laitteen etu- että takaosassa. Esimerkiksi Samsung jopa asensi kaksi ToF-kameraa Galaxy S10 5G:ssäJa valmistajat, kuten Xiaomi, ovat valinneet edistyneet anturit malleihin, kuten Xiaomi 14Ultra: samanlainen strategia syvyyden hyödyntämiseen muotokuvissa, kasvojentunnistuksessa ja reaaliaikaisissa tehosteissa videoissa.
Huawei ja HONOR valitsivat tämän teknologian malleissaan, kuten P30 Pro ja View 20 parantaakseen taustan epäterävyyttä radikaalisti ja mahdollistaakseen reaalimaailman esineiden ja kehon mittaustoiminnot. OPPO teki jotain vastaavaa RX17 Prokeskittyen AR-sovelluksiin ja syvyyskarttaa hyödyntäviin interaktiivisiin peleihin.
Muut valmistajat, kuten jotkut Vivo- tai Android-laitteiden versiot, joissa on edistynyt 3D-kasvojentunnistustuki, ovat integroineet etupuolelle ToF-anturit biometrisen turvallisuuden vahvistamiseksi ja kokemusten, kuten animojit, tarkat kasvonsuodattimet tai 3D-kasvoskannaus.
Android-ekosysteemissä yleisesti odotetaan, että Tämän tyyppisestä anturista tulee yhä tärkeämpi prosessointialgoritmien kypsyessä. ja laitteistosta tulee halvempaa. On jo merkkejä syvemmästä integraatiosta itse käyttöjärjestelmään, jotta syvyysdataa voidaan hyödyntää AR:ssä, laskennallisessa valokuvauksessa tai tulevaisuuden todennusmenetelmissä.
Matkapuhelimien ulkopuolella sama ToF-teknologia on valtaamassa alaa Teollisuusrobotit, tarkastusjärjestelmät, logistiikka, varastoautomaatio ja kodin automaatiojossa reaaliaikaisen 3D-kartan luominen edullisesti on erittäin houkuttelevaa.
Kaikki viittaa siihen, että ToF-anturi on muuttunut muutamien huippumallien "omituisesta" lisävarusteesta todelliseksi olennainen osa nykyaikaisten älylaitteiden anturiekosysteemiäSen rooli laajenee resoluution, auringonvalon kestävyyden, energiatehokkuuden ja ennen kaikkea miljoonia syvyyspisteitä tulkitsevan ohjelmiston älykkyyden parantuessa.
Kaiken sen perusteella, mitä ne jo tarjoavat – parempi tarkennus, luonnollisemmat muotokuvat, turvallisempi kasvojentunnistus, eleiden hallinta, 3D-skannaus, uskottavampi lisätty todellisuus ja jopa piilokameroiden havaitsemisen apu – on melko selvää, että Lentoaika-anturit (ToF) ovat tulleet jäädäkseen yhdeksi mobiilivalokuvauksen ja uusien käyttökokemusten parhaista liittolaisista.Ja että sen läsnäolo taskuissamme lisääntyy, vaikka se jääkin usein huomaamatta puhelimen muiden kameroiden joukossa.
