E’ stata già ampiamente promossa la fotocamera degli smartphone Pixel 2 e Pixel 2 XL di Google, con DxOMark che la ha definita "la fotocamera per dispositivi portatili più performante che abbiamo testato" al 5 ottobre 2017 con assegnato un punteggio complessivo record di 98 punti. E se già cosi’ la fotocamera è considerata ottima, Google in un post nel suo blog ha rivelato alla fine dello scorso anno che a migliorare ulteriormente la fotocamera è presente il coprocessore intelligente con machine learning chiamato Pixel Visual Core, già montato sul telefono ‘fuori dalla scatola’ ma inizialmente non abilitato. 

Il coprocessore Pixel Visual Core funziona in maniera indipendentemente dal chipset Qualcomm Snapdragon 835 principale che fa girare lo smartphone e comprende una CPU con un singolo core Cortex-A53, otto unità di elaborazione delle immagini o IPU (Image Processing Unit) e memoria LPDDR4, tutti separati dalla SoC principale.

I primi utenti di Pixel 2 (e Pixel 2 XL) non hanno potuto beneficiare di questo Pixel Visual Core poichè il coprocessore è stato disabilitato inizialmente, mentre è stato abilitato solo con l’aggiornamento Android 8.1 disponibile dal 5 dicembre 2017 ma solo all’interno dell’applicazione Fotocamera ufficiale di Google. Grazie ad un aggiornamento software in distribuzione da Febbraio 2018, invece, il Pixel Visual Core diventa accessibile anche alle applicazioni di terze parti che fanno uso della fotocamera, app di fotografia, social media e fotocamera come Instagram, WhatsApp e Snapchat.

Secondo Google, la fotocamera sul nuovo Pixel 2 vantando di potenti hardware, software e apprendimento automatico (Machine Learning / ML) puo’ "fare foto e video incredibili".

"Con Pixel 2, volevamo costruire la migliore fotocamera per smartphone al mondo. Uno dei modi in cui lo abbiamo fatto è con la tecnologia HDR+, che ti aiuta a scattare foto migliori in condizioni di illuminazione difficili, come scene con aree sia luminose che ombreggiate o con scarsa illuminazione" ha spiegato Ofer Shacham, Ingegnere Manager per Pixel Visual Core.

Schema del Pixel Visual Core di Google

Pixel Visual Core, il primo co-processore di Google

Pixel Visual Core è ufficialmente il primo co-processore personalizzato di Google per i prodotti di consumo.

Al centro del coprocessore Pixel Visual Core si trova l’Unità di elaborazione delle immagini (IPU) progettata da Google – un processore completamente programmabile, specifico per fornire prestazioni massime con bassi consumi. Otto sono i core personalizzati progettati da Google presenti nella IPU, ciascuno con 512 unità di logica aritmetica (ALU) per offre prestazioni superiori ed elaborare più di 3 trilioni di operazioni al secondo senza andare a consumare troppo la batteria dello smartphone.

Utilizzando Visual Core di Pixel, l’HDR+ può essere elaborato 5 volte più velocemente consumando meno di un decimo dell’energia rispetto all’esecuzione attraverso un tradizionale processore AP.

Per l’efficienza della IPU è importante il fatto che tutto è progettato da Google, compresi hardware e software: "un maggiore controllo al software rende l’hardware più semplice e più efficiente" spiega Google. Anche la programmazione viene semplificata, con l’IPU che sfrutta linguaggi che facilitano le operazioni sia per gli sviluppatori che del compilatore: Halide per l’elaborazione delle immagini e TensorFlow per l’apprendimento automatico. E’ presente un compilatore personalizzato di Google che ottimizza il codice per l’hardware.

IN QUALI APPLICAIZONI FUNZIONA PIXEL VISUAL CORE. I telefoni Pixel 2 sono stati lanciati con Android 8.0 Oreo con disabilitato il coprocessore: una volta aggiornati ad Android 8.1 Oreo, Pixel Visual Core viene  abilitato nell’app Fotocamera di Google mentre nelle app di terze parti che utilizzano l’API Android Camera che fornisce accesso alla tecnologia HDR+ viene abilitato con l’aggiornamento software disponibile da Febbraio 2018.

HDR+ è solo la prima funzionalità che funzionerà con il coprocessore Pixel Visual Core. Altro è in arrivo: poichè è possibile programmare Pixel Visual Core, Google sta già preparando il prossimo insieme di applicazioni che sfrutteranno il coprocessore per migliorare l’esperienza d’uso di Pixel 2.

Secondo Google, grazie al Pixel Visual Core e a sempre più applicazioni che potranno sfruttare l’apprendimento automatico, il Pixel 2 migliorerà continuamente.

Pixel 2 – confronto scatto con app di terze parti (sinistra) e app con Pixel Visual Core (destra)

Pixel Visual Core sui telefoni Pixel di Google a cosa serve

Tra le tecnologie presenti nell’app Fotocamera di Google si trova l‘HDR+, che consente di ottenere foto con piu’ colori in diverse condizioni di luminosità, da paesaggi poco illuminati ad un cielo molto soleggiato. HDR+ produce immagini grazie ad un algoritmo che Google ha sviluppato in un anno di lavoro, permettendo alla fotocamera del Pixel 2 di catturare più immagini in sequenza ed elaborarle in modo intelligente in background velocemente e senza rallentare il sistema

Google ha anche lavorato per la creazione di funzionalità hardware che consentono una potenza di calcolo maggiore – oltre l’hardware esistente – per rendere disponibile l’HDR+ anche nelle applicazioni di terze parti. Ed è qui che entra in gioco il coprocessore chiamato Pixel Visual Core, proprio per una migliore cattura di immagini con HDR+ non solo nell’app Fotocamera di Google ma anche nelle applicazioni di imaging di terze parti, le quali possono fornire immagini elaborate in maniera rapida, con una più bassa latenza e senza consumare troppe risorse dello smartphone.

"Utilizzando la fotografia computazionale e l’apprendimento automatico (la tecnologia HDR+), Pixel Visual Core migliora la qualità delle immagini in applicazioni che catturano foto. Ciò significa che sarà più facile scattare e condividere foto straordinarie su Instagram, WhatsApp e Snapchat, insieme a molte altre app che utilizzano la fotocamera Pixel 2" ha spiegato Ofer Shacham di Google.

Tutto quello che gli utenti che hanno un telefono Pixel 2 devono fare per sfruttare la tecnologia HDR+ è catturare le foto con una delle app abilitate, e il telefono farà il resto.