Facebook utilizza IA per migliorare le descrizioni delle foto per le persone non vedenti e ipovedenti

Gli utenti di Facebook o Instagram quando scorrono i loro feed di notizie, trovano tutti i tipi di contenuti: articoli, commenti di amici, inviti a eventi e, naturalmente, foto. La maggior parte delle persone è in grado di vedere immediatamente cosa c’è in queste immagini. Ma ci sono anche utenti non vedenti o ipovedenti che possono ‘visualizzare’ queste immagini solo a condizione che siano contrassegnate correttamente con un testo alternativo. Uno screen reader può quindi ‘leggere’ il contenuto di queste immagini utilizzando una voce sintetica e consentire alle persone non vedenti o ipovedenti di comprendere le immagini nel loro feed di Facebook. Tuttavia, molte foto vengono pubblicate senza testo alternativo, quindi nel 2016 Facebook ha introdotto nelle sue piattaforme la tecnologia chiamata Testo Alternativo Automatico (AAT). AAT – che è stata riconosciuta nel 2018 con l’Helen Keller Achievement Award dalla American Foundation for the Blind – che fa uso della tecnologia di visione artificiale per generare, in modo automatico, le descrizioni di un’immagine, in modo che le persone non vedenti o ipovedenti possano ‘accedere’ alle immagini nel loro feed di notizie su Facebook. Oggi, Facebook ha annunciato il lancio di una più ricca esperienza di AAT, che fornisce migliore precisione e dettaglio alle descrizioni delle foto per le persone non vedenti e ipovedenti.

La nuova tecnologia AAT messa a punto da Facebook

La nuova iterazione di AAT usata da Facebook rappresenta molteplici progressi tecnologici che migliorano l’esperienza ‘visiva’ per gli utenti del social network. Innanzitutto, è stato ampliato il numero di concetti che AAT può rilevare e identificare in modo affidabile nelle foto su Instagram e Facebook di oltre 10 volte, il che a sua volta significa meno foto senza descrizione. Le descrizioni sono anche più dettagliate, con la possibilità di identificare attività, punti di riferimento, tipi di animali e così via, ad esempio uno screen reader potrebbe leggere "Potrebbe essere un selfie di due persone, all’aperto con la Torre pendente di Pisa".

Facebook ha anche raggiunto una novità assoluta nel settore rendendo possibile includere informazioni sulla posizione (in alto/al centro/in basso o a sinistra/centro/destra) e sulla dimensione relativa degli elementi in una foto (primaria, secondaria). Pertanto, anzichè descrivere il contenuto di una foto come "Può essere un’immagine con 5 persone", la tecnologia potrebbe rilevare che ci sono due persone al centro della foto e altre tre sparse verso i margini, il che implica che le due al centro sono il focus. Oppure, invece di descrivere semplicemente un bel paesaggio con "Può essere un’immagine con una casa e una montagna", la tecnologia può evidenziare che la montagna è l’oggetto principale in una scena in base a quanto grande appare rispetto alla casa alla sua base. Insieme, queste novità possono aiutare gli utenti non vedenti o ipovedenti di Facebook a comprendere meglio cosa si trova nelle foto pubblicate da familiari e amici – e nelle loro stesse foto – fornendo più -e più dettagliate- informazioni.

AAT è disponibile su Facebook per le foto presenti nel NewsFeed, nei profili e nei gruppi. Inoltre, è utilizzabile anche quando una foto è aperta in modalità "dettaglio" (dove l’immagine appare a schermo intero e lo sfondo è nero). Su Instagram invece, l’AAT è disponibile per le foto nel Feed, in Esplora e nei profili.