2/4/2025 | 11:00 AM - 12:20 PM | Regency C

Invited: Cameras as nanophotonic optical computers

Author(s)

Felix Heide | Princeton University

Abstract

Cameras have become a ubiquitous interface between the real world and computers, with applications across domains in fundamental science, robotics, health, and communication. Although their applications are diverse, today’s cameras acquire information in the same way they did in the 19th century: they focus light from the scene on a sensing plane using a set of refractive lenses that minimize deviations from Gauss’s linear model of optics. In this paradigm, increasingly complex lens and sensor stacks are designed to record an ideal image and perform computation only after the capture. For example, the optical stack in the iPhone 15 contains more than seven elements at 7 mm in length. In this talk, I will discuss computational cameras that learn to manipulate the wavefront of incident light with wavelength-scale structuring, previously impractical to design with existing electromagnetic wave simulation methods. These neural nanophotonic cameras may enable unprecedented capabilities in optical design, imaging, and computer vision. As examples, I will describe an ultra-small camera at a few hundred microns in size that matches the quality achieved with cm-size compound lenses. I will also present ultra-thin nanophotonic cameras that perform 99.9% of neural network compute - typically executed in electronics after the capture - in the optics before sensing, at the speed of light.