Dlaczego kamery AI zmieniają sposób projektowania obiektywów

Przez długi czas rozwój aparatów kierował się dość prostą logiką:

Lepszy czujnik → wyższa rozdzielczość → lepszy aparat.

Potem na scenę wkroczyła AI.

Nagle kamera przestała już tylko rejestrować to, co się wydarzyło.

Oczekiwano, że to zrozumie.

Kamera bezpieczeństwa może wymagać odróżnienia osoby od pojazdu. Robot może potrzebować rozpoznać przeszkodę. Dron może potrzebować zrozumienia otoczenia, poruszając się z dużą prędkością.

A to stwarza problem, któremu nie poświęca się wystarczającej uwagi:

Sztuczna inteligencja może działać wyłącznie na podstawie informacji wizualnych, które przekazuje jej kamera.

Genialny algorytm nie jest w stanie odzyskać szczegółów, których system optyczny nigdy nie uchwycił.

Właśnie dlatego sztuczna inteligencja po cichu zmienia sposób projektowania obiektywów aparatów.

Sztuczna inteligencja nie powoduje zniknięcia słabej optyki

Kusząca jest myśl, że coraz potężniejsze modele AI zrekompensują mierne aparaty.

Czasami pomocna może być fotografia obliczeniowa.

Redukcja szumów może poprawić obraz.

Ostrzenie może sprawić, że krawędzie będą wyglądać na mocniejsze.

Udoskonalenie sztucznej inteligencji może zrekonstruować wizualnie wiarygodne szczegóły.

Istnieje jednak różnica pomiędzy poprawianiem wyglądu obrazu a uchwyceniem bardziej realnych informacji.

Jeśli obiekt jest mocno rozmazany z powodu słabej rozdzielczości optycznej, oprogramowanie nie jest w stanie wiarygodnie odtworzyć oryginalnych drobnych szczegółów.

Jeśli obraz nocny nie zawiera prawie żadnego użytecznego sygnału, algorytm nie może po prostu wymyślić wiarygodnych dowodów wizualnych.

Jest to szczególnie ważne w zastosowaniach związanych z bezpieczeństwem i przemysłem, gdzie obraz nie jest oglądany w celach rozrywkowych.

Służy do podejmowania decyzji.

Wydajność przy słabym oświetleniu staje się wymogiem sztucznej inteligencji

Jednym z największych wyzwań dla kamer AI jest słabe oświetlenie.

Ludzie często potrafią dokonywać rozsądnych ocen w słabym otoczeniu.

Komputerowe systemy wizyjne są mniej wyrozumiałe.

W miarę zmniejszania się oświetlenia kamery zazwyczaj są skierowane w stronę:

Większy szum czujnika

Niższy kontrast

Rozmycie ruchu

Utrata informacji o kolorze

Zmniejszona definicja krawędzi

Problemy te mogą bezpośrednio wpływać na wykrywanie i klasyfikację AI.

Wyobraźmy sobie osobę spacerującą nocą po parkingu.

W jasnej scenie sztuczna inteligencja może uzyskać jasne informacje na temat sylwetki osoby, jej ubioru, ruchu i otoczenia.

W słabo oświetlonej scenie ta sama osoba może stać się hałaśliwą sylwetką.

Algorytm nie stał się nagle głupi.

Dane wejściowe po prostu stały się znacznie trudniejsze do zinterpretowania.

Jest to jeden z powodów, dla których konstrukcje optyczne o dużej aperturze i słabo oświetlone stają się coraz bardziej istotne w systemach wizyjnych AI.

Mniejsze piksele stwarzają większe wymagania optyczne

Nowoczesne czujniki stale zwiększają gęstość pikseli.

Generuje to więcej danych obrazu, ale stawia także większe wymagania obiektywowi.

Mniejsze piksele mogą wymagać, aby układ optyczny rozróżniał mniejsze szczegóły przestrzenne.

Jeśli obiektyw nie nadąża, dodanie pikseli daje malejące korzyści.

Jest to szczególnie ważne w przypadku kamer AI, ponieważ system może zależeć od stosunkowo niewielkich elementów wizualnych.

Człowiek może rozpoznać obiekt po jego ogólnym kształcie.

Model AI może opierać się na subtelnych wzorach, krawędziach, teksturach lub związkach kolorów.

Dlatego obiektyw musi zapewniać wystarczająco czysty obraz, aby te cechy przetrwały cały proces obrazowania.

Jest to jeden z powodów, dla których projektowanie optyczne i wybór czujnika coraz częściej muszą odbywać się razem.

Obiektywy szerokokątne stanowią interesujący kompromis w zakresie sztucznej inteligencji

Kamery AI często potrzebują szerokiego pola widzenia.

Roboty muszą rozumieć swoje otoczenie.

Drony potrzebują świadomości sytuacyjnej.

Kamery bezpieczeństwa muszą obejmować duże obszary.

Dlaczego więc nie po prostu poszerzyć obiektywu?

Ponieważ optyka szerokokątna stawia przed nami własne wyzwania.

Wraz ze wzrostem pola widzenia projektanci muszą zarządzać:

Zniekształcenie

Rozdzielczość krawędzi

Oświetlenie względne

Aberracja chromatyczna

Geometria obrazu

Bardzo szeroki obiektyw może uchwycić większą część otoczenia, ale dawać gorszą jakość obrazu w pobliżu krawędzi.

Dla ludzkiego oka może to być akceptowalne.

W przypadku sztucznej inteligencji może to być bardziej skomplikowane.

Jeśli obiekty znajdujące się blisko krawędzi obrazu są mocno zniekształcone lub rozmyte, algorytm proszony jest o interpretację informacji wizualnych, które są już zdegradowane.

Stwarza to zasadniczy kompromis w projektowaniu:

Większe pole widzenia w porównaniu z większą liczbą użytecznych szczegółów.

Prawidłowa odpowiedź zależy od aplikacji.

Robotyka: soczewki stają się częścią systemu percepcji

Rozwój ucieleśnionej sztucznej inteligencji jeszcze bardziej popycha tę kwestię.

Robot nie ma luksusu zadawania pytań:

„Czy ktoś może włączyć światło?”

Musi działać w danym środowisku.

Środowisko to może zawierać:

Cienie

Nierówne oświetlenie

Powierzchnie odblaskowe

Wąskie przestrzenie

Przenoszenie ludzi

Obiekty w różnych odległościach

Kamera jest zatem częścią systemu percepcji robota.

W przypadku widzenia robotycznego projekt soczewki musi uwzględniać:

Pole widzenia

Zniekształcenie

Wydajność przy słabym oświetleniu

Rozdzielczość

Wymagania dotyczące percepcji głębi

Rozmiar i waga

Obiektyw zapewniający piękny obraz laboratoryjny niekoniecznie jest odpowiednim obiektywem dla poruszającego się robota.

Niezawodność w świecie rzeczywistym jest ważniejsza niż doskonała demonstracja.

UAV i drony wymagają innego balansu optycznego

Drony stwarzają kolejne ciekawe wyzwanie.

Kamera dronowa może potrzebować:

Szerokie pole widzenia + niska waga + dobra rozdzielczość + możliwość pracy przy słabym oświetleniu.

To trudna kombinacja.

Szerokie pole widzenia pomaga dronowi zrozumieć otoczenie.

Niska waga poprawia efektywność lotu.

Dobra rozdzielczość pomaga identyfikować obiekty.

Wydajność przy słabym oświetleniu staje się ważna w przypadku świtu, zmierzchu, lotów w pomieszczeniach lub w trudnych warunkach pogodowych.

Systemy FPV dodają kolejne wymagania:

Obraz musi sprawiać wrażenie natychmiastowego.

Rozmycie ruchu, słaba ekspozycja lub nadmierne zniekształcenie obrazu mogą negatywnie wpłynąć na percepcję wzrokową pilota.

Właśnie dlatego konstrukcja obiektywu drona w coraz większym stopniu staje się problemem optymalizacji, a nie tylko wyborem ogniskowej.

Nadzór AI przechodzi od wykrywania do zrozumienia

Kamery bezpieczeństwa stanowią jeden z najwyraźniejszych przykładów tego przejścia.

Tradycyjny nadzór pytał:

– Czy coś się poruszyło?

Współczesny nadzór AI pyta:

Kto się przeprowadził?

Co to za pojazd?

W jakim kierunku się porusza?

Jaki przedmiot jest przenoszony?

Czy zachowanie jest niezwykłe?

Co wydarzyło się przed i po zdarzeniu?

Im bardziej zaawansowana staje się analityka, tym cenniejszy staje się oryginalny obraz.

Właśnie dlatego pełnokolorowe obrazowanie przy słabym oświetleniu przyciąga uwagę.

Kolor może dostarczyć przydatnych informacji na temat:

Klasyfikacja pojazdów

Identyfikacja odzieży

Rozpoznawanie obiektów

Rozumienie sceny

Podczerwień pozostaje niezwykle przydatna w bardzo ciemnym otoczeniu, ale gdy dostępne jest widzialne światło otoczenia, system optyczny o dużej aperturze może pomóc zachować informacje, które w przeciwnym razie zniknęłyby, gdy kamera przełączy się na monochromatyczny tryb widzenia nocnego.

Obiektyw staje się komponentem zapewniającym jakość danych

To być może największa zmiana, jaką sztuczna inteligencja wprowadza do inżynierii optycznej.

Historycznie rzecz biorąc, soczewki były często traktowane jako elementy obrazujące.

Obecnie należy je w coraz większym stopniu uważać za komponenty zapewniające jakość danych.

Kamera rejestruje dane.

Soczewka określa, ile użytecznych informacji optycznych dociera do czujnika.

Czujnik przetwarza te informacje na sygnały elektryczne.

Dostawca usług internetowych to przetwarza.

Model AI to interpretuje.

Jeśli pierwszy etap jest słaby, każdy kolejny musi wymagać cięższej pracy.

Nie zawsze jest to dobra strategia.

Zwykle lepiej jest uchwycić lepsze informacje na początku, niż wydawać ogromne zasoby obliczeniowe na próbę ich późniejszej naprawy.

Co to oznacza dla konstrukcji obiektywu?

Przyszłe obiektywy do aparatów AI będą prawdopodobnie w coraz większym stopniu projektowane pod kątem wymagań aplikacji, a nie izolowanych specyfikacji.

Inżynierowie mogą rozważyć:

Konstrukcja optyczna dostosowana do czujnika

Zamiast po prostu obsługiwać format czujnika, soczewki muszą pasować do rzeczywistej charakterystyki czujnika.

Lepsza wydajność przy słabym oświetleniu

Systemy AI potrzebują użytecznych informacji wizualnych nawet przy ograniczonym oświetleniu.

Bardziej spójna wydajność krawędzi

Systemy szerokokątne potrzebują użytecznych informacji na całym obrazie, a nie tylko w jego środku.

Kontrolowanezniekształcenie

Niektóre aplikacje tolerują zniekształcenia. Inni nie mogą.

Stabilność termiczna

Roboty, pojazdy, drony i kamery zewnętrzne mogą działać w dużych zakresach temperatur.

Optymalizacja specyficzna dla aplikacji

Idealna soczewka ochronna niekoniecznie jest idealną soczewką do robotyki.

Przyszłość należy do systemów optycznych zaprojektowanych z myślą o zadaniu, jakie mają spełniać.

Czego się uczymy w Optyka Boshiego

Na Optyka Boshiego, pracujemy w zakresie nadzoru bezpieczeństwa, obrazowania samochodowego, obrazowania medycznego, urządzeń inteligentnych i innych zastosowań optycznych. Ten zakres zastosowań sprawia, że ​​jedna rzecz jest szczególnie oczywista:

Nie ma uniwersalnej definicji „dobrego obiektywu”.

Obiektyw szerokokątny może być doskonały dla jednego aparatu, a zupełnie nieodpowiedni dla innego.

Soczewki o wysokiej rozdzielczości mogą być niepotrzebne w przypadku taniego systemu monitorowania, ale niezbędne w przypadku widzenia maszynowego.

Obiektyw o dużej aperturze może mieć kluczowe znaczenie w zastosowaniach do monitoringu nocnego, ale jest mniej ważny w kontrolowanym środowisku przemysłowym.

To podejście skupiające się na aplikacji staje się coraz ważniejsze, ponieważ kamery stają się częścią systemów AI.

Obiektyw powinien być zaprojektowany z myślą o informacjach, które sztuczna inteligencja musi otrzymać, a nie tylko o specyfikacjach, które wyglądają imponująco na karcie produktu.

Przyszłość: od „widzieć wyraźnie” do „widzieć pożytecznie”

Sztuczna inteligencja zmienia przeznaczenie kamer.

Aparat nie istnieje już po to, by robić tylko atrakcyjny obraz.

Istnieje po to, aby dostarczać informacji.

To zmienia priorytety optyczne.

Pytanie nie jest już tylko:

„Jak ostry jest ten obiektyw?”

Staje się:

„Czy ten obiektyw dostarcza wiarygodnych informacji wizualnych na potrzeby rzeczywistego zadania systemu?”

Ze względów bezpieczeństwa może to oznaczać dbanie o wygląd danej osoby w nocy.

W przypadku robotyki może to oznaczać utrzymanie rozpoznawania obiektów w szerokim polu widzenia.

W przypadku dronów może to oznaczać zrównoważenie percepcji szerokokątnej z wydajnością przy słabym oświetleniu.

W przypadku wizji przemysłowej może to oznaczać konsekwentne usuwanie drobnych defektów.

Rewolucja sztucznej inteligencji może być napędzana przez algorytmy, ale algorytmom nadal trzeba się przyjrzeć.

I dlatego przyszłość wizji AI będzie kształtowana także przez optykę.