Czy oprogramowanie może naprawić zły obiektyw aparatu

Nowoczesne aparaty fotograficzne potrafią robić naprawdę imponujące rzeczy.

Redukcja szumów może sprawić, że ciemny obraz będzie wyglądał na czystszy. Algorytmy AI mogą wyostrzać krawędzie. Oprogramowanie może korygować zniekształcenia, dostosowywać kolory, a nawet generować brakujące szczegóły.

Naturalnie ktoś w końcu pyta:

Jeśli oprogramowanie staje się tak dobre, czy nadal potrzebujemy drogiego obiektywu do aparatu?

Krótka odpowiedź:

Tak. Bardzo.

Oprogramowanie może poprawić przeciętny obraz.

Nie może w sposób niezawodny zamienić złych informacji optycznych w dobre.

To rozróżnienie ma większe znaczenie niż kiedykolwiek wcześniej, ponieważ kamery są wykorzystywane do rozpoznawania sztucznej inteligencji, robotyki, nadzoru, obrazowania samochodowego i widzenia maszynowego.

Oprogramowanie jest bardzo dobre w sprzątaniu bałaganu

Najpierw przyznajmy oprogramowaniu trochę uznania.

Nowoczesne przetwarzanie obrazu może wiele zdziałać.

Jeśli obraz zawiera szum, algorytmy mogą go zredukować.

Jeśli zniekształcenie obiektywu jest przewidywalne, oprogramowanie może skorygować geometrię.

Jeśli obraz ma nieco słaby kontrast, wyostrzenie i lokalne zwiększenie kontrastu może poprawić jego wygląd.

Przetwarzanie kolorów może również kompensować pewne cechy systemu obrazowania.

Jest to niezwykle przydatne.

W rzeczywistości współczesne aparaty fotograficzne byłyby znacznie gorsze bez obrazowania obliczeniowego.

Istnieje jednak ważne ograniczenie:

Oprogramowanie może przetwarzać informacje. Nie jest w stanie idealnie odzyskać informacji, których system optyczny nigdy nie przechwycił.

I tu z pomocą przychodzi obiektyw.

Nie możesz wyostrzyć tego, co nigdy nie zostało rozwiązane

Wyobraź sobie, że fotografujesz tablicę rejestracyjną z dużej odległości.

Czujnik ma wystarczającą liczbę pikseli.

Aparat jest odpowiednio naświetlony.

Ale obiektyw nie jest w stanie wyraźnie rozróżnić małych znaków.

Postacie docierają do czujnika jako rozmyte kształty.

Teraz zastosuj wyostrzanie.

Krawędzie mogą wyglądać na mocniejsze.

Zastosuj ulepszenie AI.

Wynik może wyglądać jeszcze bardziej przekonująco.

Ale jest problem.

Oryginalne drobne szczegóły nigdy nie zostały prawidłowo zarejestrowane.

Oprogramowanie szacuje, jak mógł wyglądać szczegół.

W przypadku zwykłej fotografii może to być całkowicie akceptowalne.

W przypadku zastosowań takich jak rozpoznawanie tablic rejestracyjnych, rozpoznawanie twarzy, inspekcja przemysłowa lub wizja maszynowa, „wygląda wiarygodnie” i „zawiera wiarygodne informacje” niekoniecznie są tym samym.

Ta różnica jest istotna.

MTF to miejsce, w którym kłótnia staje się poważna

Jest to jeden z powodów, na który zwracają uwagę inżynierowie optycyMTF (funkcja transferu modulacji).

MTF opisuje, jak skutecznie obiektyw zachowuje kontrast na różnych poziomach szczegółowości.

Obiektyw o słabej wydajności w zakresie wysokich częstotliwości może mieć trudności z odtworzeniem bardzo drobnych struktur.

Żadna ilość obróbki końcowej nie jest w stanie magicznie sprawić, że obiektyw będzie zachowywał się jak zasadniczo lepszy układ optyczny.

Oprogramowanie może zwiększyć pozorną ostrość.

Nie może to zmienić fizycznej zdolności rozdzielczej obiektywu.

Właśnie dlatego aparat z matrycą 8 MP może nadal generować rozczarowujące szczegóły, jeśli układ optyczny nie jest w stanie wykorzystać tych pikseli.

Możesz mieć osiem milionów pikseli.

Nie da się zmusić niewyraźnego obiektywu do przekazania ośmiu milionów przydatnych szczegółów.

A co z ulepszaniem obrazu AI?

Tutaj sytuacja staje się szczególnie interesująca.

Ulepszanie obrazu w oparciu o sztuczną inteligencję może czasami dawać niezwykle przekonujące rezultaty.

Istnieje jednak subtelna różnica pomiędzy:

odzyskiwanie informacji

I

generując prawdopodobny wynik.

Sztuczna inteligencja może wyciągać wnioski na podstawie tego, czego się nauczyła.

Dzięki temu obraz będzie wyglądał znacznie lepiej dla ludzkiego widza.

Jeśli jednak kamera ma służyć do podjęcia obiektywnej decyzji, inżynierowie muszą zachować ostrożność.

Na przykład, jeśli system sztucznej inteligencji identyfikuje pojazd, czyta tekst lub sprawdza wadę produkcyjną, sztucznie wygenerowane szczegóły nie zawsze odzwierciedlają to, co faktycznie było obecne w miejscu zdarzenia.

Innymi słowy:

Piękny obraz nie jest automatycznie obrazem niezawodnym.

To rozróżnienie, o którym warto pamiętać projektując systemy wizyjne AI.

Istnieją pewne problemy, których oprogramowanie po prostu nie może cofnąć

Rozważ kilka typowych problemów optycznych.

Słaba rozdzielczość

Jeśli obiektyw nie jest w stanie rozróżnić drobnych szczegółów, oprogramowanie ma ograniczone możliwości wykorzystania rzeczywistych informacji.

Niewystarczające światło

Powolny obiektyw w ciemnym otoczeniu może zmusić czujnik do pracy z dużym wzmocnieniem, powodując szum i redukcję użytecznych szczegółów.

Oprogramowanie może zmniejszyć szum, ale agresywna redukcja szumu może również usunąć drobne informacje.

Ciężki : silnyChromatycznyAberracja

Oprogramowanie może skorygować niektóre przewidywalne kolorowe obwódki, ale poważna aberracja optyczna nadal oznacza pogorszenie oryginalnej jakości obrazu.

Słaba wydajność Edge'a

Jeśli rogi obrazu szerokokątnego są mocno rozmyte, cyfrowe wyostrzanie może sprawić, że będą wyglądać bardziej kontrastowo, bez przywracania brakujących szczegółów.

Flara i Ghosting

Silne odbicia wewnątrz układu optycznego mogą zanieczyścić obraz. Gdy niepożądane światło zmiesza się z przechwyconym sygnałem, oprogramowanie ma bardzo ograniczone możliwości jego idealnego rozdzielenia.

Dlatego konstrukcja optyczna nadal ma znaczenie.

Najlepszy aparat wykorzystuje zarówno optykę, jak i oprogramowanie

Prawdziwa odpowiedź nie brzmi:

Optyka kontra oprogramowanie.

To jest:

Optyka + oprogramowanie.

Dobrze zaprojektowany aparat stanowi dobry punkt wyjścia dla oprogramowania.

Obiektyw zapewnia:

Wystarczająca rozdzielczość

Wystarczająca transmisja światła

Kontrolowane zniekształcenia

Dobry kontrast

Stabilna wydajność krawędzi

Odpowiednie dopasowanie czujnika

Następnie przetwarzanie obrazu może wykorzystać mocne podstawy optyczne i sprawić, że ostateczny obraz będzie jeszcze lepszy.

Jest to o wiele bardziej skuteczne niż proszenie oprogramowania o uratowanie zasadniczo słabego układu optycznego.

Pomyśl o tym jak o gotowaniu.

Oprogramowanie to przyprawa.

Dobry algorytm może ulepszyć dobry obraz.

Jeśli jednak składniki są już spalone, dodanie większej ilości przypraw prawdopodobnie nie jest rozwiązaniem.

Ma to jeszcze większe znaczenie w przypadku kamer AI

W przypadku fotografii tradycyjnej nieco niedoskonały obraz może być po prostu nieatrakcyjny.

W przypadku wizji AI konsekwencje mogą być poważniejsze.

Algorytmy AI zależą od cech wizualnych, takich jak:

Krawędzie

Kształty

Tekstury

Kontrast

Kolor

Granice obiektów

Jeśli układ optyczny zniszczy te cechy, zanim dotrą one do czujnika, system AI otrzyma gorszy sygnał wejściowy.

Może to mieć wpływ na wydajność wykrywania i rozpoznawania.

Właśnie dlatego konstrukcję optyczną należy w coraz większym stopniu traktować jako część systemu sztucznej inteligencji, a nie tylko element mocowany z przodu aparatu.

Czy oprogramowanie może naprawić zły obiektyw?

To zależy od tego, co rozumiesz przez „naprawić”.

Oprogramowanie może skorygować pewne przewidywalne właściwości optyczne.

Może poprawić kontrast.

Może zmniejszyć hałas.

Może wyostrzyć obrazy.

Może korygować zniekształcenia.

Ale oprogramowanie nie może całkowicie zastąpić:

Dobra rozdzielczość optyczna.

Dobra transmisja światła.

Dobre ustawienie optyczne.

Dobra kontrola aberracji.

Najlepszy na świecie algorytm przetwarzania obrazu nadal potrzebuje fotonów.

A te fotony muszą najpierw przejść przez soczewkę.

W Boshi Optics podchodzimy do rozwoju obiektywów do aparatów fotograficznych od tego punktu: system optyczny musi dostarczyć przydatne informacje, zanim oprogramowanie zacznie je przetwarzać. Dzięki możliwościom projektowania, produkcji, montażu i testowania optycznego Boshi Optics opracowuje soczewki do zastosowań obejmujących kamery bezpieczeństwa, systemy wizyjne AI, obrazowanie samochodowe, drony, obrazowanie medyczne i inne systemy kamer.

Bo ostatecznie oprogramowanie może poprawić obraz.

Ale to obiektyw w pierwszej kolejności decyduje, jakie informacje tam dotrą.