Algorytm odszumiania grafiki Nvidii
Szumy na zdjęciach już wkrótce mogą przestać być zmorą fotografów i retuszerów. A to wszystko za sprawą nowego algorytmu odszumiania zdjęć Nvidii – Noise2Noise.
Dział badawczy Nvidii we współpracy z naukowcami z MIT i Uniwersytetu Aalto opracował nowy algorytm maszynowego uczenia się o rozbudowanych możliwościach w zakresie rekonstrukcji i odszumiania zdjęć. Dzięki niemu problem szumów na zdjęciach może odejść do lamusa.
Z pewnością każda osoba, która choć sporadycznie fotografuje miała kiedyś problemy z szumem na wykonanych przez siebie zdjęciach. Robienie zdjęć w trudnych warunkach oświetleniowych (noc lub sztuczne oświetlenie), do tego na słabym sprzęcie (np. na smartfonie), czy przy użyciu dużego zbliżenia, bardzo często kończy się zdjęciem o niezbyt dobrej jakości. O ile w przypadku amatorskiego fotografowania szum na zdjęciach jest jeszcze dopuszczalny, o tyle w fotografii profesjonalnej nie ma miejsca na takie niedoskonałości.
Jak to działa?
Algorytm Noise2Noise jest póki co narzędziem naukowym i jest testowany na fotografiach najistotniejszych pod kątem znaczeń badawczych. Z tego też powodu twórcy Noise2Noise bazowani na fotografiach m.in. naukowej astrofotografii, pozwalającej odkrywać nowe egzoplanety, czy na stosowanym w medycynie obrazowaniu metodą rezonansu magnetycznego.
Aby nauczyć algorytm rozpoznawania szumu wynikającego ze słabego sprzętu, badacze zaczęli od pokazania algorytmowi 50 tys. zdjęć z bazy ImageNet. Zdjęcia te były bardzo wyraźne i pozbawione jakichkolwiek szumów. Następnie badacze wprowadzili sztuczne zaszumienie tych obrazów i kolejny raz przepuścili je przez Noise2Noise, by sam nauczył się wykrywać elementy niepożądane. Wynik był bardzo zadowalający.
Kolejny krok stanowiło przedstawienie sztucznej inteligencji zdjęć wykonanych za pomocą rezonansu magnetycznego. Algorytm zobaczył 5 tys. zdjęć mózgów (50 ochotników) z różnym poziomem szumów, po czym samodzielnie miał spróbować uzyskać z nich jak najlepszy obraz.
Wynik tego eksperymentu był już nieco gorszy. Zdjęcia poprawione przez algorytm są często nieostre. To jednak dopiero wstępne testy, a dalsze prace udoskonalą jego możliwości.
Po co taki algorytm?
Poza zastosowaniem komercyjnym, algorytmy tego typu są bardzo wyczekiwane w środowisku naukowym. Począwszy od astronomów marzących o zdjęciach kosmosu ostrych i pozbawionych sztucznych złudzeń optycznych, aż do neurochirurgów, którzy przed operacjami muszą analizować każdy cyfrowy pyłek.
Jednak, jak to zwykle bywa w przypadku algorytmów, zwanych potocznie sztuczną inteligencją, pojawiają się wątpliwości, czy nie popełnią one jakiegoś dużego błędu podczas retuszu zdjęcia. W ramach testów Noise2Noise nie stwierdzono takich problemów, a sami naukowcy twierdzą, że po wprowadzeniu kilku ulepszeń algorytm będzie mógł być użytkowany bez większych obaw przez wszystkich naukowców.
Jeśli uda się udoskonalić Noise2Noise, algorytm zapewne trafi również do użytku komercyjnego i pozwoli odszumić zasoby fotograficzne wielu fotografów.