Zastosowanie technologii druku 3D do budowy prototypowej kamery 2D wyposażonej w model kompensacji temperaturowego dryftu obrazu.

Jak zniwelować odkształcanie się obrazu z kamery pod wpływem temperatury

Klasyczne kamery 2D stosowane są dziś w bardzo wielu aplikacjach: w mikroskopii, w automatyce przemysłowej, w przemyśle, w medycynie, w widzeniu maszynowym, w skanowaniu 3D. Analizując uzyskiwane obrazy, często nie bierze się jednak pod uwagę faktu, że kamera narażona na zmianę temperatury odkształca się, co ma bezpośredni wpływ na rejestrowany przez nią obraz. Mówiąc wprost – obraz też się odkształca w wyniku zmiany temperatury. Zjawisko to nazywane jest temperaturowym dryftem obrazu. Dr inż. Marcin Adamczyk z Instytutu Mikromechaniki i Fotoniki Politechniki Warszawskiej ma pomysł, jak rozwiązać ten problem w łatwy i stosunkowo tani sposób. Weryfikować będzie go w ramach projektu Proof of Concept finansowanego z Funduszy Europejskich dla Nowoczesnej Gospodarki 2021-2027 (FENG) przez Fundację na rzecz Nauki Polskiej.

„Temperaturowy dryft obrazu obserwowany jest w powszechnie stosowanych kamerach, ponieważ ich konstrukcja optomechaniczna nie jest zoptymalizowana w celu zredukowania tego zjawiska. W zasadzie każdej aplikacji pomiarowej, w której wykorzystywana jest kamera, deformacja obrazu spowodowana zmianą temperatury znacząco pogarsza ostateczne właściwości tej aplikacji. Zmiany temperatury kamery mogą skutkować przesunięciem położenia rejestrowanego obrazu o wartości rzędu nawet kilku pikseli. Dla wielu aplikacji pomiarowych, wykorzystujących sensory wizyjne, przesunięcia lub deformacje obrazu o wartość nawet jednego piksela mogą przekładać się na dosyć duże błędy. I bywa, że są to błędy dotkliwe, na przykład w branży motoryzacyjnej. Kamera w pojeździe autonomicznym odpowiada za jego orientację w przestrzeni względem innych aut, a zatem pomyłka o kilka czy kilkanaście centymetrów może skończyć się bardzo nieprzyjemnie. Warto podkreślić, że temperaturowy dryft obrazu jest z jednej strony zjawiskiem powszechnym, a z drugiej strony – mało znanym i często pomijanym w analizie pomiarowej” – tłumaczy dr inż. Marcin Adamczyk.

Przeprowadzone przez niego badania dowodzą, że temperaturowy dryft obrazu jest zjawiskiem z natury losowym, tzn. jego wartość i zachowanie nie jest powtarzalne wraz z kolejnymi cyklami podgrzewania i ochładzania. Ten brak powtarzalności jest powodem, dla którego, stosowane obecnie, programowe (softwarowe) metody redukcji temperaturowego dryftu nie mogą poprawnie kompensować tego zjawiska.

„Aby rozwiązać ten problem, trzeba w pierwszej kolejności usunąć losowy charakter temperaturowego dryftu obrazu. Badania jednoznacznie wskazują, że potrzebna jest ingerencja w konstrukcję optomechaniczną kamery, ponieważ źródłem braku powtarzalności jest sposób montażu matrycy światłoczułej. Konieczne jest opracowanie konstrukcji, która pozwoli sensorowi kamery swobodnie odkształcać się wraz ze zmianami temperatury. W moich badaniach rozwiązałem ten problem, projektując zawieszenie sprężyste dla sensora. Wykorzystałem w tym celu technologię wire EDM. To przełożyło się na usunięcie losowego charakteru temperaturowego dryftu obrazu i pozwoliło zaaplikować matematyczny model kompensacyjny. Wynikiem tych modyfikacji jest redukcja dryftu o ponad 80% oraz wyraźne polepszenie jakości rejestrowanych obrazów pomiarowych” – mówi dr inż. Marcin Adamczyk.

Technologia wire EDM jest jednak dość droga, a przez to mało dostępna, a także pracochłonna. Dlatego obecnie naukowiec chce sprawdzić, czy w celu wykonania precyzyjnej konstrukcji, która pozwoli sensorowi kamery swobodnie odkształcać się wraz ze zmianami temperatury, można zastosować technologię druku 3D z proszków metali. Pomysł ten będzie weryfikować w projekcie Proof of Concept.

„W celu weryfikacji postawionej tezy badawczej wykonam, przy użyciu druku 3D z proszków metali, projekt zawieszenia sprężystego, zbuduję prototypową kamerę i sprawdzę, jak zachowuje się temperaturowy dryft obrazu na tak spreparowanej kamerze. Przeprowadzę serię pomiarów, policzę parametry dryftu i ustalę na ile jego zachowanie jest powtarzalne” – objaśnia dr inż. Adamczyk.

Opracowana przez niego technologia została zgłoszona do ochrony patentowej na terenie Polski, a także jest w trakcie rozszerzania ochrony na USA, Kanadę, Indie, Niemcy, Japonię i Holandię. Jej potencjalne zastosowania są szerokie – tzn. wszędzie tam, gdzie mamy do czynienia z wizją maszynową używaną w celach pomiarowych. Wśród głównych obszarów implementacji naukowiec wylicza branżę automotive (np. pojazdy autonomiczne wykorzystujące kamery w celu interakcji z otoczeniem), pomiary wykorzystujące kamery 2D (np. mikroskopię oraz skanowanie 2D, 3D i 4D), czy wizję maszynową (np. roboty współpracujące – coboty).

Zaletą tego rozwiązania jest nie tylko znacząca poprawa jakości rejestrowanych obrazów poprzez redukcję temperaturowego dryftu obrazu, ale również rozszerzenie zakresu temperatur, w których kamery mogą realizować zadania pomiarowe. „Opracowywana metoda jest pasywna, nie wymaga zasilania, nie wpływa na wygląd i gabaryty kamery i jest stosunkowo łatwa do automatyzacji w dużej skali produkcyjnej. Jest też stosunkowo tania i dość łatwo można ją wdrożyć do istniejących na rynku kamer” – konkluduje dr inż. Marcin Adamczyk.

Dr inż. Marcin Adamczyk jest inżynierem konstruktorem z wieloletnim doświadczeniem projektowym oraz liderskim. Absolwent Wydziału Mechatroniki Politechniki Warszawskiej ze specjalizacją Mechanika Precyzyjna, w 2019 r. obronił z wyróżnieniem doktorat w Instytucie Mikromechaniki i Fotoniki. Doświadczenie zdobywał uczestnicząc w ponad 20 projektach naukowych, naukowo-badawczych i wdrożeniowych. Na swoim koncie ma współpracę z firmami Barlinek, Mitsubishi Electric, KSM Vision, PhiBox, SmartTracking, Mnemosis, OVE, CLKP, Sygnis, MACRO-SYSTEM. Jest także absolwentem kursu Executive Leadership Principles prowadzonego na MIT. Jest wiodącym autorem 12 publikacji z listy JCR, a także recenzentem czasopism: Applied Optics, Optics Express, Sustainability MDPI, Sensors MDPI, Processes MDPI.