VKIST Face Capture: Wielokątowe oprogramowanie do zbierania danych o obrazach twarzy na potrzeby badań i rozwoju sztucznej inteligencji

Oprogramowanie do przechwytywania twarzy VKIST obsługuje synchroniczne sterowanie systemem fotografii twarzy pod wieloma kątami, sterowanie oświetleniem i automatyczne etykietowanie danych. Umożliwia to budowę wysokiej jakości bazy danych obrazów na potrzeby badań nad rozpoznawaniem obrazu komputerowego i zastosowań sztucznej inteligencji.

W kontekście coraz powszechniejszego stosowania technologii rozpoznawania twarzy i modelowania twarzy 3D w wielu dziedzinach, takich jak bezpieczeństwo, opieka zdrowotna , e-commerce i bezpieczeństwo osobiste, pilna staje się potrzeba zbudowania ustrukturyzowanej, zróżnicowanej i rozległej bazy danych obrazów twarzy. Jednym z głównych wyzwań jest obecnie gromadzenie danych obrazowych o spójnej jakości, w różnych warunkach oświetleniowych i pod różnymi kątami, przy jednoczesnym zapewnieniu dokładności klasyfikacji i przechowywania danych.

Aby rozwiązać ten problem, zespół badawczy Wietnamsko-Koreańskiego Instytutu Nauki i Technologii (VKIST) opracował oprogramowanie do przechwytywania twarzy VKIST, narzędzie umożliwiające jednoczesną kontrolę systemu składającego się z wielu kamer cyfrowych i modułów oświetleniowych, umożliwiające zbieranie, oznaczanie i przechowywanie danych o obrazie twarzy w czasie rzeczywistym.

Rozwiązanie do zbierania i przetwarzania danych obrazu twarzy

Aplikacja do przechwytywania twarzy VKIST została napisana w języku C#, posiada przyjazny interfejs w języku wietnamskim, jest łatwa do zintegrowania i rozbudowy.

Funkcja przechwytywania twarzy VKIST umożliwia zdalne sterowanie popularnymi lustrzankami cyfrowymi Nikon i Canon, takimi jak 5DmarkII, 5DMarkIII, 6DMarkII, 1500D, 2000D, D60, D3000, D5100, D7100, D4, D800..., poprzez interfejs USB i protokół RS232. Użytkownicy mogą wykonywać takie operacje, jak podgląd obrazu na żywo (Live View), dostosowywanie parametrów technicznych (przysłona, czas otwarcia migawki, ISO), sterowanie jednoczesnym robieniem zdjęć oraz przesyłanie ich do komputera w czasie rzeczywistym.

W szczególności oprogramowanie obsługuje jednoczesną kontrolę wielu kamer – niezbędną funkcję w systemach gromadzenia danych obrazowych z wielu kątów. Interfejs oprogramowania jest w języku wietnamskim i podzielony na oddzielne bloki funkcjonalne, co ułatwia obsługę i integrację ze złożonymi systemami.

Interfejs oprogramowania do przechwytywania twarzy VKIST (rysunek 1) jest podzielony na oddzielne bloki, których funkcje opisano na rysunku 2. Językiem wyświetlanym w oprogramowaniu jest język wietnamski.

Interfejs oprogramowania do przechwytywania twarzy VKIST.

Schemat głównych bloków funkcjonalnych oprogramowania.

System VKIST Face Capture integruje również możliwość sterowania natężeniem światła w systemie oświetleniowym poprzez przesyłanie danych z plików konfiguracyjnych do układu sterowania oświetleniem. Dzięki temu oświetlenie podczas fotografowania jest precyzyjnie kontrolowane, co zapewnia spójną jakość obrazu, co jest kluczowym czynnikiem w zastosowaniach AI.

Dodatkowo, oprogramowanie posiada również funkcję sterowania natężeniem światła. Wystarczy wprowadzić dostępny plik z parametrami natężenia światła, a następnie za pomocą oprogramowania odczytać dane i przesłać parametry do układu sterowania natężeniem światła. Dzięki temu możliwe jest precyzyjne sterowanie natężeniem światła w otoczeniu.

Kolejną zaletą jest możliwość automatycznego etykietowania danych zgodnie ze strukturą, co usprawnia proces zarządzania, pobierania i trenowania modeli AI. Oprogramowanie obsługuje tryby przechowywania danych (lokalnie w kamerze, zapisywane na komputerze) oraz klasyfikację danych zgodnie z predefiniowanymi scenariuszami.

Kolejną wyjątkową funkcją jest możliwość automatycznego etykietowania obrazów według ustalonej struktury, co znacznie oszczędza czas ręcznej klasyfikacji. Funkcja przechwytywania twarzy VKIST pozwala skonfigurować sposób zapisywania obrazów: według folderu, obiektu, rodzaju wyrazu twarzy lub innych wariacji, takich jak noszenie okularów, masek, zmiana fryzury…

Ponadto oprogramowanie obsługuje wiele trybów zapisu danych – w tym nagrywanie sekwencyjne, nadpisywanie lub zapisywanie w kamerze przed przesłaniem na serwer. Dzięki temu system jest elastyczny w obsłudze dużych ilości obrazów, minimalizując ryzyko utraty danych lub wąskich gardeł podczas pracy.

Platforma badawcza sztucznej inteligencji i budowa bazy danych twarzy na dużą skalę

Oprogramowanie jest obecnie wykorzystywane w systemie gromadzenia danych o obrazach twarzy wdrożonym przez VKIST, który obejmuje 33 lustrzanki cyfrowe Canon, 20 regulowanych modułów oświetleniowych, żelazną ramę do rozmieszczania kamer i oświetlenia wokół półkuli oraz trzy wydajne komputery PC z monitorami i oprogramowaniem sterującym. Dzięki temu systemowi, Wspólne Laboratorium VKIST-Nacentech/Wydział Technologii Informatycznych, VKIST gromadzi i buduje bazę danych obrazów twarzy obejmującą około 500 osób (około 5 milionów zdjęć) i nadal gromadzi kolejne dane.

Próbkę danych obrazu twarzy pod wieloma kątami wykonano przy użyciu oprogramowania do przechwytywania twarzy VKIST.

Oprogramowanie zostało wykorzystane we współpracy z Koreańskim Instytutem Nauki i Technologii (KIST) do zebrania danych o wizerunku twarzy ponad 1000 Wietnamczyków. Baza danych zawiera około 10 milionów zdjęć z różnymi wyrazami twarzy, takimi jak normalny, szczęśliwy, smutny, przestraszony, zły, zaskoczony, zirytowany, a także z zasłoniętymi akcesoriami, takimi jak maski, okulary, kapelusze i peruki, w różnych warunkach oświetleniowych.

Interfejs oprogramowania z pełną specyfikacją.

Dane zebrane z systemu za pomocą oprogramowania do przechwytywania twarzy VKIST były i są wykorzystywane w wielu kierunkach badań i rozwoju technologii:

Modelowanie twarzy 3D na podstawie zdjęć 2D wykonanych pod wieloma kątami,

Zwiększenie dokładności technologii rozpoznawania twarzy w warunkach zniekształceń (zaciemnienie, złożone oświetlenie),

Grawerowanie laserowe 3D twarzy na szkle jako pamiątka,

Rekonstrukcja wizerunków twarzy zmarłych osób na podstawie starych fotografii, służąca celom przechowywania dóbr kultury i dziedzictwa,

Zastosowania w e-commerce, medycynie estetycznej, rzeczywistości rozszerzonej.

Rozwój i zastosowanie systemu przechwytywania twarzy VKIST nie tylko pomaga VKIST przejąć inicjatywę w budowaniu dużych baz danych, ale także przyczynia się do poprawy potencjału badawczego w zakresie widzenia komputerowego i sztucznej inteligencji w Wietnamie — kluczowych obszarów czwartej rewolucji przemysłowej.

Opanowanie i udoskonalenie technologii oprogramowania umożliwiającej sterowanie specjalistycznymi systemami sprzętowymi, zwłaszcza wielourządzeniowymi systemami optycznymi, odgrywa ważną rolę w budowaniu krajowych platform AI dostosowanych do cech antropometrycznych narodu wietnamskiego.

Przechwytywanie twarzy VKIST to demonstracja rozwoju zaawansowanych technologicznie narzędzi programowych do badań i wdrażania systemów wizji komputerowej w Wietnamie. Opanowanie technologii sterowania i synchronizacji wielkoskalowych systemów gromadzenia danych obrazowych będzie stanowić ważny fundament dla rozwoju sztucznej inteligencji w kraju, zwłaszcza w dziedzinach wymagających danych antropometrycznych o charakterze regionalnym lub etnograficznym.

Dział IT zarejestrował prawa autorskie do oprogramowania „VKIST face capture” natychmiast po ukończeniu i przetestowaniu całego programu.

Certyfikat rejestracji praw autorskich do oprogramowania do przechwytywania twarzy VKIST.

Wietnamsko-Koreański Instytut Nauki i Technologii

Źródło: https://mst.gov.vn/vkist-face-capture-phan-mem-thu-thap-du-lieu-anh-khuon-mat-da-goc-phuc-vu-nghien-cuu-va-phat-trien-ai-197250927011551324.htm