Resum L'objectiu del projecte és ampliar els límits en el camp de l'entrenament de DNN per a la percepció a partir de sensors d'imatge multimodals, basats en conjunts de dades capturats en condicions ambientals difícils (mal temps, nit) i aplicats a la detecció d'usuaris vulnerables de les carreteres (VRU), inclosos vianants, ciclistes i (per primera vegada) usuaris de micromobilitat. Amb aquesta finalitat, integrarem i calibrarem els sensors en un vehicle per a l'adquisició de dades, desenvolupant una interfície ad hoc per a la visualització, el flux i l'emmagatzematge de dades. El vehicle capturarà i emmagatzemarà les dades que, un cop anotades en les diferents categories, constituiran els conjunts de dades del projecte que es posaran a disposició del públic i que s'utilitzaran per explorar diferents estratègies de fusió de dades i entrenament. Objectius secundaris rellevants, com ara l'anàlisi dels límits de cada mode d'imatge, una eina d'anotació per a imatges multimodals, un procediment per a la integració de maquinari en un vehicle multimodal, la creació del primer conjunt de dades que implica específicament usuaris de micromobilitat, l'anàlisi d'algoritmes de fusió primerenca i tardana utilitzant diferents modes d'imatge i l'exploració de DNN multimodals d'avantguarda, són totes contribucions directes a la precisió i fiabilitat dels vehicles autònoms que crearan eines per avançar en el camp.

Per tant, el projecte s'ha dividit en tres paquets de treball que cobreixen cadascun d'aquests grups principals de tasques (integració de maquinari d'una unitat de recollida de dades multimodal, generació i publicació de conjunts de dades i entrenament de DNN utilitzant dades multimodals), a més d'un inicial per definir en detall els mètodes del projecte i aprovisionar els sensors. L'equip de recerca, segons el que requereix l'esforç multidisciplinari abordat, és divers, ja que inclou especialistes en maquinari (fotònica, enginyers) i programari (enginyers de telecomunicacions, Màster en visió per computador), tots dos amb perfils sènior (2 doctorats) i júnior (3 estudiants de doctorat). El projecte es basa en l'experiència en integració de sistemes, imatges lidar i fusió de dades ja creada dins de la UPC conjuntament per una col·laboració estable de CD6 (el grup d'Enginyeria Òptica i Sensors liderat per l'IP, Santiago Royo) amb GPI (el grup de processament d'imatges liderat per Josep Ramon Casas), ambdós membres de l'Equip de Recerca del projecte. Això dona com a resultat un projecte veritablement multidisciplinari on el programari depèn de la qualitat de les dades generades pel maquinari, però el maquinari és inútil sense una percepció efectiva que permeti la presa de decisions en el vehicle autònom.

Projecte TED2021-132338B-I00, finançat per MCIU/AEI/10.13039/501100011033 i per la Unió Europea Next Generation EU/PRTR