Sensor multimodal basat en lidar per a la detecció ambiental submarina
Al projecte MARINERS, es dissenyarà, construirà i posarà en funcionament un sensor multimodal subaquàtic que combini càmeres RGB i polarimètriques amb un lidar submarí construït ad hoc i un sonar multifeix, i s'aplicarà a diferents casos d'ús. El projecte pretén obrir la porta d'aplicacions relacionades amb vehicles submarins no tripulats o operats a distància, de la mateixa manera que els sensors multimodals han esdevingut facilitadors per al desenvolupament d'automòbils i altres vehicles terrestres. Per això, el projecte es basa en l'experiència del grup en el desenvolupament de sensors multimodal i lidar i s'associa amb col·laboradors externs als mons del processament d'imatges i de les imatges submarines.
El desafiament del projecte gira principalment al voltant del desenvolupament d'un lidar submarí, un tipus de desenvolupament que no està disponible de manera general a causa de les complexitats del medi, on la forta absorció de l'aigua, la turbulència, la terbolesa i els canvis en l'índex de refracció fan que les imatges lidar siguin més complexes d'obtenir que a l'atmosfera. La fusió de dades utilitzant diferents tipus de sensors permetrà complementar els modes de fallada dels diferents sensors d'imatge i proporcionar un sensat sòlid i fiable en tots els casos.
El sensor desenvolupat serà una unitat multimodal amb capacitats d'imatge i fusió de dades que es faran servir per desenvolupar algorismes per millorar la imatge submarina, a través de diferents desenvolupaments de programari que pretenen millorar significativament les estratègies de captura actuals. En particular, gràcies a l'ús del lidar ia la nostra experiència en la fusió de modes d'imatge, volem obtenir:
a) Reconstrucció millorada del color en entorn submarí;
b) Imatges millorades a través de mitjans de dispersió mitjançant imatges polarimètriques actives;
c) Mapeig millorat utilitzant algoritmes SLAM visuals;
d) Detecció de característiques mitjançant xarxes neuronals profundes.
El desafiament estendrà al món submarí els coneixements existents a CD6 sobre lidar i imatges multimodals en mitjans dispersors, desenvolupats en projectes anteriors del Pla Nacional.
El projecte desenvoluparà maquinari i programari, i realitzarà una sèrie de proves submarines a instal·lacions externes del Grup de Robòtica Submarina de la Universitat de Girona (VICOROB). Per això, el generador d'imatges multimodal se sotmetrà a una sèrie d'instal·lacions bàsiques en vehicles submarins per fer proves a la piscina i captar imatges de prova, que finalitzaran amb una demostració final en un entorn real, després de la integració completa del sensor en un vehicle submarí. El professor J.Forest de VICOROB actuarà com a col·laborador extern del projecte recolzant-lo des de la seva experiència en imatges submarines, mapeig 3D i integració de vehicles.
El sensor multimodal es demostrarà en diferents casos dús submarí a la recerca de possibles publicacions aplicades, i de la transferència tecnològica dels resultats, un camp en què lIP és expert. Les aplicacions inicials genèriques inclouen cartografia 3D del fons marí, inspecció i manteniment d'infraestructures submarines i aplicacions a zoologia marina. En tots els casos d'ús, un sensor multimodal submarí amb programari avançat aplana el camí per a vehicles totalment autònoms operats de manera remota, amb totes les capacitats de monitorització que comporten.
Projecte PID2023-1524270B-I00 finançat per MCIU /AEI /10.13039/501100011033 / FEDER, UE.
El desafiament del projecte gira principalment al voltant del desenvolupament d'un lidar submarí, un tipus de desenvolupament que no està disponible de manera general a causa de les complexitats del medi, on la forta absorció de l'aigua, la turbulència, la terbolesa i els canvis en l'índex de refracció fan que les imatges lidar siguin més complexes d'obtenir que a l'atmosfera. La fusió de dades utilitzant diferents tipus de sensors permetrà complementar els modes de fallada dels diferents sensors d'imatge i proporcionar un sensat sòlid i fiable en tots els casos.
El sensor desenvolupat serà una unitat multimodal amb capacitats d'imatge i fusió de dades que es faran servir per desenvolupar algorismes per millorar la imatge submarina, a través de diferents desenvolupaments de programari que pretenen millorar significativament les estratègies de captura actuals. En particular, gràcies a l'ús del lidar ia la nostra experiència en la fusió de modes d'imatge, volem obtenir:
a) Reconstrucció millorada del color en entorn submarí;
b) Imatges millorades a través de mitjans de dispersió mitjançant imatges polarimètriques actives;
c) Mapeig millorat utilitzant algoritmes SLAM visuals;
d) Detecció de característiques mitjançant xarxes neuronals profundes.
El desafiament estendrà al món submarí els coneixements existents a CD6 sobre lidar i imatges multimodals en mitjans dispersors, desenvolupats en projectes anteriors del Pla Nacional.
El projecte desenvoluparà maquinari i programari, i realitzarà una sèrie de proves submarines a instal·lacions externes del Grup de Robòtica Submarina de la Universitat de Girona (VICOROB). Per això, el generador d'imatges multimodal se sotmetrà a una sèrie d'instal·lacions bàsiques en vehicles submarins per fer proves a la piscina i captar imatges de prova, que finalitzaran amb una demostració final en un entorn real, després de la integració completa del sensor en un vehicle submarí. El professor J.Forest de VICOROB actuarà com a col·laborador extern del projecte recolzant-lo des de la seva experiència en imatges submarines, mapeig 3D i integració de vehicles.
El sensor multimodal es demostrarà en diferents casos dús submarí a la recerca de possibles publicacions aplicades, i de la transferència tecnològica dels resultats, un camp en què lIP és expert. Les aplicacions inicials genèriques inclouen cartografia 3D del fons marí, inspecció i manteniment d'infraestructures submarines i aplicacions a zoologia marina. En tots els casos d'ús, un sensor multimodal submarí amb programari avançat aplana el camí per a vehicles totalment autònoms operats de manera remota, amb totes les capacitats de monitorització que comporten.
Projecte PID2023-1524270B-I00 finançat per MCIU /AEI /10.13039/501100011033 / FEDER, UE.