IR Sensor Linux – V4L SW Driver (VoSPI)

BitSim NOW har en V4L (Video4Linux) SW driver för VoSPI redo.

FLIR Lepton IR-sensorer använder ett dedikerat format som kallas VoSPI, ”Video over SPI”. MIPI CSI-2 är ett standard videointerface-format som ofta används av tillverkare av bild-sensorer.
BitSim NOW har utvecklat ett IP-block – BitVoSPI MIPI – som fungerar som en brygga mellan dessa två standarder.

BitSim NOW’s hårdvaru-IP-block, som är implementerat i en FPGA, omvandlar VoSPI till MIPI CSI-2.

Programvaran är byggd på Yocto – Linux + Video for Linux tillsammans med gstreamer. En histogramfilterfunktion är adderad för att förstärka detaljer i IR-bilden. Och slutligen har en dedikerad gstreamer client applikation skapats för den mottagande PC-sidan för att hantera monokrom video.

Demo-systemet består av sensorn, ett FPGA-kort och ett i.MX8 ARM-kort som kör Linux.

BitSim’s VoSPI FPGA IP-block har testats på Xilinx- och Microchip-plattformar.

BitSim’s MIPI-CSI2 block finns tillgängligt för Xilinx, Intel och Microchip FPGAer.

Läs mer om BitSims VoSPI IP: https://bitsimnow.se/bitvospirx-for-flir-lepton-ir-sensor/

Läs mer om MIPI CSI-2: https://www.mipi.org/specifications/csi-2

Se mer på https://bitsimnow.se/ip-block/ eller kontakta info@bitsimnow.com

Polarfire FPGA och MIPI CSI-2 IP

Vårt kameragränssnitts-IP, MIPI CSI-2, stödjer nu FPGA:er från Microsemi i PolarFire-serien.

Både PolarFire FPGA:er utan processor, så små som 11×11 mm och även den nya PolarFire SoC  med inbyggda RISC-V processorer.

För mer information, kontakta oss på info@bitsimnow.com

Polar MIPI
BitSim MIPI CSI-2 Tx påPolarFire, ansluten till en i.MX8 SOM (Varscite)

Adapterkort och gränssnitt för kameror

BitSim har initierat en ny standard: OMIPICON, en öppen kontaktstandard för kameramoduler med MIPI CSI-2-anslutning. OMIPICON står för Open MIPI CONnect och är lämplig för prototyper eller produktion av små/medelstora kvantiteter.

Tanken bakom detta är att spara tid och pengar när man utvecklar hårdvara med kamerasensorer. Varken MIPI CSI-2-standarden eller MIPI DSI-standarden definierar en specifik kontakt. Detta innebär att leverantörer av sensormoduler använder sina egna kontakter, inkompatibla med andra. Du behöver då hela göra nya och olika versioner av din prototyp/produkt.

Dessutom är de flesta tillgängliga sensorkontakter idag inte lämpliga för upprepade insatser och borttagningar. Vid felsökning av prototyper med dessa sensorer klarar dessa kontakter ofta bara några få in- och frånkopplingar och går sen sönder.

Du spenderar därmed för mycket tid att får anslutningarna till kamera att fungera och för liten tid på resten av konstruktionen.

Med OMIPICON behövs bara ett FMC-adapterkort och ett U96-adapterkort. Och ett adapterkort per sensor. Du behöver då inte sätta i och ta bort adapterkortets kontakt.

 

adapter card camera modules
adapterkort för kontakt med kameramoduler

camera moduel

 

12 HD kamera sensorer strömmade 14 Gigabit/s till en PC

Designen består av 2 kort, var och en med en FPGA. Varje FPGA tar emot 6 st  1280 x 800 HD kamerasensorer med 120 bilder per sekund. Varje FPGA strömmar de 6 kanalerna till ett 10 GB IP UDP Ethernet -block (vårt eget IP -block) direkt till en PC.

Allt processats i hårdvara, inget av videoflödet hanteras av ARM CPUerna i FPGA-erna. Varje 10 Gb Ethernet -kabel går med 70% av maximal  bandbredd, dvs  med 7 Gbps,  totalt 14 Gbps som PC-n tar emot och återger. Naturligtvis skulle FPGAerna också kunna koda och komprimera inkommande sensordata för att minska bildflödet eller realtids-bearbeta.

 

6 Sensors
12 HD kamerasensorer strömmade14 Gigabit/s till en PC

IR-sensor gränssnitt

Vi har utvecklat en mottagare för FLIR’s Video over SPI (VoSPI), ett gränssnitt för att möjliggöra strömning av bilder från en Lepton Infraröd kamera direkt till ett FPGA-baserat bildbehandlingssystem. Du kan använda den i dina plattformar som:

  • På Xilinx -enheter med vårt nya anpassade IP
  • På varje SoC-krets med en ARM-processor och Python med vår rena mjukvarudrivrutin
  • Ett Python -gränssnitt som integrerar VoSPI IP i din PYNQ -design.

IR video over SPIVoSPI står för ”Video over Serial Peripheral Interface”. VoSPI -protokollet är utformat för att skicka ut video i ett format som tillåter överföring över ett SPI -gränssnitt samtidigt som det kräver minimal programvara eller hårdvara. Sensorn fungerar som SPI -slav och vårt IP  fungerar som SPI -master och videon streamas på MISO -anslutningen. Hårdvarusystemet innehåller anpassad logik för att ta emot och återge videon. Sensorn skickar ut byte-pixlar för att skapa en bild med en upplösning på 160 × 120.

Utvecklingen av detta IP har gjorts på BitSims Python-baserade utvecklingsplattform, SpiderPig. Genom att använda detta enkla gränssnitt mellan logiken och Python-miljön på hög nivå kan felsökningsinformation och bildanalys utföras nästan direkt efter att en bitfil har genererats. BitSim har utvecklat verktyg för termisk bildbehandling och specifikt för att integrera FLIR Lepton -sensorn med hjälp av VoSPI.

Med hjälp av detta IP-block är det möjligt att ansluta en billig FLIR Lepton IR-sensor som skickar bearbetade 16-bitars data till en FPGA-design. IR -sensorn fångar upp infraröd strålning som ingång. Utmatningen är en enhetlig termisk bild med temperaturmätningar i hela bilden. Detta kan användas i applikationer som mobiltelefoner, identifiering av rörelse, byggautomatisering, termisk avbildning och mörkerseende där detektering av temperaturvärden är nödvändiga.