Polarfire FPGA och MIPI CSI-2 IP

Vårt kameragränssnitts-IP, MIPI CSI-2, stödjer nu FPGA:er från Microsemi i PolarFire-serien.

Både PolarFire FPGA:er utan processor, så små som 11×11 mm och även den nya PolarFire SoC  med inbyggda RISC-V processorer.

För mer information, kontakta oss på info@bitsimnow.com

Polar MIPI
BitSim MIPI CSI-2 Tx påPolarFire, ansluten till en i.MX8 SOM (Varscite)

Adapterkort och gränssnitt för kameror

BitSim har initierat en ny standard: OMIPICON, en öppen kontaktstandard för kameramoduler med MIPI CSI-2-anslutning. OMIPICON står för Open MIPI CONnect och är lämplig för prototyper eller produktion av små/medelstora kvantiteter.

Tanken bakom detta är att spara tid och pengar när man utvecklar hårdvara med kamerasensorer. Varken MIPI CSI-2-standarden eller MIPI DSI-standarden definierar en specifik kontakt. Detta innebär att leverantörer av sensormoduler använder sina egna kontakter, inkompatibla med andra. Du behöver då hela göra nya och olika versioner av din prototyp/produkt.

Dessutom är de flesta tillgängliga sensorkontakter idag inte lämpliga för upprepade insatser och borttagningar. Vid felsökning av prototyper med dessa sensorer klarar dessa kontakter ofta bara några få in- och frånkopplingar och går sen sönder.

Du spenderar därmed för mycket tid att får anslutningarna till kamera att fungera och för liten tid på resten av konstruktionen.

Med OMIPICON behövs bara ett FMC-adapterkort och ett U96-adapterkort. Och ett adapterkort per sensor. Du behöver då inte sätta i och ta bort adapterkortets kontakt.

 

adapter card camera modules
adapterkort för kontakt med kameramoduler

camera moduel

 

Kameraelektronik

BitSim NOW utvecklar elektronik åt produktföretag, ofta med fokus på Imaging och Edge Computing. Vi ser ett ständigt inflöde av nya sensorer, gränssnitt och nyckelkomponenter. Med dessa korta rader vill vi berätta vad vi tycker är intressanta på marknaden, men även ta upp erfarenheter, svårigheter och saker att tänka på. Och vi diskuterar förstås gärna dina särskilda behov och lösningar.

Sensors
Det kan vara riktigt svårt att få igång sensorer med all konfiguration, som ibland till och med är odokumenterade. Som exempel har redan gamla sensorn Omnivision 5645, hundratals register som till stor del måste vara konfigurerat på helt rätt för att få ut en bild.

  • Vi har utvecklat en kamera med Sonys IMX290-sensor som har väldigt goda ljusegenskaper, dvs klarar av svåra ljusförhållande. Den har 10/12-bitars ADC, MIPI-gränssnitt, upplösningen upp till 1080p, upp till 120 fps. På högkant blir det 1109×1945 pixlar. Den har även ett par HDR-varianter för ytterligare ljusförbättrande egenskaper.
  • FLIR:s IR-sensor, Lepton, är en förhållandevis billig variant som kan användas separat eller ihop med vanliga CMOS-sensorer för att extrahera ytterligare information i bilden genom s.k. image fusion.
  • CCS. Vi på BitSim NOW hoppas att sensor- eller modulleverantörerna anammar MIPI:s egna initiativ, CCS – Camera Command Set: https://mipi.org/specifications/camera-command-set. Idén är att snabbt få igång en sensor med dess basfunktionalitet utan specifika SW-drivrutiner. Typiska kommandouppsättningar kan vara att ändra upplösning, frame rate och exponeringstid, men även mer avancerade funktioner såsom autofokus och single eller multiple HDR.

Adapterkort
Ständigt en komplicerande faktor i utvecklingsprojektet med extremt små kontakter som lätt går sönder, sitter fast för dåligt, med mera, särskilt under utvecklings- och prototypfasen.

  • Vi har tagit fram ett tiotal olika sensordapterkort som passar utvecklingskort från Xilinx, NXP och Technexion m fl, för snabb prototyping. Det är en hel del att tänka på innan dessa små adapterkort fungerar bra, då det oftast är olika typer av kablar, kontakter och storlekar som behövs.

Gränssnitt

  • 4K Video BitSim NOW har implementerat 4K@60 Video, dvs HDMI ut från en FPGA. I det projektet delade vi upp kameran i två fysiskt separerade delar, Front end (kamerasensor) och Back end (processingsenhet) med Aurora emellan, dvs Xilinx höghastighets-serieprotokoll.
  • MIPI CSI-2 Vi har vidareutvecklat vårt egna kameragränssnitts-IP, som nu stödjer FPGA:er med inbyggda D-PHY IO:n (varken externa motståndsnät eller Meticom-kretsar behövs), t ex Xilinx UltraScale+/MPSoC. Nu kan ni få 2.5Gb/s per lane!

 

Processing (plattformar & algoritmer)
Ett alternativ för att processa bildkedjan är en kombinerad CPU och FPGA-krets, t.ex. Zynq/MPSoC med processning i C/C++ och VHDL.

  • Vi har arbetat med Python och C/C++ och det öppna bildbiblioteket Open CV för att behandla innehållet i bilden. Med Xilinx Vision (HLS Video bibliotek) finns även möjlighet att använda hårdvaruaccelererade OpenCV-anrop.
  • Ett annat alternativ är att processa i en SoC-krets, dvs med en ARM-CPU, programvara och inbyggda fasta acceleratorer. NXP (fd Freescale) har haft stor framgång med i.MX6-familjen. Sedan ett par år tillbaks finns nästa generation, i.MX8. Vi har jobbat med den i över ett år nu, och nu börjar NXP:s bibliotek, dokumentation och forum, bli riktigt användbara.
  • Vi har en komplett videokedja, dvs från glas-till-glas (sensor till skärm), via MIPI CSI-2, V4L och Gstreamer med H.264-komprimering, via Ethernet till skärmen.

Är du intresserad eller har frågor? Hör av dig!

 

 

 

FPGAworld mässa Stockholm och Köpenhamn 2019

Vi ställer ut på FPGA World i Kista, Stockholm 17e september och i Köpenhamn 19 september.
Kom och se och diskutera mer om kamerasensorer och gränssnitt (MIPI CSI-2), edge computing och accelererad bildbehandling samt ormar.

Presentation – How to accelerate the development of your embedded visions system.
Stockholm kl. 13.45-14-45
Köpenhamn kl. 13.30-14.30

 

Första stegen är nu tagna på nya MIPI A-PHY

Vi har tagit våra första steg med den nya MIPI A-PHY-specifikationen, för bilindustrin. Ethernet blir vanligare i fordon men det är inte lämpligt för varje applikation eftersom det kan vara oförutsägbarhet i överföringstid eller fördröjning när dataströmmen från en sensor till processorn. A-PHY stöder äkta strömmande höghastighetsdata både från sensorerna till processorn och till bildskärmarna.

Mipi Phy

The MIPI Alliance has started a collaboration with experts from the automotive industry

BitSim is a member of the MIPI Alliance (www.mipi.org), an influential standardization organization within the mobile industry which has successfully developed a number of industry standards for various well-used and established interfaces for camera sensors, displays, storage, power and audio etc.
For some time, a collaboration has been initiated by companies active in the automotive industry, with both car manufacturers and subcontractors to enhance existing or develop new interface specifications for automotive applications.

For short distances in camera applications, MIPI CSI-2 is already used in the automotive industry. BitSim has its own IP block, Bit-MIPI CSI-2, used by customers in different industry segments.

Now, this cooperation will cover solutions for longer distances, up to 15 m, for camera and radar sensors.
Since there will be up to eight cameras in modern cars in the near future, the 40 cm that MIPI CSI-2 can handle today is not enough.

BitSim’s IP, Bit-MIPI CSI-2 used in Flir’s new generataion of thermal cameras, the EXX-Series

Flir Systems is using BitSim’s FPGA-IP, Bit-MIPI CSI-2 in their newly launched advanced thermal cameras. Read more.

The MIPI Alliance, the non-profit corporation that brings the mobile industry together, has standardized the interface between the camera/image sensor and the receiving electronics (host processor or similar) for further image processing, through a high-speed serial interface, the MIPI CSI-2.

The market for image sensors is increasing by over 10% annually, with the consumer and automotive markets leading this growth.

With MIPI CSI-2, the camera providers can reach the market faster with this standardized way of interacting with the sensors: at a faster speed, at a higher resolution, or more cost effectively.

Today, MIPI CSI-2 is also used in other areas, such as test and measurement, industrial or medical markets.

Statement from our customer FLIR

BitSim has supported us in an exemplary way, and BitSim’s IP is one important part of the complete effort that made us reach the market faster in launching our new advanced thermal imaging cameras”, says Rikard Thunell, Vice President Sourcing & Strategic Planning of Flir.

Summarize of the Bit-MIPI CSI-2 IP:

1-4 data lanes
AXI4-Stream Video output
D-PHY protocol decoding included
Clock-lane/data-lanes deskew
Full High Speed/Low Power mode support
Test/debug features

To learn more about BitSim and our IPs, Read More: Here