Våra exjobbare Jesper och Fredrik håller på med sitt exjobb för att se om det går att bestämma en kulstöts längd med hjälp av kameror. Se resultatet på videon.
Läs mer om projektet här
Kategori: kamerasensor
Våra exjobbare Jesper Eriksson och Fredrik Jonsson som utbildar sig inom Medicinsk teknik, högskoleingenjör, 180 hp har påbörjat ex-jobbet som går ut på att se om det går att bestämma en kulstöts längd med hjälp av moderna kameror och bildbehandling. Flera olika kameror har valts ut och det första fältprovet kommer att ske i nästa vecka på en friidrottsplan där de kommer att filma kulstötar, dvs samla in rådata för vidare bearbetning.
Läs mer på engelska:
Improving distance and impact location measurements in athletic sports using state-of-the-art machine learning/machine vision
This thesis project is an excellent way to get hands-on experience using AI to solve complex computer vision problems and learn how to go from a system design to a hardware prototype.
This thesis-project aims to design and build a prototype of a camera-tracking system that can determine where objects land within a fixed area. Although similar systems already exist today, the novelty of this project lies in the fact that we are trying to increase the area that can be monitored.
Background: Did you win the Olympics, or did you ”only” finish fourth?
This question is a reality for many athletes in today’s world, especially in events such as javelin throw, discus throw, hammer throw and, shot put. To measure where the object lands is a manual task conducted by humans; therefore, mistakes and errors in the measurement process are not uncommon. The person making the measurements must avoid being hit by a deadly projectile, which does not make the task any easier. Imagine training your entire life and not getting that well-deserved medal because of a measurement error. To prevent this from happening, we want to try and design a computer-vision system that can assist in the measurement process for the events mentioned above. Since tracking flying objects is a general task, a functional prototype could be of interest in many other areas and not just sports events. You do not need to be interested in these events or have any previous knowledge of the events to complete this project.
Problem formulation: Can we use modern and intelligent technology (AI) to measure the length of the throws of one or several of the following events: javelin throw, discus throw, hammer throw, and shot put, or should it only be used as a complement to the current measurement process.
Target: To construct a prototype using a set of cameras connected to a computer that can measure the length of the throws, we want the system to present a result in under 10 seconds from the moment of impact.
Below is a compiled list of some of the questions/problems that need to be addressed in this project.
Hom do different surfaces (e.g. grass, gravel or plastic) affect the system?
How do we make sure that the system only records the first impact (objects can bounce)?
How to make correct measurements when the object lands abnormally, .e.g a javelin that lands flat on the ground?
How many camera sensors are needed, and where should they be placed relative to the thrower?
Which type of camera sensors are best suited for this task?
Which AI model should be used to achieve a good mix of accuracy and performance?
How do we collect and store data that the model can be trained on?
BitSim NOW har varit med och gett sina erfarenheter och syn på användningen av AI i praktiken.
Se denna AI-artikel i Elektroniktidningen:
NOW Electronics etablerades 1985 och BitSim år 2000. Båda företagen arbetar med elektronikutveckling, sensorteknik, embedded computing, machine vision, machine learning och accelererad bildhantering.
”Våra företag kompletterar varandra marknadsmässigt och kompetensmässigt, där vi får ett betydande tillskott av FPGA-kompetens” säger Philip Nyströmer, VD för NOW Electronics och det sammanslagna bolaget BitSim NOW. ”Tillsammans är vi nu rustade att ta större och bredare uppdrag i våra nya gemensamma lokaler”.
”Vi ser verkligen fram emot att arbeta tillsammans med NOW Electronics duktiga utvecklare och fördjupar därmed vår verksamhet inom bildbehandling och sensorteknik” säger Anders Sivard, VD för BitSim AB.
Elektronikutvecklingen fortsätter att accelerera och bli alltmer strategisk i fler och fler branscher. Genom detta samgående kommer det vara möjligt att möta en ökande efterfrågan på inbyggda, sensorcentrerade och sammankopplade elektroniksystem som blivit allt viktigare för svensk industri.
För vidare information, kontakta Philip Nyströmer, 072-0798523
BitSim har initierat en ny standard: OMIPICON, en öppen kontaktstandard för kameramoduler med MIPI CSI-2-anslutning. OMIPICON står för Open MIPI CONnect och är lämplig för prototyper eller produktion av små/medelstora kvantiteter.
Tanken bakom detta är att spara tid och pengar när man utvecklar hårdvara med kamerasensorer. Varken MIPI CSI-2-standarden eller MIPI DSI-standarden definierar en specifik kontakt. Detta innebär att leverantörer av sensormoduler använder sina egna kontakter, inkompatibla med andra. Du behöver då hela göra nya och olika versioner av din prototyp/produkt.
Dessutom är de flesta tillgängliga sensorkontakter idag inte lämpliga för upprepade insatser och borttagningar. Vid felsökning av prototyper med dessa sensorer klarar dessa kontakter ofta bara några få in- och frånkopplingar och går sen sönder.
Du spenderar därmed för mycket tid att får anslutningarna till kamera att fungera och för liten tid på resten av konstruktionen.
Med OMIPICON behövs bara ett FMC-adapterkort och ett U96-adapterkort. Och ett adapterkort per sensor. Du behöver då inte sätta i och ta bort adapterkortets kontakt.
Designen består av 2 kort, var och en med en FPGA. Varje FPGA tar emot 6 st 1280 x 800 HD kamerasensorer med 120 bilder per sekund. Varje FPGA strömmar de 6 kanalerna till ett 10 GB IP UDP Ethernet -block (vårt eget IP -block) direkt till en PC.
Allt processats i hårdvara, inget av videoflödet hanteras av ARM CPUerna i FPGA-erna. Varje 10 Gb Ethernet -kabel går med 70% av maximal bandbredd, dvs med 7 Gbps, totalt 14 Gbps som PC-n tar emot och återger. Naturligtvis skulle FPGAerna också kunna koda och komprimera inkommande sensordata för att minska bildflödet eller realtids-bearbeta.
Vi har utvecklat en mottagare för FLIR’s Video over SPI (VoSPI), ett gränssnitt för att möjliggöra strömning av bilder från en Lepton Infraröd kamera direkt till ett FPGA-baserat bildbehandlingssystem. Du kan använda den i dina plattformar som:
- På Xilinx -enheter med vårt nya anpassade IP
- På varje SoC-krets med en ARM-processor och Python med vår rena mjukvarudrivrutin
- Ett Python -gränssnitt som integrerar VoSPI IP i din PYNQ -design.
VoSPI står för ”Video over Serial Peripheral Interface”. VoSPI -protokollet är utformat för att skicka ut video i ett format som tillåter överföring över ett SPI -gränssnitt samtidigt som det kräver minimal programvara eller hårdvara. Sensorn fungerar som SPI -slav och vårt IP fungerar som SPI -master och videon streamas på MISO -anslutningen. Hårdvarusystemet innehåller anpassad logik för att ta emot och återge videon. Sensorn skickar ut byte-pixlar för att skapa en bild med en upplösning på 160 × 120.
Utvecklingen av detta IP har gjorts på BitSims Python-baserade utvecklingsplattform, SpiderPig. Genom att använda detta enkla gränssnitt mellan logiken och Python-miljön på hög nivå kan felsökningsinformation och bildanalys utföras nästan direkt efter att en bitfil har genererats. BitSim har utvecklat verktyg för termisk bildbehandling och specifikt för att integrera FLIR Lepton -sensorn med hjälp av VoSPI.
Med hjälp av detta IP-block är det möjligt att ansluta en billig FLIR Lepton IR-sensor som skickar bearbetade 16-bitars data till en FPGA-design. IR -sensorn fångar upp infraröd strålning som ingång. Utmatningen är en enhetlig termisk bild med temperaturmätningar i hela bilden. Detta kan användas i applikationer som mobiltelefoner, identifiering av rörelse, byggautomatisering, termisk avbildning och mörkerseende där detektering av temperaturvärden är nödvändiga.
BitSim NOW utvecklar elektronik åt produktföretag, ofta med fokus på Imaging och Edge Computing. Vi ser ett ständigt inflöde av nya sensorer, gränssnitt och nyckelkomponenter. Med dessa korta rader vill vi berätta vad vi tycker är intressanta på marknaden, men även ta upp erfarenheter, svårigheter och saker att tänka på. Och vi diskuterar förstås gärna dina särskilda behov och lösningar.
Sensors
Det kan vara riktigt svårt att få igång sensorer med all konfiguration, som ibland till och med är odokumenterade. Som exempel har redan gamla sensorn Omnivision 5645, hundratals register som till stor del måste vara konfigurerat på helt rätt för att få ut en bild.
- Vi har utvecklat en kamera med Sonys IMX290-sensor som har väldigt goda ljusegenskaper, dvs klarar av svåra ljusförhållande. Den har 10/12-bitars ADC, MIPI-gränssnitt, upplösningen upp till 1080p, upp till 120 fps. På högkant blir det 1109×1945 pixlar. Den har även ett par HDR-varianter för ytterligare ljusförbättrande egenskaper.
- FLIR:s IR-sensor, Lepton, är en förhållandevis billig variant som kan användas separat eller ihop med vanliga CMOS-sensorer för att extrahera ytterligare information i bilden genom s.k. image fusion.
- CCS. Vi på BitSim NOW hoppas att sensor- eller modulleverantörerna anammar MIPI:s egna initiativ, CCS – Camera Command Set: https://mipi.org/specifications/camera-command-set. Idén är att snabbt få igång en sensor med dess basfunktionalitet utan specifika SW-drivrutiner. Typiska kommandouppsättningar kan vara att ändra upplösning, frame rate och exponeringstid, men även mer avancerade funktioner såsom autofokus och single eller multiple HDR.
Adapterkort
Ständigt en komplicerande faktor i utvecklingsprojektet med extremt små kontakter som lätt går sönder, sitter fast för dåligt, med mera, särskilt under utvecklings- och prototypfasen.
- Vi har tagit fram ett tiotal olika sensordapterkort som passar utvecklingskort från Xilinx, NXP och Technexion m fl, för snabb prototyping. Det är en hel del att tänka på innan dessa små adapterkort fungerar bra, då det oftast är olika typer av kablar, kontakter och storlekar som behövs.
Gränssnitt
- 4K Video BitSim NOW har implementerat 4K@60 Video, dvs HDMI ut från en FPGA. I det projektet delade vi upp kameran i två fysiskt separerade delar, Front end (kamerasensor) och Back end (processingsenhet) med Aurora emellan, dvs Xilinx höghastighets-serieprotokoll.
- MIPI CSI-2 Vi har vidareutvecklat vårt egna kameragränssnitts-IP, som nu stödjer FPGA:er med inbyggda D-PHY IO:n (varken externa motståndsnät eller Meticom-kretsar behövs), t ex Xilinx UltraScale+/MPSoC. Nu kan ni få 2.5Gb/s per lane!
Processing (plattformar & algoritmer)
Ett alternativ för att processa bildkedjan är en kombinerad CPU och FPGA-krets, t.ex. Zynq/MPSoC med processning i C/C++ och VHDL.
- Vi har arbetat med Python och C/C++ och det öppna bildbiblioteket Open CV för att behandla innehållet i bilden. Med Xilinx Vision (HLS Video bibliotek) finns även möjlighet att använda hårdvaruaccelererade OpenCV-anrop.
- Ett annat alternativ är att processa i en SoC-krets, dvs med en ARM-CPU, programvara och inbyggda fasta acceleratorer. NXP (fd Freescale) har haft stor framgång med i.MX6-familjen. Sedan ett par år tillbaks finns nästa generation, i.MX8. Vi har jobbat med den i över ett år nu, och nu börjar NXP:s bibliotek, dokumentation och forum, bli riktigt användbara.
- Vi har en komplett videokedja, dvs från glas-till-glas (sensor till skärm), via MIPI CSI-2, V4L och Gstreamer med H.264-komprimering, via Ethernet till skärmen.
Är du intresserad eller har frågor? Hör av dig!
Kom och lyssna på oss nu på tisdag kl 9, rum M4, på Embedded Conference Scandinavia på Tisdag kl.9 i rum M4.
Andrea Leopardi kommer att presentera Indiana Jones and the Secret of Fast Vision Development.
Behöver du komma i mål med din slutprodukt snabbare?
På FPGAWorld berättade vi om detta.
Lyssna till föreläsningen igen!
