sensor


MagikEye ILT001



Overview

製品概要

マジックアイの3Dセンサーの基本原理は、赤外線レーザー とCMOSイメージセンサによる三角測量法に基づいています。マジックアイが開発した独自のアルゴリズムを用いることで、シンプルなハードウェア部品を用いて、3D点群データを高速かつ遅延なく取得することができます。

マジックアイの3Dセンサー開発キット(DK-ILT001)は、Raspberry Piシングルボードコンピュータに接続できるように設計された3Dセンサーです。マジックアイの技術を簡単に評価し、様々な技術分野において3Dセンサーのアプリケーションを探求している企業の研究者や大学の研究室などを対象としています。

DK-ILT001のハードウェアは、レーザープロジェクター、CMOSイメージセンサー、Raspberry Piを接続するための電気回路で構成されています。

DK-ILT001モジュールを接続したRaspberry Piにマジックアイのファームウェアとキャリブレーションデータをインストールすることで、ネットワーク接続可能な3Dセンサーになります。

DK-ILT001は、スイッチサイエンスのオンラインストアでのみご購入いただけます。
switch-science

sensor
sensor
sensor

仕様

製品名: DK-ILT001
互換性: Raspberry Pi Zero W/3B/3B+/4
電源電圧: 3.3V (Raspberry Pi MIPI I/F 経由)
消費電力: 0.6W (平均)
形状: 44 x 24 x 16 mm (W x D x H)
レーザークラス: クラス 1(IEC-60825)

sensor

用途

マシンビジョン、ロボット、自動搬送車、など

ターゲットユーザ

研究職、学生、趣味での利用

sensor

Installation

sensor

Firmware Setup

  • ダウンロードのセクションから、お使いのRaspberry Piモデル用のファームウェアをダウンロード下さい。
  • ダウンロードしたファイルを解凍して、ファームウェアイメージ(拡張子 .img)を抽出してください。
  • balenaEtcher等の書き込みツールを使って、解凍したファームウェアイメージ(拡張子 .img)をマイクロSDカードに書き込みを行ってください。(512MB以上、16GB推奨)

sensor

Hardware Setup

  • ファームウェアを書き込んだマイクロSDカードをRaspberry Piのスロットに差し込んでください。
  • 同梱のフラットケーブルを使用して、ILT001センサをRaspberry PiのMIPIコネクタに接続してください。
  • RJ45 LANケーブルを使用し、Raspberry PiをDHCPサーバのあるネットワークに接続してください。
  • Raspberry Piの電源を入れてください。

sensor

Sensor Discovery

  • MkEDiscovery アプリをダウンロードのセクションからダウンロードしてください。ご使用のPC(Mac, Windows10, Ubuntu)にあった実行ファイルを選択ください。
  • MkEDiscovery アプリをインストール後、実行してください。
  • ネットワークに接続したILT001センサがリスト上に表示されますので、ダブルクリックしてください。Administration Consoleがブラウザ上に表示されます。

sensor
sensor
sensor

Sensor Calibration Setup

  • Administration Consoleにてログインしてください。(User name: admin / Password: admin)
  • Firmware Update ページの Downloadのところに表示されている Check for firmware and calibration updatesをクリックすると、ダウンロードサイトが開きます Firmware Updateページの Downloadのところに表示されている Check for firmware and calibration updatesをクリックすると、ダウンロードサイトが開きます。
  • キャリブレーションパッケージをご使用のPCにダウンロードしてください。
  • 先程のFirmware Update ページに戻り、FILEボタンをクリックし、ダウンロードしたキャリブレーションパッケージファイルを選択します。UPDATEボタンにて、センサにキャリブレーションパッケージをアップロードしてください。
  • Raspberry Piをリブートしてください。(緑色のメニューアイコンをクリックするとリブートボタンが現れます)

sensor

3D Sensing

  • ILT001センサから3D点群データを取得するためには、MagikEyeが公開しているSDKをご使用ください。
  • もしくは、Sensor Administration ConsoleViewerセクションからブラウザ上の3D viewerを起動してご使用ください。

sensor
sensor

Downloads


Firmware

Platform:
Version:


Calibration Package

お使いのセンサーのキャリブレーションデータをダウンロードするには、ファームウェアをインストールしたRaspberry Piにブラウザでアクセスして、 Firmware Update 画面に表示されるダウンロードリンクを参照してください




MKE SDK


Magik Eye Software Development Kit source is available for download in github.

Documentation

For MkESensor DK-ILT001 Installation Guide Click Here

Download Installation Guide Here
Download Safety Documentation Here


1. Introduction

This document serves as a guide through the requirements and initial setup of MagikEye Developer Kit with the ILT001 sensor: DK-ILT001.

The basic principle of Magik Eye’s 3D depth sensors is based on the triangulation method using an infrared laser and a CMOS image sensor. However, using a unique algorithm developed by Magik Eye 3D, point cloud data can be acquired at high speeds and with very low latency using simple hardware configuration.

Magik Eye Developer Kit with the ILT001 sensor, a.k.a. DK-ILT001, is a 3D sensor designed to connect to a Raspberry Pi single-board computer. It is aimed at researchers in companies and laboratories at universities who want to easily evaluate Magik Eye technology and to explore depth sensors applications in various technical fields. The hardware of ILT001 has laser projector, CMOS image sensor and electrical circuits for connecting Raspberry Pi.

A Raspberry Pi and a connected DK-ILT001 module are converted into a network-connectable 3D sensor by installing Magik Eye firmware and calibration data.

ILT001 topview

2. Hardware Specifications

2.1. DK-ILT001

2.1.1. Technical Specifications

  • Product Name: ILT001

  • Model Number: DK-ILT001

  • Power Supply: 3.3V (via MIPI Interface on Raspberry Pi)

  • Power Consumption: 0.6W (average)

  • Dimensions: 44 x 24 x 16 mm (W x D x H)

  • Laser Classification: Eye Safety (IEC-60825) Class

2.1.2. MIPI Connection

A flex cable is used to connect the ILT001 sensor to a Raspberry Pi via the MIPI camera interface.

2.1.3. Power

The power source for the sensor is drawn from the flex cable connected to the MIPI camera interface of a Raspberry Pi.

2.1.4. Mounting

A mounting bracket is available on the back side of the sensor which can be used to mount the ILT001 sensor onto a tripod.

ILT001 back

2.2. Raspberry Pi

DK-ILT001 supports the following variants of Raspberry Pi Models. Please find out more about the technical specifications of supported Raspberry Pi models from the Raspberry Pi Foundation.

2.2.1. Raspberry Pi 4 Model B

RPI4 description

2.2.2. Raspberry Pi 3 Model B+

RPI3 description

2.2.3. Raspberry Pi Zero W/WH

RPI0 description

2.2.4. Power Adapter

The Raspberry Pi connects to power via

  • 5.1V/3.0A DC output with USB-C type connector of 15.3W rating adapter for Raspberry Pi 4 Model B, or

  • 5V/2.5A DC output with micro-USB type connector of 12.5W rating adapter for Raspberry Pi 3 Model B+ / Raspberry Pi Zero W/WH.

2.2.5. Networking

Once the Magik Eye firmware is installed on the Raspberry Pi, see Software Setup Procedure, there are three ways to access your DK-ILT001: Magik Eye firmware for Raspberry Pi can be accessed in 2 ways. (ref:Software setup procedure section).

  • Raspberry Pi is connected to an Ethernet network using a static or DHCP-provided IPv4 adress,

  • Raspberry Pi is serving as a Wi-Fi Access Point (AP),

  • Raspberry Pi is connecting to a Wi-Fi network as a client.

RPi 4 Model B / RPi 3 Model B+

The onboard RJ-45 connector is used to connect the Raspberry Pi to a LAN network.

Raspberry Pi Zero W/WH

Since the Raspberry Pi Zero W/WH models don’t have an integrated RJ-45 connector, a USB Ethernet adapter has to be used to connect a Raspberry Pi Zero W/WH to a LAN network. Hi-Speed USB 2.0 to 10/100 Ethernet adapters of types based on LAN75xx and SMSC95xx chipsets are supported.

ethernet adapter

2.2.6. Micro-SD Card

A minimum of 512MB storage capacity micro-SD card is required for Magik Eye firmware.

RPI4 SD card insert

2.3. Flex Cable

2.3.1. Raspberry Pi 4 Model B / Raspberry Pi 3 Model B+

Flex ribbon cable for Raspberry Pi camera used to connect the ILT001 sensor to the Raspberry Pi CSI camera port.

RPI4 flex cable

2.3.2. Raspberry Pi Zero W/WH

Flex ribbon cable for Raspberry Pi Zero is used to connect the ILT001 sensor to the CSI camera port.

RPI0 flex cable

3. Hardware Setup Procedure

3.1. Connecting ILT001 to Raspbery Pi

3.1.1. RPi 4 Model B / RPi 3 Model B+

Connect the Flex cable to the Raspberry Pi’s camera module port as shown in the picture below:

RPI4 ILT001

Connect the flex cable to the sensor’s camera interface in the direction shown in the picture below:

Flex ILT001

3.1.2. Raspberry Pi Zero W/WH

Connect the narrow end of the flex cable to the Raspberry Pi Zero’s camera module port as shown in the picture below:

Flex RPI0

Connect the regular end of the flex cable to the sensor’s camera interface in the direction shown in the picture below:

Flex RPI0 ILT001
RPI0 ILT001

3.2. Ethernet Connection

3.2.1. RPi 4 Model B / RPi 3 Model B+

Connect the Ethernet cable into the Raspberry Pi’s RJ-45 port as shown in the picture below:

ethernet RPI4

3.2.2. Raspberry Pi Zero W/WH

First, connect the USB Ethernet dongle to micro-USB to USB adapter. Next, connect the Ethernet cable into the USB Ethernet dongle. Finally, connect the USB adapter to the Raspberry Pi Zero W/WH as shown in the picture below:

ethernet RPI0 1

3.3. Power Connection

3.3.1. Raspberry Pi 4 Model B

Connect the USB-C output connector of your power adapter to the Raspberry Pi as shown in the picture below:

power RPI4

3.3.2. Raspberry Pi 3 Model B+

Connect the micro-USB output connector of your power adapter to the Raspberry Pi as shown in the picture below:

power RPI3

3.3.3. Raspberry Pi Zero W/WH

Connect the micro-USB output connector of your power adapter to the Raspberry Pi as shown in the picture:

power RPI0

4. Software Setup Procedure

4.1. Firmware Download

Magik Eye Inc. provides specific firmware variant for each supported Raspberry Pi model. In order to download the firmware image:

  • Navigate to Magik Eye’s support site.

  • Select the sensor type ILT001 from the dropdown list.

support site 1 sensor
  • Navigate to the Downloads tab and in the Firmware section select the appropriate Platform and the latest version Version. Once the platform and version are selected, a download link for the firmware archive becomes available.

support site 3 firmware download rpi3
  • Click on the file link in order to start the firmware archive download.

  • Extract the firmware image file ( *.img) from the firmware archive.

4.2. Firmware Flashing

This section describes SD card firmware flashing using Raspberry Pi Imager.

  • Download and install Raspberry Pi Imager from www.raspberrypi.org

  • Open the Raspberry Pi Imager application and click on CHOOSE OS button.

RPI imager 1
  • Choose Use Custom and select the downloaded firmware image file.

RPI imager 3 select image rpi3
RPI imager 4 image selected rpi3
  • Insert the micro-SD card into your PC/laptop card reader.

  • Click on the CHOOSE STORAGE button and select the micro-SD card.

RPI imager 5 choose target
RPI imager 6 target selected rpi3
  • Click on the WRITE button to flash the firmare image file onto the micro-SD card.

RPI imager 8 written rpi3
  • Eject the micro-SD card from your PC/laptop and insert it into the Raspberry Pi.

  • Connect the power adapter to the Raspberry Pi and turn on the power supply.

4.3. Sensor Discovery

By default, The Magik Eye firmware for Raspberry Pi can be accessed in two ways:

  • via DHCP enabled Ethernet network provided the Raspberry Pi is connected to it using an Ethernet cable, or

  • via Wi-fi, as the Raspberry Pi is acting as a Wifi access point (AP) with the default SSD MkeSensor and password MagikEye.

Once the sensor is connected and Raspberry Pi is powered up, connect your PC/laptop into the same network as your Raspberry Pi (either LAN or Wi-Fi). You can find the IP Address of the device using Magik Eye’s sensor discovery tool MkEDiscovery downloadable from ILT001 support site. By default, you will see your sensor under the name NoSensor-0.

Magik Eye firmware for Raspberry Pi does not support hotplug LAN connections. Make sure that the Ethernet cable is connected before turning on your Raspberry Pi.

mkediscovery

4.4. Sensor Administration Console

Magik Eye firmware for Raspberry Pi implements a web interface for managing your sensor called Sensor Administration Console (SMC). In order to access the SMC, point your web browser to the IP address of the sensor or simply double-click the sensor’s name in MkEDiscovery.

sensor console 1
  • Click on the green login icon available in top right corner of the webpage.

sensor console 2
  • In order to login, enter the user name and password. The default values of the user name and password are admin/admin.

  • After login, a warning message will be displayed in the SMC warning about the sensor module calibration package not being installed.

sensor console 3

If an error message saying "Please connect a sensor module" appears, turn off the Raspberry Pi and connect the sensor module as described in Hardware Setup Procedure.

4.5. Calibration Package

In order for the sensor to provide correct 3D data, a calibration file specific for a given sensor needs to be downloaded from Magik Eye support site and installed into the sensor through the Sensor Administration Console.

4.5.1. Download

  • Navigate to the Firmware Update section in the Sensor Administration Console of your sensor and click on the Check Firmware and calibration Update link.

sensor console 4 01235a4fa02e560ee
  • The Check for firmware and calibration updates link will redirect you to the Magik Eye Support site were a list links to calibration packages available for your sensor will available in the approriate section.

sensor console 5 rpi3 01235a4fa02e560ee
  • Click on the link to download the firmware calibration package file (*.mfw).

In order to download the calibration package, internet connection is required. In the case your host PC is accessing the Raspberry Pi via Wi-Fi AP mode without additonal internet connection:

  • Click on the Check for firmware and calibration updates link

  • A new tab redirected to the Magik Eye support site will be opened, but not loaded, as no internet connection is available.

  • Disconnect the PC from the Magik Eye firmware Wi-Fi AP.

  • Connect the PC to the internet.

  • Refresh the previously opened page in the web browser. The Magik-Eye support site will be loaded.

  • Once the appropriate calibration package is downloaded, reconnect the PC back to the Magik Eye firmware Wi-Fi AP.

4.5.2. Installation

  • Navigate to the Firmware Update section in the Sensor Administration Console of your sensor

  • Click on the FILE button and select the downloaded calibration package file in the file selection dialog.

  • Click on the UPDATE button.

sensor console 6 uploading 01235a4fa02e560ee
  • Upon a successful file upload, a pop up message prompting to reboot the Raspberry Pi will appear.

sensor console 7 uploaded 01235a4fa02e560ee
  • Click on the green hamburger menu button in the upper right corner.

  • Click on the Reboot icon button to reboot the Raspberry Pi.

sensor console 8 reboot 01235a4fa02e560ee
  • After the reboot, login and navigate to System section to check the sensor’s status

sensor console 9 system info 01235a4fa02e560ee

5. 3D Sensing

You can connect to your sensor using several client applications provided in the Software Development Kit as well as directly via Magik Eye API from various programming languages.

5.1. Software Development Kit

Magik Eye Software Development Kit is a collection of applications, libraries, and documentation useful for developers looking to connect to Magik Eye sensors and integrate them into their software or hardware solutions.

5.2. Web Viewer

A web-based OpenGL viewer for visualizing 3D data is available by clicking on the Viewer menu link in the Sensor Administration Console toolbar.

sensor console 10 link to viewer
viewer 0 init

5.2.1. Controls

  • Click on the Connect button.

  • Once connected, click on the Start Sensing button and live captured 3D point cloud data will be shown in the visualiser.

  • Click on Stop Sensing button to stop capturing 3D point cloud data.

  • Click on GET 1 Frame button. A single frame point cloud data will be rendered in the visualiser.

viewer 1 sensing

Visualiser’s view rotation can be changed by left-mouse dragging and view position can be changed by right-mouse dragging.

sensor coordinate system

Point size of the 3D point cloud data in the visualiser can be controlled by the Point size slider.

viewer 2 pointsize and zoom

3D Point cloud data can be displayed in white color or depth color-coded using the Colormap settings. When Colormap is enabled, the color of each point will depend on its distance from the sensor. The curvature of the color space can be visualized by checking the show gradient checkbox and it can be adjusted using three sliders.

viewer 3 colormap

Section View provides controls for:

  • controlling position/target/both of the visualizer’s camera,

  • rolling the visualizer’s camera

  • toggling auto-rotation of the visualizer’s camera.

viewer 4 look from the sensor

Section Scene section allows:

  • showing/hiding various scene helper objects from the visualizer (for example the 3D data bounding box)

  • changing the position of the grid helper using the Grid Offset Position slider,

  • cutting the point cloud data by one or two planes (this allows for discarding points that are too close or too far),

  • reading FPS and coordinates of visualizer’s camera.

viewer 5 cut planes

5.2.2. Expert Mode

The Start sensing and Get 1 frame buttons are high-level interfaces to the sensor that are scripted to take care of the sensor’s state for user convenience. Hovewer, in the Expert mode, it is possible to send individual Magik Eye API commands to the sensor and modify the sensor’s state, see detailed messages and customize several visualizer’s settings.

viewer 6 expert

The sensor state can be set to either IDLE or DEPTH_SENSING modes using the Set IDLE and Set DEPTH_SENSOR buttons, respectively. 3D Point cloud data streaming can be manually controlled by using the Sensor pushing section. Sensor pushing is the preferred way of getting continuous data from the sensor and it is also the method used in the Start sensing button. Click on the Request frame pushing button to get the 3D Point Cloud data.

Make sure to have the sensor in DEPTH_SENSOR mode before requesting the Push Frames.

Click on Stop frame pushing button to stop receiving the 3D point cloud data.

3D Point cloud data can be also obtained by using the client polling method that can be started by clicking Get Frames in Loop button with delay time set in milliseconds. Once the Get Frames in Loop button is clicked, point cloud visualisation in visualiser can be seen in lower FPS rate as a delay is introduced.

viewer 7 expert
  • Last response header section provides insight into the data parsed from the last response from the sensor.

  • Last frame info section provides insight into data parsed from the last point cloud data response from the sensor.

  • Device Information section provides low-level interface to check the sensor’s firmware and device information.

  • It is possible to hide all controls by switching to the compact mode by selecting None on top of the toolbar.

viewer 8

FAQ

Customers

DK-ILT001は、研究者、学生、ホビイストなどを対象としています。
DK-ILT001は、カスタムAPIを用いて対象物の3D点群データを高速に取得することができます。複数のプログラミング言語に対応したMkE SDKが公開されています。
初期不良の場合には、販売店にて交換いたします。
初期不良の場合の交換のみとさせていただきます。
お客様が購入された販売店にご連絡ください。
DK-ILT001は一般用途のみを目的としています。兵器、医療、航空宇宙などの目的で使用することはできません。また、他人に転売することも禁止されています。

Product

ハードウェア: ハードウェア: ILT001 (3Dセンサー)、15pinフレキシブルケーブル。(Raspberry Piは含まれません)
ソフトウェア: ソフトウェア: ソフトウェアは含まれていません。Raspberry Pi用のファームウェアは Download セクションからダウンロードしてください。すべての提供ソフトウェアは、MkE SDK に含まれています。
電源: 電源はRaspberry PiからMIPI I/F経由で供給されます。
Raspberry Pi に関する知識が必要です。
レーザークラス: クラス1 (IEC60825-1(2007)、FDA:2110463-000)
Raspberry Pi Zero W / 3B / 3B+ / 4をサポートしています。
ILT001センサは工場出荷時にキャリブレーションされているため、センサの物理的なセットアップを変更すると、正しい3Dデータを提供することができなくなります。光学部品(レーザープロジェクターを含む)には一切触れないでください。
本製品では、検知距離範囲は固定です。
物理的なネットワーク層としては、有線イーサネットやWiFiです。点群データ群はTCPプロトコルで転送されます。
ILT001は直射日光の下では機能しません。また、センサーの筐体は防水仕様ではありませんのでご注意ください。
ILT001を使用すると、Raspberry Piの温度が高くなります。Raspberry Piにヒートシンクや冷却ファンを付けることを強くお勧めします。

Software

マジックアイのファームウェアを書き込んだmicroSDカードでRaspberry PIを起動し、キャリブレーションデータをダウンロード、インストールする必要があります。インストールのセクションを参照してください。
ファームウェアとキャリブレーションデータは、「ダウンロード」セクションからダウンロードできます。すべての提供ソフトウェアは、MkE SDK に含まれています。ファームウェアとキャリブレーションデータは、「ダウンロード」セクションからダウンロードできます。すべての提供ソフトウェアは、MkE SDK に含まれています。
ファームウェアはGNU/Linuxをベースにしており、オープンソースです。ただし、MagikEyeのランタイムライブラリは、権利が留保された独自のソフトウェアです。
マジックアイのファームウェアのカスタム変更は現在サポートされていません。
ILT001は、点群データの出力のみに対応しています。

Help Desk

サポート関連の問題については、詳細とスクリーンショットを添えて support@magik-eye.com までメールでお問い合わせください。