前言:

为了深入的理解MIPI-CSI2接口,强烈建议阅读协议原文,我重点参考的就是协议原文:2019-09-17_19.05.53_mipi_CSI-2_specification_v3-0.pdf

1.MIPI概述

MIPI联盟是一个开放的会员制组织,CSI(Camera Serial Interface)是由MIPI联盟下Camera工作组指定的接口标准,DSI为display相关的接口标准。本文我们重点关注MIPI-CSI2协议

典型图例(D-PHY):

MIPI-CSI2:

CSI-2是MIPI CSI第二版,主要由应用层、协议层、物理层组成,最大支持4通道数据传输、单线传输速度理论高达9Gb/s(不同器件最大值不一致,IMX8系列最高1.5Gb/s per lane)

定义了摄像头外设与主机控制器之间的接口,旨在确定摄像头与主机控制器在移动应用中的标准,CSI-2定义了摄像头应用中发送方(camera)与接收方(soc)之间的数据与控制传输标准,其物理层支持DPHY与CPHY两种,我们主要以DPHY为例

D-PHY:物理层的CSI-2相机接口由一个时钟线和一个或多个数据线组成

C-PHY:物理层的CSI-2相机接口由一个或多个通道组成,每个通道同时传输时钟和数据信息

MODE:     Control/High-Speed/Escape/Ultra-Low Power State

D-PHY MIPI-CSI/MIPI-DSI的4通道框图 : 本文重点关注D-PHY

重点名词解释:

Lane:一种单向、点对点、2线或3线接口,用于高速串行时钟或数据传输,使用D-PHY物理层的CSI-2摄像头接口由1个时钟Lane和1/2/4个数据Lane通道

Packet:以特定方式组织起来的一组字节,用于在接口上传输数据。所有数据包都有个最少字节大小的数据。字节是数据包的基本数据单位。

Payload:仅应用程序数据,所有同步,报头,ECC和校验和和其他协议相关信息除外。这是应用程序处理器和外设之间传输的“核心”

Virtual Channel:支持多达32个外设(camera)的多个独立数据流的规范。每个外设(camera)的数据流可以是一个虚拟通道。这些数据流可能是作为连续的包进行交叉传输,每个包专用于一个特定的外设(camera)或通道。包协议包括将每个包连接到它预定的外围设备的信息(后续讲解包协议时会说明每个包header中包含相应的virtual id,和具体数据类型)

2.CSI-2分层协议

框图:

Application Layer:
该层主要用于不同场景对数据的处理过程,对于发送方,多为camera生成数据,对于接收方,多为SOC对数据进行处理

Protocol Layer:              organized as packets

1.Pixel/Byte Packing/Unpacking Layer:

像素/字节封装/解封装层,CSI-2规范支持不同像素格式的图像应用程序,每像素6到24位。发送方向时:在将数据发送到低层协议层之前,该层将应用层的像素打包成字节,接收方向时:在将数据发送到应用层之前,该层将来自低层协议层的字节解析为像素

2.Low Level Protocol (LLP):

低级别协议层,为串行数据传输在传输开始(SoT)和传输结束(EoT)事件之间建立位、字节级别同步以及将数据传递到下一层,最小数据大小为1个字节,详情见章节4

3.Lane Management:

lane通道管理,为了适应不同场景下对带宽的要求,CSI-2规定了Lane的数量是可拓展的。因此,在面临多Lane同时传输时,发送方需要对字节流进行公平分发(distributor),接收方则需要对多Lane数据进行合并(merger)详情见章节3

note:下面3/4/5章节会分别详细说明Lane Management/Low Level Protocol/Pixel Byte Packing Unpacking Layer

PHY Layer:

PHY层指定了传输媒介,在电气层面从串行bit流中捕捉“0”与“1”,同时生成、捕获SoT与EoT等信号

3.Multi-Lane Distribution and Merging

Distribution框图:忽略,目前不重点关注

merging框图:

4 lane的接收顺序:

note:

从上图可见,当4 Lane的时候 SoT开始信号后,csi2协议会分别等到每个lane通道8bit组成一个BYTE后,按照顺序来把每个通道上的byte按照顺序组装到packet中,后续LLP会解析相应的包 (包中的数据不是4的正式倍也不影响该协议)

4.Low Level Protocol

低级别协议(LLP)是一个基于字节数据包的协议,支持传输使用短包/长包格式的任意数据(short packet/long packet

  • 任意数据传输(负载独立)
  • 8位字节数据大小
  • 支持16个交叉的虚拟通道在相同的D-PHY link上
  • 帧开始、帧结束、行开始和行结束信息的特殊包
  • 描述应用程序特定负载数据的类型、像素深度和格式的描述数据
  • 错误检测16位校验和代码
  • 误差检测和校正的6位误差校正码(D-PHY物理层)

packet overview:

包协议格式:

 Long Packet Structure for D-PHY:                        data type : 0x10 - 0x17

note:

如上图可见Data ID中的CV(bits 7:6)和NVX(bits 7:6)用来组成4位表示16个虚拟通道,不同虚拟通道的数据包会被送到相应的通道

Short Packet Structure for D-PHY:                        data type : 0x00 - 0x0f

note:

如果短包用来指示帧同步信号,Data Field里面的数据是帧号

如果短包用来指示行同步信号,Data Field里面的数据是行号

虚拟通道处理:

 虚拟通道不同数据格式例子:

 Data types:

Packet Data Payload Size Rules:

YUV/RGB/RAW数据类型,一个long packet应该包含one line 的数据大小,所以如果是同一个虚拟通道的同一个数据类型的long packet数据应该每次都是一样的大小(某些情况下一个line的数据为了满足一些要求可能带上一些pading空白数据)

Frame Format example:

5.数据包细节

CSI-2 supported fromats packet data size:

带宽计算:

HTOT(1920) * VTOT(1080) * FPS(30) * Bits Per Pixel(16) / number of data lanes(4) = 1920*1080*30*16/4=248832000

因为MIPI接口是双date rate所以要除以2,248832000/2=124,416,000(HZ)