Eren の宇宙船

ARM_DS 工程创建教程

2023-05-20T13:53:07.000Z

注：本文主要内容参考了 “Arm® Development Studio Getting Started Guide” chapter 9，如有疏漏欢迎指正。

前言

首先来看官方手册对 ARM_DS 是定义：

Arm® Development Studio是一种专业的软件开发解决方案，适用于裸机嵌入式系统和基于Linux的系统。它涵盖了从引导代码和内核移植到应用程序和裸机调试的所有开发阶段，包括性能分析。

它包括以下内容：

Arm Compiler for Embedded 6 工具链。
构建嵌入式和裸机嵌入式应用程序。
Arm Debugger
一款支持Arm处理器和Fixed Virtual Platform (FVP)目标上的软件开发的图形化调试器。
Fixed Virtual Platform (FVP)目标
针对Armv6-M、Armv7-A/R/M和Armv8-A/R/M架构的单核和多核模拟模型。这些模型使您能够在没有任何硬件的情况下开发软件。
Arm Streamline
一款图形化性能分析工具，可以将抽样数据和系统跟踪转换为报告，以可视化和统计的形式呈现数据。
Graphics Analyzer
Graphics Analyzer允许图形开发人员跟踪其应用程序中的OpenGL ES、Vulkan和OpenCL API调用。

简单来说 ARM_DS 就是 ARM 自己推出的 IDE 工具，和 CCS / IAR 类似，同样也是基于 Eclipse 所开发。

工程创建

环境： Windows 版本：ADS IDE 2022.1

以创建 C/C++ 工程为例，建议工程先在 Visual Studio 中测试代码是否能正常运行。

导入源码

File > Import > Project from Folder or Archive
Directory > select your C project archived file
导入 VS 源码之后，便可以在左侧边框栏看到你刚刚导入的 VS 工程文件

工程配置

导入代码之后，我们需要对项目进行相关设置，将 VS 工程设置为 ADS 工程，这样才能使工程跑起来。

右键创建的工程 > Properties

里面的所有设置根据你的需求设置即可。

如果设置完成之后，最后编译不通过，那可能是你没有对头文件进行设置（如果你的 VS 工程使用的是绝对路径）。那么这时你需要在 “Includes” 中修改相应的头文件路径，注意“Arm C Compiler 6” 和 “ARM Assembler 6” 都需进行修改。

Debug session 配置

In Arm® Development Studio, you confifigure a debug session with the New Debug Connection wizard. This wizard enables you to connect to your target.

在编译通过之后，我们还需配置链接模型（Model Connection）。这一步是最关键的一部， Fixed Virtual Platform (FVP）

下文将引导配置一个裸机模型连接，连接到一个 Cortex®-A35 固定虚拟平台 (FVP)，前面创建的项目。这一步的目的是在 Arm Development Studio 中配置连接到 FVP 的调试会话，以便进行裸机应用程序调试。

创建一个 .ds 脚本文件，让 Fixed Virtual Platform (FVP) 处理半主机（semihosting），而不是让 Arm Debugger 处理。在 Arm Development Studio 中，可以使用以下步骤创建这样一个脚本文件：
- 从主菜单中选择 “File > New > Other…”；
- 在 “New” 对话框中，选择 “Arm Debugger > Arm Debugger Script”，然后点击 “Next”；
- 点击 “Workspace…”，选择 “HelloWorld” 项目作为这个脚本文件的位置，然后点击 “OK”；
- 在 “File Name” 字段中，命名这个脚本文件为 “use_model_semihosting”，然后点击 “Finish” 按钮。这将打开一个空的编辑器窗口。
- 在编辑器窗口中添加以下代码，并按 “Ctrl + S” 保存：

1	`set semihosting enabled off`

从主菜单，select File > New > Model Connection
在 “Model Connection” 对话框中，指定连接的详细信息：
- 为调试连接输入一个名称，例如 “HelloWorld_FVP”；
- 选择 “Associate debug connection with an existing project”，并选择在上一节 “Build your project” 中创建和构建的项目。
- 点击 “Next” 按钮。
在 “Target Selection” 对话窗口中，指定 tagert
- 选择 Arm FVP (Installed with Arm DS) > Base_A53x1；
- 点击 “Finish”

在 “Edit Configuration” 对话框中，确保选择了正确的目标设备，指定了适当的应用程序文件，并且调试器知道从哪里开始进行调试：
- 在 “Connection” 选项卡下，确保选择了 “Arm FVP (Installed with Arm DS) > Base_A53x1 > Bare Metal Debug > Cortex-A53”；
- 在 “Bare Metal Debug” 中，在 “Model parameters” 字段中添加以下参数：

1	`-C bp.secure_memory=false`

这个参数的作用是禁用安全内存保护，以便在调试过程中能够访问内存。

选择“Target Configuration > Application on host to download > Workspace”;

点击并展开“HelloWorld”项目，在“Debug”文件夹中选择“HelloWorld.axf”，然后点击“OK”按钮;

选择 “Debug from symbol”;

启用 “Run target initialization debugger script (.ds/.py)” 选项，并点击 “Workspace…”按钮。;

选择 “use_model_semihosting.ds” 脚本文件，然后点击“OK”按钮。

这些操作将指定在开始调试会话时运行的脚本文件，并确保 FVP 处理半主机操作。

点击“Debug”按钮，将应用程序加载到目标设备上，并将调试信息加载到调试器中。这将启动调试会话，并将您带入调试器的界面中。在调试器中，可以通过设置断点、单步执行和查看变量等操作来调试应用程序。

以下是调试器的相关说明：

Trace 调式工具

在 ADS 中，同样有相当丰富的调试工具供我们使用。在 debug session 中可以通过 Trace 查看所有被执行的指令情况。

在使用 Trace 跟踪程序之前，我们需要先进行相关配置以开启 Trace。

开启过程如下图：

至此，我们边成功开启了 Trace，愉快地 debug 吧。

套壳创建工程

在 ADS 工程配置过程中，稍有不慎都会导致整个工程无法正常编译运行。如果在排除所有配置之后工程仍然无法正常运行，那么我们可以采取套壳的方法进行工程创建。

所谓套壳，这里的壳就是 ADS 中的例程工程。例程毋庸置疑是能够正常运行，所有我们需要做的就是将壳内的程序替换为我们的代码即可。

套壳的原则：选择我们需要的内核例程，不要例程中的删除启动文件。

以下是一个套壳的流程：

Import 例程；

导入例程之后，删除例程中不需要的应用层源码（也可以不删除，注释掉程序入口函数就行）；
导入我们的工程源码；

上述操作完毕后，请进行编译测试。

建立工程间的代码连接

对于一份源码，我们常常需要建立 VS 工程（验证程序正确性），IAR工程（看 Profile）和 ADS（对 arm有更好的支持）工程。在这种情况下，如果对于工程源码很大的情况下，拷贝相同的代码来创建工程这就会变得十分冗余，且各工程间的修改并不同步。

所以在 ADS 中，我们就需要使用下面的方法来避免上述情况。

这一步是发生在导入文件的过程中，在导入源码文件时我们需要点击下方的 “Create links in workspace”，以此来建立 ADS 工程对源码的链接。如此之后，ADS 共在其 workspace 中创建与源码相同的源码文件目录，但其中并无文件。因为 “Create links in workspace” 已将代码连接到我们原始代码文件夹中。

这样我们既减小了由于创建多个工程造成的代码冗余，又避免了多个工程中的代码不同步的情况。

可以看到下图中的目录为，源码工程文件夹下的目录文件。同时其中包含了 IAR、VS、ADS 等工程文件。

音视频笔记｜运动估计 ME 源码简要分析（上）

2023-04-16T05:26:42.000Z

前言

运动估计在分别会在 lookahead 阶段和后续编码阶段被使用，但两者使用的方法并不相同。本文将介绍编码阶段的 ME 进行讨论，下文将对 lookahead 阶段的 ME 进行介绍。

运动估计是帧间预测阶段的核心部分，它通过比较当前帧与先前帧之间的相似性，来确定宏块（Macroblock）或子宏块（Sub-macroblock）之间的运动矢量。运动估计可以有效地消除时间冗余，从而降低编码后的比特率，提高编码效率。x264中的运动估计算法有很多种，包括钻石搜索（Diamond Search），六边形搜索（Hexagon Search）和不对称交叉多六边形搜索（Uneven Multi-Hexagon Search）等。

ME 相关知识

宏块的运动补偿

宏块（Macroblock）是帧中 16x16 大小的区域，它是包括 MPEG-1、MPEG-2、MPEG-4 Visual、H.261、H.262、H,264 在内的很多视频编码标准的运动补偿预测的基本单元。

在常见的 YUV 4:2:0 图像编码格式中，一个宏块由：

64 个红色色差采样构成，这些采样组成 1 个 8x8 的采样块；
64 个红色色差采样构成，这些采样组成 1 个 8x8 的采样块；
64 个蓝色色差采样构成，这些采样组成 1 个 8x8 的采样块；

即一共 6 个采样块，示意图如下：

宏块的运动估计，主要是寻找参考帧中和当前宏块匹配的 16x16 采样区域。参考帧是先前就编码好的一个帧，在时间维上，参考帧可以在过去或者未来。参考帧中以当前宏块为中心的区域被搜索，寻找最佳匹配。

最佳匹配的照度、色差采样，被从当前宏块中减去，这样就产生了一个残余宏块。残余宏块与标示了最佳匹配区域和当前宏块的相对位移的 移动向量 一起编码并传输。

在上述基本的运动估计、运动补偿的基础上，有很多变体的算法：

如果使用了未来的帧作为参考帧，则未来的帧必须在当前帧之前编码，也就是帧的编码必须是乱序的；
当参考帧和当前帧的差异非常大时，不使用运动补偿可能更加高效，编码器可能选择使用帧内预测；
视频中的移动物体很少能恰恰匹配16x16的边缘，因此使用可变大小的块往往更加高效；
物体移动的距离可能不是整像素，例如物体可能在水平方向移动3.83像素的距离。因此一个好的预测算法会在搜索最佳匹配之前在参考帧中，在次像素级别进行插值。

Preset 与 ME

笔者本以为在 ultrafast 等较快的 Preset 模式下 ME 是不会开启的，但后来翻看源码发现：在所有 Preset 模式下都会启用，同时会根据 Preset 档次来选择对应的 ME 算法（diamon，haxgon，umh 等）

AQ（Adopt Quatinazation, 自适应量化）在除 ultrafast （禁用 AQ 降低复杂度）以外的所有 Preset 下都会开启。

源码中调用位置

slices_write()

**slice_write()**（主要是slice，不是复数）

x264_macroblock_analyse() - 【slice_write() / analyse.c】

mb_analyse_inter_p16x16()【P 帧为例】

x264_me_search_ref【mb_analyse_inter_b16x16】

以上便是ME在源码中的函数调用位置。

由于笔者在此阶段也只是简略进行分析，如有疏漏请欢迎指正！

音视频笔记｜H264 基础原理介绍

2022-11-11T08:26:30.000Z

一、视频压缩基础

1.1 压缩基本概念

编码的目的是为了压缩，编码是一种压缩技术方法；
编码的作用就是压缩数据和统一格式；
视频压缩原理——数据冗余
- 空间冗余：图像相邻像素之间有较强的相关性
- 时间冗余：相邻前后帧图像内容相似
- 视觉冗余：人眼对某些细节不敏感，对图像中高频信息的敏感度小于低频信息，故可以适当剔除高频信息
- 编码冗余（信息熵冗余）：一幅图像中不同像素出现的概率不同，对出现次数较多的像素用少的位数编码以此来减小编码大小（哈夫曼编码）

1.2 封装格式

封装格式也叫容器，就是将已经编码压缩好的视频轨和音频轨按照一定的格式放到一个文件中；
他是一个外壳容器，常见的格式（后缀名）有 mp4、mov、avi、mkv 等；

1.3 常见视频压缩算法

二、H264 编码概述

2.1 YUV 图像

YUV 是一种色彩编码模型，也叫做 YCbCr，其中 “Y” 表示明亮度（Luminance），“U” 和 “V” 分别表示色度（Chrominance）和浓度（Chroma）

其实亮度 Y 也可以理解成 RGB 图像中的灰度值。YUV 颜色空间主要在多媒体流中使用较多。YUV 空间最大的特点就是图像的亮度 Y 和色度 UV 是分离的。通常人对色度 UV 的敏感性要小于对亮度 Y 的敏感性。所以通常都会对 UV 进行压缩，甚至没有UV分量一样可以显示完整的图像。当只有 Y 分量的时候，图像表示为灰度图。

2.2 I 帧 P 帧 B 帧

在 H264 协议中定义了三类帧

I 帧：关键帧（包含完整的画面数据），仅由帧内预测的宏块组成，采用 帧内压缩 技术。
P 帧：预测帧，向前参考帧，在压缩时，只参考前面已经处理的帧。
B 帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧。采用帧间压缩技术。

2.3 GOP 图像组

GOP（Group of picture）是指两个 IDR 帧之间的一组画面组。

两个 I 帧之间是一个图像序列，在一个图像序列中只有一个I帧。如下图所示：

2.4 IDR 立即刷新图像

在 H.264 中，图像以序列为单位进行组织。一个序列的第一个图像叫做 IDR 图像（立即刷新图像），IDR 图像都是 I 帧图像。H.264 引入 IDR 图像是为了解码的重同步，当解码器解码到 IDR 图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里可以获得重新同步的机会。IDR 图像之后的图像永远不会使用IDR之前的图像的数据来解码。IDR 图像一定是 I 图像，但 I 图像不一定是 IDR 图像。I 帧之后的图像有可能会使用I帧之前的图像做运动参考。

IDR 帧的性质是，比如第 1000 帧是 IDR 帧，那么这一帧相当于一个分水岭，从 1001 帧开始，所有的帧都不能再参照1000帧之前的帧。

视频开头的 I 帧一定是 IDR 帧

GOP 越大，编码的 I 帧就越少，相对而言 P、B 帧的压缩效率就越高。

2.5 H264 画质级别

H.264有四种画质级别,分别是baseline, extended, main, high：
　　1、Baseline Profile：基本画质。支持I/P 帧，只支持无交错（Progressive）和CAVLC；
　　2、Extended profile：进阶画质。支持I/P/B/SP/SI 帧，只支持无交错（Progressive）和CAVLC；(用的少)
　　3、Main profile：主流画质。提供I/P/B 帧，支持无交错（Progressive）和交错（Interlaced），
　　　也支持CAVLC 和CABAC 的支持；
　　4、High profile：高级画质。在main Profile 的基础上增加了8x8内部预测、自定义量化、无损视频编码和更多的YUV 格式；
H.264 Baseline profile、Extended profile和Main profile都是针对8位样本数据、4:2:0格式(YUV)的视频序列。在相同配置情况下，High profile（HP）可以比Main profile（MP）降低10%的码率。
根据应用领域的不同，Baseline profile多应用于实时通信领域，Main profile多应用于流媒体领域，High profile则多应用于广电和存储领域。

三、H264 编码流程

3.1 宏块划分/ 扫描

视频以宏块为单元，宏块越大视频文件越小；
视频的本质是宏块的运动；
在H.264 中，句法元素共被组织成序列、图像、片、宏块、子宏块五个层次

对一个 YUV 图像来说，可以划分为一个个 16x16 的宏块。

H264 默认是使用 16X16 大小的区域作为一个宏块，也可以划分成 8X8 大小。

划分好宏块后，计算宏块的象素值

划分子块

H264对比较平坦的图像使用 16X16 大小的宏块。但为了更高的压缩率，还可以在 16X16 的宏块上更划分出更小的子块。子块的大小可以是 8X16､ 16X8､ 8X8､ 4X8､ 8X4､ 4X4非常的灵活。

3.2 帧分组

1、分组：把几帧图像分为一组（GOP，也就是一个序列），为防止运动变化，帧数不宜取多
2、定义帧：将每组内各帧图像定义为三种类型，即 I 帧、B帧和P帧
3、预测帧：以帧作为基础帧，以帧预测P帧，再由 I 帧和P帧预测B帧
4、数据传输：最后将 I 帧数据与预测的差值信息进行存储和传输

通过宏块扫描与宏块搜索可以发现这两个帧的关联度是非常高的。进而发现这一组帧的关联度都是非常高的。因此，上面这几帧就可以划分为一组。其算法是：在相邻几幅图像画面中，一般有差别的像素只有10%以内的点,亮度差值变化不超过2%，而色度差值的变化只有1%以内，我们认为这样的图可以分到一组。

在这样一组帧中，经过编码后，我们只保留第一帖的完整数据，其它帧都通过参考上一帧计算出来。我们称第一帧为IDR／I帧，其它帧我们称为P／B帧，这样编码后的数据帧组我们称为 GOP。

3.3 帧间压缩（运动估计与补偿）

帧间压缩(Interframe compression)也称为时间压缩(Temporal_compression)，是基于许多视频或动画的连续前后两帧具有很大的相关性(即连续的视频其相邻帧之间具有冗余信息)的特点来实现的；通过比较时间轴上不同帧之间的数据实施压缩，进一步提高压缩比。

在视频中，帧内压缩就是压缩 GOP 图像组中的 B 帧与 P 帧。

H264 编码器首先按顺序从缓冲区头部取出两帧视频数据，然后进行宏块扫描。当发现其中一幅图片中有物体时，就在另一幅图的邻近位置（搜索窗口中）进行搜索。如果此时在另一幅图中找到该物体，那么就可以计算出物体的运动矢量了。

运动矢量计算出来后，将相同部分（也就是绿色部分）减去，就得到了补偿数据。我们最终只需要将补偿数据进行压缩保存，以后在解码时就可以恢复原图了。压缩补偿后的数据只需要记录很少的一点数据。

我们把运动矢量与补偿称为帧间压缩技术，它解决的是视频帧在时间上的数据冗余。除了帧间压缩，帧内也要进行数据压缩，帧内数据压缩解决的是空间上的数据冗余。

帧间压缩的主要过程先进行宏块查找，寻找出残差值，进行运动矢量计算，最后通过残差值和运动矢量推算出下一帧的数据。

残差值是指帧之间有差别的部分；

帧间压缩 (Interframe compression) 也称为时间压缩 (Temporal_compression)，是基于许多视频或动画的连续前后两帧具有很大的相关性(即连续的视频其相邻帧之间具有冗余信息)的特点来实现的；通过比较时间轴上不同帧之间的数据实施压缩，进一步提高压缩比。

3.4 帧内预测

人眼对图象都有一个识别度，对低频的亮度很敏感，对高频的亮度不太敏感。所以基于一些研究，可以将一幅图像中人眼不敏感的数据去除掉。这样就提出了帧内预测技术。

H264的帧内压缩与JPEG很相似。一幅图像被划分好宏块后，对每个宏块可以进行 9 种模式的预测。找出与原图最接近的一种预测模式。

帧内（Intraframe）压缩也称为空间压缩（Spatial compression）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，达不到很高的压缩比。

在视频中，帧内压缩就是压缩 GOP 图像组中的 I 帧/ IDR帧(属于I帧)。

帧内压缩是空域，在空间XY轴进行压缩，进行压缩参考本帧数据，压缩率较小。

帧内预测后的图像与原始图像的对比如下：

然后，将原始图像与帧内预测后的图像相减得残差值。

再将我们之前得到的预测模式信息一起保存起来，这样我们就可以在解码时恢复原图了。效果如下：

经过帧内与帧间的压缩后，虽然数据有大幅减少，但还有优化的空间。

帧内压缩与帧间压缩都属于有损压缩。
视频花屏的产生原因：一组 GOP 中有帧丢失，主要是 P 帧和 B 帧的丢失，这样残差值和运动矢量也会丢失，造成了当前帧解码失败，就会出现花屏。
视频卡顿的原因：当有帧丢失，就丢弃 GOP 内所有帧，直到下一个 I 帧出现，重新刷新图像。I 帧是 GOP 的第一帧，时间周期可能长，等待下一个 I 帧来之前的这段时间，就会出现卡顿。
这两者是不能同时兼顾的，比如微信视频通话没有花屏，但是会出现卡顿。一般视频录制的时候一般会有花屏，但不会出现卡顿。

3.5 DCT 和量化

对残差数据做 DCT

可以将残差数据做整数离散余弦变换，去掉数据的相关性，进一步压缩数据

将残差数据宏块进行 DCT 转换。

变换是视频、图像编码的核心部分。目前所采用的变换算法都是从傅里叶变换演变而来。

单纯的变换并不会导致视频（图像）的码率变小，反而会增大。

但是非常巧妙的一点是：变换把图像从空域转换成的时域，把由色块组成的图像变为由基准色调与图像细节组成；低频代表图片的基准色调，高频代表图像细节，类比电路中的基频与谐波。变换会使得图像的低频系数集中于某一点（左上角），频率向右下角递增。

一般来说，4x4大小的图像大多只是颜色平缓的色块，不会有太多的细节，因此低频系数会较大，而高频系数较小。另外，人的眼睛对于高频系数，即图像细节，并不会特别敏感。因此，通过量化可以去掉很大一部分小的高频系数。

量化是使数据比特率下降的有效工具。量化过程的输入值动态范围很大，需要较多的比特才能表示一个数值，量化后的输出则只需要较小比特表示。
量化是不可逆过程，处理过程中有信息丢失，存在量化误差。

H.264采用标量量化技术，它将每个图像样点编码映射成较小的数值。一般标量量化器的原理为：
F Q = r o u n d ( y / Q P ) FQ=round(y/QP)FQ=round(y/QP)
其中，y 为输入样本点编码，QP 为量化步长，FQ 为 y 的量化值，round()为取整函数（其输出为与输入实数最近的整数）

在量化和反量化过程中，量化步长 QP 决定量化器的编码压缩率及图像精度。如果 QP 比较大，则量化值 FQ 动态范围较小，其相应的编码长度较小，数据压缩率高但会损失较多的图像细节信息；如果QP 比较小，则 FQ 动态范围较大，相应的编码长度也较大，但图像细节信息损失较少。编码器根据图像值实际动态范围自动改变 QP 值，在编码码率和图像精度之间折衷，达到整体最佳效果。

3.6 熵编码

经过 ZigZag 扫描后，一连串的数字的最后大部分为 0，以及一些 +1,-1。针对这一系列的数字，从概率的角度，再进行一次编码，这个过程称之为熵编码。

熵编码主要分为 CAVLC，和 CABAC，分别代表基于上下文的自适应可变长编码和基于上下文的自适应二进制算术编码。

3.6.1 CAVLC

请参考下述文章

编码原理（五）–熵编码–CAVLC

非零系数的数目（TotalCoeffs）: 代表 ZigZag 扫描后序列中非 0 值的个数；
拖尾系数的数目（TrailingOnes）:指 Z 扫描后，末尾高频信号中出现连续1或-1的个数（中间可以隔任意多个0），拖尾系数最多有5个。当连续1或-1的个数超过3个，只有最后3个1或-1是拖尾系数，其他的当作普通的非零系数。
TotalZeros: 最后一个非零系数前零的数目；
nC：用来决策 coeff 如何编码的变量；
ZerosLeft: 当前系数之前所有的 0 的个数；
RunBefore: 紧邻当前系数的0的个数；

利用相邻已编码符号所提供的相关性，为索要编码的符号选择合适的上下文模型。

利用合适的上下文模型，就可以大大降低符号间的冗余度。

TotalCoeffs 和 TrailingOnes 通过查表方式进行编码，H.264 针对 TotalCoeffs 和 TrailingOnes，提供了 4 张变长表和 1 张定长表（部分见附表9-5）。

编码表的选择是由NC确定的，NC的值是由上下文信息确定的。对于色度直流信号，NC=-1；对于其他的NC，根据当前块左边4x4块和上面4x4块的非零系数的个数A和B决定。如表一：其中X表示该块与当前块属于同一slice且可用。根据NC选择编码表的策略如表二：

非零系数主要集中在低频部分，高频系数大部分为零，量化后经过 zig-zag 编码。
非零系数的幅值通常在靠近DC（即直流分量）部分较大，而在高频部分较小；
上下文模型主要体现在：非零系数编码所需表格和拖尾系数后缀长度的更新。
CAVLC 以 zig-zag 顺序用于对变换后的残差块进行编码。
CAVLC 是 CABAC 的替代品，虽然其压缩效率不如 CABAC，但 CAVLC 实现简单，并且在所有的 H.264 profile 中都支持。
通过根据已编码句法元素的情况动态调整编码中使用的码表，取得了极高的压缩比。

3.6.2 CABAC

http://lazybing.github.io/blog/2017/09/12/video-coding/

四、H.264 码流分层

4.1 VCL & NAL

H.264 的功能分为两层，即视频编码层（VCL）和网络提取层（NAL，Network Abstraction
Layer）。
VCL Layer 將 vidoe image 分割為許多的 slices，這此slice在分成許多的NALU傳送出去
VCL 数据即编码处理的输出，它表示被压缩编码后的视频数据序列。在 VCL 数据传输或存
储之前，这些编码的 VCL 数据，先被映射或封装进 NAL 单元中。
每个 NAL 单元包括一个原始字节序列负荷（RBSP）、一组对应于视频编码数据的 NAL 头信息。
NAL 单元序列的结构见图 6.6
切片头：包含了一组片的信息，比如片的数量，顺序等等

H.264从层次来看分为两层：视频编码层（VCL， Video Coding Layer）和网络提取层（NAL，Network Abstraction Layer）。VCL输出的是原始数据比特流（SODB，String of data bits），表示H.264的语法元素编码完成后的实际的原始二进制码流。

SODB通常不能保证字节对齐,故需要补齐为原始字节序列负荷（RBSP，Raw Byte Sequence Payload）。NAL层实际上就是最终输出的H.264码流，它是由一个个NALU组成的，每个NALU包括一组对应于视频编码数据的NAL头信息和一个原始字节序列负荷（RBSP，Raw Byte Sequence Payload）。以上名词之间的关系如下：

1
2
3

RBSP = SODB + RBSP trailing bits
NALU = NAL header(1 byte) + RBSP
H.264 = Start Code Prefix(3 bytes) + NALU + Start Code Prefix(3 bytes) + NALU +…

所以H.264码流的结构如下：

NALU (Nal Unit) = NALU头 + RBSP 在 VCL

数据传输或存储之前，这些编码的 VCL 数据，先被映射或封装进 NAL 单元(以下简称 NALU，Nal Unit) 中。每个 NALU 包括一个原始字节序列负荷(RBSP, Raw Byte Sequence Payload)、一组对应于视频编码的 NALU 头部信息。RBSP 的基本结构是:在原始编码数据的后面填加了结尾比特。一个 bit“1”若干比特“0”，以便字节对齐。

一个原始的 H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成。

StartCode : Start Code 用于标示这是一个NALU 单元的开始，必须是”00 00 00 01” 或”00 00 01”（Annex B码流格式才必须是”00 00 00 01” 或”00 00 01”）

下表为 NAL Header Type

4.2 码流格式

H.264 标准中指定了视频如何编码成独立的包，但如何存储和传输这些包却未作规范，虽然标准中包含了一个 Annex 附件，里面描述了一种可能的格式 Annex B，但这并不是一个必须要求的格式。
为了针对不同的存储传输需求，出现了两种打包方法。一种即 Annex B 格式，另一种称为 AVCC 格式。

Annex B
从上文可知，一个 NALU 中的数据并未包含他的大小（长度）信息，因此我们并不能简单的将一个个 NALU 连接起来生成一个流，因为数据流的接收端并不知道一个 NALU 从哪里结束，另一个 NALU 从哪里开始。
Annex B格式用起始码（Start Code）来解决这个问题，它在每个 NALU 的开始处添加三字节或四字节的起始码 0x000001 或 0x00000001。通过定位起始码，解码器就可以很容易的识别NALU的边界。
当然，用起始码定位NALU边界存在一个问题，即NALU中可能存在与起始码相同的数据。为了防止这个问题，在构建 NALU时，需要将数据中的0x000000，0x000001,0x000002,0x000003 中插入防竞争字节（Emulation Prevention Bytes) 0x03，使其变为：
0x000000 = 0x0000 03 00
0x000001 = 0x0000 03 01
0x000002 = 0x0000 03 02
0x000003 = 0x0000 03 03
解码器在检测到 0x000003 时，将 0x03 抛弃，恢复原始数据。

由于 Annex B 格式每个 NALU 都包含起始码，所以解码器可以从视频流随机点开始进行解码，常用于实时的流格式。在这种格式中通常会周期性的重复 SPS 和PPS，并且经常时在每一个关键帧之前。

4.3 H264的传输

H264是一种码流 类似与一种不见头，也不见尾的一条河流。如何从和流中取到自己想要的数据呢，

在H264的标砖中有这样的一个封装格式叫做”Annex-B”的字节流格式。它是H264编码的主要字节流格式。

几乎市面上的编码器是以这种格式进行输出的。起始码 0x 00 00 00 01 或者 0x 00 00 01 作为分隔符。

两个 0x 00 00 00 01之间的字节数据是表示一个NAL Unit

宏快作为压缩视频的最小的一部分，需要被组织，然后在网络之间做相互传输。

如果单纯的用宏快来发送数据是 杂乱无章 的，就好像在没有 集装箱 出现之前，货物总是随意被堆放到船上。

上货（编码），下货是非常痛苦的。当集装箱出现之后，一切都发生了改变，传输效率大大增高。

集装箱可以理解成 H264编码标准，他制定了相互传输的格式，将宏快有组织，有结构，有顺序的形成一系列的码流。这种码流既可通过 InputStream 网络流的数据进行传输，也可以封装成一个文件进行保存。

参考引用

[1] YUV图像处理入门1

[2] H264编码(帧内预测)

[3] H.264编码profile & level控制

[4] 帧内压缩与帧间压缩

[5] H.264分层结构与码流结构

[6] H.264中普通I帧和IDR帧究竟有什么区别

[7] 运动补偿与运动估计

[8] Color Formats – equasys GmbH

[9] h264

[10] Introduction to H.264: (2) SODB vs RBSP vs EBSP

[11] H.264基本原理与编码流程

[12] 【知识点】H264, H265硬件编解码基础及码流分析

[13] [Media] 影音傳輸-基礎知識_GOP/视频基础

[14] 深入讲解音视频编码原理，H264码流详解——手写H264编码器

[15] 编码原理（四）—ZIGZAG扫描

[16] 一文搞懂H264量化原理以及计算过程

DSP 学习笔记｜（七）HiFi 汇编说明

2022-11-06T12:17:38.000Z

一、储备知识

汇编构成

基本上 assembly source 由以下三个部分組成，

instruction set
assembler syntax
directive

Instruction set 基本上对于相同的 CPU 来说是固定的，比较不会随着 assembler 不同。

每個 CPU 可能會有不同 version 的 instruction set architecture (ISA) 如，

ARMv6
ARMv7-A
ARMv7-M
MIPS32r2 等等，及每一個 version 可能有不同的 extension 如，
Thumb2
Neon

Assembler syntax 每個不同的 assembler 會有一些自訂的語法，如 symbol 的標記方式、 include header 、如何宣告資料、註解格式等，請參閱各自的 toolchain 的說明文件。

调用约定

理解汇编首先且最重要的事就是明白汇编代码与代码之间是如何交互的。函数如何调用其他函数。包括参数是如何传递给函数，及函数返回值是如何返回的。

这些事情执行的过程与实现被称为调用约定（Calling Conventions）。编译器必须遵循它预定义的标准，这样才能让编译后的代码能和其他不同编译器编译出的代码能够交互。没有标准，编译器能编译出不相配的代码。

如上讨论，寄存器是和 CPU 联系非常紧密的一小块内存，经常用于存储一些正在使用的数据。

函数的调用过程中有两个参与者，一个是调用方 caller，另一个是被调用方 callee。
调用约定规定了 caller 和 callee 之间如何相互配合来实现函数调用，具体包括的内容如下：
函数的参数存放在哪的问题。是放在寄存器中？还是放在栈中？放在哪个寄存器中？放在栈中的哪个位置？
函数的参数按何种顺序传递的问题。是从左到右将参数入栈，还是从右到左将参数入栈？
返回值如何传递给 caller 的问题。是放在寄存器里面，还是放在其他地方？

ARM处理器有16个寄存器，从r0到r15，每一个都是32位比特。调用约定指定他们其中的一些寄存器有特殊的用途，例如：

r0-r3：用于存放传递给函数的参数；
r4-r11：用于存放函数的本地参数；
r12：是内部程序调用暂时寄存器。这个寄存器很特别是因为可以通过函数调用来改变它；
r13：栈指针sp(stack pointer)。在计算机科学内栈是非常重要的术语。寄存器存放了一个指向栈顶的指针。看这里了解更多关于栈的信息；
r14：是链接寄存器lr(link register)。它保存了当目前函数返回时下一个函数的地址；
r15：是程序计数器pc(program counter)。它存放了当前执行指令的地址。在每个指令执行完成后会自动增加；

你可以在 ARM 文档里了解更多关于 ARM 调用约定的信息。苹果也在文档【iOS开发调用约定】内有做过详细描述。

二、汇编指示（assembly directive）

类似 _main: 或Ltmp0: 的形式被称之为标签（label）, 用于辅助定位代码或者资源地址, 便于开发者理解和记忆；
类似 pushq 或 movq的形式被称之为汇编指令, 它们会被汇编器编译为机器代码, 最终被 CPU 所执行；
类似 .section 或 .globl 等以 . 开头的形式被称之为编译器指令（assembly directive）, 用于告知编译器相关的信息或者进行特定操作。他们不是汇编指令而是作用于汇编器的，可以忽略所有这样的代码；
关于 directive 和 instruction 这两个词的区别，前者翻译为指示，后者翻译成指令。因为一般 directive 并不会产生代码而是指示编译器的一些行为，而 instruction 则会产生实际的代码；

.loc 5 76 49

**eg. **

说明：

fileno : 文件描述符
lineno : 行号
colum：列数（操作符的位置）

.literal_position

eg.

说明：

.p2align

eg.

说明：

p2align 3 表示 2 的 3 次幂 = 8

p2align 2 表示 2 的 2 次幂 = 4

函数名_

eg.

编译器通常在函数名的前面添加一个下划线。

.cfi_startproc

eh_frame：GCC Exception Frame，也就是eh_frame。这里提到 eh_frame 是 dwarf 调试信息的变体（variant）。eh_frame 段中存储着跟函数入栈相关的关键数据。当函数执行入栈指令后，在该段会保存跟入栈指令一一对应的编码数据，根据这些编码数据，就能计算出当前函数栈大小和cpu的哪些寄存器入栈了，在栈中什么位置。

.cfi_def_cfa

.cfi_def_cfa_offset

prologue_end

.type

eg.

汇编里面所有以 : 结尾的都会视为标签 ( label )，在这里我们定义一个叫做 main 的标签，并且使用 .type 伪指令定义这个标签的类型是一个函数(function)，到此我们就定义了我们的 main 函数。

说明：

.Ltmp：

标签，不是指令。是这部分的汇编代码名字。

is_stmt

此选项会将 .debug_line 状态机中的 is_stmt 寄存器设置为 value，该值必须为 0 或 1。

L32R

L32R 指令从指定地址加载 32 位值。因此，“l32r a2，2ec8” 将地址 0x2ec8 处的 32 位值加载到寄存器 a2 中。

L. 本地标签

eg.

所有以 L. 开头的都为本地标签，这些标签只能用于函数内部。

[Ⅱ *1+0]

eg.

[Ⅱ * 1 + 0]

Ⅱ：数字乘以 II 符号表示正在执行的迭代；

1：乘 1 代表在第二次迭代中的运算，乘 0 就代表在第一次迭代中的运算；

0：最后的数字代表该指令处于第几个 cycle 中。

指示参考表（节选）

GNU Assembler Directive	Note
.text	Tells `as` to assemble the following statements onto the end of the text subsection numbered subsection, which is an absolute expression. If subsection is omitted, subsection number zero is used.
.file	`.file` (which may also be spelled `.app-file') tells` as`that we are about to start a new logical file. string is the new file name. In general, the filename is recognized whether or not it is surrounded by quotes`“‘;
.globl	`.global` makes the symbol visible to `ld`. If you define symbol in your partial program, its value is made available to other partial programs that are linked with it. Otherwise, symbol takes its attributes from a symbol of the same name from another file linked into the same program.
.p2align	Pad the location counter (in the current subsection) to a particular storage boundary. The first expression (which must be absolute) is the number of low-order zero bits the location counter must have after advancement. For example `.p2align 3’ advances the location counter until it a multiple of 8. If the location counter is already a multiple of 8, no change is needed.
.section	Use the `.section` directive to assemble the following code into a section named name.
.asciz	`.asciz` is just like `.ascii`, but each string is followed by a zero byte. The “z” in `.asciz’ stands for “zero”.

三、调用约定

调用约定，即调用 Call0 ABI 和窗口 ABI，在 Xtensa Instruction Set Architecture (ISA) Reference Manual 中进行了更广泛的描述。

Application Binary Interface (ABI) 应用程序二进制接口；
对于窗口 ABI，入口点上的第一个指令是一个入口指令，它被一个 CALLN 或 CALLXN 指令调用（其中 N 是 4、8 或 12）；
第二个入口点总是实现调用 call0 ABI，入口点将用 CALL0 指令调用，并将使用 RET 指令返回。

eg.

👇 call4，call8，call12 列对应窗口 ABI

参考资料

[1] Optimizing Code for HiFi Audio Engines

[2] Using as（The GNU Assembler）

[3] Xtensa® System Software Reference Manual

[4] arm汇编指令_iOS汇编ARM教程

[5] C程序设计语言的汇编解释（第一章节，一些实例）

[6] ARM汇编入门指南

[7] What is the difference between an instruction and a directive in assembly language?

[8] Reading assembly code

[9] x86_64汇编之四：函数调用、调用约定

[10] 函数调用时栈是如何变化的？

DSP 学习笔记｜（六）DSP 中的定点 & 浮点

2022-11-06T09:09:54.000Z

DSP 中的定点与浮点转换

许多 DSP 都是定点 DSP，处理定点数据会相当快，但是处理浮点数据就会非常慢。可以利用 Q 格式进行浮点数据到定点的转化，节约 CPU 时间。实际应用中，浮点运算大都时候都是既有整数部分，也有小数部分的。所以要选择一个适当的定标格式才能更好的处理运算。

Q 格式表示为：Qm.n，表示数据用 m 比特表示整数部分，n 比特表示小数部分，共需要 m+n+1 位来表示这个数据，多余的一位用作符合位。假设小数点在 n位的左边（从右向左数），从而确定小数的精度

例如 Q15 表示小数部分有 15 位，一个 short 型数据，占 2 个字节，最高位是符号位，后面 15 位是小数位，就假设小数点在第 15 位左边，表示的范围是：-1 < X < 0.9999695 。

浮点数据转化为 Q15，将数据乘以 2^15；Q15 数据转化为浮点数据，将数据除以 2^15。

例如：假设数据存储空间为 2 个字节，0.333×2^15=10911=0x2A9F，0.333 的所有运算就可以用 0x2A9F 表示，同理 10911×2^(-15)=0.332977294921875，可以看出浮点数据通过 Q 格式转化后是有误差的。

例：两个小数相乘，0.333*0.414=0.137862

　　0.333 * 2^15=10911=0x2A9F，0.414 * 2^15=13565=0x34FD

　　short a = 0x2A9F;

　　short b = 0x34FD;

　　short c = a * b >> 15;　　// 两个 Q15 格式的数据相乘后为 Q30 格式数据，因此为了得到 Q15 的数据结果需要右移 15 位

这样 c 的结果是 0x11A4 = 0001000110100100，这个数据同样是 Q15 格式的，它的小数点假设在第 15 位左边，即 0.001000110100100 = 0.1378173828125… 和实际结果 0.137862 差距不大。或者 0x11A4 / 2^15 = 0.1378173828125

Q 格式的运算

定点加减法：须转换成相同的 Q 格式才能加减
定点乘法：不同 Q 格式的数据相乘，相当于 Q 值相加，即 Q15 数据乘以 Q10 数据后的结果是 Q25 格式的数据
定点除法：不同 Q 格式的数据相除，相当于 Q 值相减
定点左移：左移相当于 Q 值增加
定点右移：右移相当于 Q 减少

Q 格式的应用格式

实际应用中，浮点运算大都时候都是既有整数部分，也有小数部分的。所以要选择一个适当的定标格式才能更好的处理运算。一般用如下两种方法：

使用时使用适中的定标，既可以表示一定的整数复位也可以表示小数复位，如对于 2812 的 32 位系统，使用 Q15 格式，可表示－65536.0～65535.999969482 区间内的数据。
全部采用小数，这样因为小数之间相乘永远是小数，永远不会溢出。取一个极限最大值（最好使用 2 的 n 次幂），转换成 x/Max 的小数（如果 Max 是取的 2 的 n 次幂，就可以使用移位代替除法）。

其他资料

支持浮点运算的DSP就是浮点DSP芯片，在这种片子上可以自由进行小数运算。而在定点DSP上是不能直接进行小数运算的，需要先给数值定标，且这个小数点不可移动。

因此，定点DSP完成小数运算时，编程稍微复杂一点。速度肯定就不如浮点的片子了。

参考资料

关于 valine 评论插件失效记录

2022-07-30T00:48:14.000Z

问题描述

博客底部的 valine 评论插件无法正常显示。

问题分析

在使用 F11 打开网页控制窗口，可以看到 valine 相关的连接出错。

ERR_CONNECTION_REFUSED 问题

判断是否为 DNS 劫持的方法

ping 自己的 REST API 服务器地址（xxxxx 为自己 AppID 的前 8 位字符）
（如果 ping xxxxxxxx.api.lncldglobal.com 域名指向 127.0.0.1 可能是 DNS 劫持）

解决方法

修改 DNS

参考引用

[1] Hexo使用国际版LeanCloud Valine评论连接失败

[2] 国际版域名问题 #340

[3] 关于时区的一个问题 #63

[4] LeanCloud-Valine出现ERR_CONNECTION_REFUSED问题

DSP 学习笔记 |（五）HiFi 4 User's Guide 笔记

2022-07-24T01:49:09.000Z

本文笔记整理摘自《HiFi4 DSP User’s Guide》。

先导阅读手册：

一、 HiFi 4 概述

Cadence HiFi ：Cadence Tensilica HiFi DSP 架构，用于音频解码
Tensilica：嵌入式处理器公司，已被芯片 EDA 巨头 Cadence 收购
Xtensa：DSP 处理器核心，也是该系列的型号名称，也是该处理器中指令集架构的名称
HiFi：特指 32 位音频/语音处理数字信号处理 (DSP) 核，基于 Xtensa® 架构

1.1 HiFi 4 特点

HiFi 4 DSP 是一个高性能的嵌入式数字信号处理器，专门为音频和语音处理进行了优化。

HiFi 4 DSP 由三个主要部件组成：

一个 DSP 子系统；
一个可选的单精度浮点单元；
一个协助比特流访问和变长（Huffman）编解码的子系统。

HiFi 4 DSP 是一个 VLIW 架构，支持并行执行四个操作。
DSP 的读取、比特流和 Huffman 操作以及核心操作都可以在 VLIW 指令的 0 槽和 1 中，存储仅在槽 0 中可用。DSP MAC、ALU 和可选的浮点操作通常在槽 2 和槽 3 中进行。
HiFi 4 DSP 是建立在 Xtensa RISC 架构的基础上，它实现了丰富的通用标量指令集，为高效的嵌入式处理进行了优化。
由 Cadence 提供的音频包不使用 DMA。因此，大多数客户要么使用缓存，要么使本地存储器足够大以覆盖所需的应用。

1.2 寄存器

AE_DR 寄存器

HiFi 4 DSP 包含一个 16 进制 64 位寄存器 AE _ DR。
当寄存器被存储到内存中时，寄存器的较高一半总是存储在较低的内存地址中，并从较低的内存地址加载。寄存器的单独的一半或四分之一始终是单独的数据项。例如，如果将 32 位元素向左移动，则 L 元素不会溢出到高位元素中

AE_EP 寄存器

HiFi 4 DSP 支持一个 4 进制、8 位的额外精度寄存器 AE_EP。
该寄存器的访问时间比 AE_D R寄存器晚一个周期。

AE_VALIGN 寄存器

HiFi 4 DSP 支持一个 4 进制、64 位的对齐寄存器 AE_VALIGN。
使用这个寄存器允许硬件以每周期 64 位的速度加载或存储非 64 位对齐的 SIMD 流位/周期。
对齐的加载和存储只存在于槽0中，所以不可能同时发出这些指令。

1.3 操作助记符

1.4 定点数及其运算

一个定点数的数据类型 m.n 包含一个符号位，在小数点的左边有m-1位，在小数点的右边有n位。

当表示为一个二进制的时候，最不重要的 n 位是小数部分，最重要的 m 位是整数部分。

1.5 VLIW 槽及格式

HiFi 4 DSP 可以在一个 88 位的指令束中发出 4 个操作，或在一个 48 位的指令束中发出 2 个操作。使用 Xtensa LX FLIX (VLIW) 技术，HiFi 4 DSP 支持几种不同的格式，有不同的插槽限制。每条指令都属于一种格式，但不同的格式可以在一条指令中打包不同数量的操作。

第一个插槽支持标量与矢量的 读取与写入，以及 标量 Xtensa 操作；
第二个插槽支持标量与矢量的 读取与写入，以及 矢量 Xtensa 操作；
最后两个插槽主要支持 矢量逻辑运算 与 矢量乘法运算。

对于可选择的浮点单元来说，大多数浮点操作都可在 slot 3 和 slot 4 中进行。

在优化 HiFi 4 DSP 代码中理解开槽的概念是十分重要的。循环通常受到只能进入一个或另一个槽的操作的限制。例如，每个周期不可能发出一个以上的（可能的SIMD）存储。如果一个循环被一个槽中的操作所限制，那么试图优化另一个槽中的操作就没有意义了。

二、DSP 编程

HiFi 4 DSP 每个周期提供四个 MAC。它提供对整数和小数运算的等效支持。
不利用 SIMD 的应用程序的运行速度将比利用 SIMD 的应用程序慢 4 倍。
对于 24 位和 32x16 位的应用程序，编译器不会自动矢量化。应用程序编写器必须使用显示矢量数据类型或内部函数来编写代码。

2.1 数据类型

HiFi 4 DSP 支持 16、24、32 以及 64 位的数据类型。所有类型都包含整数与分数版本。

2.2 编码与解码

2.3 基于内嵌函数编程

每条 HiFi 4 DSP 指令都可以通过一个相同名称的内部函数直接访问，除了 “.” 需要全部变成 “_”。

三、HiFi 4 指令集

对于矢量读取和写入，内存中的高位地址总是存储在寄存器中的最小有效位。
HiFi 4 DSP 还支持两个圆形缓冲区，可用于对齐或不对齐的数据。
虽然向量变量不需要被对齐到 64位，但它们仍然必须根据每个标量元素的要求进行对齐，例如32位的向量的 ints。
AE_LA64.PP 是一个特殊的初始化指令，这条指令将数据从数据流的起点加载到对齐寄存器中。对齐指令工作的具体细节与程序员无关。只要调用 AE_LA64_PP 引导内在的第一个要加载的地址（不管是否对齐），然后用适当的对齐加载继续加载。
大多数读取和写入操作的助记符包含一个尺寸，表示操作符的大小；
大多数加载和存储操作的助记符包含一个后缀，表示如何计算有效地址以及是否更新基址寄存器。
定点数 1.31, 是指令里面操作的数据类型，int 之后，还有按照指令规范的类型来转换。
int = 2, 在经过 1.31 后，二进制，000….10（32位）。如果是负数，第一位是符号位，补码形式。

3.1 读取与写入操作

load 是将内存里面的值读取到寄存器（CPU 内部的存储单元）。如果都是放在寄存器的，寄存器哪有那么多地方给你存东西？
store 是将寄存器里面的值写入到内存。

//将数组a的值赋值给数字b，分别使用load和store指令

int main(int argc, char ** argv)
{
// 初始化数据
short a[4] = {1, 2, 3, 4};
short b[4];
ae_int16x4 *ap = (ae_int16x4 *) &a[0];
ae_int16x4 *bp = (ae_int16x4 *) &b[0];
ae_int16x4 src;
// load：先读取内存中的值到寄存器
AE_L16X4_IP(src, ap, 8);
// store: 将数组a中的值存到数组b中
//AE_SA16x4_IP (src, ae_valign u, *ap);
AE_S16X4_IP(src, bp, 8);

for(int i = 0; i < 4; i++)
{
printf("%d\n", a[i]);
printf("%d\n", b[i]);
}
return 0;
}

3.2 乘积累加操作

乘积累加运算（英语：Multiply Accumulate, MAC,）。

乘法 multiplication、加法 adder、周期 cycle 就是 mac，乘加器，表示一个周期完成一次乘法和加法运算。DSP 的重要性能指标。DSP 的主要工作就是大量的乘加器运算。

DSP 一个机器指令周期能实现乘加运算，这是 DSP 的精髓。实现这个运算的内核就是 MAC。

MAC:

两个和四个 MAC 操作有两种形式——双 MAC 取两个 MAC 的结果，并将它们加或减，如下示例所示。

1	`acc = acc – d0.Ld1.L + d0.Hd1.H`

MACs:
SIMD MACs 不结合不同乘数的结果。相反，它们对数据的不同部分执行示例乘法操作，如下示例所示。

1 2	`acc.h = acc.h – d0.hd1.h acc.l = acc.l – d0.ld1.l`

高位和低位各算各的，SIMD MACs 将其结果打包为 32 位或 16 位，因此在其名称中使用 P。通过同时添加或减去两个乘法结果，双 MAC 指令能够保持它们的累积精度，而不需要写入多个输出寄存器。

在单乘法和 SIMD 乘法运算中，每个乘法/累加操作系列都有一个仅乘法变体，即乘法/加法变体和乘法/减法变体，通过将 accum_type 设置为空、A 或 S 来表示分别。
使用 MUL 变体，累加器内容会被以下结果覆盖乘法。使用 MULA 变体，乘法的结果被添加到累加器内容并写回累加器。使用 MULS 变体，结果从累加器的内容中减去乘法的值并写回累加器。
accum_type 以 Z 开头的双 MAC 操作是对零进行累加的。换句话说，累积器的初始内容被丢弃。那些没有 Z的操作则是针对累加器的初始内容进行累加。在可选的 Z 后面，有两个字母表示加法或减法，两个乘法结果各一个。
小数乘法指令在 accum_type 后面有一个 F。

对称 & 非对称四舍五入

整数 SIMD 乘法指令扔掉了其结果的高位，就像标准的 C/C++乘法。小数 SIMD 乘法指令使用对称或不对称的四舍五入方法，将低位舍去。
在非对称四舍五入的情况下，两半被向上舍入，即 0.5 倍的最小有效结果位被舍入为 1.0，-0.5 倍的最小有效结果位被舍入为 1.0。即 0.5 倍的最小有效结果位被向上舍入为 1.0，-0.5 倍的最小有效结果位被向上舍入为 0。
在对称四舍五入的情况下，两个半数从零开始四舍五入，即 -0.5 倍的最小有效结果位四舍五入到 -1.0。
在指令描述中，对称舍入被称为 round，而非对称舍入被称为 round+∞。

饱和 & 非饱和乘法

执行操作时，某个中间变量的值的范围大于了最终结果的值的类型范围。

eg. 
（中间变量值）int32 int 129
（最终值）int8 char (范围：-128 - 127)
 此时最终值就会溢出，变成 -127，此时与实际值相差很远了。
 
饱和：先做一个判断
 if(int > 128)
     int = 128;
 这样就避免了最后结果会相差很大。

没有保护位的小数 MAC 运算，1.31x1.31 到 1.63 或 1.31，1.31x1.15 到 1.31 和 1.15x1.15 到 1.15 或 1.31，使它们的结果饱和。所有其他 MAC 操作都是完整的或具有保护位且不会饱和。
饱和乘法有一个 S 跟在大小或四舍五入的名称后面。
一些 16x16 位乘法器被设计为与 ITU-T/ETSI 内在函数，因此串联进行多次饱和。这些指令的名称中有 SS。

其他

无符号乘以无符号的乘法，在其前面有一个 U。无符号乘以有符号的乘法，在指定符前有一个 US。利用 AE_EP 寄存器文件产生 72 位累加器的乘法运算，在指令前有一个 EP。
所有 MAC 操作都出现在第三个或第四个插槽中。出现在第三个插槽中的任何乘法运算都将具有后缀 _S2。 C/C++ 程序员可以忽略后缀。编译器会在需要时自动将普通乘法转换为 _S2 乘法。

3.3 加、减与比较操作

Add, Subtract and Compare Operations

3.4 移位操作

Shift Operations 移位操作

所有移位操作都以前缀 AE_S 开始。下面的字母是 L 或 R，表示主要移位方向是左还是右。下一个字母是 L或 A，表示是逻辑移位（在右移时填入0）还是算术移位（在右移时符号扩展）。下一个字母 I 表示立即移位，A 表示 AR 移位，S 表示 AE_SAR 移位。后面是一个数字，表示被移位的元素的大小，还有一个可选的R表示右移位而不是截断的右移，以及一个可选的 S 表示饱和的左移。

3.5 归一化操作

3.6 Divide Step 操作

3.7 截断操作

Truncate Operations

AE_TRUNC16X4F32 Operation

3.8 移动操作

四、 HiFi 4 备忘录

4.1 HiFi 4 的头文件

1
2
3

#include 
#include 
#include

DSP 学习笔记 |（四）Xtensa ISA 笔记

2022-07-24T01:40:18.000Z

本文笔记主要整理摘自《Xtensa® Instruction Set Architecture (ISA)》。

一、 XCC 编译器

二、 Candence 处理器

三、语法

3.1 数据类型

ae_int32x2
由两个 32 位的数据类型组成一个 64 位的数据，8 字节对齐。如果使用 int 类型强制转换，那么在内存分布上，将是两个相同的 32 位数据，举例如下：

void test()
{
    int mem1 = 0x1234;
    int mem2 = 0x5678;
    ae_int32x2 p = mem1;

    int *p1 = (int *)&p;
    printf("(int)p = 0x%0x\n",(int)p);
    printf("*(p1) = 0x%0x\n",*(p1));
    printf("*(p1+1) = 0x%0x\n",*(p1+1));

    ae_int32x2 p2 = AE_MOVDA32X2(mem1, mem2);
    int *p3 = (int *)&p2;
    printf("p3=0x%0x,*(p3) = 0x%0x\n",p3,*(p3));
    printf("p3+1=0x%0x,*(p3+1) = 0x%0x\n",p3+1,*(p3+1));
}

输出：
    
(int)p = 0x1234
*(p1) = 0x1234
*(p1+1) = 0x1234
p3=0x2ffffeb8,*(p3) = 0x1234
p3+1=0x2ffffebc,*(p3+1) = 0x5678
    
分析：AE_MOVDA32X2作用是将两个32位数拼成一个64位数。

四、基础的 SIMD 编程

SIMD ：Single Instruction Multiple Data，单指令流多数据流，是一种采用一个控制器来控制多个处理器，同时对一组数据（又称“数据向量”）中的每一个分别执行相同的操作从而实现空间上的并行性的技术。在微处理器中，单指令流多数据流技术则是一个控制器控制多个平行的处理微元.

由于单指令流多数据流处理效率高的原因，常被用于在多媒体应用中的 3D 图像和音视频处理。

基本的 SIMD 操作概念：

SIMD 操纵不能以不同的形式处理多数据，如下图所示。

4.1 矢量类型

C 语言常用的数据类型例如 char 、float 被称为标量类型。在 SIMD 运算中的数据类型被称作矢量类型。每个矢量类型都有其相应的标量类型。

在 SIMD 编程中，经常需要将特定的向量元素称为标量或将标量块称为单个向量。本节介绍了满足这一需求的引用方法，例如，只输出向量的第三个元素或将标量数组输入数据捆绑成适合 SIMD 处理的向量成为可能。

4.2 基础的 SIMD 运算

以加法为例，介绍标量运算与 SIMD 运算
a. 标量运算
b. SIMD 运算

c. 完整的加法例程

运算几乎都是以标量矩阵作为输入数据。

条件运算

五、寄存器

5.1 通用（AR）寄存器

地址寄存器（Address Registers, AR）。每条指令最多包含三个 4 位的通用寄存器（AR）指令，每个指令可以选择 16 个 32 位寄存器中的一个。这些通用寄存器被命名为地址寄存器，以区别于协处理器寄存器，后者在许多系统中可能作为 “数据 “寄存器使用。然而，AR 寄存器并不限于保存地址，它们也可以保存数据。

如果配置了窗口寄存器选项，地址寄存器文件将被扩展，并使用从虚拟到物理寄存器的映射。

地址寄存器文件的内容在复位后是未定义的。

5.2 移位和移位量寄存器（SAR）寄存器

移位和移位量寄存器（Shifts and the Shift Amount Register，SAR)。ISA 提供了传统的即时移位（逻辑左移、逻辑右移和算术右移），但是它没有提供单指令移位，其中移位量是一个寄存器操作数。从一个普通的寄存器中获取移位量会产生一个关键的时序路径。另外，简单的移位不能有效地扩展到更大的宽度。漏斗式移位（两个数据值在输入移位器的时候被 catenated）解决了这个问题，但是需要太多的操作数。ISA 通过提供一个漏斗移位来解决这两个问题，其中移位量是从 SAR 寄存器中获取的。可变移位由编译器合成，使用指令从一般寄存器中的移位量计算 SAR，然后再进行漏斗移位。

DSP 学习笔记 |（三）C & DSP 基础概念

2022-07-23T16:00:38.000Z

记录在学习过程中所需的 C 语言与 DSP 相关基础知识补充。

一、C 语言基础

1.1 零碎

const 修饰：用 const 修饰过的指针变量 p 不能修改 a 中的内容，而没有用 const 修饰过的指针变量 q 照样可以修改 a 中的内容，而且 a 自己也可以重新给自己赋值。它用来 告诉编译器，被修饰的这些东西，具有“只读”的特点 。
C 语言中 “ ! ” 是对立面的意思。例如！ = 就是不等于的意思，常用在循环条件判断中，或者逻辑运算中，例如 x=! (1==1),（1==1）的结果为1，但有！ X的结果从1变为0。
字节对齐：计算机中内存大小的基本单位是字节（byte），理论上来讲，可以从任意地址访问某种基本数据类型，但是实际上，计算机并非逐字节大小读写内存，而是以 2,4,或 8 的倍数的字节块来读写内存，如此一来就会对基本数据类型的合法地址作出一些限制，即它的地址必须是 2，4 或 8 的倍数。那么就要求各种数据类型按照一定的规则在空间上排列，这就是对齐。
对齐原因：根本在于 CPU 访问数据的效率问题。
对齐准则：总的来说，字节对齐有以下准则：
- 结构体变量的首地址能够被其对齐字节数大小所整除。
- 结构体每个成员相对结构体首地址的偏移都是成员大小的整数倍，如不满足，对前一个成员填充字节以满足。
- 结构体的总大小为结构体对最大成员大小的整数倍，如不满足，最后填充字节以满足。
寄存器：CPU 内部的存储单元，寄存器是 CPU 内部用来创建和储存 CPU 运算结果和其它运算结果的地方。
计算机字长（机器字长）：计算机字长（机器字长）取决于数据总线的宽度，通常就是CPU一次能处理的数据的位数（CPU位数）。
argc & argv:
argc 是 argument count 的缩写，表示传入 main 函数中的参数个数，包括这个程序本身；
argv 是 argument vector 的缩写，表示传入 main 函数中的参数列表，其中 argv[0] 表示这个程序的名字。

- 二进制的【或】运算：遇1得1
  参加运算的两个对象，按二进制位进行“或”运算。
  运算规则：0|0=0； 0|1=1； 1|0=1； 1|1=1；
  参加运算的两个对象只要有一个为1，其值为1。
- 二进制的【与】运算：遇0得0
  运算规则：0&0=0; 0&1=0; 1&0=0; 1&1=1;
  即：两位同时为“1”，结果才为“1”，否则为0
- 二进制的【非】运算：各位取反
  运算规则：~1=0； ~0=1；
  对一个二进制数按位取反，即将0变1，1变0。
- 二进制的【异或】运算符 “^”：相同为0 ，不同为1”
  参加运算的两个数据，按二进制位进行“异或”运算。
  运算规则：0^0=0； 0^1=1； 1^0=1； 1^1=0；
  参加运算的两个对象，如果两个相应位为“异”（值不同），则该位结果为1，否则为0。
有符号位 & 无符号位
浮点数标准

小数的二进制计算
采用 “乘 2 取整，顺序排列” 法，用 2 乘十进制小数，可以得出积，将积的整数部分取出，再用 2 乘余下的小数部分，又得到一个积，再将积的整数部分取出，如此进行，直到积中的小数部分为零，或者达到所要求的精度为止。然后把取出的整数部分按顺序排列起来。
内联函数能提高程序运行效率（inline)
正数的补码是其本身，负数是除最高位（符号位）保留外，其余取反，末位加一。
宏函数：宏函数是在 程序编译时进行简单的字符替换，而函数是在程序生成后才进行调用，这时会占用开销时间（主程序函数保留现场，在子函数体中需要进行参数的传递 – 实参传递给形参以及调用完后形参的销毁等步骤），因此宏函数占用的编译时的时间，而函数占用的是执行时的时间。
注意宏函数在调用时只是对函数中的变量做简单的替换，注意这里的替换真的是替换，非常死板的那种！！！所以在宏函数中经常看到（）

1.2 汇编 & 反汇编

汇编语言是高级语言转换成机器码的桥梁，通过汇编语言的编译转换成机器码，计算机就可以执行程序。

因为在计算机中，所有的程序都是按照机器码执行的，所以对汇编语言的理解，能够增加对底层执行的认识。

下图为一个 c 程序变成一个可执行程序的过程：

汇编：

动词，指的是把汇编语言翻译成机器语言的过程。
就是图中 hello.s 文件经过汇编器变成二进制 hello.o 文件的过程。
名词，指的便是汇编语言
就是 hello.c 经过预处理器，再经过编译器生成的 hello.s 文件。这个文件里的东西就叫汇编程序（汇编语言）。

汇编指令一般都是由操作符和操作数组成，操作符也被称为指令助记符，它是指令中的关键字，表示本条指令操作类型，不能省略。操作数可以省略，也可以有很多，但各操作数之间要用 “，”分开。指令助记符与操作符之间要用空格分开。

反汇编：

动词，指的是由已生成的机器语言（二进制语言）转化为汇编语言的过程，也可以说是汇编的逆向过程。
名词，指的是有机器语言经过反汇编过程生成的汇编语言。
反汇编生成的汇编代码，每一行前面都有一串16进制的数字。这些数字就是每一行汇编代码对应的机器代码。
反汇编就是我们把一系列的机器码转换成改程序的助记符。如果我们拿到一份机器码程序，而我们想要知道他的功能和工作方式，可以对机器码进行反汇编。

二、DSP 基础

2.1 定点数与浮点数

首先我们要认清一个概念，定点数不一定是整数，浮点数不一定是小数。

为了轻松指定使用多少位来表示数字的整数和小数部分，我们使用称为Q格式的表示法。例如，要指定我们对整数部分使用三位，对小数部分使用四位，我们可以说数字采用 Q3.4 格式。

如其名，浮点数和定点数的区别就在于浮点和定点上，点就是指小数点。浮点数就是小数点是浮动的，定点数就是小数点是固定不动的。

数字信号处理可以分为两类：定点和浮点。区分依据是用于存储和操纵数据数字表示的格式。定点 DSP 设计用于表示和操控整数，包括正整数和负整数，最低为 16 位，因而可能的位模式有 65,536 种 (2^16 浮点 DSP 用于表示和操控有理数，最低为 32 位，与科学计数法相似，数值用尾数和指数表示（例如 A x 2B， A 为尾数，B 为指数)，因而可能的位模式有 4,294,967,296种 (2^32).

对定点数而言，数值范围与精度是一对矛盾，一个变量要想能够表示比较大的数值范围，必须以牺牲精度为代价；而想提高精度，则数的表示范围就相应地减小。

2.2 饱和运算

所谓饱和运算，就是当运算结果大于一个上限或小于一个下限时，结果就等于上限或是下限。例如：BYTE 运算，最大值是 255，0xF1+0x35 应该是等于 0x26，但由于结果大于 255，那么饱和运算的结果就是 0xFF。在图像处理里经常有（比如说增加亮度）两种灰度值运算后要判断值是否大于 255 或小于 0，根据结果再取 255 或 0。

DSP 学习笔记 |（二）指令集架构

2022-07-23T15:38:42.000Z

本文将介绍指令集（ISA）概念，以便在后续的学习中建立其理论基础。

一、什么是指令集？

这张图描述了整个计算机系统从上到下的抽象层。首先最顶层的是应用程序（Application），那么应用程序在计算机里是由什么构成的呢？是由它的下一层级，算法（Algorithm）构成的。算法也依赖于所实现它的编程语言（Programming Language），然而编程语言也需要操作系统（Operating System）的支持才能正确工作。那什么东西支持操作系统呢？再往下一层就是我们今天的主角：指令集架构（Instruction Set Architecture, 以下简称 ISA）。

从 ISA 开始往下，都是和硬件电路相关的内容了，所以我们可以得出一个基本的定义：指令集架构是一个能为电路硬件翻译应用程序的一层抽象层。它能够为操作系统制定很多规则和约束，也能让编程者不用操心具体的电路结构，转而在这一抽象的、高级的、定义很多规则的层面编写程序，比如：

这个计算机架构里有多少个寄存器（Register）？
我能进行哪些运算操作？（有哪些指令？ADD，SUB，MUL等等）
如果遇到异常或者中断该怎么办？
数据可以有哪些类型？最多有几个字节？
等…

ISA 在编译器编写者（CPU软件）和处理器设计人员（CPU硬件）之间提供了一个抽象层：

处理器设计者：依据 ISA 来设计处理器；
处理器使用者（如：写编译器的牛*程序员）：依据 ISA 就知道 CPU 选用的指令集，就知道自己可以使用哪些指令以及遵循哪些规范。
定义处理器上的软件如何构建，这是 ISA 的最重要内涵，现代处理器都是支持高级语言编程、操作系统等等特性，ISA 要定义出指令集内的指令是如何支撑起 C 语言里堆栈、过程调用，操作系统里异常、中断，多媒体平台里数字图像处理、3D 加速等等。

x86 ISA 现在是 Intel 和 AMD 共同拥有，也就是说如果你要开新的 x86 cpu 公司你必须向这两者付版权费用，而且必须两者都同意你才能获得完整的 ISA，如果你只获得一部分不完整的 ISA，那就和完全没拿到 ISA 一样。ISA 在 cpu 里面，就像是字典，用厨房的比喻就是菜谱，菜谱定义了你这个厨房会做什么菜，这个菜做出来是什么样什么味道，那么顾客在这家连锁店的任何一间都能叫到相同的菜，吃到相同的味道。
ARM ISA 当然是 ARM 公司所有的，当时 ARM 公司是定菜单的，并且给出试菜的人，说你们每家店都要做出这个味才算 ARM。而做店的则是不同的公司，像qualcomn 啦，他们中间喜欢怎么做菜是他们的自由，但是必须会那几道菜，必须做出这个味。

提示

常见的一个误解的答案：指令集并不存储于CPU中，应该这样说：CPU本身是指令集 (结构) 的一个实现/实例；
一个 ISA 可能包含多个指令集；

二、指令集架构 vs 微架构

指令集架构（ISA）和微架构（Microarchitecture）很多时候会被人们混淆。其实微架构就是对 ISA 的一种实现。

综合而言，微架构是指令集架构的一种实现方式，不同的处理器有着不一样的微架构。如果你是 RTL 设计工程师或者验证工程师，你就会拿到处理器的指令集架构的手册，然后根据这个手册来设计或者验证芯片的微架构。

提高 CPU 性能的一个关键方向是如何提高指令级的细粒度并行。目前指令级细粒度并行性的一些方法有:

流水线：流水线已经普遍应用于处理器中，通过改进单个流水线的实现，几乎无法再获得更多的收益。
多处理器：使用多个处理器仅对有限的应用程序能够起到提高性能的效果。
超标量体系结构：超标量架构可以提高所有类型程序的性能。超标量体系结构意味着一次能够完成多个指令的执行
每条指令完成多个独立操作：即超长指令字架构（Very Long Instruction Word – VLIW）。

VLIW
- 市面上多数的 DSP 都是采取 VLIW 指令集(超长指令字)，一次发一个指令包，指令包包含多个 slot（指令槽），相当于一次发射多条指令，实现指令级的并行 ILP；DSP 在微架构上的一个优化，就是通过增加指令包的 slot 数量，比如从 4 个增加到 5 个，提高 IPC；
- 与多发射CPU不一样的是，所有的指令打包都是由编译器完成，因此指令吞吐量很依赖于编译器的优化；
- 如果遇到前后指令相关依赖的情况，就不能把这些指令放到一个指令包中，这种情况下指令包的指令不是满载的；
- 许多厂商为了提高 IPC，会对这种情况做相应的优化。

VLIW 指令架构优缺点

优点：

不需要动态调度硬件，简化硬件电路
不需要在 VLIW 指令中进行依赖项检查，简单的指令多发射硬件
取指后分发到不同能单元，不需要进行指令对齐/分配简化硬件电路

缺点：

编译器需要找到 N 个独立的操作
如果无法找到，需要在一个 VLIW 指令中插入 NOP，降低并行性，增加代码大小
当执行宽度 (N)、指令延迟、功能单元改变时需要重新编译（超标量架构不需要重新编译）
同步执行会导致独立操作停止
在延迟时间最长的指令完成之前，任何指令都不能执行

三、指令集分类

指令集架构中最重要的就是所包含的指令（Instructions），一个架构中可能包含成百上千的指令，但它们大致可以被分为一下几类：

数据流转移：Load
算术逻辑（利用到算术逻辑单元 ALU，arithmetic and logic unit 指令）：ADD、SUB、MUL
控制流转移：JR（JUMP）、JAL（Jump and Link）、BEQ（Branch if Equal）
浮点运算：ADD.D、SUB.S、MUL.D
多媒体运算：ADD.PS、SUB.PS
字符串运算：REP MOVSB（in x86）

精简指令集RISC【educed instruction set computer】

复杂指令集CISC【complex instruction set computer】

四、寻址模式

寻址方式就是处理器根据指令中给出的地址信息来寻找有效地址的方式，是确定本条指令的数据地址以及下一条要执行的指令地址的方法。
寻址模式（Addressing Mode）定义了一个指令按照那种方式去寻找想要的数据，其中定义了寄存器和相应的内存位置。

指令寻址的方式包括两部分：

指令的寻址
这里的指令寻址指的是具体的操作码上发出的指令。是 狭义上的指令寻址。
数据的寻址
可以理解为地址码上操作数的地址寻址

4.1 指令寻址

上述即为指令寻址的两种方式：

顺序寻址
跳转寻址

4.2 数据寻址

通过 顺序寻址或者跳转寻址 取到操作码知道要做什么操作后，我们要拿着地址码去找处理对象了。这里地址码寻址操作对象的寻址方式也是很丰富的简单看个图感受一下：

地址码其实分为两部分 —— 寻址特征 + 形式地址：

寻址特征存的就是每个寻址方式上的蓝色小标，表示一种方式。
形式地址不是直接对应到存储器中的地址，而是需要根据 寻址特征的要求 转换为对应到存储器的地址。
所以我们把通过 寻址特征和形式地址求出来的真正对应到存储器的地址称之为有效地址。

1. 立即寻址

方式：把我们实际要操作的数，直接存放在形式地址中。立即寻址是获取操作数最快的方式

eg：假如我们要直接操作的数为 3，那么我们可以用一条一地址指令这么设置：

直接把 3 的补码写在形式地址中

寻址特征为#，代表立即寻址的意思。
形式地址 写的是操作数 3 的补码（011）。

立即寻址主要执行取指令访存1次，不需要执行指令访存，一共访存1次。

立即数：立即寻址方式的目的就是将操作数紧跟在操作码后面，与操作码一起放在指令代码段中，在程序运行时，程序直接调用该操作数，而不需要到其他地址单元中去取相应的操作数，上述的写在指令中的操作数也称作立即数。

2. 直接寻址

直接寻址指令中的地址码字段给的是 操作数的有效位置，我们可以根据这个有效位置直接去内存中寻找操作数。指令中在操作码字段后面的部分是操作数的地址

与立即寻址相比：直接寻址主要执行取指令访存1次，还有执行指令访存1次，一共访存2次。

直接寻址和立即寻址的区别

立即寻址：是把一个“常数”送到指定位置。
直接寻址：是把一个“变量”送到指定位置。

3. 间接寻址

指令中给出的地址是操作数地址的地址。

4. 寄存器寻址

指定的寄存器中存放着操作数本身。

5. 寄存器间接寻址

指定的寄存器中存放的不是操作数，而是操作数的地址。

五、指令编码

对于指令编码（Instruction Encoding），或者说是指令的组成，每个架构的不尽相同。从长度上，可以分为三类：

固定长度指令（Fixed-Length Instruction）
每个指令的长度都一样，好处是解码非常的方便简易。一些精简指令集（RISC）的架构，比如 MIPS、ARM、RISC-V、PowerPC就在使用这种模式。
可变化长度指令（Variable-Length Instruction）
每个指令都有自己特定的长度，这样设计的好处是可以压缩缓存器和内存的空间，因为很早之前存储器的容量都很小，很珍贵，所以可变化长度指令是最先发展起来的。复杂指令集就是这一阵营的代表：x86（最短 1B，最长可达 17B）、IBM 360、Motorola 68k 等。
压缩型指令（Compressed Instructions）
一般这种指令的长度都非常短（16-Bit），目的都是减少编译后的代码量。代表有 MIPS16、ARM THUMB 等。

还有一种特殊的架构：超长指令集（Very Long Instruction Word，VLIW）是由英特尔和惠普共同在21世纪初提出的一种用于改善工作站性能的新型架构，里面的每条 指令束（Instruction Bundle）是由四条或者更多的普通指令集合在一起而形成的。由于技术和时代原因，最后悄然退场。代表作：IA-64 / Intel Itanium (英特尔安腾处理器)。

参考文献

[1] 关于寻址方式一篇就够了

[2] 如何快速判断立即数

[3] Computer Architecture —— ISA 指令集架构介绍（一）：为什么需要 ISA

[4] Computer Architecture —— ISA 指令集架构介绍（二）：四大特性（完结）

[5] What Is an Instruction Set Architecture?

[10] Cadence Tensilica Xtensa HiFi 音频解码器相关介绍

DSP 学习笔记 |（一）初识 DSP

2022-07-16T09:26:24.000Z

由于工作需要，在此开设 DSP 学习笔记系列。如有错误，欢迎交流指正！

一、DSP 概念

数字信号处理器（DSP，Digital Signal Processor）接收经数字化处理的语音、音频、视频、温度、压力或位置等现实世界信号，然后以数学方式进行操作处理。可以非常迅速地执行”加”、”减”、”乘”、”除”之类数学运算功能。

通过下图可以清楚了解 MP3 播放器中 DSP 的工作原理。在录制阶段，模拟音频通过接收器或其他来源输入。模拟信号接着通过一个模数转换器转换为数字信号，再传至 DSP。 DSP 进行 MP3 编码，然后将文件保存至内存。在回放阶段，文件从内存中取出，由DSP解码，再经数模转换器转回模拟信号。这样模拟信号就可以通过音响系统输出。在更复杂的例子中，DSP 将执行其他功能，如音量控制、均衡和用户界面。

DSP 与其它处理器的差别

数字信号处理器（DSP）、通用微处理器（MPU）、微控制器（MCU）三者的区别在于：DSP 面向高性能、重复性、数值运算密集型的实时处理；MPU 大量应用于计算机；MCU 则适用于以控制为主的处理过程。

二、DSP 结构特点

哈佛结构：一种将程序指令存储和数据指令存储分开的存储器结构。可以减轻程序运行时的总线瓶颈。(程序和数据不在同一个地方)

专业的硬件乘法器
经典的 FFT、IIR 和 FIR 等数字信号处理算法中，乘法的 DSP 运算的重要组成部分；
- 时钟周期：晶振频率的倒数；
- 机器周期：把一条指令分割成若干个阶段，每个阶段就称为机器周期；
- 指令周期：取指令、译码、操作，完成一条指令所需要的时间。
流水线操作
执行指令的几个阶段在程序执行过程中是重叠的，即几条不同的指令同时处于激活状态，每天指令处于不同的阶段。
取指和取操作数都需要对 CPU 和内存来进行对数据的和指令的交换。由于 DSP 是哈佛结构，CPU 和存储器不在同一位置，所有可以同时进行。在冯诺依曼结构中，数据和指令都在同一存储器中，不能重叠进行。
特殊的 DSP 指令
DSP 采用特殊的指令。
快速的指令周期
快速的指令周期、哈佛结构、流水线操作、专用的硬件乘法器、特殊的 DSP 指令，再加上集成电路的优化设计可使 DSP 芯片的指令周期在 200ns 以下。

三、DSP 芯片分类

根据基础特性分类：静态 DSP 芯片、一致性 DSP 芯片
根据数据格式分类：定点 DSP 芯片、浮点 DSP 芯片
根据用途分类：通用型 DSP 芯片、专业型 DSP 芯片

四、DSP 内部结构

DSP 包含以下这些重要元件：

程序存储器：储存 DSP 将用来处理数据的程序
数据存储器：储存将要处理的信息
计算引擎：进行数学处理、访问程序存储器中的程序及数据存储器中的数据。
输入/输出：提供一系列功能，与外部连接

4.1 内存总线

内存总线（Memory Bus）：包含数据总线和地址总线，总线是为了数据交换的。

以 TI DSP ‘28x 为例，CPU 内部总线：

4.2 CMD 文件

命令文件即 CMD （Command）是 DSP 运行程序必不可少的文件，用于指定 DSP 存储器分配；
CMD 文件主要由两个伪指令构成，即 MEMORY 和 SECTIONS；
MEMORY 指令定义目标存储器的配置，SECTIONS 指令规定程序中各个段及其在存储器中的位置。

五、DSP 相关名词

模拟信号处理 vs 数字信号处理
前者可以处理包括微波毫米波乃至光波信号（分辨率很高）。后者按照奈氏准则的要求，受 S/H 、A/D 和处理速度的限制，对高频信号处理没有优势。
在 DSP 开发中就是通过对 DSP 的寄存器进行配置或者赋值，来控制 DSP 使其按照我们预定的功能运行。
align = 16，地址对齐，起始地址必须是 16 的倍数。
位: 数字字可细分的最小单位。位数反映字宽。字的位数越多，该字代表的数越大。
DMA（直接存储器访问）：DSP的I/O处理器通过外部、主机、串行、SPI 和 UART 端口支持在 DSP 存储器和外部存储器、主机或外设之间的数据 DMA。每次 DMA 操作可以传输整块数据。
定点：DSP 操控和表示最适合数字的一种方法，其中该数字不大于单个内部寄存器中的最大数字。寄存器的大小由其包含的位数确定。例如，32 位数可能大于 16 位数。
浮点：数字由尾数和指数表示的系统。例如，a×2b，其中”a”为尾数，b为指数。利用该方法，DSP 可操纵非常小的数字或非常大的数字。浮点处理器表示IEEE确定的标准格式数字。它是由 32 位表示的科学计数法。
Von Neumann architecture 架构：这是大多数（非 DSP）微处理器所用的架构。该架构采用单一地址和数据总线进行存储器访问
Harvard 架构：DSP 使用具有独立总线的内存架构以便编程和存储数据。两个总线使 DSP 同时获得数据字和指令。
I/O 处理器： DSP 具有分布式 DMA 架构，其中每个支持 DMA 的外设均配有 DMA 控制器。此外，大多数端口可直接（非 DMA）访问内部存储器和 I/O 存储器。 I/O 处理器这一术语在全球范围内指 DMA 控制器、DMA 通道仲裁和外设至总线连接。
MIPS: 百万条指令/秒，其中每个指令可执行多个操作。
MACS: 乘加/秒
MOPS: 百万次操作/秒
MFLOPS: 百万次浮点操作/秒
字: 表示数据值的位串。 DSP 中的字长通常为16位、24位、32位和48位。

参考引用

[1] DSP数字信号处理

[2] Let’s Talk DSP

[3] 数字信号处理入门指南

[4] Digital signal processor

Origin 备忘录

2022-04-12T02:27:08.000Z

在此记录笔者在使用 Origin 进行数据绘图过程中遇到的问题及笔记。

Origin 是由 OriginLab 公司开发的一个科学绘图、数据分析软件，支持在 Microsoft Windows 下运行。Origin 支持各种各样的2D/3D 图形。Origin 中的数据分析功能包括统计，信号处理，曲线拟合以及峰值分析。Origin 中的曲线拟合是采用基于 Levernberg-Marquardt算法（LMA）的非线性最小二乘法拟合。Origin 强大的数据导入功能，支持多种格式的数据，包括 ASCII、Excel、NI TDM、DIADem、NetCDF、SPC 等等。图形输出格式多样，例如 JPEG，GIF，EPS，TIFF 等。内置的查询工具可通过ADO 访问数据库数据。 ——Wikipedia

常见设置

坐标轴遮挡数据点标志

增加上面和右边边框
修改页面大小

a. 在 plot details-graph-print/dimensions 中修改页面尺寸，这是你最终得到的图像大小的物理尺寸，按期刊投稿要求；
b. 在 plot details-graph-Layer-size/speed 中修改每层图层的物理尺寸，确定图像的长宽比，取消 unit % of page，将 unit设为确定的物理单位（cm，mm等）
c. 关键的一点，所有图层都要按步骤 2 修改
d. 修改坐标轴、曲线的粗线等。

设置坐标轴单位长度相等

三维图绘制

使用Origin画三维图和等高图、以及函数图

MATLAB 备忘录

2022-04-10T11:41:11.000Z

在此记录笔者在使用 MATLAB 过程中遇到的问题及笔记。

MATLAB（Matrix Laboratory，矩阵实验室）是由美国 The MathWorks 公司出品的商业数学软件。MATLAB 是一种用于算法开发、数据可视化、数据分析以及数值计算的高级技术计算语言和交互式环境。除矩阵运算、绘制函数/数据图像等常用功能外，MATLAB 还可用来创建用户界面，以及调用其它语言（包括 C、C++、Java、Python、FORTRAN）编写的程序。 ——Wikipedia

常用知识

分号的作用
两个作用：1. 数组行分隔符；2. 取消运行显示

常用操作

批量添加/取消注释

1 2	`ctrl + r % 添加注释 ctrl + t % 取消注释`

中断正在执行的操作

1 2	`ctrl + c % 很多程序操作都是使用 ctrl+c 进行操作中断`

清屏
清除命令窗口中的所有输入和输出信息，不影响命令的历史记录。
1
clc;
清除变量名
清除 workspace 中的无用的变量，尤其是一些特别大的矩阵，不用时及时清理，可以减少内存占用。
1
2
clear; % 清除 workspace 中的无用的变量 clear all; % 清除 workspace 中的所有变量

关闭绘图窗口

close all;  % 关闭所有绘图窗口 
%% 一般主函数都是三件套
clc;
clear all;
close all;

取实部虚部

1
2
3

a = 1 + 2i;
shibu = real(a);
xubu = imag(a);

查看.mat文件中的数据
1
whos % 命令行输入

绘图

二维线条

1 2	`plot(t, r1, 'linewidth',1.2) % Linewidth 是修改线宽，Markersize 是修改离散点标记的大小（比如x或＋）`

显示网格
1
grid on;
图片标题
1
title('图片标题');
坐标轴设置

xlabel('x 轴的标题')，ylabel('y 轴的标题');  %坐标轴标题
axis([0 100 0 90]);  % 设置坐标轴范围

set(gca, 'YTick', (0: 5: 100))  % 设置 Y 坐标的刻度
set(gca, 'FontSize', 8)  % 设置坐标轴字体为 8

legend('KF','EKF','UKF')：在坐标区上添加图例 KF,EKF,UKF

线型、符号及颜色汇总

其他问题

串口通讯中出现 “COMXX is not available.” 错误

1
2
3

打开串口时出现错误：MATLAB:serial:fopen:opfailed
打开失败: Port: COM1 is not available. No ports are available.
Use INSTRFIND to determine if other instrument objects are connected to the requested devic

解决方法：错误提示中已经说明了使用 instrfind 去检查串口对象是否在运行（被占用）。

在命令行输入 instrfind 可以看到：

Instrument Object Array

Index: Type: Status: Name: 1 serial closed Serial-COM3

index 为 1 那行中 COM3 已经被打开了。在代码中打开串口前加一行代码：fclose(instrfind);

用意是把已经打开的串口关闭，此时再运行代码，就可以成功打开串口了。

1e2=100
表示一个数。这是科学计数法表示，e 前面指的是基数，e 后面指的是 10 的幂数，如 2.2e3=2.2×1000=2200。
workspace 不显示变量信息
使用 function 后就会这样。自动清掉在 function 内部建立的变量。解决方法：去掉头部的 function main 和最后一个 end。
“警告: 矩阵为奇异工作精度”
解决方法：把 inv 改成 pinv 即可。因为 inv 是对矩阵求逆，而对于不是可逆矩阵的矩阵求逆就会出错，pinv 就是对不是可逆矩阵的矩阵求伪逆。
matlab 中 @(x)的含义
表示 f 为函数句柄，@是定义句柄的运算符。f=@(x)acos(x) 相当于建立了一个函数文件：
1
2
3
4
% f.m function y=f(x) y=acos(x);
NaN: not a number

「游记」坡坡坎坎去重庆

2021-01-19T13:42:56.000Z

每日 3w 的步数体验，混到私人小区 33 楼去拍立交桥，迷路在错综复杂的古楼，四字弟弟拍戏地重游…都在这冬日的山城雾都重庆之旅里了。

虽然身为四川人，上一次去重庆是陪姐姐艺考，但并没有好好的去玩过重庆。这次趁着放假早，就又约着土豆到重庆扫街去。

和土豆出行就是放心，一溜烟就把车票、酒店、行程给规划好了。（不禁感叹：土豆随行，天下任我行！）

不得不说成渝双经济圈的国家战略起来后，成都到重庆乘坐复兴号只需要一个小时，完全属于还没睡舒坦就到站的乘车体验。

如下是我们计划要去的拍照机位，主要是土豆在小红书上找到的一些我们比较喜欢的拍照点。

由于本身就是奔着拍照去的，那么话不多说直接上图。下文图片均出自土豆及笔者之手。

笔者设备：富士 X-T200（15-45mm）

土豆设备：富士 X100F（23mm f/2.0）、佳能 80D（50mm f/1.8）

山上城 · 「雾都」

霓虹城 · 「雾都」

轻轨城 · 「雾都」

旧楼城 · 「雾都」

后记

本次重庆行并不是典型的打卡式旅游 ~~（机位打卡不算打卡？双标怪）~~，反倒是去了许多小众偏门的景点。这样体验最大的好处就是能探索到未知，也许下一个路口处就是你想要的惊喜，又也许是竹篮打水一场空。总之，面对不确定性也是很让人着迷的体验。

在旅途中我常挂在嘴边的便是：满重庆都是坡坡坎坎的噢。“你以为你在地下，其实你在地上” 。在坐车的时候我打趣道：重庆出租车师傅脑壳里的地图都跟我们的不一样，他们的是 3D 的立体地图。

重庆的确是座旅游城市，许多地方的设计都对游客非常友好，在一些后记被人挖掘出来的打卡机位还会专门设置打卡位。

雾都城，雾都人，雾都魂… 还有雾都的火锅儿都很让人感到亲切。

ps：本次雾都之行最大的遗憾就是没有拍到我们最期待的赛博朋克风街道。

Eren 的 2020 年终总结

2021-01-04T15:20:47.000Z

2020 年外部世界的关键字大概就是【变】，从新冠疫情、股市熔断、美国大选… 外部世界的风云变幻给以独立而弱小的个体不安全感，作为个体我今年的关键词大概就是【观察】，对自我的不断观察与自我接纳。

自我

在 2020 年，我做的最重要的一件事就是对自己进行持续不断的观察，从自我跳脱出来进行自我意识的察觉。在情绪的表达上能够更加的通透，只少现在我能在开心的环境下表达出内心的喜悦，在让我感到不悦的场景下正常地表达出我的愤怒。而不是像过去，觉得什么事情都是可以忍受的，即使是那些令我不快的，通俗意义上来讲就是老好人的形象，性格的菱角也不在掩饰。

这一年我逐渐在学会如何对情感的正确感受与表达。

每月进行自我复盘

持续进行自我察觉

多和比自己优秀的人接触

践行极简主义（上半年疫情在家各种断舍离，下半年就被消费主义狂潮席卷了）

学习

今年上半年疫情在家，学习效率极低，现在回想那荒废的大半年，只好小猪叹气了。研二开学，阴差阳错进到导师公司的一个项目中，开始了由硬件转软件的过程。也算是确定了以后专心搞软件的决心，老实说一直对太底层的电路板、PCB 板着实感兴趣不起来。自入学以来对嵌入式的态度就是暧昧不清，~~现在确定转软件之后算是把今后的路给走窄了吧。~~

毕设的题目也定了下来，关于毕设本想只是搭建整个项目系统，毕竟 BLE + AOA 在商用上还算个新定位模式。没想到开题还是被批说是本科生的毕设水平，“研究生要做的是 research”… 好吧，还是得老老实实研究算法。

发表了一篇 EI 论文

完成了智能水表项目的交接

完成了开题答辩

Java 程式的学习（断断续续地学习，效率极低）

智能水表服务器搭建（搭个服务器也打不好，太垃圾了）

生活

2020 年，有身边的亲人离去，会很伤心，但最亲爱的爷爷身体还算健康，虽然由于年纪大的原因，难免会有一些身体上的磕磕碰碰，但好在都有惊无险。

这后半年身边人给我最大的感受就是大家都在不约而同的讨论起来房产。身边的朋友们也都是刚需，最开始我也是一股脑扎进房市进行研究，但现在冷静下来之后更多的是观察。不会抱有买到就是赚到的心态，加之我本身就没有对房子的执念，在哪儿都是住。房屋的本质是居住，我不愿意牺牲最青春的十年去背负沉重的房贷，牺牲现金流动性，被迫放弃机会成本，所以近五年对于购房的事情我不会再庸人自扰了。~~（可如何说服母亲大人是个bug）~~

2020 年，对于金钱相较于以往有看淡，会更加注重生活的体验。当然，对于搞钱这件事是一如既往的感兴趣。只是说我会更倾向于花钱买体验，而不是将钱存起来享受存钱、拥有钱的快乐。（写到这里莫名想到之前一个导游的洗脑话术：挣钱都已经这么辛苦了，花钱还不快乐点呀！）

基金年化总收益：45%（事实告诉我们正确的买鸡方式是：买了然后忘掉这笔钱的存在）

三亚旅游（去了沙滩🏖️ 看了大海🌊 赏了夕阳🌇 逛了森林🌲 民宿被拒❌ 进了警局👮🏻）

第一次去蹦迪（老嗨老嗨了，然后耳朵聋了一个星期，苦笑ing）

第一次吃海底捞也算吧（为了享受学生优惠，下午三点去吃也是够拼的）

日本行🗾（因为疫情原因流产了）

感情

今年结束了一段感情，其实本应该早就结束。但自己的逃避性格和自私，双方硬是硬撑了半年。如果要有一个总结，那就是过程很快乐，结局很无奈。感情是最不应该自学的课题，得不到就是学到。自此对于感情这件事，自己对此也是看通透了许多。现在的我早已对纯洁的校园恋爱失去了兴趣，莫名的被现实起来，不知道算不算是遗憾。

在此分享上周看复旦大学文学系梁永安教授关于爱情的论述，希望自己能往这方面发展：

希望爱情解决自己的人生问题，而爱情本来是个感情它不是问题。
真正拥有爱情或者有资格谈恋爱的是那种人，就是他有能力一个在这个世界上生活。
这样生活它本身是富有活力的，只有这样的人他才有能力辐射出去温暖，
才有能力给别人一种信心和快乐。
…
你首先把自己建设成一个不需要恋爱，不需要婚姻，我也能独立地在世界上丰富而自由的生活。
这样的话，你既可以谈恋爱，也可以不谈。
你不会变成别人的压力

难免落俗，但浪漫不死

兴趣

阅读是仍在持续做的事情，电影与动漫总是能超额完成观影任务~~（苦笑）~~。小惊喜便是今年开通了博客，并结识了有趣的小伙伴。用文字记录生活，是我一直在做的事情，无论以什么样的载体形式。今年双十一购入了一款微单，摄影小白也开始入坑了…

此外播客的表现形式让我很惊奇，这一年光是在小宇宙 app 上就陆陆续续听了大概 200h 的播客内容。其中《得意忘形》、《BYM》是我的最爱了。

2020 阅读的书籍也有好有坏，相较于去年少了虚构类文学，多了许多所谓的 “中信” 畅销书。这也让给我不可避免地尽可能理想地去思考问题，从而丧失了理想主义的幻想，这难免少了些浪漫主义色彩。

年度书籍：《穷查理宝典》《平凡的世界》《活着》
年度电影：《芝加哥》《疯狂原始人 2》《心灵奇旅》
年度音乐：《MELANCHOLY》《u’re mine》《Shall We Talk (Tre Lune MMXIX)》
年度电视剧：《Rick and Morty 4》《上载人生》《外星也难民 1》

阅读 19 本课外书籍

入坑摄影

开通博客

沉迷播客

去了几个有趣的展

理工科素养是成为创造者的要素，但是文科素养是一个人行事风格的基调。这种「基调」是会扩散到周围环境的。

总结

2020，现如今需要复盘总结的地方仍也不少，但无论怎样已经平安度过了。

2021，向前（钱）看吧！也希望能多有机会出去旅游，2020 年去过的地方实在太少了。

共勉之。

我有时也想变作猫咖里的一只猫

2020-10-25T05:47:38.000Z

真正严肃的哲学问题只有一个，那便是自杀。 ——阿尔贝 · 加缪《西西弗神话》

两位年轻人的自杀

今晚刷 B 站看到自己很喜欢的曾在东京大学留学的 up 主无聊的 Do 君发布了一条《一个叫叶修的年轻人决定去死》，视频中悼念了一位名叫叶修的朋友（于 2020 年 7 月自杀，时年 25 岁），纪念的内容很是真诚。

我出于好奇便搜索了一下 @路边的叶修。了解到他是 B 站上最早一批发布生活 vlog 的 up 主，主要记录其在东京的留学生活。视频风格以真实暖心为特色，也曾因拍摄的留学 vlog 接受过央视的采访。在他生前发布的视频留言下有不少悼念的网友，并提到其视频在留学期间给予他们很大的帮助。

我翻看了他早期发布的视频，内容十分生活化，拍摄初期也显露出稚嫩。但在观看的过程中给我以舒缓和亲切感，在加上他聊天式的旁白，一个乐观的、爱生活的在东京留学的大男孩形象跃然于脑海中。

下面是他发布的第一个 vlog：

2015-2016 期间他陆续发布了大概 100 期这样的视频。可在 2020 年 7 月，他选择自杀的方式结束了他 25 岁的生命。

我是在他去世后 4 个月的今天了解到他，所以当我在翻看他过往视频的时候，总是会不禁带入如此的思考：这样一位乐观、开朗、愿意分享生活并陆续影响了许多留学生的年轻人为什么会早早结束生命。在视频中越是看到他那样的记录生活、热爱生活，我越是陷入人脆弱的沉思。

我的心情也逐渐随着对叶修的了解所低落起来，我想这也许是共情的缘故吧。

年轻人、死亡，这两个不着边际的词汇放在一起，进而让我想到前几周大连理工大学研究生自杀的事件。因为平时不刷新闻、微博的缘故，关于这件事情并没有去过多了解。大体印象就停留在：噢，又有一位抗压能力差的研究生自杀了罢了。借此，我翻看了那位同学的遗书。读罢，老实说我还挺喜欢他的文字。没什么华丽的辞藻，尽是些朴实的措辞，再加上一些略显幼稚的玩笑与自嘲，显得真诚无比。从文字中我明明感受到了，他是一个会用幽默的三棱镜滤去内心忧伤的人，是一个会在生活中进行自我消解的人。在文末他提到下辈子想作猫咖里的一只猫，没有对生活报以热爱的人是不会说出这样的话的。可他最终还是选择了离开。

今晚似乎被上帝抛出一个「想热爱生活却选择死亡」的命题给我。在以往我以及身边大多数人的观点总是：那些会选择早早就选择结束生命的人一定是糟糕得一点儿打击都承受不了的废物。可现在我产生了困惑，因为他们并不是那样的啊，他们甚至是曾带给人力量的人啊。

就像蒲柏所说：

人就想绿萝，他的生存靠别的东西支持，他拥抱别人，就从拥抱中得到力量。

难道我们仍一棍子打死地评价道：他们就是内心脆弱得不堪一击的 loser 吗？也许是没勇气，没能力去面对，去承受当下、未来的期盼。也许会有一个声音说：那你大可丧下去啊！

可谁让我们都活在这滚烫的十年里，正如王小波在《黄金时代》里那样写到：

那天我二十一岁，在我一生的黄金时代。

我想如果我不能激荡起一丝浪花的话，我也打算早早地在下辈子变成某间猫咖里的一只猫，不过我大概没有那样的勇气吧。

人的脆弱与坚强一样，都值得我们去珍惜。

视频标题《一个叫叶修的年轻人决定去死》，应该是参照名叫《一个叫欧维的男人决定死去》的小说所起。在此我想分享书中最爱的这句话给看到这里的你：

每个人的生命中都有一个故事。要是你不了解那个故事，就不了解那个人。

我们不知道叶修在回国这几年发生了什么，也不知道那位大连研究生经历了怎样的压力。因为我们不了解他们的故事，也就不了解他们，就更没有资格去评判他们。

最后恭喜我们还活着的这个事实

思绪很多，但最后得出的结论似乎只是：人好像也不总是能一直乐观下去的对吧。就像我自己，每个几个月都会间歇性地低落，然后去思索一些宏大而荒谬的命题。这总会显得很傻，所以只好偷偷地写在日记本上。

不过最后恭喜我们还活着的这个事实，多去和能让自己觉得活着真好的事物接触吧！

「您好，我们这边是蚂蚁金服客服...」

2020-10-03T12:50:31.000Z

诈骗电话

今日午后正在躺椅上休憩，突然接到一通来自「安徽」的私人手机号。

「您好，我们这边是蚂蚁金服客服。请问您是不是 E 先生呢？您的手机尾号是不是 XXXX ? 」
「是的」
「我们这边后台有看到您开通的借呗有逾期未还金额。」
「挂断…」

这本看似是个人信息泄露后平淡无奇的诈骗电话，但却着实让我有些紧张起来。

事情要从一周前说起。 9 月 23 日开始，我的手机会陆续收到支付宝登陆的短信验证码，起初以为就是正常的误输操作。但接下来几天仍在收到登录的短信验证码，更甚在某一日的 1 个小时内连续收到 20+ 条相同的验证短信。

【支付宝】你正在登录支付宝，验证码5287，泄露验证码会影响资金安全。唯一热线：95188

这让我开始意识到，可能有人在试图登录我的支付宝账户。但由于支付宝有二次登录验证，所以只要我保护好短信验证码不会被泄露，那么我的账户仍是安全的。（支付宝的验证码位6位数，对方有 1 / 1000000 = 0.0001% 的概率成功，并且暴力破解的平均时间会超过验证码超时时间。所以 Duck 不必担心验证码被试对。）

三天之后突然收到「阿里巴巴」发来的短信，同样是陆续收到很多条。

【阿里巴巴】您正在自助开通账户，验证码636175，请在15分钟内按页面提示提交验证码，切勿将验证码泄露于他人。

不过我同样是并无理会。但一向注重隐私的我开始思考是哪个环节出现纰漏，我开始想到是否是最近在浏览他人博客时，留下的电子邮件。进而让有心之人通过邮箱账号进行支付宝登录。不过这种推测仍处在很初步的怀疑阶段。

直到接到那通电话，让我意识到「骗子可能开始主动出击了」。

拨通 95188

在挂掉安徽那通电话后，我随即拨通了支付宝客服电话「95188」。

拨打 95188 ，我主要想了解清楚以下几点情况：

在诈骗电话已经打上门的情况下，我的支付宝账户是否仍然安全？
对方是使用手机号还是电子邮箱进行登录？
我的借呗是否被开通？借呗的开通流程和借款流程是什么？
在个人信息已确认泄露无疑的情况下，我个人能做哪些措施去加强账户安全系数（是否需要更换邮箱账号、手机号等）？

由于我需要咨询业务的权限不同，先后有三名客服接待了我，我也获得了相应的答案。

在不泄露验证码的情况下，账户仍是安全的。
通过支付宝后台查看到，在 9 月 23 日至今的短信验证码申请是通过手机号登录发送的，并不是邮箱账号。所以之前所推测的由于四处胡乱留邮箱所引起的信息泄露就可以排除掉了（其实通过邮箱去反推姓名、手机号的社工难度也很大）。
我的借呗没有被开通。借呗开通和借款均需要支付密码。
在确认个人信息已泄露的情况下，可以更换手机或邮箱。但最重要的是保管好短信验证码，最好使用完之后立马删除短信。定期在 <支付宝安全中心> 使用安全检测功能。
建议：不要信任何私人号码，挂断后主动咨询官方电话，逆向询问。

了解到并无大碍之后，又继续酣睡了 😴。

复盘

虽然这是一次低级的电信诈骗，可是作为半个信息技术行业从业者，遇到个人信息被泄露得如此彻底，这也是非常值得我去复盘反思的。

此外，在 9 月 23 日发现异常的两天内，我做了以下三件事情来将损失减到最小。

将支付宝中余额宝的大部分金额转到银行卡。（不争气的基金实在不忍心因为这件事情割肉卖掉，时常安慰自己是价值投资者…）
更换全新的支付宝登录密码，检查登录邮箱账户的安全性。
确认是否购买支付宝账户险。

在工作、学校中难免会要求填写各种个人信息。这是我们无法回避的，如果信息从这样的渠道泄露我们实在是无能为力，但这不能成为我们彻底放弃个人信息保护的借口。关于此次信息泄露我怀疑是之前同某个培训机构合作所导致的，因为财务往来是通过支付宝，并且个人信息也会填写。并且因为培训机构泄露我的个人信息的情况遇到不止一两次。

在这里吐槽一下经常说「信息泄露很正常，没必要在意，反正都已经泄露了，无所谓」的人，每每听到这样的说辞我都会内心 OS :「以后你的个人信息满天飞，在黑市全套信息就值个 2 RMB。而由于我有意在保护个人信息，那么在黑市上全套信息也许能值 500 RMB？」

关于信息保护的措施，分享几点我个人在使用的 tips（虽然还是被泄露了…）。

使用两个手机号
一个用于银行卡、亲人联系等会一直用下去的情况。
另一个用于购物和一些不得不填手机号的情况，此号码通常会每个一两年更换一次。
网站注册名
各种网站如需填写姓名，则以网站名为后缀。今后若收到骚扰短信，自然会知道从哪里泄露的。（如：赵B站，赵知乎，赵XX）
不贪小便宜去填写商家促销打折等信息
永远记住你的信息是值钱的。（除了某宝的店铺会员，不过也是使用小号去登记）
遇事不决先百度
在遇到某些自己都不清楚是不是诈骗行为的情况下，先百度（不用 google，因为这种偏家常范儿的问题百度里的内容更多，更接地气），去查询网上是否有相似情况再做判断。

It’s a proud thing to pay for security and privacy。

Hexo 博客站点加速不完全指南

2020-09-28T00:42:42.000Z

前言

在我们使用 Hexo 作为框架搭建静态博客时，存在两个主要因素影响着网站访问速度。

GitHub 在国内访问速度不稳定
由于我们搭建的博客是放在 GitHub 上面的，而国内用户直接访问 GitHub 网速不佳。这将是十分影响博客的用户体验。所以使用国内访问速度更快的托管服务商 Vercel （当然也可以用别的服务商，只是在国内来说 Vercel 效果较好）进行网站托管；
在使用本地图库引用的情况下，当博客图片资源过大时，网站图片加载会变得缓慢。

所以，我们在此主要针对以上两个问题来进行优化。

Vercel 托管

Vercel 是一家提供 JamStack（静态网站）托管的平台，支持自动从 GitHub 等仓库拉取代码, 按自定义构建方式进行构建，最后把生成的静态网站进行发布; 在这基础上同时也支持自定义域名，自动申请 SSL 证书等功能。

由于国内访问 Vercel 的速度要比访问 GitHub pages快很多，所以我们只需要把站点交给 Vercel 进行托管就能大幅度提升博客的加载速度。

参考教程：使用 Vercel 加速 Hexo 静态博客访问

在使用 Vercel 托管之后，访客在访问博客网站时相当于是在访问 Vercel 的服务器（因为此时已经在域名服务商处处新增了对应 Vercel 站点的域名解析），而不是去访问最开始的 GitHub pages 网址。

此外，按照上述教程进行操作之后，查看 Domain 一栏是否解析生效。此时可能会出现一会儿配置失败，一会儿配置成功的情况。若出现标红提示配置失败，点击查看错误提示。如果是提示更改为 Vercel 的 DNS 服务器，只需到你博客域名服务商，将 DNS 服务器地址更改为 Vercel 要求的地址即可。（例如我的域名服务商是阿里云，我到官网去把阿里云官方的 DNS 服务器地址改为 Vercel 的即可。DNS 服务器地址为两个，都需要进行更改）

效果图

对比站点 github.io 的原始域名，访问延迟明显减小：

使用百度站长对网站速度进行测试：

jsDelivr 加速

在博客的撰写中，我们一般是直接引用本地图库资源（使用 hexo-asset-image 插件）对文章进行配图。之后再hexo g -d 将文章和图片资源一同部署到 GitHub 。而我们在访问这些图片资源时又需要再从 GitHub 上进行提取，而 GitHub 上的访问速度本身已经很慢，再去加载大量图片更加会拖慢网页速度。虽然我们前面已经对博客进行了 Vercel 托管，但是我们有一种更简单高效的方式对图片进行上传，那就是利用 GitHub 图库+ jsDelivr CDN 加速+ PicGo 客户端实现图库的高效使用。

简单说明以上三个工具的使用情形：

GitHub 图库：用于存放我们需要使用的文章配图文件的仓库；
jsDelivr ：用于 CDN 加速，在 Markdown 文本编辑器中直接引用 jsDelivr 的图片外链，即可快速访问图片资源；
PicGo：用于 Markdown 写作端生成对应的 jsDelivr 图片外链，配合 Typora 编辑器时可直接拖拽图片自动生成外链使用。（故推荐 Typora 客户端 + PicGo 客户端搭配使用，食用效果更佳！）

什么是 jsDelivr ?

jsDelivr 是国外的一家优秀的公共CDN 服务提供商，也是首个「打通中国大陆（网宿公司运营）与海外的免费CDN 服务」。 jsDelivr 有一个十分好用的功能——它可以加速Github 仓库的文件。我们可以借此搭建一个免费、全球访问速度超快的图床。

什么是 PicGo ?

一个用于快速上传图片并获取图片URL链接的工具。

参考教程：

此方法会弃用本地图库，启用 GitHub + jsDelivr + PicGo 的方式对文章进行配图操作。

所以可以卸载 hexo-asset-image 插件，保持 Hexo 的清爽：

1	`npm remove hexo-asset-image`

并在配置文件_config.yml 中将此行由 true 改为 false：

1	`post_asset_folder: false`

此时，在你每次hexo n "title" 的时候就不会在 _posts下面生成同名的文件夹放图片文件了，大可将需要使用的图片放在除博客文件的其他位置（所以你甚至可以把已经生成外链的图片删掉），因为照片放在专门的图片仓库，利用 jsDelivr 外链就可以直接访问，你不需要再将这些图片上传到博客的 GitHub 仓库里面去。下图红色地址就是我们直接可以访问到图片的 jsDelivr 外链地址。你可以点来试下，看看是不是我们下面这张图。 https://cdn.jsdelivr.net/gh/erenlu/PicGo/img/20200812034534.png

注：在使用 PicGo 客户端时会遇到一些问题，具体解决方法参考：Typora原生集成PicGo图床工具！

在使用图床之后，我们所用的的图片就可以不放在本地。那么图片在每次编译部署也就不用上传到网上，这缩短了编译时间。

Valine 评论系统（邮件提醒）

参考教程：

其他优化教程

参考教程：

Hexo 基础教程(四)：功能添加与优化
包含：添加 RSS，代码压缩，文章链接唯一化，SEO（搜索引擎优化）等内容。

后记

完成上述操作之后，博客的打开速度不出意外就会快很多。不过做了这么多操作，我们最核心关注的点还是应该在博客内容质量，以及输出频率上。总结下来就是内容为王，同时兼顾用户体验。

参考资料

嘿，青年艺术家们

2020-09-26T11:00:51.000Z

展名：CHABF 2020 成都艺术书展

地点：麓湖生态城 A5 麓坊 · A4国际驻留艺术中

时间：2020.09.18 - 09.20

前言

当时年纪小，喜欢装文艺，便留下了爱看展的习惯 ~~（现在好了，只爱钱 🐶）~~。

分享会

下午一点匆匆赶到会场，选择了一场名叫《美国连环画》的分享会。

分享者是一位来自东北的艺术家，绘画风格很像美国漫画《马男波杰克》以及《吉普森一家》。分享者讲述了自己在美求学中所经历的创作痛苦和挣扎，最终在体验生活的过程中逐渐找到属于自己的绘画风格。

分享者在展会中的作品：

盆栽

这组盆栽的配文实在是有打动到我，所以干脆全拍下来啦。

今天有个孩子说：我只能等到十八岁才能过生日，等我过生日的时候要去天上吃云朵，这是我生日最想做的事。

我：一个人看店就很难出去参加活动什么的。

客人：可以让男朋友来替一下呀。

我：唉，异地恋没办法呀。

客人：那他在哪里呀？

我：他在多远的未来。

为了不迟到，每天按部就班的生活，放学就直接回家。今天突然想，这么生活太无聊了吧，怎么能光上学不跟自然接触呢？

数字媒体的飞速进步反而让我越发觉得我们的文明是非常脆弱的。100年以后，如果人类灭绝了，最可能留下的还是刻在石头上，最原始的东西。

我的勇气，基本都被拿去跟肯德基里做冰淇淋的人说 “做个大的给我行吗？” 和 “多来点酱吧”。

当逛完这几座盆栽时，不禁让我思考：在平日疯狂敲击代码的日子里，我是否真的有在生活着？

集市

说是集市，因为这个会场真的就是青年艺术家们摆摊设点的集市场。不同的是，这里没有讨价还价，有的只是关乎于作品和理念的交流。他们与络绎不绝的人们沟通着，阐述着创作理念。

👇 这位小姐姐十分热情地讲解着自己的作品。从她的介绍中了解到这是一本从细胞层面结合女性视角讲述女性的作品。背后墙上挂在作者收集的不同女性在卸妆过程中使用过的卸妆布（or 卸妆巾？），旨在展现每个女性作为独立个体存在的美。（一圈逛下来后，这位青年艺术家告诉我们她已经卖完了今天的大部分作品！）

他们在此努力售卖着梦想，这是值得尊重的。

趣图

👇 这是一对双胞胎姐妹的作品展，里面展现了他们在成长过程中的喜乐悲欢。对于为什么要选用红配绿，最开始以为是她们一人喜欢红色一人喜欢绿色。在同创作者交流后，她们说到是以为姐妹俩一人性格更活泼些，一人性格更安静些，所以在创作时便分别选择了红色和绿色。

👇 人们可以自行在白纸上进行创作，于是我熟练地拿起画笔在纸上写道 “四六级包过，加 Q:xxxxx”。

👇 一本来自废弃房屋里的手账。

👇 创作的含义没看懂，不过就觉得这张拍得很有氛围~

👇 大黑！~~（大白的兄弟）~~，艺术家在此进行了行为艺术表演。着实没看懂，领悟能力还是不 dei 行啊。

👇 「十五分钟的交换」创作者提前三天来到成都，与路人进行十五分钟的交谈，同时进行肖像画创作。每幅画里面都包含着作者对对象的理解。

有些画里眼睛里有星星，有笑脸。这就是相由心生吼。

👇 interesting

👇 这…

👇 「里外美学实验室」这是一个很有意思的小展厅，里面摆放了格式的画作。每幅画作都配有相应制作的音乐，作者希望观赏者结合着音乐来观赏画作，用听觉和视觉共同体验作品来带的魅力。

其中一个作品是作者将交通事故合集配上清脆悦耳的节奏音，视频初始的压迫感和紧张瞬间就被缓解了。有点可惜没有用视频记录下来，感兴趣的朋友可以关注他们的公众号，并且可以进行声音投稿，来参加他们的新创作「ECHO 回音计划」。（公众号：里外美学实验室）

后记

展会中许多内容都是匆匆晃过，许多想去了解的细节还没有同创作者们去交流。虽说都是一些青年艺术家们，有些人可能会觉得许多作品是在故作深沉，或者颇 “有少年不识愁滋味，为赋新词强说愁” 的味道，但个人认为先抛开艺术价值不谈，只要是有过思索过的作品都是值得肯定的。

看展是一定要看的，这辈子都不可能不看展的。年轻时爱装文艺留下的后遗症，莫得办法…

把你的名字送上火星

2020-09-13T07:35:47.000Z

「我们是获得了生命的星尘，然后被宇宙赋予了发现自我的使命。」 ——《写给忙碌者的天体物理学》

「Send Your Name To Mars」是一项 NASA 发起的项目：让公众都有机会将自己的名字通过火星探测器送到火星上去。

位于加利福尼亚州帕萨迪纳市的美国宇航局喷气推进实验室（JPL）的微器件实验室将使用电子束将提交的名字用模板印在硅芯片上，并在芯片上印上小于人类头发宽度千分之一（75纳米）的文字行。以这种大小，在一个一丁点大小的芯片上可以写下一百万个以上的名字。芯片将装在玻璃罩下的漫游车上。

「火星 2020」探测器已在 2020 年 7 月被发射，于 2021 年 2 月降落在火星上。所以目前我们已经无法参与「火星 2020」探测器的活动。

但我们可以参与后续的火星探测计划，将自己的姓名送上火星。

进入官网：https://mars.nasa.gov/participate/send-your-name/future
填入个人信息：（姓名可以输入中文）

至此，就获得了前往火星的纪念品登机证：

让你的名字代替你先去火星旅行吧！

Eren の 宇宙船

ARM_DS 工程创建教程

前言

工程创建

导入源码

工程配置

Debug session 配置

Trace 调式工具

套壳创建工程

建立工程间的代码连接

音视频笔记｜运动估计 ME 源码简要分析（上）

前言

ME 相关知识

宏块的运动补偿

Preset 与 ME

源码中调用位置

音视频笔记｜H264 基础原理介绍

一、视频压缩基础

1.1 压缩基本概念

1.2 封装格式

1.3 常见视频压缩算法

二、H264 编码概述

2.1 YUV 图像

2.2 I 帧 P 帧 B 帧

2.3 GOP 图像组

2.4 IDR 立即刷新图像

2.5 H264 画质级别

三、H264 编码流程

3.1 宏块划分/ 扫描

3.2 帧分组

3.3 帧间压缩（运动估计与补偿）

3.4 帧内预测

3.5 DCT 和量化

3.6 熵编码

3.6.1 CAVLC

3.6.2 CABAC

四、H.264 码流分层

4.1 VCL & NAL

4.2 码流格式

4.3 H264的传输

参考引用

DSP 学习笔记｜（七）HiFi 汇编说明

一、储备知识

汇编构成

调用约定

二、汇编指示（assembly directive）

.loc 5 76 49

.literal_position

.p2align

函数名_

.cfi_startproc

.cfi_def_cfa

.cfi_def_cfa_offset

prologue_end

.type

.Ltmp：

is_stmt

L32R

L. 本地标签

[Ⅱ *1+0]

指示参考表（节选）

三、调用约定

参考资料

DSP 学习笔记｜（六）DSP 中的定点 & 浮点

DSP 中的定点与浮点转换

Q 格式的运算

Q 格式的应用格式

其他资料

参考资料

关于 valine 评论插件失效记录

问题描述

问题分析

解决方法

参考引用

DSP 学习笔记 |（五）HiFi 4 User's Guide 笔记

一、 HiFi 4 概述

1.1 HiFi 4 特点

1.2 寄存器

1.3 操作助记符

1.4 定点数及其运算

Eren の宇宙船

三、语法

四、基础的 SIMD 编程

5.1 通用（AR）寄存器

DSP 学习笔记 |（二）指令集架构

三、指令集分类

四、寻址模式

五、指令编码

DSP 学习笔记 |（一）初识 DSP