Harbeth图形处理和滤镜制作-技术圈

Harbeth 是 Apple 的 Metal 框架上的一小部分实用程序和扩展，专用于使您的 Swift GPU 代码更加简洁，让您更快地构建管道原型。

Harbeth 专注于图形处理和滤镜制作，目前最重要的特点可以总结如下：

支持运算符函数式操作

支持快速设计滤镜

支持合并多种滤镜效果

支持输出源的快速扩展

支持相机采集特效

支持视频添加滤镜特效

支持矩阵卷积

滤镜部分大致分为以下几个模块：
- Blend：图像融合技术
- Blur：模糊效果
- ColorProcess：图像的基本像素颜色处理
- Effect：效果处理
- Lookup：查找表过滤器
- Matrix: 矩阵卷积滤波器
- Shape：图像形状大小相关
- VisualEffect: 视觉动态特效

总结下来目前共有 100+ 种滤镜供您使用。

代码零侵入注入滤镜功能，

原始代码：

ImageView.image = originImage



注入滤镜代码：

let filter = C7ColorMatrix4x4(matrix: Matrix4x4.sepia)



var filter2 = C7Granularity()

filter2.grain = 0.8



var filter3 = C7SoulOut()

filter3.soul = 0.7



let filters = [filter, filter2, filter3]



简单使用

ImageView.image = try? originImage.makeGroup(filters: filters)



或者运算符操作

let AT = C7FilterTexture.init(texture: originImage.mt.toTexture()!)

let result = AT ->> filter ->> filter2 ->> filter3

ImageView.image = result.outputImage()



甚至函数式编程高级用法

var texture = originImage.mt.toTexture()!

filters.forEach { texture = texture ->> $0 }

ImageView.image = texture.toImage()

相机采集生成图片

注入边缘检测滤镜:

var filter = C7EdgeGlow()

filter.lineColor = UIColor.red



注入颗粒感滤镜:

var filter2 = C7Granularity()

filter2.grain = 0.8



生成相机采集器:

let camera = C7CollectorCamera(callback: { [weak self] (image) in

    self?.ImageView.image = image

})

camera.captureSession.sessionPreset = AVCaptureSession.Preset.hd1280x720

camera.filters = [filter, filter2]

主要部分

核心，基础核心板块
- C7FilterProtocol：滤镜设计必须遵循此协议
  - modifier：编码器类型和对应的函数名称
  - factors：设置修改参数因子，需要转换为Float
  - otherInputTextures：多个输入源，包含MTLTexture的数组
  - outputSize：更改输出图像的大小

输出，输出板块
- C7FilterOutput：输出内容协议，所有输出都必须实现该协议
  - make：根据滤镜处理生成数据
  - makeGroup：多个滤镜组合，请注意滤镜添加的顺序可能会影响图像生成的结果
- C7FilterImage：基于C7FilterOutput的图像输入源，以下模式仅支持基于并行计算的编码器
- C7FilterTexture: 基于C7FilterOutput的纹理输入源，输入纹理转换成滤镜处理纹理
- C7CollectorCamera：相机数据采集器，直接生成图像，然后在主线程返回
- C7CollectorVideo：视频图像桢加入滤镜效果，直接生成图像

设计滤镜

举个例子，如何设计一款灵魂出窍滤镜🎷

遵循协议 C7FilterProtocal

public protocol C7FilterProtocol {

    /// 编码器类型和对应的函数名

    ///

    /// 计算需要对应的`kernel`函数名

    /// 渲染需要一个`vertex`着色器函数名和一个`fragment`着色器函数名

    var modifier: Modifier { get }

        

    /// 制作缓冲区

    /// 设置修改参数因子，需要转换为`Float`。

    var factors: [Float] { get }

        

    /// 多输入源扩展

    /// 包含 `MTLTexture` 的数组

    var otherInputTextures: C7InputTextures { get }

        

    /// 改变输出图像的大小

    func outputSize(input size：C7Size) -> C7Size

}

配置额外的所需纹理

配置传递参数因子，仅支持Float类型
- 这款滤镜主要需要三个参数：
  - soul：调整后的灵魂，从 0.0 到 1.0，默认为 0.5
  - maxScale：最大灵魂比例
  - maxAlpha：最大灵魂的透明度

编写基于并行计算的核函数着色器

kernel void C7SoulOut(texture2d<half, access::write> outputTexture [[texture(0)]],

                      texture2d<half, access::sample> inputTexture [[texture(1)]],

                      constant float *soulPointer [[buffer(0)]],

                      constant float *maxScalePointer [[buffer(1)]],

                      constant float *maxAlphaPointer [[buffer(2)]],

                      uint2 grid [[thread_position_in_grid]]) {

    constexpr sampler quadSampler(mag_filter::linear, min_filter::linear);

    const half4 inColor = inputTexture.read(grid);

    const float x = float(grid.x) / outputTexture.get_width();

    const float y = float(grid.y) / outputTexture.get_height();

    

    const half soul = half(*soulPointer);

    const half maxScale = half(*maxScalePointer);

    const half maxAlpha = half(*maxAlphaPointer);

    

    const half alpha = maxAlpha * (1.0h - soul);

    const half scale = 1.0h + (maxScale - 1.0h) * soul;

    

    const half soulX = 0.5h + (x - 0.5h) / scale;

    const half soulY = 0.5h + (y - 0.5h) / scale;

    

    const half4 soulMask = inputTexture.sample(quadSampler, float2(soulX, soulY));

    const half4 outColor = inColor * (1.0h - alpha) + soulMask * alpha;

    

    outputTexture.write(outColor, grid);

}

简单使用，由于我这边设计的是基于并行计算管道，所以可以直接生成图片

var filter = C7SoulOut()

filter.soul = 0.5

filter.maxScale = 2.0



/// Display directly in ImageView

ImageView.image = try? originImage.make(filter: filter)

至于上面的动效也很简单，添加一个计时器，然后改变soul值就完事，简单嘛 0 0.