Notebook与计算机视觉的未来

点击上方“AI算法与图像处理”，选择加"星标"或“置顶”
重磅干货，第一时间送达

• FiftyOne：http://fiftyone.ai/

CV / ML社区需要比Jupyter Notebook更多的东西来进行视觉研究和分析。

• Google’s Colab：https://colab.research.google.com/github/voxel51/fiftyone-examples/blob/master/examples/digging_into_coco.ipynb

科学状态

科学论文的协同效率已经到达了瓶颈。

• 文章地址：https://www.theatlantic.com/science/archive/2018/04/the-scientific-paper-is-obsolete/556676/

Wolfram的围墙花园

Python，Jupyter

Jupyter并非在“技术层面”上而是在“社会层面”上胜过Mathematica。

理解数据质量需要对数据趋势有深刻的了解。

FiftyOne和Jupyter

让机器为我们做出智能和自动化决策的机会促使我们进行了大量的人工工作。

我们用来分析计算机视觉模型的方法和工具的质量，应该与用于构建它们的方法和工具的质量相匹配。

与FiftyOne一起挖掘COCO

!pip install fiftyone

import fiftyone as fo
import fiftyone.zoo as foz

dataset = foz.load_zoo_dataset("coco-2017", split="validation")
session = fo.launch_app(dataset)

• FiftyOne Model zoo：https://voxel51.com/docs/fiftyone/user_guide/model_zoo/index.html

model = foz.load_zoo_model("faster-rcnn-resnet50-fpn-coco-torch")
dataset.apply_model(model, label_field="predictions", confidence_thresh=0.6)

from fiftyone import ViewField as F

vehicle_labels = ["bus","car", "truck"]
only_vehicles = F("label").is_in(vehicle_labels)

vehicles = (
    dataset
    .filter_labels("predictions", only_vehicles, only_matches=True)
    .filter_labels("ground_truth", only_vehicles, only_matches=True)
)

session.view = vehicles

from fiftyone.utils.eval import evaluate_detections

evaluate_detections(vehicles, "predictions",  gt_field="ground_truth", iou=0.75)

filter_vehicles = F("ground_truth_eval.matches.0_75.gt_id") == -1

unmatched_vehicles = (
    vehicles
    .filter_labels("predictions", filter_vehicles, only_matches=True)
    .sort_by(F("predictions.detections").map(F("confidence")).max(), reverse=True)
)

session.view = unmatched_vehicles

• COCO 2017检测数据集：https://cocodataset.org/#detection-2017

vehicle_labels = {
    label: "vehicle" for label in ["bus","car", "truck"]
}

merged_vehicles_dataset = (
    vehicles
    .map_labels("ground_truth", vehicle_labels)
    .map_labels("predictions", vehicle_labels)
    .exclude_fields(["tp_iou_0_75", "fp_iou_0_75", "fn_iou_0_75"])
    .clone("merged_vehicles_dataset")
)

evaluate_detections(
    merged_vehicles_dataset, "predictions", gt_field="ground_truth", iou=0.75)

session.dataset = merged_vehicles_dataset

original_tp_count = vehicles.sum("tp_iou_0_75")
merged_tp_count = merged_vehicles_dataset.sum("tp_iou_0_75")

print("Original Vehicles True Positives: %d" % original_tp_count)
print("Merged Vehicles True Positives: %d" % merged_tp_count)

Original Vehicles True Positives: 1431
Merged Vehicles True Positives: 1515

session.freeze() # Screenshot the active App window for sharing

总结

• https://github.com/voxel51/fiftyone

个人微信（如果没有备注不拉群！）
请注明：地区+学校/企业+研究方向+昵称



下载1：何恺明顶会分享

在「AI算法与图像处理」公众号后台回复：何恺明，即可下载。总共有6份PDF，涉及 ResNet、Mask RCNN等经典工作的总结分析

下载2：终身受益的编程指南：Google编程风格指南

在「AI算法与图像处理」公众号后台回复：c++，即可下载。历经十年考验，最权威的编程规范！

下载3 CVPR2021

在「AI算法与图像处理」公众号后台回复：CVPR，即可下载1467篇CVPR 2020论文 和 CVPR 2021 最新论文