toward

现如今，视频监控的存在帮助人们记录了许多过去难以查证的事实。
但想要在24小时不间断的监控里找到那么一两秒的“犯罪现场”，依然是一件耗费人力的事。
有没有什么好办法快速找到我们想要的画面？
还真有，几位外国小哥就开发了这么一个工具，可以10分钟处理完一个24小时的视频录像，然后用文字就能进行画面搜索，精确到每一帧的那种：



最重要的是，还免费！
如何使用？
工具名叫Sieve，中文意思就是“筛子”。
首先，需要找他们申请一个API密钥获得Sieve的使用权限。
Sieve的网站主页就有申请入口，填一下邮箱地址和姓名等简单信息就行。
打开后就能看到如下界面：



点击“UPLOAD VIDEOS”输入一个URL就可以上传视频了。



这个URL可以是任何云存储库上的地址。
当然，也可以上传本地视频，不过就需要走命令行了——
先克隆仓库地址并安装依赖：
cd automatic-video-processing
conda create --name myenv python=3.7
conda activate myenv
pip install -r requirements.txt
然后运行脚本，使用下面这两个参数上传本地视频：
python run.py —sieve_api_key 你的密钥
平台会自动为你生成一个URL。
视频上传后，等待系统自动将数据分割成帧，并给每一帧生成相应的元数据（这些元数据就是“标记”，方便我们后续查询时定位到相应画面）。
作者表示，一个24小时长、大约有27万帧画面的视频不到10分钟就能处理完。
接着就可以开始最期待的环节——查询了。
查询需使用固定的参数。
比如选人数的person_count，我们输入“3” ，不到几秒就会出现如下结果：



嗯，很满意，连这种只露出两条腿的人它也可以检测出来：



每张图片都可以点开放大查看，右边也会显示该帧图片的原始信息。
不过似乎只有帧的位置，没有显示具体时间点。
其他参数还包括：
person_present，查询有人出现的画面（赋值为True就行）；
motion_detected，查询动态画面；
lighting，查询各种光线的画面（比如赋值fair，就代表晴天）；
loaction，查询某个地点的画面（比如赋值courtyard）；
greenery，查询有绿色植物出现的画面；
……
可以组合查询，比如找“有绿色植物、光线晴朗、出现俩人”的画面，就可以输入这样三个参数：



在找到你想要的结果后，还可以导出图片数据到本地。
以上就是这个视频检索工具Sieve的使用方法和功能。
是不是确实能使我们倒监控的效率高一些？
不过也正如一些网友所说，看起来真的很厉害，不过要是能获得一条可以知道视频中的人什么时候达到和离开的时间线，并且还能在多个摄像头之间跟踪“嫌疑人”的轨迹就更实用了。



作者则回应：正在考虑给出更多实用的查询参数。
作者介绍
Sieve 的创始人之一兼 CEO 名叫 Mokshith Voodarla，今年只有 20 岁，本科毕业于 UC 伯克利电气工程与计算机科学专业。



他曾在 Scale AI 从事 ML 工作、在福特 Greenfield 实验室从事计算机视觉工作，还在英伟达做过机器人技术的研究。

本帖最近评分记录

• 索隆十郎 金币 +13 感谢分享，论坛有您更精彩！ 2022-1-24 10:48

天天2

工具是不错，就是现在国内的网络状态就不实用了，宽带上传实在是不能恭维，再加上梯子，一天的视频上传都要好几个小时啊！！

glnszz

这类工具干扰因素太多了，准确率不高。我们人眼分辨物体主要靠的是物体的轮廓，颜色以及亮度，机器识别也是这样的，通过将视频中每一帧的图片进行导出，然后使用积分法将物体轮廓求出，并将图片的RGB值和轮廓特征值与特征物体进行比对并输出位置，这就需要大量的样本进行学习。
例如，文章中说的绿色植物，光线晴朗，出现两个人的情况，程序会先将有绿色的像素点的图像筛选出来，然后将其中植物特征轮廓内有绿色的筛选出来，然后再利用光流法检测筛选阳光晴朗的图片，之后再筛选有两个人的图片。因为上传的视频一定会有和要求一致的帧图片，所以每次输出的都会很准确。
有人会问了为啥软件免费使用？首先，此类软件是基于机器学习编程的，需要大量的学习样本，免费使用可以快速推广并获得样本。其次，上传视频时网站端能够知道你的IP地址，可以通过视频内容获得部分信息，因为短时间的视频是不需要传到电脑端识别的，而长时间的视频很有可能是某个监控探头或者行车记录仪的，这信息量可就大了。

本帖最近评分记录

• 索隆十郎 金币 +6 认真回复，奖励！ 2022-1-24 20:03