Waymo 的自主驾驶技术变得更加智能，能够识别数十亿个物体，多亏了内容搜索

Waymo 开发的自动驾驶汽车使用计算机视觉技术和人工智能来感知周围环境，并实时做出决定，决定汽车如何反应和移动。当汽车内部的摄像头和传感器检测到物体时，它们会与 Alphabet (GOOG ) (GOOGL ) 编译的庞大数据库进行匹配，以便被识别。

对于自动驾驶汽车的训练，海量数据至关重要，因为它们使得汽车内部的 AI 能够变得更好，提高其性能。然而，工程师需要一种高效的方法来匹配数据集中的项目，以便他们可以调查 AI 在特定类型的图像上的性能。为了解决这个问题，据 VentureBeat 报道，Waymo 最近开发了一种名为“内容搜索”的工具，它的工作方式类似于 Google 图片搜索和 Google Photos。这些系统将查询与图像中的语义内容进行匹配，生成对象的表示，使基于自然语言查询的图像检索变得更容易。

在内容搜索出现之前，如果 Waymo 的研究人员想要从日志中检索某些样本，他们必须使用启发式方法来描述对象。Waymo 的日志必须使用命令来搜索对象，这些命令基于规则，例如搜索“低于 X 高度”的对象或“以 y 英里每小时速度行驶”的对象。这些规则基于搜索的结果往往很广泛，研究人员需要手动浏览返回的结果。

内容搜索通过创建数据目录并对不同目录进行相似性搜索来解决这个问题，以便在给出一个对象时找到最相似的类别。如果内容搜索给出一辆卡车或一棵树，它将返回 Waymo 的自动驾驶汽车遇到的其他卡车或树。随着 Waymo 车辆行驶，它会记录周围的物体图像，然后将这些物体存储为嵌入/数学表示。这意味着该工具可以比较对象类别，并根据存储的对象图像与提供的对象的相似度对响应进行排名。这与 Google 运营的嵌入式相似性匹配服务的工作方式类似。

Waymo 车辆遇到的物体可以有各种形状和大小，但它们都需要被提炼成其基本组成部分并分类，以便内容搜索能够正常工作。为了实现这一点，Waymo 使用了多个在广泛对象上训练的 AI 模型。这些模型学习识别各种对象，并得到内容搜索的支持，内容搜索使得模型能够理解是否在给定图像中找到特定类别的项目。另外，一个光学字符识别模型与主模型一起使用，允许 Waymo 车辆在图像中基于任何文本添加额外的识别信息到对象中。例如，配备标志的卡车将在其内容搜索描述中包含标志的文本。

由于上述模型的协同工作，Waymo 的研究人员和工程师能够搜索图像数据日志以查找非常具体的对象，例如特定的树种和汽车品牌。

根据 Waymo 的说法，正如 VentureBeat 引用的那样：

“使用内容搜索，我们能够自动注释……对象在我们的驾驶历史中，这反过来又指数级地增加了我们发送用于标记的数据的速度和质量。标记加速的能力促进了我们系统的许多改进，从检测带有儿童即将步入人行道的校车或人们骑电动滑板车到猫或狗穿过街道。随着 Waymo 扩展到更多城市，我们将继续遇到新的对象和场景。”

这并不是 Waymo第一次使用多个机器学习模型来增强其车辆的可靠性和准确性。Waymo曾与Alphabet/Google合作，帮助开发了一种人工智能技术，受到进化生物学的启发。该人工智能系统首先创建多个机器学习模型，并在训练后，表现不佳的模型被替换为后代模型。据报道，这种技术能够显著降低假阳性，同时降低所需的计算资源和训练时间。

https://venturebeat.com/2020/02/06/waymos-ai-content-search-tool-lets-engineers-find-objects-within-its-driving-records/