摘要

• 本文研究了使用嵌入在智能手机中的麦克风和扬声器来对单个设备进行唯一指纹识别的可行性。
• 在制造过程中，设备麦克风和扬声器中会出现细微的缺陷，导致产生和接收的声音出现异常。本文利用这一观察结果通过播放和录制音频样本来对智能手机进行指纹识别。

介绍

• 距观察，即使移动设备上的软件得到加强，麦克风和扬声器中的硬件级别特性也可以用来识别物理设备的指纹。在制造过程中，这些组件的模拟电路中会引入缺陷，因此，两个麦克风和扬声器永远不会一样。通过一项观察研究，我们发现这些缺陷足够严重和普遍，以至于我们可以通过被动录制音频流，并对录制的音频流进行简单的频谱分析来可靠地区分不同的设备。

概要

• 本文工作背后的关键观察是，智能设备硬件中的缺陷会在接收和传输的音频流上产生独特的签名，如果识别出这些独特的签名，攻击者可以使用这些独特的签名来识别设备的指纹。
• 本文考虑三种指纹方案：扬声器、麦克风和扬声器-麦克风联合指纹。在第一种情况下，攻击者在咖啡馆或购物中心等公共环境中录制智能手机扬声器生成的音频，如铃声。然后，攻击者可以使用录制的音频样本来跟踪和识别用户。或者，攻击者可以获取智能手机麦克风录制的音频，并使用该音频识别录制的用户；这可以用于取证应用。跟踪用户的第三种方法是说服他们安装恶意应用程序（例如，一个免费的网络游戏），该应用程序可以使用设备的扬声器和麦克风播放和录制音频剪辑。然后，应用程序可以偷偷地将录制的音频片段上传给攻击者（例如，利用登录信息或游戏状态），然后攻击者可以使用音频样本唯一地区分每个用户。要做到这一点，应用程序需要同时访问扬声器和麦克风以及网络访问，但这样的权限对于应用程序来说并不罕见，不太可能引起警报，特别是考虑到很大一部分用户无法理解智能手机权限的全部后果。
• 本项任务的一个关键部分涉及确定哪种声学特征和音频分析技术在识别设备硬件的独特签名方面最有效。可以使用大量的音频属性（频谱熵、过零点等），以及可用于总结这些特性的各种分析算法（主成分分析、线性判别分析、特征选择等）。在之后的内容中，本文将描述硬件诱导的听觉异常的替代属性 ，以及将研究有效地对它们进行聚类的算法。

相关工作

• 在这种背景下，克拉克森的工作[26]可能与我们的工作关系最密切，他展示了通过分析扬声器发出的录音样本来区分扬声器是可能的。
• 本文的工作利用了已有的音频指纹识别工作探索的大量声学特征。然而，本文没有对音频片段的内容进行分类，而是利用声学特征来捕捉嵌入在智能设备中的麦克风和扬声器的制造缺陷。

指纹来源

• 在这一节中，我们将仔细看看当今智能手机上嵌入的麦克风和扬声器。这将有助于理解麦克风和扬声器如何作为独特的指纹的潜在来源。

麦克风的研究

• 由于以下原因可能会出现缺陷：一批又一批部件的化学成分略有不同，制造机器磨损或温度和湿度变化。虽然麦克风芯片中的细微缺陷可能不会被人耳注意到，但正如我们稍后所展示的那样，这种计算上的差异可能足以区分它们。

扬声器的研究

• 上图(A)显示了扬声器的基本组件。隔膜通常由纸、塑料或金属制成，其边缘连接到悬架上。悬架是由柔性材料制成的边缘，允许隔膜移动。振膜锥体的窄端连接到音圈。音圈由蜘蛛（阻尼器）固定在篮子上，它将线圈固定在适当的位置，但允许线圈自由来回移动，永久磁铁位于线圈的正下方。
• 每当电流流过音圈时都会产生声波，音圈起到电磁铁的作用。通过音圈运行变化的电流会在音圈周围感应出不同的磁场，从而改变环绕音圈的金属的磁化成都。当电磁铁的极性方向改变时，排斥和吸引的方向也会改变。这样，音圈和永磁体之间的磁力使音圈振动，进而振动扬声器振膜以产生声波。
• 上图(B)显示了典型的MEMS微音响芯片，图©显示了微音响内部的组件。这些部件与基本扬声器相似，唯一的区别是尺寸和制造工艺。扬声器振膜产生的声波的振幅和频率分别由音圈移动的距离和速率决定的。每个扬声器组件可以将变化引入所生成的声音中。例如，驱动器的电磁特性的变化可能导致膜片移动的速率和平滑度的不同。因此，由于制造过程中不可避免的变化和不完美，没有两个扬声器是相同的，从而导致产生的声音有细微的差异。在本文中，开发了一些技术来计算定位和评估这些差异。

使用的特征和算法

声学特征

• 为了了解设备缺陷对各种声学特性的影响，本文总共调查了15个声学特征。

分类算法

• k-NN
• GMM（高斯混合模型）

评估

方法

• 把智能手机放在研究生办公室的不同位置，为了模仿攻击者，在房间里放了一台宏基笔记本电脑，并使用笔记本电脑的内置麦克风采集音频样本。
• 设备和工具： 我们在五家不同制造商的设备上测试了我们的设备指纹。下表突出显示了我们实验中使用的不同手机的型号和数量。
  
  我们还调查了不同类型的音频摘录。下表描述了我们的实验中使用的不同类型的音频摘录。音频剪辑的持续时间从3秒到10秒不等。所有音频摘录的默认采样频率为44.1kHz。所有音频片段均采用16位脉冲编码调制（PCM）技术以WAV格式存储。
  
  为了进行分析，本文利用了以下音频工具和分析模块。
• 评估指标： 我们在评估中使用标准的多类分类指标：precision, recall 和F1-score。

声学元件指纹识别

Process of Fingerprinting Speaker（扬声器的指纹）

攻击者可以利用本文的技术被动观察公共环境中设备扬声器发出的音频信号（例如铃声）。为了研究这一点，首先看看内置在手机中的指纹识别扬声器。对于指纹扬声器，我们将从智能手机播放的音频片段录制到笔记本电脑上，然后从录制的音频片段中提取声学特征以生成指纹，如下图所示，我们查看由同一供应商和不同供应商制造的设备。

Process of Fingerprinting Microphone（麦克风的指纹）

攻击者还可能试图通过观察设备麦克风的缺陷来识别设备的指纹，例如，说服用户在他们的手机上安装一个应用程序，该应用程序可以观察设备麦克风的输入。为了调查这种攻击的可行性，本文将从笔记本电脑播放的音频片段录制到智能手机上，如下图所示，再次考虑由同一供应商和不同供应商制造的设备。

Process of Fingerprinting both Speaker and Mic

攻击者可能试图通过观察设备麦克风和扬声器中的缺陷来提取设备指纹。例如，通过说服用户在其手机上安装需要访问设备扬声器和麦克风才能与游戏交互的游戏。攻击者可能会在游戏开始时播放主题曲，同时录制音频剪辑。为了调查这种攻击的可行性，本文构建了一款Android应用程序，可以同时播放和录制音频片段，并将数据上传到远程服务器。然后，录制的音频片段将使攻击者能够确定嵌入智能手机的麦克风和扬声器的缺陷。