มุมมองของ Anderson
การปลอมแปลงเสียงด้วย Deepfake ที่ใช้ในการปล้นธนาคารมูลค่า 35 ล้านดอลลาร์สหรัฐฯ ในปี 2020

การสอบสวนการฉ้อโกงเงิน 35 ล้านดอลลาร์สหรัฐฯ จากธนาคารในสหรัฐอาหรับเอมิเรตส์ ในเดือนมกราคมปี 2020 พบว่าเทคโนโลยีเสียงปลอมแปลง (Deepfake) ถูกใช้เพื่อเลียนเสียงผู้อำนวยการบริษัทที่รู้จักกับผู้จัดการสาขาธนาคาร ซึ่งจากนั้นได้อนุมัติการทำธุรกรรม
อาชญากรรมเกิดขึ้นเมื่อวันที่ 15 มกราคมของปีที่แล้ว และได้รับการอธิบายไว้ใน คำร้อง (PDF) โดยสหรัฐอาหรับเอมิเรตส์ต่อหน่วยงานของรัฐอเมริกาสำหรับการช่วยเหลือในการติดตามเงินที่ถูกโอนไปยังสหรัฐอเมริกา
คำร้องระบุว่าผู้จัดการสาขาธนาคารของธนาคารที่ไม่มีชื่อในสหรัฐอาหรับเอมิเรตส์ได้รับโทรศัพท์จากเสียงที่คุ้นเคย ซึ่งร่วมกับอีเมลจากทนายความชื่อ Martin Zelner ทำให้ผู้จัดการเชื่อว่าการทำธุรกรรมนั้นถูกต้อง
คำร้องระบุว่า:
‘ตามที่เจ้าหน้าที่เอมิเรตส์ระบุว่า ในวันที่ 15 มกราคม 2020 ผู้จัดการสาขาของบริษัทที่ถูกฉ้อโกงได้รับโทรศัพท์ที่อ้างว่าเป็นจากสำนักงานใหญ่ของบริษัท ผู้โทรดูเหมือนจะเป็นผู้อำนวยการบริษัท ดังนั้นผู้จัดการจึงเชื่อว่าโทรศัพท์นั้นถูกต้อง
‘ผู้จัดการสาขายังได้รับอีเมลหลายฉบับที่เข้าใจว่าเป็นจากผู้อำนวยการ ซึ่งเกี่ยวข้องกับการโทรศัพท์ ผู้โทรบอกผู้จัดการว่าบริษัทกำลังจะซื้อบริษัทอื่น และทนายความชื่อ Martin Zelner ได้รับการอนุมัติให้ประสานงานขั้นตอนการซื้อ’
จากนั้นผู้จัดการสาขาได้รับอีเมลจาก Zelner พร้อมกับจดหมายอนุมัติจากผู้อำนวยการ (ที่ถูกปลอมแปลง) ซึ่งมีเสียงที่คุ้นเคยสำหรับเหยื่อ
การฉ้อโกงเสียงปลอมแปลงถูกตรวจพบ
นักสืบของเอมิเรตส์พบว่าเทคโนโลยีเสียงปลอมแปลง (Deepfake) ถูกใช้เพื่อเลียนเสียงของผู้อำนวยการบริษัท:
‘การสอบสวนของเอมิเรตส์พบว่าจำเลยได้ใช้ “เสียงลึก” (Deep Voice) เพื่อเลียนเสียงของผู้อำนวยการ ในเดือนมกราคม 2020 เงินถูกโอนจากบริษัทที่ถูกฉ้อโกงไปยังบัญชีธนาคารหลายบัญชีในประเทศอื่น ๆ ในแผนการฉ้อโกงที่ซับซ้อน ซึ่งเกี่ยวข้องกับผู้ต้องสงสัยอย่างน้อย 17 คน เจ้าหน้าที่ของเอมิเรตส์ติดตามการเคลื่อนไหวของเงินผ่านบัญชีหลายบัญชี และพบว่ามีการทำธุรกรรมสองครั้งไปยังสหรัฐอเมริกา’
‘เมื่อวันที่ 22 มกราคม 2020 มีการโอนเงินสองครั้งจำนวน 199,987.75 ดอลลาร์สหรัฐฯ และ 215,985.75 ดอลลาร์สหรัฐฯ จากผู้ต้องสงสัยสองคนไปยังบัญชีธนาคาร Centennial ในสหรัฐอเมริกา’
ไม่มีข้อมูลเพิ่มเติมเกี่ยวกับอาชญากรรมนี้ ซึ่งเป็นเพียงกรณีที่สองที่ทราบของการฉ้อโกงทางการเงินโดยใช้เสียงปลอมแปลง (Deepfake) ครั้งแรกเกิดขึ้นเก้าเดือนก่อนหน้านี้ ในเดือนมีนาคม 2020 เมื่อผู้บริหารของบริษัทพลังงานในอังกฤษถูกหลอกให้โอนเงิน 220,000 ยูโร (243,000 ดอลลาร์สหรัฐฯ) โดยใช้เสียงที่เลียนแบบเสียงของหัวหน้า
การพัฒนาการเลียนเสียง
การปลอมแปลงเสียง (Deepfake) เกี่ยวข้องกับการฝึกโมเดลการเรียนรู้ของเครื่องจักร (Machine Learning) โดยใช้เสียงของบุคคลที่ต้องการเลียน (Target Voice) หลายร้อยหรือหลายพันครั้ง การเลียนเสียงที่แม่นยำที่สุดสามารถทำได้โดยการฝึกเสียงของบุคคลที่จะพูดในสถานการณ์ที่ต้องการเลียน แต่โมเดลจะถูก “overfitted” กับบุคคลที่จะเลียนเสียง
ชุมชนออนไลน์ที่มี活跃ที่สุดสำหรับนักพัฒนาการเลียนเสียงคือ Audio Fakes Discord server ซึ่งมีฟอรัมสำหรับอัลกอริทึมการปลอมแปลงเสียง (Deepfake) หลายตัว เช่น Tacotron-2, Talknet, ForwardTacotron, Coqui-ai-TTS และ Glow-TTS เป็นต้น
การปลอมแปลงเสียงแบบเรียลไทม์
เนื่องจากการโทรศัพท์เป็นการสื่อสารแบบโต้ตอบ การฉ้อโกงโดยใช้เสียงปลอมแปลงจึงไม่สามารถทำได้ด้วยคลิปเสียงคุณภาพสูงแบบ “baked” ในทั้งสองกรณีของการฉ้อโกงโดยใช้เสียงปลอมแปลง เราสามารถอนุมานได้ว่าผู้พูดใช้เฟรมเวิร์กการปลอมแปลงเสียงแบบเรียลไทม์
การปลอมแปลงเสียงแบบเรียลไทม์ได้รับการเน้นย้ำล่าสุดเนื่องจากการมาถึงของ DeepFaceLive ซึ่งเป็นการนำไปใช้แบบเรียลไทม์ของแพ็คเกจการปลอมแปลงเสียง (Deepfake) ที่ได้รับความนิยม DeepFaceLab ซึ่งสามารถซ้อนทับอัตลักษณ์ของคนดังหรืออัตลักษณ์อื่น ๆ ลงในภาพถ่ายจากเว็บแคมแบบเรียลไทม์ แม้ว่าผู้ใช้ที่ Audio Fakes Discord และ DeepFaceLab Discord จะสนใจที่จะรวมเทคโนโลยีทั้งสองเข้าด้วยกัน แต่ยังไม่มีผลิตภัณฑ์ใดที่ออกมาเป็นทางการ












