ผู้นำทางความคิด

การเกิดขึ้นของวิศวกรรมการประสานงาน AI

Andrew Filev
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
A cinematic, wide-angle shot of a technical professional sitting at a futuristic curved workstation in a dark data center, orchestrating a complex digital workflow displayed on glowing holographic glass panels.
ประเด็นสำคัญทีม OpenAI สามคนส่งมอบโค้ดหนึ่งล้านบรรทัดผ่าน Codex…
ดูเพิ่มเติม
  • ทีม OpenAI สามคนส่งมอบโค้ดหนึ่งล้านบรรทัดผ่าน Codex โดยไม่ต้องเขียนโค้ดด้วยตนเองแม้แต่บรรทัดเดียว
  • วิศวกรรมการประสานงาน AI ผสานสถาปัตยกรรม DevOps และความเชี่ยวชาญด้าน AI เข้าสู่บทบาทที่รวมศูนย์เพียงบทบาทเดียว
  • องค์กรที่รวมศูนย์เวิร์กโฟลว์ของเอเจนต์จะเพิ่มปริมาณงานเป็นสองเท่า ในขณะที่องค์กรอื่นๆ จะหยุดชะงักอยู่ที่การเติมข้อความอัตโนมัติ

วิศวกร 10x เป็นตำนานของซิลิคอนแวลลีย์มาหลายทศวรรษ อัจฉริยะผู้ทำงานลำพัง สวมหูฟัง และผลิตโค้ดอันประณีตจำนวนมากด้วยความเร็วเหนือมนุษย์ เราถกเถียงกันว่าคนเช่นนี้มีอยู่จริงหรือไม่ โต้แย้งกันว่าจะจ้างพวกเขาอย่างไร และแอบรู้สึกไม่พอใจใครก็ตามที่อ้างว่าตนเป็นหนึ่งในนั้น

แต่มีสิ่งน่าสนใจเกิดขึ้นระหว่างทางสู่อนาคตที่ให้ AI เป็นหลัก วิศวกร 10x กลายเป็นจริง เพียงแต่ไม่ได้มีลักษณะอย่างที่เราจินตนาการไว้เลย

เมื่อไม่นานมานี้ OpenAI แบ่งปันว่าทีมสามคนใช้ Codex ส่งมอบ pull request 1,500 รายการและโค้ดประมาณหนึ่งล้านบรรทัด โดยไม่เขียนโค้ดด้วยมือแม้แต่บรรทัดเดียว วิศวกรสามคนกับโค้ดที่เขียนด้วยมือเป็นศูนย์ ผลิตภัณฑ์ที่ใช้งานจริงโดยผู้ใช้ภายในหลายร้อยคน

นั่นไม่ใช่ 10x แต่ใกล้เคียง 100x มากกว่า และทักษะที่ทำให้เป็นไปได้ไม่ใช่การพิมพ์เร็วขึ้นหรือรู้จักอัลกอริทึมมากขึ้น แต่คือการสร้างระบบที่ทำให้เอเจนต์ AI ทำงานได้อย่างมีผลิตภาพ ได้แก่ เวิร์กโฟลว์ มาตรการกำกับ วงรอบการตรวจสอบ และอินเทอร์เฟซที่เอเจนต์เชื่อมต่อและมนุษย์ใช้ตรวจทานงาน

ฉันเชื่อว่านี่คือการเกิดขึ้นของหน้าที่สำคัญใหม่ในองค์กรวิศวกรรม ฉันจะเรียกมันว่า วิศวกรรมการประสานงาน AI

สามสาขามาพบกันในการประชุมสแตนด์อัป

หากพิจารณาว่าวิศวกรการประสานงาน AI ทำอะไรจริง ๆ คุณจะเห็นสามสาขาที่คุ้นเคยหลอมรวมเป็นหนึ่งเดียว

ส่วนประกอบที่ชัดเจนที่สุดคือ DevOps ซึ่งรวมกระบวนการนำซอฟต์แวร์ขึ้นใช้งานไว้ที่ส่วนกลาง ทีมหนึ่งกำหนดเวิร์กโฟลว์ CI/CD ที่วิศวกรทุกคนใช้ในการส่งมอบโค้ด วิศวกรรมการประสานงาน AI ทำแบบเดียวกัน แต่กับเวิร์กโฟลว์ของเอเจนต์ โดยกำหนดว่าจะมอบหมายงานให้เอเจนต์อย่างไร ตรวจสอบผลลัพธ์อย่างไร และให้การลองใหม่กับทางเลือกสำรองทำงานอย่างไร นี่คือโครงสร้างพื้นฐานร่วมที่เอเจนต์ทำงานอยู่

ต่อมาคือสถาปัตยกรรม ซึ่งทับซ้อนกับ DevOps มากกว่าที่คุณอาจคาด สถาปนิกตัดสินใจว่าอินเทอร์เฟซใดกำหนดไว้ตายตัว รูปแบบใดต้องบังคับใช้ และขอบเขตใดห้ามข้าม ในโลกที่ให้เอเจนต์เป็นหลัก เรื่องนี้ยิ่งสำคัญ เอเจนต์ต้องการฐานโค้ดที่เป็นระเบียบ มีเอกสารครบถ้วน และมีข้อกำหนดการทำงานร่วมกันชัดเจน วิศวกรการประสานงาน AI กำหนดข้อจำกัดเหล่านี้ไม่ใช่เพียงเพื่อให้มนุษย์อ่านรู้เรื่อง แต่เพื่อให้เอเจนต์เข้าใจด้วย คลังโค้ดที่ยุ่งเหยิงไม่ได้เป็นเพียงหนี้ทางเทคนิคอีกต่อไป แต่เป็นเพดานผลิตภาพของเอเจนต์ทุกตัวที่ทำงานกับมัน

ส่วนที่คนเข้าใจน้อยที่สุดคือชั้นงานเฉพาะด้าน AI ได้แก่ วิศวกรรมพรอมป์ต์ การจัดการบริบท การเลือกโมเดล และการกำหนดค่าเอเจนต์ ปัจจุบันวิศวกรส่วนใหญ่ทำสิ่งเหล่านี้อย่างกระจัดกระจาย แยกกันไปทีละงาน แต่ละคนคิดรูปแบบการเขียนพรอมป์ต์ การตั้งค่าเอเจนต์ และวิธีแก้ปัญหาเฉพาะหน้าของตนเอง วิศวกรการประสานงาน AI รวมงานนี้ไว้ที่ส่วนกลาง โดยสร้างคู่มือปฏิบัติร่วม การกำหนดค่าที่นำกลับมาใช้ได้ และความรู้ระดับองค์กรว่าอะไรได้ผลหรือไม่ได้ผลกับโมเดลและกรณีใช้งานต่าง ๆ

หน้าที่ทั้งสามนี้ต่างมีอยู่แล้วในองค์กรวิศวกรรมส่วนใหญ่ในปัจจุบัน ข้อเสนอคือการรวมหน้าที่เหล่านี้ไว้ในบทบาทส่วนกลางเพียงบทบาทเดียวจะสร้างสิ่งที่แตกต่างออกไปในเชิงคุณภาพ

อุปมาเรื่องโชว์รันเนอร์

ผู้กำกับภาพยนตร์ไม่ได้เป็นคนใช้กล้อง แสดงในฉาก หรือตัดต่อฟุตเทจ แต่ทุกเฟรมสะท้อนการตัดสินใจของผู้กำกับ

ผู้กำกับเลือกองค์ประกอบภาพ จังหวะ และโทน ตัดสินใจว่าจะเข้าภาพใกล้เมื่อใดและถอยออกเป็นภาพกว้างเมื่อใด จัดสภาพแวดล้อม ทั้งแสง การออกแบบฉาก และการกำหนดตำแหน่งกับการเคลื่อนไหวของนักแสดง เพื่อให้ทุกคนในกองถ่ายทำงานได้ดีที่สุดภายใต้วิสัยทัศน์ที่เป็นอันหนึ่งอันเดียวกัน ทีมงานแต่ละคนมีความสามารถ แต่หากขาดการประสานงาน คุณจะได้งานที่ยุ่งเหยิงจนไม่มีวันส่งมอบได้

วิศวกรรมการประสานงาน AI ทำงานแบบเดียวกัน เอเจนต์มีความสามารถ โมเดลทรงพลัง แต่หากไม่มีคนออกแบบระบบที่ประสานงานพวกมัน กำหนดข้อจำกัด สร้างวงรอบข้อมูลป้อนกลับ และวางโครงสร้างเวิร์กโฟลว์ คุณก็จะพบสิ่งที่เราทุกคนเคยเจอ ได้แก่ ผลลัพธ์ที่ไม่สม่ำเสมอ ทรัพยากรประมวลผลที่สูญเปล่า เอเจนต์ที่ทำงานสวนทางกัน และวิศวกรที่ใช้เวลาแก้โค้ดจาก AI มากกว่าเวลาที่ต้องใช้หากเขียนเอง

ผู้กำกับสร้างภาพยนตร์ที่มีคุณค่ามากกว่าผลรวมของส่วนประกอบ วิศวกรการประสานงาน AI ทำเช่นเดียวกันกับกลุ่มเอเจนต์

ทำไมองค์กรส่วนใหญ่จึงลงทุนไม่เพียงพอ

สิ่งที่ฉันเห็นทั่วอุตสาหกรรมคือ บริษัทต่าง ๆ ลงทุนมหาศาลในเครื่องมือ AI แต่ลงทุนในระบบที่รายล้อมเครื่องมือเหล่านั้นน้อยเกินไปมาก

วิศวกรได้รับสิทธิ์ใช้ Copilot, Claude และ Codex แล้วทดลองกันเป็นรายบุคคล บางคนกลายเป็นผู้ใช้ขั้นสูง แต่ส่วนใหญ่ไปหยุดอยู่ที่ขั้น “ระบบเติมโค้ดอัตโนมัติที่ดูดีขึ้น” แล้วผลิตภาพที่เพิ่มขึ้น 20% ซึ่งงานศึกษารายงานกันอยู่เรื่อย ๆ ล่ะ นั่นคืออาการของการนำเครื่องมือมาใช้โดยไม่ได้คิดในระดับระบบ

องค์กรที่ก้าวพ้นจุดนี้และรายงานปริมาณงานที่ทำเสร็จเพิ่มขึ้นเป็นสองเท่าหรือมากกว่านั้นมีสิ่งหนึ่งร่วมกัน คือรวมงานประสานงานไว้ที่ส่วนกลาง มีใครคนหนึ่งหรือทีมใดทีมหนึ่งรับผิดชอบเวิร์กโฟลว์ของเอเจนต์ การเตรียมคลังโค้ด โครงสร้างพื้นฐานการตรวจสอบ และบริบทร่วมที่เอเจนต์ทุกตัวเข้าถึงได้

บทบาทนี้มีหน้าตาอย่างไรในทางปฏิบัติ

งานประจำวันของวิศวกรการประสานงาน AI อาจรวมถึง:

  • ออกแบบเวิร์กโฟลว์ของเอเจนต์: กำหนดว่าคำขอฟีเจอร์จะพัฒนาไปเป็นข้อกำหนด เป็นแผน เป็นงานของเอเจนต์ที่ทำขนานกัน และเป็นโค้ดที่ผ่านการตรวจทานและผสานแล้วได้อย่างไร
  • สร้างโครงสร้างพื้นฐานการตรวจสอบ: การทดสอบอัตโนมัติ กฎ lint สำหรับตรวจโค้ด การสแกนความปลอดภัย และกรอบการประเมินที่เอเจนต์ต้องผ่านก่อนงานของพวกมันจะถูกผสานเข้าฐานโค้ด
  • ดูแลคลังโค้ดให้พร้อมสำหรับเอเจนต์: เอกสาร อินเทอร์เฟซที่ชัดเจน การจัดการส่วนพึ่งพา และการทำฐานโค้ดให้เรียบง่าย โดยปรับทุกอย่างเพื่อให้เอเจนต์เข้าใจ ไม่ใช่เพียงเพื่อให้มนุษย์อ่านรู้เรื่อง
  • รวมกลยุทธ์พรอมป์ต์และบริบทไว้ที่ส่วนกลาง: พรอมป์ต์ระบบร่วม กระบวนการค้นคืนข้อมูล การตัดสินใจเลือกเส้นทางไปยังโมเดล และแม่แบบการกำหนดค่าที่ทั้งทีมใช้ร่วมกัน
  • ติดตามและปรับปรุงประสิทธิภาพเอเจนต์: ติดตามอัตราความสำเร็จ ลักษณะความล้มเหลว ต้นทุนต่องาน และเวลาจนถึงการผสานโค้ดทั่วทั้งกลุ่มเอเจนต์ จากนั้นปรับระบบตามข้อมูล

บุคคลนี้ทำงานอยู่ตรงจุดตัดของวิศวกรรมแพลตฟอร์ม สถาปัตยกรรมซอฟต์แวร์ และความเชี่ยวชาญด้าน AI พวกเขาไม่ได้เขียนฟีเจอร์ แต่สร้างระบบที่ทำให้การส่งมอบฟีเจอร์รวดเร็ว เชื่อถือได้ และขยายขนาดได้

รูปแบบที่เคยเกิดขึ้นในอดีต

ในยุคแรกของคลาวด์คอมพิวติง การนำซอฟต์แวร์ขึ้นใช้งานเป็นงานรองของวิศวกรทุกคน แต่ละทีมมีสคริปต์ การกำหนดค่าเซิร์ฟเวอร์ และวิธีนำโค้ดเข้าสู่ระบบใช้งานจริงของตนเอง DevOps เกิดขึ้นเพื่อรวมงานนี้ไว้ที่ส่วนกลาง และวิศวกรรมแพลตฟอร์มพัฒนาต่อเพื่อสร้างเป็นโครงสร้างพื้นฐานร่วมแบบบริการตนเอง

AI กำลังเดินตามเส้นทางเดียวกัน ตอนนี้การใช้เอเจนต์เป็นงานรองของวิศวกรทุกคน แต่ละคนมีรูปแบบการเขียนพรอมป์ต์ เครื่องมือที่ชอบ และกรอบความคิดของตนเองว่า AI ช่วยได้เมื่อใดและช่วยไม่ได้เมื่อใด องค์กรที่รวมงานนี้ไว้ที่ส่วนกลางและมองว่าเป็นโครงสร้างพื้นฐานแทนการทดลองแยกกันเป็นรายบุคคลจะก้าวนำ เช่นเดียวกับองค์กรที่มีแนวปฏิบัติ DevOps ที่เติบโตเต็มที่ซึ่งเคยทิ้งห่างองค์กรที่ไม่มี

ความแตกต่างคือความเร็ว การเปลี่ยนผ่านสู่ DevOps ใช้เวลาหนึ่งทศวรรษ การเปลี่ยนผ่านครั้งนี้อาจใช้เวลาเพียงไม่กี่ไตรมาส แม้ฉันยอมรับว่าการคาดการณ์นี้ตั้งอยู่บนสมมติฐานว่าองค์กรจะมองเห็นรูปแบบดังกล่าวได้เร็วกว่าที่มักเป็นมา

เส้นทางข้างหน้า

หากคุณเป็นผู้นำฝ่ายวิศวกรรม นี่คือสิ่งที่ฉันอยากแนะนำ แม้ผลลัพธ์จะแตกต่างกันตามระดับความก้าวหน้าที่ทีมของคุณมีอยู่แล้ว

  1. ระบุว่าใครกำลังทำงานนี้อย่างไม่เป็นทางการ ทุกองค์กรมีคนที่เข้าใจเวิร์กโฟลว์ของเอเจนต์แล้ว และเป็นคนที่วิศวกรอื่นไปขอคำแนะนำเรื่องพรอมป์ต์หรือการตั้งค่าเครื่องมือ บุคคลนั้นคือต้นแบบวิศวกรการประสานงาน AI ของคุณ
  2. ทำให้ชัดเจน ตั้งชื่อหน้าที่นี้ มอบอำนาจหน้าที่และทรัพยากร อย่าปล่อยให้เป็นเพียงโครงการเสริมที่ผูกติดกับงาน “จริง” ของใครบางคน
  3. เริ่มจากความพร้อมของคลังโค้ด ก่อนลงทุนในเวิร์กโฟลว์เอเจนต์ที่ซับซ้อน ให้แน่ใจว่าเอเจนต์สำรวจและทำงานกับฐานโค้ดได้จริง มีอินเทอร์เฟซที่เป็นระเบียบ เอกสารที่ดี การทดสอบที่ครอบคลุม และสถาปัตยกรรมที่เรียบง่ายขึ้น
  4. รวมสิ่งที่ได้ผลไว้ที่ส่วนกลาง เมื่อใครค้นพบกลยุทธ์พรอมป์ต์หรือรูปแบบเวิร์กโฟลว์ที่ช่วยปรับปรุงผลลัพธ์ของเอเจนต์ได้อย่างมาก ให้บันทึกไว้และทำให้เป็นแนวทางเริ่มต้นของทั้งทีม แทนที่จะเป็นความรู้เฉพาะกลุ่มที่เก็บอยู่ในหัวคนเพียงคนเดียว
  5. วัดผลในระดับระบบ อย่าติดตามเพียงการใช้เครื่องมือของแต่ละคน แต่ให้ติดตามว่าเอเจนต์ทำงานจนเสร็จตั้งแต่ต้นจนจบกี่งาน อัตราการตรวจทานและการกลับไปแก้งานเป็นอย่างไร และคอขวดอยู่ตรงไหน

10x รูปแบบใหม่

ตำนานวิศวกร 10x เป็นเรื่องความเก่งกาจแบบวีรบุรุษรายบุคคลมาโดยตลอด คนคนเดียวที่ทำได้เหนือกว่าทุกคนด้วยพรสวรรค์และคาเฟอีนล้วน ๆ

ความเป็นจริงของวิศวกร 10x ในยุค AI คือการคิดเชิงระบบ บุคคลที่ทำให้วิศวกรคนอื่นทุกคนและเอเจนต์ทุกตัวมีผลิตภาพมากขึ้น ด้วยการสร้างโครงสร้างพื้นฐาน เวิร์กโฟลว์ และข้อจำกัดที่เหมาะสม

พวกเขาไม่ได้เขียนโค้ดมากขึ้นสิบเท่า แต่สร้างระบบที่เขียนโค้ดนั้น

ฉันไม่แน่ใจว่าบทบาทนี้จะก่อตัวขึ้นตรงตามที่บรรยายไว้ทุกประการ แต่ค่อนข้างมั่นใจว่าองค์กรที่จัดการชั้นการประสานงานได้สำเร็จ ไม่ว่าสุดท้ายจะเรียกมันว่าอะไร จะเป็นองค์กรที่ได้รับผลผลิตที่เพิ่มขึ้นจริง ขณะที่คนอื่นยังเพียงพูดถึงมัน

แอนดรูว์ ไฟล์ว เป็นผู้ก่อตั้งและซีอีโอของ Zencoder เขาได้เปลี่ยนแปลงการบริหารงานร่วมกันโดยการก่อตั้ง Wrike (ลูกค้ามากกว่า 20,000 ราย ขายไปแล้ว 2.25 พันล้านดอลลาร์) และได้รับการกล่าวถึงใน Forbes และ The NY Times ความหลงใหลของเขาใน AI และนวัตกรรมยังคงกำหนดรูปแบบอนาคตของงาน