שירותי הסקה מבוזרים בסגנון PiedPiper לבינה מלאכותית?

האם ‘BitTorrent לבינה מלאכותית’ היא אפשרות בלתי רחוקה?

דעה לאחר שסיימתי אתמול את צפייה מחודשת בסדרה המשעשעת והחדה של מייק ג’אדג’, עמיתים, שבה קבוצה של גאונים חברתיים מנסים ליצור ‘אינטרנט חדש’ בשם PiedPiper, באמצעות רשת משה המותקנת על טלפונים סלולריים – הייתי מעניין לראות את קהילת HN מעורבת עם הצעה חדשה מסוג זה.

Eigen Labs’ DarkBloom נמצאת בין הרעיון האגליטרי של רשת משה מבוזרת להסקה, ומניעים של כריית מטבעות מבוזרת, ומאפשרת לבעלי מערכות Mac של Apple Silicon להפוך את ציודם לצומת הסקה:

מתוך החלק ‘רווחים’ באתר DarkBloom, משתמשים יכולים לבחור אילו ציוד הם רוצים להשכיר, ואילו מודלים של בינה מלאכותית הם רוצים לתמוך. מקור

המערכת מרכזת כרגע במודלים מבוססי טקסט כגון Trinity Mini (3B) ו-Cohere Transcribe, אם כי היא גם מציעה מודלים מגוונים ליצירת תמונות כגון FLUX 2 Klein 4B:

טווח המודלים שמהם ‘בעל הבית’ יכול לבחור להשכיר, יחד עם הכנסות חודשיות מוערכות.

משתמשים המשתתפים בתוכנית יכולים בדרך כלל להרוויח כסף מספיק בחודש מוצק של אספקת הסקה כדי להוסיף באופן קבוע מחשב Mac חדש לשרשרת הולכת וגדלה, עד שבתיאוריה, הם יכולים להרוויח חווה מלאה של הסקה.

באופן יעיל, תוכנית מסוג זה שאכן תזכה לפופולריות (יש לה בעיה של התחלה קרה ברגע זה) עשויה להחזיר את המשתמשים החובבים לעמדת חיפוש אחר חומרה, כפי שקרה בבום המטבעות הדיגיטליים האחרון (והקריסה הבאה אחריו).

לא כל כך מהר

אולם, עבור החברים הקטנים, הסירה הזו עשויה להיות כבר בדרך. מלבד הצורך האפוקליפטי של בינה מלאכותית ב-זיכרון RAM, הביקוש לאמצעים למרכזי נתונים עם בינה מלאכותית ברחבי העולם ממשיך להעלות את עלויות החומרה והשירותים עבור הצרכן הרגיל, שבעבר היה מסוגל למונופול על זיכרון RAM לצורך כריית מטבעות, בשל טבעו ההיקפי של הפעילות, כמו גם אי-ודאות רגולטורית, שהרחיקה אינטרסים עסקיים מהתעניינות במטבעות.

כאשר ה-MacBook Neo הזול התגלה כחלופה לניצחון החומרה, שביפ ה-A18 ו-8GB של VRAM אינם מציבים אותו בתחרות רצינית כמכונת הסקה.

אולם, אפילו אם המשתמש הסופי אינו מעוניין להתחיל חווה מלאה של הסקה, ורק רוצה להשכיר את הנפח הלא משמש שלו, הרווחים הפוטנציאליים נראים משמעותיים, אם בעיה ההתחלה הקרה תופתר במהירות, ואם הפלטפורמה תתחיל לפרסם את עצמה כיותר מניסוי סקרנות בביקוש פוטנציאלי.

הבדל

אף על פי שמספר פרשנים הכירו בדמוקרטיה בסגנון PiedPiper/Torrent בתוכנית DarkBloom, משימות הסקה אינן כל כך ניתנות לחלוקה כמו חלוקת קובץ סרט לחתיכות מקודדות רבות, כך שניתן יהיה לאחר מכן להרכיבו מחדש בלקוח טורנט.

המודל DarkBloom אינו מציע כי יחידת M[n] של משתתף תטפל ב-x% ממשימת הסקה. בשימוש רגיל, רק מספר קטן של תשתיות או מתודולוגיות יכולות להשיג את סוג זה של שימוש משותף ב-GPU במשימת הסקה יחידה, כולל TensorRT LLM של NVIDIA, המשתמש ב-מקביליות צינור; ו-שבירת הסקה של DeepSpeed, המנצל מקביליות מודל (MP).

במקום זאת, ה-Mac שלך עם DarkBloom יוריד ויפעיל אחד מהמודלים הרשומים, ויבצע 100% מההסקה עבור משתמשים משלמים, עם הצפנה מקצה לקצה, ועם פרומפטים המוצפנים רק על צמתים המאומתים על ידי חומרה, מה שאומר שספקים לא יוכלו לקרוא נתונים במהלך ביצוע.

עומס העבודה עצמו יהיה מורכב מאחת או יותר הסקות מבוססות טקסט, או לפחות תמונה שלמה.

אין ברור כמה נרחב יהיה פגישה של משתמש יחיד; כפי שהוא עומד, חובבי בינה מלאכותית רגילים להשיג GPU דרך חוות הסקה כגון RunPod; אם זה לוקח זמן להשיג את ה-GPU הרצוי בשיא השימוש, המשתמש מקבל למונופול אותו כל עוד הפגישה לא מורשית לפוג.

כך שייתכן שמשתמש משלם יחיד יסתיים בשימוש ביכולות ה-M-series AI של Mac נטו במשך זמן רב, אלא אם יש יתרון לוגיסטי או תאימות בחילופי לקוחות בין בקשות.

מחשבי Mac נבחרו לגישה זו, ככל הנראה, מכיוון שיש רק מספר מוגבל של קונפיגורציות טכניות אפשריות עבור משתתף, והוא קל לה