بڑی زبان کے ماڈلز (LLM) کو حقیقی دنیا کی کاروباری ایپلی کیشنز میں منتقل کرنا

زبان کے بڑے ماڈل ہر جگہ موجود ہیں۔ گاہک کی ہر گفتگو یا VC پچ میں سوالات شامل ہوتے ہیں کہ LLM ٹیک کتنی تیار ہے اور یہ مستقبل کی ایپلی کیشنز کو کیسے چلائے گی۔ میں نے اس پر کچھ نمونوں کا احاطہ کیا۔ میری پچھلی پوسٹ. یہاں میں فارما انڈسٹری میں ایپلی کیشن کے لیے کچھ حقیقی دنیا کے نمونوں کے بارے میں بات کروں گا جن پر پرسسٹنٹ سسٹمز کام کرتے ہیں۔

بڑے زبان کے ماڈل اور بنیادی طاقت

ایل ایل ایم زبان کو سمجھنے میں اچھے ہیں، یہی ان کی طاقت ہے۔ سب سے عام نمونہ جو ہم ایپلی کیشنز کے ساتھ دیکھ رہے ہیں وہ بازیافت بڑھا ہوا جنریشن (RAG) ہے، جہاں معلومات کو بیرونی طور پر ڈیٹا کے ذرائع سے مرتب کیا جاتا ہے اور LLM کے جواب کو بیان کرنے کے لیے فوری طور پر سیاق و سباق میں فراہم کیا جاتا ہے۔ اس معاملے میں، ویکٹر ڈیٹا بیس اور Elasticsearch پر مبنی انجن جیسے انتہائی تیز تلاش کے طریقہ کار تلاش کی پہلی لائن کے طور پر کام کرتے ہیں۔ پھر تلاش کے نتائج کو ایک پرامپٹ میں مرتب کیا جاتا ہے اور زیادہ تر API کال کے طور پر LLM کو بھیجا جاتا ہے۔

ایک اور نمونہ LLM کو ایک ڈیٹا ماڈل کو پرامپٹ اور ایک مخصوص صارف کے استفسار کے طور پر کھلا کر سٹرکچرڈ ڈیٹا پر ایک استفسار پیدا کر رہا ہے۔ اس پیٹرن کو Snowflake جیسے SQL ڈیٹا بیس کے ساتھ ساتھ Neo4j جیسے گراف ڈیٹا بیس کے لیے ایک اعلی درجے کے "اپنے ڈیٹا سے بات کریں" انٹرفیس تیار کرنے کے لیے استعمال کیا جا سکتا ہے۔

حقیقی دنیا کی بصیرت کے لیے ایل ایل ایم پیٹرنز کا فائدہ اٹھانا

پرسسٹنٹ سسٹمز نے حال ہی میں ایک پیٹرن کو دیکھا بلاسٹ موشن، ایک اسپورٹس ٹیلی میٹری کمپنی (بیس بال، گولف وغیرہ کے لیے سوئنگ تجزیہ)، جہاں ہم نے سفارشات حاصل کرنے کے لیے کھلاڑیوں کے سمری کے ٹائم سیریز ڈیٹا کا تجزیہ کیا۔

مزید پیچیدہ ایپلی کیشنز کے لیے، ہمیں اکثر کالوں کے درمیان پروسیسنگ کے ساتھ LLM درخواستوں کو زنجیر بنانے کی ضرورت ہوتی ہے۔ ایک فارما کمپنی کے لیے، ہم نے ایک سمارٹ ٹریلز ایپ تیار کی ہے جو کلینیکل ٹرائل دستاویز سے اخذ کردہ معیار کی بنیاد پر مریضوں کو کلینیکل ٹرائلز کے لیے فلٹر کرتی ہے۔ یہاں ہم نے LLM چین اپروچ استعمال کیا۔ سب سے پہلے ہم نے ٹرائل پی ڈی ایف دستاویز کو پڑھنے کے لیے ایک LLM تیار کیا اور شمولیت اور اخراج کے معیار کو نکالنے کے لیے RAG پیٹرن کا استعمال کیا۔

اس کے لیے نسبتاً آسان LLM جیسے GPT-3.5-Turbo (ChatGPT) استعمال کیا گیا۔ پھر ہم نے ان نکالی ہوئی ہستیوں کو Snowflake میں مریضوں کے SQL ڈیٹا بیس کے ڈیٹا ماڈل کے ساتھ جوڑ دیا، تاکہ ایک پرامپٹ بنایا جا سکے۔ GPT4 جیسے زیادہ طاقتور LLM کو کھلایا جانے والا یہ پرامپٹ ہمیں مریضوں کو فلٹر کرنے کے لیے ایک SQL استفسار فراہم کرتا ہے، جو Snowflake پر چلنے کے لیے تیار ہے۔ چونکہ ہم LLM چیننگ کا استعمال کرتے ہیں، اس لیے ہم زنجیر کے ہر قدم کے لیے متعدد LLMs استعمال کر سکتے ہیں، اس طرح ہمیں لاگت کا انتظام کرنے کے قابل بناتا ہے۔

فی الحال، ہم نے بہتر کنٹرول کے لیے اس سلسلہ کو متعین رکھنے کا فیصلہ کیا۔ یعنی، ہم نے زنجیروں میں زیادہ ذہانت رکھنے اور آرکیسٹریشن کو بہت آسان اور پیش قیاسی رکھنے کا فیصلہ کیا۔ سلسلہ کا ہر عنصر بذات خود ایک پیچیدہ ایپلی کیشن ہے جسے ایل ایل ایم سے پہلے کے دنوں میں تیار ہونے میں چند ماہ لگیں گے۔

مزید اعلی درجے کے استعمال کے معاملات کو طاقت دینا

مزید جدید کیس کے لیے، ہم ایجنٹوں جیسے استعمال کر سکتے ہیں۔ ReAct LLM کو ایک مخصوص صارف کے استفسار پر عمل کرنے کے لیے مرحلہ وار ہدایات بنانے کا اشارہ کرنے کے لیے۔ یقیناً اس کے لیے GPT4 یا Cohere یا Claude 2 جیسے اعلیٰ درجے کے LLM کی ضرورت ہوگی۔ تاہم، پھر ماڈل کے غلط قدم اٹھانے کا خطرہ ہے جس کی توثیق گارڈریلز کے ذریعے کرنی ہوگی۔ یہ سلسلہ کے قابل کنٹرول لنکس میں حرکت پذیر ذہانت یا پوری چین کو خود مختار بنانے کے درمیان تجارت ہے۔

آج، جیسا کہ ہم زبان کے لیے جنریٹو AI کے دور کے عادی ہو گئے ہیں، صنعت LLM ایپلیکیشنز کو قابل پیشن گوئی چینز کے ساتھ اپنانا شروع کر رہی ہے۔ جیسے جیسے یہ اختیار بڑھتا جائے گا، ہم جلد ہی ایجنٹوں کے ذریعے ان زنجیروں کے لیے مزید خود مختاری کے ساتھ تجربہ کرنا شروع کر دیں گے۔ AGI پر بحث یہی ہے اور ہم یہ دیکھنے میں دلچسپی رکھتے ہیں کہ وقت کے ساتھ ساتھ یہ سب کیسے تیار ہوتا ہے۔