لقد فشل Web3 في تخريب Web2، لكن حزمة تطوير النماذج الكبيرة الناشئة تسمح للمطورين بالانتقال من عصر "السحابة الأصلية" إلى حزمة تكنولوجيا الذكاء الاصطناعي الجديدة.
قد لا يكون المهندسون الفوريون قادرين على ملامسة أعصاب المطورين للاندفاع إلى النماذج الكبيرة، ولكن كلمات مديري المنتجات أو القادة: هل يمكن تطوير "وكيل"، وهل يمكن تنفيذ "سلسلة"، و"أي قاعدة بيانات متجهة يجب استخدامها" "يتغلب طلاب تكنولوجيا القيادة في شركات التطبيقات ذات النماذج الكبيرة السائدة على الصعوبات في توليد تطوير الذكاء الاصطناعي.
إذًا، ما هي طبقات مجموعة التكنولوجيا الناشئة؟ أين هو الجزء الأصعب؟ هذه المقالة سوف تأخذك لمعرفة ذلك.
تحتاج مجموعة التكنولوجيا إلى التحديث، والمطورون يدخلون عصر مهندسي الذكاء الاصطناعي.
في العام الماضي، سمح ظهور أدوات مثل LangChain وLlamaIndex بنضج النظام البيئي للمطورين لتطبيقات الذكاء الاصطناعي. حتى أن هناك مصطلحًا الآن لوصف المطورين الذين يركزون على الذكاء الاصطناعي: "مهندسو الذكاء الاصطناعي"، وهم الخطوة التالية من "مهندسي النصائح"، وفقًا لمؤيده Shawn @swyx Wang. كما أنشأ أيضًا رسمًا بيانيًا يصور المكان الذي يتناسب فيه مهندسو الذكاء الاصطناعي مع النظام البيئي الأوسع للذكاء الاصطناعي:
مصدر الصورة: سويكس
نماذج اللغات الكبيرة (LLM) هي التكنولوجيا الأساسية لمهندسي الذكاء الاصطناعي. ليس من قبيل المصادفة أن كلاً من LangChain وLlamaIndex عبارة عن أدوات تعمل على توسيع وتكمل LLM. ولكن ما هي الأدوات الأخرى المتاحة لهذا الجيل الجديد من المطورين؟
حتى الآن، أفضل رسم تخطيطي رأيته لمكدس LLM يأتي من شركة رأس المال الاستثماري Andreessen Horowitz (a16z). إليك ما يقوله عن "مكدس تطبيق LLM":
مصدر الصورة: a16z
هذا صحيح، المستوى الأعلى لا يزال هو البيانات.
من الواضح أن أهم شيء في مجموعة تكنولوجيا LLM هو البيانات. في مخطط a16z، هذه هي الطبقة العليا. "النماذج المضمنة" هي المكان الذي يأتي فيه LLM - يمكنك الاختيار من بين OpenAI أو Cohere أو Hugging Face أو العشرات من خيارات LLM الأخرى، بما في ذلك LLM مفتوحة المصدر ذات الشعبية المتزايدة.
ولكن حتى قبل استخدام LLM، يجب إعداد "خط أنابيب البيانات" - فهو يدرج Databricks وAirflow كمثالين، أو يمكن معالجة البيانات "غير منظمة". يتناسب هذا أيضًا مع دورة البيانات ويمكن أن يساعد الشركات على "تنظيف" البيانات أو تنظيمها ببساطة قبل إدخالها في LLM مخصص. تقدم شركات "استخبارات البيانات" مثل Alation هذا النوع من الخدمة - والذي يبدو أشبه بأدوات مثل "ذكاء الأعمال" المعروفة بشكل أفضل في مجموعة تكنولوجيا المعلومات.
الجزء الأخير من طبقة البيانات هو قاعدة بيانات المتجهات الشهيرة مؤخرًا لتخزين ومعالجة بيانات LLM. وفقاً لتعريف مايكروسوفت، فهي "قاعدة بيانات تقوم بتخزين البيانات كمتجهات عالية الأبعاد، وهي عبارة عن تمثيلات رياضية للميزات أو السمات." ويتم تخزين البيانات كمتجهات من خلال تقنية تسمى "التضمين".
لاحظ المورد الرائد لقاعدة بيانات المتجهات Pinecone في محادثة إعلامية أن أدوات Pinecone تُستخدم غالبًا مع أدوات خطوط أنابيب البيانات مثل Databricks. في هذه الحالة، عادة ما تكون البيانات موجودة في مكان آخر (على سبيل المثال، بحيرة البيانات)، والتي يتم تحويلها بعد ذلك إلى تضمين عبر نموذج التعلم الآلي. بعد معالجة البيانات وتقسيمها، يتم إرسال المتجهات الناتجة إلى Pinecone.
نصائح واستفسارات
يمكن تلخيص الطبقتين التاليتين كمطالبات واستعلامات - حيث يتفاعل تطبيق الذكاء الاصطناعي مع LLM وأدوات البيانات الأخرى (اختياريًا). تضع A16z LangChain وLlamaIndex على أنهما "أطر عمل تنسيقية"، مما يعني أنه يمكن للمطورين استخدام هذه الأدوات بمجرد معرفة ماجستير إدارة الأعمال الذي يستخدمونه.
وفقًا لـ a16z، فإن أطر التنسيق مثل LangChain وLlamaIndex "تستخلص العديد من تفاصيل الارتباط الفوري"، مما يعني الاستعلام عن البيانات وإدارتها بين التطبيق وLLM. تتضمن عملية التنسيق هذه التفاعل مع واجهات برمجة التطبيقات الخارجية، واسترداد بيانات السياق من قاعدة بيانات المتجهات، والحفاظ على الذاكرة عبر استدعاءات LLM المتعددة. المربع الأكثر إثارة للاهتمام في مخطط a16z هو "Playground"، والذي يتضمن OpenAI وnat.dev وHumanloop.
لم تحددها A16z بالضبط في منشور المدونة، ولكن يمكننا أن نستنتج أن أداة "الملعب" تساعد المطورين على تنفيذ ما تسميه A16z "cue jiu-jitsu". في هذه الأماكن، يمكن للمطورين تجربة تقنيات التحفيز المختلفة.
Humanloop هي شركة بريطانية تتميز منصتها بـ "مساحة عمل تعاونية سريعة". ويصف نفسه أيضًا بأنه "مجموعة أدوات تطوير كاملة لوظائف الإنتاج LLM." لذا فهو يسمح لك بشكل أساسي بتجربة أشياء LLM ثم نشرها في تطبيقك إذا كان يعمل.
تشغيل خط الأنابيب: LLMOps
أصبح خط التجميع لإنتاج النماذج الكبيرة أكثر وضوحًا الآن. على يمين مربع التنسيق يوجد عدد من مربعات العمليات، بما في ذلك التخزين المؤقت والتحقق من LLM. هناك أيضًا مجموعة من الخدمات السحابية وواجهة برمجة التطبيقات ذات الصلة بـ LLM، بما في ذلك مستودعات واجهة برمجة التطبيقات المفتوحة مثل Hugging Face وموفري واجهة برمجة التطبيقات الخاصة مثل OpenAI.
ربما يكون هذا هو المكان الأكثر تشابهًا في مجموعة تقنيات المطورين التي اعتدنا عليها في عصر "السحابة الأصلية"، وليس من قبيل الصدفة أن العديد من شركات DevOps أضافت الذكاء الاصطناعي إلى قائمة منتجاتها. في شهر مايو، تحدثت مع الرئيس التنفيذي لشركة Harness جيوتي بانسال. تدير شركة Harness "منصة تسليم البرامج" التي تركز على الجزء "القرص المضغوط" من عملية CI/CD.
أخبرني بانساي أن الذكاء الاصطناعي يمكن أن يخفف من المهام المملة والمتكررة التي تنطوي عليها دورة حياة تسليم البرامج، بدءًا من إنشاء المواصفات بناءً على الوظائف الحالية وحتى كتابة التعليمات البرمجية. بالإضافة إلى ذلك، قال إن الذكاء الاصطناعي يمكنه أتمتة مراجعات التعليمات البرمجية، واختبار الثغرات الأمنية، وإصلاحات الأخطاء، وحتى إنشاء خطوط أنابيب CI/CD للإنشاءات والنشر. ووفقًا لمحادثة أخرى أجريتها في شهر مايو، فإن الذكاء الاصطناعي يعمل أيضًا على تغيير إنتاجية المطورين. أخبرتني تريشا جي من أداة أتمتة البناء Gradle أن الذكاء الاصطناعي يمكنه تسريع عملية التطوير عن طريق تقليل الوقت المستغرق في المهام المتكررة، مثل كتابة التعليمات البرمجية المعيارية، والسماح للمطورين بالتركيز على الصورة الكبيرة، مثل التأكد من أن التعليمات البرمجية تلبي احتياجات العمل.
اختفى Web3، ويأتي مكدس تطوير النماذج الكبيرة
في مجموعة تقنيات تطوير LLM الناشئة، نرى سلسلة من أنواع المنتجات الجديدة، مثل أطر التنسيق (LangChain وLlamaIndex)، وقواعد بيانات المتجهات، ومنصات "الملعب" مثل Humanloop. كل هذه الأمور توسع و/أو تكمل التكنولوجيا الأساسية الأساسية لهذا العصر: نماذج اللغة الكبيرة.
تمامًا مثل ظهور أدوات عصر السحابة الأصلية مثل Spring Cloud وKubernetes في السنوات السابقة. ومع ذلك، في الوقت الحاضر، تبذل جميع الشركات الكبيرة والصغيرة والكبيرة تقريبًا في العصر السحابي الأصلي قصارى جهدها لتكييف أدواتها مع هندسة الذكاء الاصطناعي، الأمر الذي سيكون مفيدًا جدًا للتطوير المستقبلي لمجموعة تكنولوجيا LLM.
نعم، يبدو هذه المرة أن النموذج الكبير "يقف على أكتاف العمالقة"، فأفضل الابتكارات في تكنولوجيا الكمبيوتر مبنية دائمًا على الأساس السابق. وربما كان هذا هو السبب وراء فشل ثورة "Web3" - فهي لم تكن تعتمد على الجيل السابق بقدر ما كانت تحاول اغتصابه.
من الواضح أن مجموعة تقنيات LLM قد قامت بذلك، فهي جسر من عصر التطوير السحابي إلى نظام بيئي أحدث للمطورين قائم على الذكاء الاصطناعي.
الروابط المرجعية:
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
حزمة تطوير النماذج الكبيرة جاهزة!
المؤلف | ريتشارد ماكمانوس
التخطيط | التعليقات
** المصدر 丨 ** مكدس تكنولوجيا 51CTO
لقد فشل Web3 في تخريب Web2، لكن حزمة تطوير النماذج الكبيرة الناشئة تسمح للمطورين بالانتقال من عصر "السحابة الأصلية" إلى حزمة تكنولوجيا الذكاء الاصطناعي الجديدة.
قد لا يكون المهندسون الفوريون قادرين على ملامسة أعصاب المطورين للاندفاع إلى النماذج الكبيرة، ولكن كلمات مديري المنتجات أو القادة: هل يمكن تطوير "وكيل"، وهل يمكن تنفيذ "سلسلة"، و"أي قاعدة بيانات متجهة يجب استخدامها" "يتغلب طلاب تكنولوجيا القيادة في شركات التطبيقات ذات النماذج الكبيرة السائدة على الصعوبات في توليد تطوير الذكاء الاصطناعي.
إذًا، ما هي طبقات مجموعة التكنولوجيا الناشئة؟ أين هو الجزء الأصعب؟ هذه المقالة سوف تأخذك لمعرفة ذلك.
تحتاج مجموعة التكنولوجيا إلى التحديث، والمطورون يدخلون عصر مهندسي الذكاء الاصطناعي.
في العام الماضي، سمح ظهور أدوات مثل LangChain وLlamaIndex بنضج النظام البيئي للمطورين لتطبيقات الذكاء الاصطناعي. حتى أن هناك مصطلحًا الآن لوصف المطورين الذين يركزون على الذكاء الاصطناعي: "مهندسو الذكاء الاصطناعي"، وهم الخطوة التالية من "مهندسي النصائح"، وفقًا لمؤيده Shawn @swyx Wang. كما أنشأ أيضًا رسمًا بيانيًا يصور المكان الذي يتناسب فيه مهندسو الذكاء الاصطناعي مع النظام البيئي الأوسع للذكاء الاصطناعي:
نماذج اللغات الكبيرة (LLM) هي التكنولوجيا الأساسية لمهندسي الذكاء الاصطناعي. ليس من قبيل المصادفة أن كلاً من LangChain وLlamaIndex عبارة عن أدوات تعمل على توسيع وتكمل LLM. ولكن ما هي الأدوات الأخرى المتاحة لهذا الجيل الجديد من المطورين؟
حتى الآن، أفضل رسم تخطيطي رأيته لمكدس LLM يأتي من شركة رأس المال الاستثماري Andreessen Horowitz (a16z). إليك ما يقوله عن "مكدس تطبيق LLM":
هذا صحيح، المستوى الأعلى لا يزال هو البيانات.
من الواضح أن أهم شيء في مجموعة تكنولوجيا LLM هو البيانات. في مخطط a16z، هذه هي الطبقة العليا. "النماذج المضمنة" هي المكان الذي يأتي فيه LLM - يمكنك الاختيار من بين OpenAI أو Cohere أو Hugging Face أو العشرات من خيارات LLM الأخرى، بما في ذلك LLM مفتوحة المصدر ذات الشعبية المتزايدة.
ولكن حتى قبل استخدام LLM، يجب إعداد "خط أنابيب البيانات" - فهو يدرج Databricks وAirflow كمثالين، أو يمكن معالجة البيانات "غير منظمة". يتناسب هذا أيضًا مع دورة البيانات ويمكن أن يساعد الشركات على "تنظيف" البيانات أو تنظيمها ببساطة قبل إدخالها في LLM مخصص. تقدم شركات "استخبارات البيانات" مثل Alation هذا النوع من الخدمة - والذي يبدو أشبه بأدوات مثل "ذكاء الأعمال" المعروفة بشكل أفضل في مجموعة تكنولوجيا المعلومات.
الجزء الأخير من طبقة البيانات هو قاعدة بيانات المتجهات الشهيرة مؤخرًا لتخزين ومعالجة بيانات LLM. وفقاً لتعريف مايكروسوفت، فهي "قاعدة بيانات تقوم بتخزين البيانات كمتجهات عالية الأبعاد، وهي عبارة عن تمثيلات رياضية للميزات أو السمات." ويتم تخزين البيانات كمتجهات من خلال تقنية تسمى "التضمين".
لاحظ المورد الرائد لقاعدة بيانات المتجهات Pinecone في محادثة إعلامية أن أدوات Pinecone تُستخدم غالبًا مع أدوات خطوط أنابيب البيانات مثل Databricks. في هذه الحالة، عادة ما تكون البيانات موجودة في مكان آخر (على سبيل المثال، بحيرة البيانات)، والتي يتم تحويلها بعد ذلك إلى تضمين عبر نموذج التعلم الآلي. بعد معالجة البيانات وتقسيمها، يتم إرسال المتجهات الناتجة إلى Pinecone.
نصائح واستفسارات
يمكن تلخيص الطبقتين التاليتين كمطالبات واستعلامات - حيث يتفاعل تطبيق الذكاء الاصطناعي مع LLM وأدوات البيانات الأخرى (اختياريًا). تضع A16z LangChain وLlamaIndex على أنهما "أطر عمل تنسيقية"، مما يعني أنه يمكن للمطورين استخدام هذه الأدوات بمجرد معرفة ماجستير إدارة الأعمال الذي يستخدمونه.
وفقًا لـ a16z، فإن أطر التنسيق مثل LangChain وLlamaIndex "تستخلص العديد من تفاصيل الارتباط الفوري"، مما يعني الاستعلام عن البيانات وإدارتها بين التطبيق وLLM. تتضمن عملية التنسيق هذه التفاعل مع واجهات برمجة التطبيقات الخارجية، واسترداد بيانات السياق من قاعدة بيانات المتجهات، والحفاظ على الذاكرة عبر استدعاءات LLM المتعددة. المربع الأكثر إثارة للاهتمام في مخطط a16z هو "Playground"، والذي يتضمن OpenAI وnat.dev وHumanloop.
لم تحددها A16z بالضبط في منشور المدونة، ولكن يمكننا أن نستنتج أن أداة "الملعب" تساعد المطورين على تنفيذ ما تسميه A16z "cue jiu-jitsu". في هذه الأماكن، يمكن للمطورين تجربة تقنيات التحفيز المختلفة.
Humanloop هي شركة بريطانية تتميز منصتها بـ "مساحة عمل تعاونية سريعة". ويصف نفسه أيضًا بأنه "مجموعة أدوات تطوير كاملة لوظائف الإنتاج LLM." لذا فهو يسمح لك بشكل أساسي بتجربة أشياء LLM ثم نشرها في تطبيقك إذا كان يعمل.
تشغيل خط الأنابيب: LLMOps
أصبح خط التجميع لإنتاج النماذج الكبيرة أكثر وضوحًا الآن. على يمين مربع التنسيق يوجد عدد من مربعات العمليات، بما في ذلك التخزين المؤقت والتحقق من LLM. هناك أيضًا مجموعة من الخدمات السحابية وواجهة برمجة التطبيقات ذات الصلة بـ LLM، بما في ذلك مستودعات واجهة برمجة التطبيقات المفتوحة مثل Hugging Face وموفري واجهة برمجة التطبيقات الخاصة مثل OpenAI.
ربما يكون هذا هو المكان الأكثر تشابهًا في مجموعة تقنيات المطورين التي اعتدنا عليها في عصر "السحابة الأصلية"، وليس من قبيل الصدفة أن العديد من شركات DevOps أضافت الذكاء الاصطناعي إلى قائمة منتجاتها. في شهر مايو، تحدثت مع الرئيس التنفيذي لشركة Harness جيوتي بانسال. تدير شركة Harness "منصة تسليم البرامج" التي تركز على الجزء "القرص المضغوط" من عملية CI/CD.
أخبرني بانساي أن الذكاء الاصطناعي يمكن أن يخفف من المهام المملة والمتكررة التي تنطوي عليها دورة حياة تسليم البرامج، بدءًا من إنشاء المواصفات بناءً على الوظائف الحالية وحتى كتابة التعليمات البرمجية. بالإضافة إلى ذلك، قال إن الذكاء الاصطناعي يمكنه أتمتة مراجعات التعليمات البرمجية، واختبار الثغرات الأمنية، وإصلاحات الأخطاء، وحتى إنشاء خطوط أنابيب CI/CD للإنشاءات والنشر. ووفقًا لمحادثة أخرى أجريتها في شهر مايو، فإن الذكاء الاصطناعي يعمل أيضًا على تغيير إنتاجية المطورين. أخبرتني تريشا جي من أداة أتمتة البناء Gradle أن الذكاء الاصطناعي يمكنه تسريع عملية التطوير عن طريق تقليل الوقت المستغرق في المهام المتكررة، مثل كتابة التعليمات البرمجية المعيارية، والسماح للمطورين بالتركيز على الصورة الكبيرة، مثل التأكد من أن التعليمات البرمجية تلبي احتياجات العمل.
اختفى Web3، ويأتي مكدس تطوير النماذج الكبيرة
في مجموعة تقنيات تطوير LLM الناشئة، نرى سلسلة من أنواع المنتجات الجديدة، مثل أطر التنسيق (LangChain وLlamaIndex)، وقواعد بيانات المتجهات، ومنصات "الملعب" مثل Humanloop. كل هذه الأمور توسع و/أو تكمل التكنولوجيا الأساسية الأساسية لهذا العصر: نماذج اللغة الكبيرة.
تمامًا مثل ظهور أدوات عصر السحابة الأصلية مثل Spring Cloud وKubernetes في السنوات السابقة. ومع ذلك، في الوقت الحاضر، تبذل جميع الشركات الكبيرة والصغيرة والكبيرة تقريبًا في العصر السحابي الأصلي قصارى جهدها لتكييف أدواتها مع هندسة الذكاء الاصطناعي، الأمر الذي سيكون مفيدًا جدًا للتطوير المستقبلي لمجموعة تكنولوجيا LLM.
نعم، يبدو هذه المرة أن النموذج الكبير "يقف على أكتاف العمالقة"، فأفضل الابتكارات في تكنولوجيا الكمبيوتر مبنية دائمًا على الأساس السابق. وربما كان هذا هو السبب وراء فشل ثورة "Web3" - فهي لم تكن تعتمد على الجيل السابق بقدر ما كانت تحاول اغتصابه.
من الواضح أن مجموعة تقنيات LLM قد قامت بذلك، فهي جسر من عصر التطوير السحابي إلى نظام بيئي أحدث للمطورين قائم على الذكاء الاصطناعي.
الروابط المرجعية: