إذا كان الذكاء الاصطناعي التوليدي الحالي يشبه الطفل الذي ينمو بقوة، فإن البيانات المستمرة هي الغذاء الذي يغذيه لينمو.
شرح البيانات هو عملية صنع هذا "الطعام".
ومع ذلك، فإن هذه العملية ضخمة ومتعبة حقًا.
لا يحتاج "المعلق" الذي يقوم بالتعليق التوضيحي إلى التعرف بشكل متكرر على الكائنات والألوان والأشكال وما إلى ذلك في الصورة بشكل متكرر، ولكنه يحتاج في بعض الأحيان إلى تنظيف البيانات ومعالجتها مسبقًا.
مع التقدم المستمر في تكنولوجيا الذكاء الاصطناعي، أصبحت القيود المفروضة على شرح البيانات يدويًا واضحة بشكل متزايد. لا يستغرق التعليق التوضيحي للبيانات يدويًا وقتًا طويلاً وكثيف العمالة فحسب، بل يصعب ضمان الجودة في بعض الأحيان.
من أجل حل هذه المشكلات، اقترحت Google مؤخرًا طريقة تستخدم نماذج كبيرة لتحل محل البشر في التعليقات التوضيحية للتفضيلات، تسمى التعلم المعزز لملاحظات الذكاء الاصطناعي (RLAIF).
تظهر نتائج الأبحاث أن RLAIF يمكنه إنتاج تحسينات مماثلة للتعلم المعزز بالتغذية الراجعة البشرية (RLHF) دون الاعتماد على التعليقات التوضيحية البشرية، حيث تبلغ معدلات الفوز 50%. وفي الوقت نفسه، يتفوق كل من RLAIF وRLHF على استراتيجية خط الأساس للضبط الدقيق الخاضع للإشراف (SFT).
تظهر هذه النتائج أن RLAIF لا يحتاج إلى الاعتماد على التعليق التوضيحي اليدوي وهو بديل ممكن لـ RLHF. **
لذا، إذا تم الترويج لهذه التكنولوجيا وتعميمها حقًا في المستقبل، فهل ستضطر العديد من الشركات التي لا تزال تعتمد على "صناديق السحب" اليدوية لتعليق البيانات التوضيحية إلى طريق مسدود من الآن فصاعدًا؟
1 الحالة الحالية لتعليقات البيانات
إذا أردنا ببساطة تلخيص الوضع الحالي لصناعة التعليقات التوضيحية المحلية، فهو: ** عبء العمل كبير، لكن الكفاءة ليست عالية جدًا، وهي حالة ناكر للجميل. **
تُعرف شركات وضع العلامات بأنها مصانع البيانات في مجال الذكاء الاصطناعي وعادة ما تتركز في المناطق ذات الموارد البشرية الغنية مثل جنوب شرق آسيا أو أفريقيا أو خنان وشانشي وشاندونغ في الصين.
ومن أجل السيطرة على التكاليف، يقوم رؤساء شركة وضع العلامات بتأجير مساحة في المقاطعة، وإعداد أجهزة الكمبيوتر، وعندما تكون هناك أوامر، يقومون بتوظيف أشخاص قريبين للعمل بدوام جزئي. وإذا لم تكن هناك أوامر، فسوف يتم حلهم. وخذ قسطا من الراحة.
وببساطة، هذا النوع من العمل يشبه إلى حد ما عمال الديكور المؤقت على جانب الطريق.
في محطة العمل، سيقوم النظام بشكل عشوائي بإعطاء "المعلق" مجموعة من البيانات، والتي عادة ما تتضمن عدة أسئلة والعديد من الإجابات.
بعد ذلك، يحتاج "المعلق" أولاً إلى تحديد النوع الذي ينتمي إليه السؤال، ثم تسجيل الإجابات وترتيبها.
في السابق، عندما كان الناس يتحدثون عن الفجوة بين النماذج الكبيرة المحلية والنماذج الكبيرة المتقدمة مثل GPT-4، قاموا بتلخيص أسباب انخفاض جودة البيانات المحلية.
ولكن لماذا جودة البيانات ليست عالية؟ يكمن جزء من السبب في "خط التجميع" الخاص بالتعليق التوضيحي للبيانات.
يوجد حاليًا نوعان من مصادر البيانات للنماذج الصينية الكبيرة: أحدهما عبارة عن مجموعات بيانات مفتوحة المصدر، والآخر هو بيانات الإنترنت الصينية التي يتم الزحف إليها من خلال برامج الزحف.
**أحد الأسباب الرئيسية التي تجعل أداء النماذج الصينية الكبيرة ليس جيدًا بدرجة كافية هو جودة بيانات الإنترنت.**على سبيل المثال، لا يستخدم المحترفون بشكل عام بايدو عند البحث عن المعلومات.
لذلك، عند مواجهة بعض مشكلات البيانات الأكثر احترافية وعمودية، مثل الرعاية الطبية والتمويل وما إلى ذلك، فمن الضروري التعاون مع فريق محترف.
ولكن في هذا الوقت، تظهر المشكلة مرة أخرى: بالنسبة للفرق المحترفة، لا تكون فترة العودة طويلة عندما يتعلق الأمر بالبيانات فحسب، بل من المرجح أن يعاني المتحركون الأوائل من الخسائر.
على سبيل المثال، إذا أنفق فريق تعليقات توضيحية معينًا الكثير من المال والوقت لإنتاج الكثير من البيانات، فقد يقوم الآخرون بتجميعها وشرائها مقابل مبلغ صغير من المال.
في مواجهة مثل هذه "معضلة الراكب المجاني"، وقعت النماذج المحلية الكبيرة في مأزق غريب يتمثل في وجود الكثير من البيانات ولكن الجودة المنخفضة.
في هذه الحالة، كيف يمكن لبعض شركات الذكاء الاصطناعي الأجنبية الرائدة، مثل OpenAI، حل هذه المشكلة؟
في الواقع، فيما يتعلق بشرح البيانات، لم تتخل شركة OpenAI عن استخدام العمالة الرخيصة والمكثفة لتقليل التكاليف.
على سبيل المثال، تم الكشف سابقًا عن قيامها بتعيين عدد كبير من العمال الكينيين لتصنيف المعلومات السامة بسعر دولارين أمريكيين في الساعة.
**لكن الاختلاف الرئيسي يكمن في كيفية حل مشاكل جودة البيانات وكفاءة التعليقات التوضيحية. **
على وجه التحديد، يتمثل الاختلاف الأكبر بين OpenAI والشركات المحلية في هذا الصدد في كيفية تقليل تأثير "الذاتية" و"عدم الاستقرار" للتعليقات التوضيحية اليدوية.
2 نهج OpenAI
من أجل الحد من "الذاتية" و"عدم الاستقرار" لمثل هؤلاء الشروح البشرية، تتبنى OpenAI تقريبًا استراتيجيتين رئيسيتين:
1. الجمع بين ردود الفعل الاصطناعية والتعلم المعزز؛
دعونا نتحدث عن النقطة الأولى أولا. فيما يتعلق بطريقة التصنيف، فإن أكبر فرق بين ردود الفعل اليدوية والتعليقات المحلية في OpenAI هو أنها تقوم بشكل أساسي بفرز أو تسجيل سلوك النظام الذكي، بدلا من تعديل أو تصنيف مخرجاته.
يشير سلوك النظام الذكي إلى قيام النظام الذكي بسلسلة من الإجراءات أو القرارات بناءً على أهدافه واستراتيجياته الخاصة في بيئة معقدة.
على سبيل المثال، العب لعبة، أو تحكم في روبوت، أو تحدث مع شخص ما، وما إلى ذلك.
تشير مخرجات النظام الذكي إلى توليد نتيجة أو إجابة بناءً على البيانات المدخلة في مهمة بسيطة، مثل كتابة مقال أو رسم لوحة فنية.
بشكل عام، يصعب الحكم على سلوك الأنظمة الذكية من حيث "الصواب" أو "الخطأ" من الناتج، ويجب تقييمه من حيث التفضيل أو الرضا.
لا يتطلب هذا النوع من نظام التقييم القائم على "التفضيل" أو "الرضا" تعديلًا أو شرحًا لمحتوى معين، وبالتالي تقليل تأثير الذاتية البشرية ومستوى المعرفة وعوامل أخرى على جودة ودقة شرح البيانات.
صحيح أن الشركات المحلية ستستخدم أيضًا أنظمة مشابهة لـ "الفرز" و"تسجيل النقاط" عند وضع العلامات، ولكن بسبب عدم وجود "نموذج مكافأة" مثل OpenAI كوظيفة مكافأة لتحسين استراتيجية النظام الذكي، مثل " "الفرز" و"تسجيل النقاط" لا يزال "تسجيل النقاط" في الأساس وسيلة لتعديل المخرجات أو التعليق عليها.
2. قنوات مصدر بيانات متنوعة وواسعة النطاق؛
إن المصادر الرئيسية لشرح البيانات في الصين هي شركات التعليقات التوضيحية التابعة لجهات خارجية أو فرق ذاتية البناء من شركات التكنولوجيا. وتتألف هذه الفرق في الغالب من الطلاب الجامعيين وتفتقر إلى الاحترافية والخبرة الكافية لتقديم تعليقات عالية الجودة وفعالة.
في المقابل، تأتي التعليقات اليدوية لـ OpenAI من قنوات وفرق متعددة.
لا يستخدم OpenAI مجموعات البيانات مفتوحة المصدر وبرامج زحف الإنترنت للحصول على البيانات فحسب، بل يتعاون أيضًا مع العديد من شركات ومؤسسات البيانات، مثل Scale AI وAppen وLionbridge AI وما إلى ذلك، للحصول على بيانات أكثر تنوعًا وعالية الجودة.
بالمقارنة مع نظيراتها المحلية، فإن طرق وضع العلامات التي تتبعها شركات ومؤسسات البيانات هذه هي أكثر "تلقائية" و"ذكاء".
على سبيل المثال، يستخدم Scale AI تقنية تسمى Snorkel، وهي طريقة لتصنيف البيانات تعتمد على التعلم الخاضع للإشراف الضعيف والذي يمكنه إنشاء تسميات عالية الجودة من مصادر بيانات متعددة غير دقيقة.
وفي الوقت نفسه، يمكن لـ Snorkel أيضًا استخدام مجموعة متنوعة من الإشارات مثل القواعد والنماذج وقواعد المعرفة لإضافة تسميات إلى البيانات دون تسمية كل نقطة بيانات يدويًا مباشرةً. يمكن أن يؤدي ذلك إلى تقليل تكلفة ووقت التعليق التوضيحي اليدوي بشكل كبير.
ومع تقصير تكلفة ودورة شرح البيانات، يمكن لشركات البيانات هذه التي تتمتع بمزايا تنافسية اختيار تقسيمات فرعية عالية القيمة وعالية الصعوبة وعالية العتبة، مثل القيادة الذاتية، ونماذج اللغة الكبيرة، والبيانات الاصطناعية، وما إلى ذلك. يمكن التحسين المستمر قدرتها التنافسية الأساسية ومزاياها المتباينة.
وبهذه الطريقة، تم أيضاً القضاء على معضلة الانتفاع المجاني المتمثلة في أن "المحركون الأوائل سوف يعانون" بفضل الحواجز التكنولوجية والصناعية القوية.
3 التقييس مقابل ورشة عمل صغيرة
يمكن ملاحظة أن **تقنية وضع العلامات التلقائية AI ستقضي حقًا فقط على شركات وضع العلامات التي لا تزال تستخدم وضع العلامات اليدوي البحت. **
على الرغم من أن التعليقات التوضيحية للبيانات تبدو وكأنها صناعة "تتطلب عمالة مكثفة"، إلا أنه بمجرد التعمق في التفاصيل، ستجد أن متابعة البيانات عالية الجودة ليست مهمة سهلة.
ممثلة بشركة Scale AI، وهي شركة خارجية متخصصة في شرح البيانات، لا تستخدم Scale AI الموارد البشرية الرخيصة من أفريقيا وأماكن أخرى فحسب، بل تقوم أيضًا بتوظيف العشرات من حملة الدكتوراه للتعامل مع البيانات المهنية في مختلف الصناعات.
تعد جودة التعليقات التوضيحية للبيانات هي القيمة الأكبر التي يوفرها Scale AI للشركات النموذجية الكبيرة مثل OpenAI.
من أجل ضمان جودة البيانات إلى أقصى حد، بالإضافة إلى استخدام التعليقات التوضيحية المدعومة بالذكاء الاصطناعي المذكورة أعلاه، هناك ابتكار رئيسي آخر لـ **Scale AI وهو منصة بيانات موحدة. **
تتضمن هذه الأنظمة الأساسية تدقيق النطاق وتحليلات النطاق وجودة بيانات النطاق وما إلى ذلك. من خلال هذه المنصات، يمكن للعملاء مراقبة وتحليل المؤشرات المختلفة في عملية التعليقات التوضيحية، والتحقق من بيانات التعليقات التوضيحية وتحسينها، وتقييم دقة التعليقات التوضيحية واتساقها واكتمالها.
ويمكن القول أن مثل هذه الأدوات والعمليات الموحدة والموحدة أصبحت العوامل الرئيسية التي تميز بين "مصانع خطوط التجميع" و "ورش العمل اليدوية" في شركات وضع العلامات.
في هذا الصدد، لا تزال معظم شركات التعليقات التوضيحية المحلية تستخدم "المراجعة اليدوية" لمراجعة جودة التعليقات التوضيحية للبيانات، ولم يقدم سوى عدد قليل من الشركات العملاقة مثل Baidu أدوات إدارة وتقييم أكثر تقدمًا، مثل منصة خدمة البيانات الذكية EasyData.
إذا لم تكن هناك أدوات متخصصة لرصد وتحليل نتائج ومؤشرات التعليقات التوضيحية في جانب مراجعة البيانات الرئيسية، فسيتم تقليل التحكم في جودة البيانات إلى مستوى يشبه ورشة العمل التي تعتمد على رؤية "السيد".
ولذلك، بدأت المزيد والمزيد من الشركات المحلية، مثل Baidu وMy Neighbor Totoro Data، في استخدام تقنيات التعلم الآلي والذكاء الاصطناعي لتحسين كفاءة وجودة شرح البيانات وتنفيذ نماذج التعاون بين الإنسان والآلة.
ويمكن ملاحظة أن ظهور علامات الذكاء الاصطناعي ليس نهاية شركات وضع العلامات المحلية، ولكنه نهاية طريقة وضع العلامات غير الفعالة والرخيصة وكثيفة العمالة والتي تفتقر إلى المحتوى التقني.
شاهد النسخة الأصلية
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
كم عدد شركات تصنيف الذكاء الاصطناعي التي ستقتلها "الخطوة الكبيرة" من Google؟
المصدر الأصلي: الذكاء الاصطناعي الجديد
إذا كان الذكاء الاصطناعي التوليدي الحالي يشبه الطفل الذي ينمو بقوة، فإن البيانات المستمرة هي الغذاء الذي يغذيه لينمو.
شرح البيانات هو عملية صنع هذا "الطعام".
ومع ذلك، فإن هذه العملية ضخمة ومتعبة حقًا.
مع التقدم المستمر في تكنولوجيا الذكاء الاصطناعي، أصبحت القيود المفروضة على شرح البيانات يدويًا واضحة بشكل متزايد. لا يستغرق التعليق التوضيحي للبيانات يدويًا وقتًا طويلاً وكثيف العمالة فحسب، بل يصعب ضمان الجودة في بعض الأحيان.
تظهر هذه النتائج أن RLAIF لا يحتاج إلى الاعتماد على التعليق التوضيحي اليدوي وهو بديل ممكن لـ RLHF. **
لذا، إذا تم الترويج لهذه التكنولوجيا وتعميمها حقًا في المستقبل، فهل ستضطر العديد من الشركات التي لا تزال تعتمد على "صناديق السحب" اليدوية لتعليق البيانات التوضيحية إلى طريق مسدود من الآن فصاعدًا؟
1 الحالة الحالية لتعليقات البيانات
إذا أردنا ببساطة تلخيص الوضع الحالي لصناعة التعليقات التوضيحية المحلية، فهو: ** عبء العمل كبير، لكن الكفاءة ليست عالية جدًا، وهي حالة ناكر للجميل. **
تُعرف شركات وضع العلامات بأنها مصانع البيانات في مجال الذكاء الاصطناعي وعادة ما تتركز في المناطق ذات الموارد البشرية الغنية مثل جنوب شرق آسيا أو أفريقيا أو خنان وشانشي وشاندونغ في الصين.
ومن أجل السيطرة على التكاليف، يقوم رؤساء شركة وضع العلامات بتأجير مساحة في المقاطعة، وإعداد أجهزة الكمبيوتر، وعندما تكون هناك أوامر، يقومون بتوظيف أشخاص قريبين للعمل بدوام جزئي. وإذا لم تكن هناك أوامر، فسوف يتم حلهم. وخذ قسطا من الراحة.
وببساطة، هذا النوع من العمل يشبه إلى حد ما عمال الديكور المؤقت على جانب الطريق.
بعد ذلك، يحتاج "المعلق" أولاً إلى تحديد النوع الذي ينتمي إليه السؤال، ثم تسجيل الإجابات وترتيبها.
في السابق، عندما كان الناس يتحدثون عن الفجوة بين النماذج الكبيرة المحلية والنماذج الكبيرة المتقدمة مثل GPT-4، قاموا بتلخيص أسباب انخفاض جودة البيانات المحلية.
ولكن لماذا جودة البيانات ليست عالية؟ يكمن جزء من السبب في "خط التجميع" الخاص بالتعليق التوضيحي للبيانات.
يوجد حاليًا نوعان من مصادر البيانات للنماذج الصينية الكبيرة: أحدهما عبارة عن مجموعات بيانات مفتوحة المصدر، والآخر هو بيانات الإنترنت الصينية التي يتم الزحف إليها من خلال برامج الزحف.
**أحد الأسباب الرئيسية التي تجعل أداء النماذج الصينية الكبيرة ليس جيدًا بدرجة كافية هو جودة بيانات الإنترنت.**على سبيل المثال، لا يستخدم المحترفون بشكل عام بايدو عند البحث عن المعلومات.
ولكن في هذا الوقت، تظهر المشكلة مرة أخرى: بالنسبة للفرق المحترفة، لا تكون فترة العودة طويلة عندما يتعلق الأمر بالبيانات فحسب، بل من المرجح أن يعاني المتحركون الأوائل من الخسائر.
على سبيل المثال، إذا أنفق فريق تعليقات توضيحية معينًا الكثير من المال والوقت لإنتاج الكثير من البيانات، فقد يقوم الآخرون بتجميعها وشرائها مقابل مبلغ صغير من المال.
في مواجهة مثل هذه "معضلة الراكب المجاني"، وقعت النماذج المحلية الكبيرة في مأزق غريب يتمثل في وجود الكثير من البيانات ولكن الجودة المنخفضة.
في هذه الحالة، كيف يمكن لبعض شركات الذكاء الاصطناعي الأجنبية الرائدة، مثل OpenAI، حل هذه المشكلة؟
على سبيل المثال، تم الكشف سابقًا عن قيامها بتعيين عدد كبير من العمال الكينيين لتصنيف المعلومات السامة بسعر دولارين أمريكيين في الساعة.
**لكن الاختلاف الرئيسي يكمن في كيفية حل مشاكل جودة البيانات وكفاءة التعليقات التوضيحية. **
على وجه التحديد، يتمثل الاختلاف الأكبر بين OpenAI والشركات المحلية في هذا الصدد في كيفية تقليل تأثير "الذاتية" و"عدم الاستقرار" للتعليقات التوضيحية اليدوية.
2 نهج OpenAI
من أجل الحد من "الذاتية" و"عدم الاستقرار" لمثل هؤلاء الشروح البشرية، تتبنى OpenAI تقريبًا استراتيجيتين رئيسيتين:
1. الجمع بين ردود الفعل الاصطناعية والتعلم المعزز؛
دعونا نتحدث عن النقطة الأولى أولا. فيما يتعلق بطريقة التصنيف، فإن أكبر فرق بين ردود الفعل اليدوية والتعليقات المحلية في OpenAI هو أنها تقوم بشكل أساسي بفرز أو تسجيل سلوك النظام الذكي، بدلا من تعديل أو تصنيف مخرجاته.
يشير سلوك النظام الذكي إلى قيام النظام الذكي بسلسلة من الإجراءات أو القرارات بناءً على أهدافه واستراتيجياته الخاصة في بيئة معقدة.
على سبيل المثال، العب لعبة، أو تحكم في روبوت، أو تحدث مع شخص ما، وما إلى ذلك.
بشكل عام، يصعب الحكم على سلوك الأنظمة الذكية من حيث "الصواب" أو "الخطأ" من الناتج، ويجب تقييمه من حيث التفضيل أو الرضا.
لا يتطلب هذا النوع من نظام التقييم القائم على "التفضيل" أو "الرضا" تعديلًا أو شرحًا لمحتوى معين، وبالتالي تقليل تأثير الذاتية البشرية ومستوى المعرفة وعوامل أخرى على جودة ودقة شرح البيانات.
2. قنوات مصدر بيانات متنوعة وواسعة النطاق؛
إن المصادر الرئيسية لشرح البيانات في الصين هي شركات التعليقات التوضيحية التابعة لجهات خارجية أو فرق ذاتية البناء من شركات التكنولوجيا. وتتألف هذه الفرق في الغالب من الطلاب الجامعيين وتفتقر إلى الاحترافية والخبرة الكافية لتقديم تعليقات عالية الجودة وفعالة.
لا يستخدم OpenAI مجموعات البيانات مفتوحة المصدر وبرامج زحف الإنترنت للحصول على البيانات فحسب، بل يتعاون أيضًا مع العديد من شركات ومؤسسات البيانات، مثل Scale AI وAppen وLionbridge AI وما إلى ذلك، للحصول على بيانات أكثر تنوعًا وعالية الجودة.
بالمقارنة مع نظيراتها المحلية، فإن طرق وضع العلامات التي تتبعها شركات ومؤسسات البيانات هذه هي أكثر "تلقائية" و"ذكاء".
وفي الوقت نفسه، يمكن لـ Snorkel أيضًا استخدام مجموعة متنوعة من الإشارات مثل القواعد والنماذج وقواعد المعرفة لإضافة تسميات إلى البيانات دون تسمية كل نقطة بيانات يدويًا مباشرةً. يمكن أن يؤدي ذلك إلى تقليل تكلفة ووقت التعليق التوضيحي اليدوي بشكل كبير.
وبهذه الطريقة، تم أيضاً القضاء على معضلة الانتفاع المجاني المتمثلة في أن "المحركون الأوائل سوف يعانون" بفضل الحواجز التكنولوجية والصناعية القوية.
3 التقييس مقابل ورشة عمل صغيرة
يمكن ملاحظة أن **تقنية وضع العلامات التلقائية AI ستقضي حقًا فقط على شركات وضع العلامات التي لا تزال تستخدم وضع العلامات اليدوي البحت. **
على الرغم من أن التعليقات التوضيحية للبيانات تبدو وكأنها صناعة "تتطلب عمالة مكثفة"، إلا أنه بمجرد التعمق في التفاصيل، ستجد أن متابعة البيانات عالية الجودة ليست مهمة سهلة.
ممثلة بشركة Scale AI، وهي شركة خارجية متخصصة في شرح البيانات، لا تستخدم Scale AI الموارد البشرية الرخيصة من أفريقيا وأماكن أخرى فحسب، بل تقوم أيضًا بتوظيف العشرات من حملة الدكتوراه للتعامل مع البيانات المهنية في مختلف الصناعات.
من أجل ضمان جودة البيانات إلى أقصى حد، بالإضافة إلى استخدام التعليقات التوضيحية المدعومة بالذكاء الاصطناعي المذكورة أعلاه، هناك ابتكار رئيسي آخر لـ **Scale AI وهو منصة بيانات موحدة. **
تتضمن هذه الأنظمة الأساسية تدقيق النطاق وتحليلات النطاق وجودة بيانات النطاق وما إلى ذلك. من خلال هذه المنصات، يمكن للعملاء مراقبة وتحليل المؤشرات المختلفة في عملية التعليقات التوضيحية، والتحقق من بيانات التعليقات التوضيحية وتحسينها، وتقييم دقة التعليقات التوضيحية واتساقها واكتمالها.
في هذا الصدد، لا تزال معظم شركات التعليقات التوضيحية المحلية تستخدم "المراجعة اليدوية" لمراجعة جودة التعليقات التوضيحية للبيانات، ولم يقدم سوى عدد قليل من الشركات العملاقة مثل Baidu أدوات إدارة وتقييم أكثر تقدمًا، مثل منصة خدمة البيانات الذكية EasyData.
إذا لم تكن هناك أدوات متخصصة لرصد وتحليل نتائج ومؤشرات التعليقات التوضيحية في جانب مراجعة البيانات الرئيسية، فسيتم تقليل التحكم في جودة البيانات إلى مستوى يشبه ورشة العمل التي تعتمد على رؤية "السيد".
ويمكن ملاحظة أن ظهور علامات الذكاء الاصطناعي ليس نهاية شركات وضع العلامات المحلية، ولكنه نهاية طريقة وضع العلامات غير الفعالة والرخيصة وكثيفة العمالة والتي تفتقر إلى المحتوى التقني.