* مصدر الصورة: تم إنشاؤه بواسطة أداة Unbounded AI *
في السنوات الأخيرة ، غمر مجال الرؤية الحاسوبية ثلاثية الأبعاد بتقنية NeRF. اختراق في هذا المجال ، NeRF قادرة على إعادة بناء وتوليف مناظر جديدة للمشهد. يمكنه التقاط ونمذجة المعلومات الهندسية والمظهر الأساسية من مجموعات الصور متعددة العروض.
من خلال الشبكات العصبية ، يوفر NeRF طريقة تتجاوز الأساليب التقليدية التي تعتمد على البيانات. تتعلم الشبكة العصبية في NeRF تمثيل العلاقات المعقدة بين هندسة المشهد والإضاءة والمظهر المعتمد على النظرة ، مما يتيح إعادة بناء المشهد بتفاصيل عالية وواقعية. تتمثل إحدى نقاط القوة الرئيسية لـ NeRFs في قدرتها على إنشاء صور واقعية من أي وجهة نظر مرغوبة في مشهد ما ، حتى المناطق التي لم يتم التقاطها بواسطة مجموعة الصور الأصلية.
لقد فتح نجاح NeRF إمكانيات جديدة في رسومات الكمبيوتر والواقع الافتراضي والواقع المعزز ، مما يمكّن الناس من إنشاء بيئات افتراضية غامرة وتفاعلية تشبه إلى حد كبير سيناريوهات العالم الحقيقي. لذلك ، هناك اهتمام كبير بالمزيد من التقدم في مجال NeRF.
لكن بعض عيوب NeRF تحد أيضًا من تطبيقها في سيناريوهات العالم الحقيقي. على سبيل المثال ، يعد تحرير الحقول العصبية تحديًا كبيرًا بسبب الترميز الضمني لمعلومات الشكل والملمس في ميزات الشبكة العصبية عالية الأبعاد. على الرغم من أن بعض الأساليب تحاول معالجة هذه المشكلة بتقنيات التحرير الاستكشافية ، فإنها غالبًا ما تتطلب الكثير من مدخلات المستخدم ومن الصعب تحقيق نتائج دقيقة وعالية الجودة.
يمكن أن تفتح القدرة على تحرير NeRF إمكانيات لتطبيقات العالم الحقيقي. ومع ذلك ، فإن جميع المحاولات حتى الآن لم تكن كافية لمعالجة هذه القضايا. ولكن الآن ، هناك لاعب جديد في اللعبة - DreamEditor.
* يسمح DreamEditor بتحرير 3D NeRF. مصدر:*
DreamEditor هو إطار عمل سهل الاستخدام يسمح بتعديل سهل وسهل للحقول العصبية باستخدام إشارات النص. باستخدام حقل عصبي قائم على الشبكة لتمثيل المشهد ، واعتماد إطار تحرير تدريجي ، يمكن لبرنامج DreamEditor تحقيق مجموعة متنوعة من تأثيرات التحرير ، بما في ذلك إعادة التعيين واستبدال الكائن وإدراج الكائن.
يسهل التمثيل الشبكي التحرير المحلي الدقيق عن طريق تحويل أقنعة التحرير ثنائية الأبعاد إلى مناطق تحرير ثلاثية الأبعاد ، مع فصل الهندسة والأنسجة أيضًا لمنع التشوه المفرط. يجمع إطار العمل خطوة بخطوة بين نموذج الانتشار المدرَّب مسبقًا مع SDS (أخذ عينات تقطير النقاط) ، مما يسمح بالتحرير الفعال والدقيق بناءً على مطالبات نصية بسيطة.
يتبع DreamEditor ثلاث مراحل رئيسية لتسهيل تحرير المشهد ثلاثي الأبعاد بشكل بديهي ودقيق موجه بالنصوص. في المرحلة الأولية ، يتم تحويل مجال الإشعاع العصبي الأصلي إلى مجال عصبي قائم على الشبكة. يتيح تمثيل الشبكة هذا التحرير الانتقائي مكانيًا. بعد التحويل ، تستخدم نموذجًا مخصصًا لتحويل النص إلى صورة (T2I) تم تدريبه على مشهد معين لالتقاط العلاقة الدلالية بين الكلمات الرئيسية في إشارات النص والمحتوى المرئي للمشهد. أخيرًا ، يتم تطبيق التعديل المحرر على الكائن المستهدف داخل المجال العصبي باستخدام وضع الانتشار T2I.
يتيح DreamEditor إمكانية التحرير الدقيق خطوة بخطوة للمشاهد ثلاثية الأبعاد مع الحفاظ على مستوى عالٍ من الدقة والواقعية. يمكّن هذا النهج التدريجي ، من التمثيل المستند إلى الشبكة إلى تحديد الموضع الدقيق والتحرير المتحكم فيه من خلال أنماط الانتشار ، DreamEditor من تحقيق نتائج تحرير واقعية للغاية مع تقليل التعديلات غير الضرورية في المناطق غير ذات الصلة.
شاهد النسخة الأصلية
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
تعرف على نموذج DreamEditor الذي يعمل بالذكاء الاصطناعي والذي يمكنه تحرير المشاهد ثلاثية الأبعاد من خلال المطالبات النصية
撰文 ： أكرم شيتينكايا
المصدر: MarkTechpost
في السنوات الأخيرة ، غمر مجال الرؤية الحاسوبية ثلاثية الأبعاد بتقنية NeRF. اختراق في هذا المجال ، NeRF قادرة على إعادة بناء وتوليف مناظر جديدة للمشهد. يمكنه التقاط ونمذجة المعلومات الهندسية والمظهر الأساسية من مجموعات الصور متعددة العروض.
من خلال الشبكات العصبية ، يوفر NeRF طريقة تتجاوز الأساليب التقليدية التي تعتمد على البيانات. تتعلم الشبكة العصبية في NeRF تمثيل العلاقات المعقدة بين هندسة المشهد والإضاءة والمظهر المعتمد على النظرة ، مما يتيح إعادة بناء المشهد بتفاصيل عالية وواقعية. تتمثل إحدى نقاط القوة الرئيسية لـ NeRFs في قدرتها على إنشاء صور واقعية من أي وجهة نظر مرغوبة في مشهد ما ، حتى المناطق التي لم يتم التقاطها بواسطة مجموعة الصور الأصلية.
لقد فتح نجاح NeRF إمكانيات جديدة في رسومات الكمبيوتر والواقع الافتراضي والواقع المعزز ، مما يمكّن الناس من إنشاء بيئات افتراضية غامرة وتفاعلية تشبه إلى حد كبير سيناريوهات العالم الحقيقي. لذلك ، هناك اهتمام كبير بالمزيد من التقدم في مجال NeRF.
لكن بعض عيوب NeRF تحد أيضًا من تطبيقها في سيناريوهات العالم الحقيقي. على سبيل المثال ، يعد تحرير الحقول العصبية تحديًا كبيرًا بسبب الترميز الضمني لمعلومات الشكل والملمس في ميزات الشبكة العصبية عالية الأبعاد. على الرغم من أن بعض الأساليب تحاول معالجة هذه المشكلة بتقنيات التحرير الاستكشافية ، فإنها غالبًا ما تتطلب الكثير من مدخلات المستخدم ومن الصعب تحقيق نتائج دقيقة وعالية الجودة.
يمكن أن تفتح القدرة على تحرير NeRF إمكانيات لتطبيقات العالم الحقيقي. ومع ذلك ، فإن جميع المحاولات حتى الآن لم تكن كافية لمعالجة هذه القضايا. ولكن الآن ، هناك لاعب جديد في اللعبة - DreamEditor.
DreamEditor هو إطار عمل سهل الاستخدام يسمح بتعديل سهل وسهل للحقول العصبية باستخدام إشارات النص. باستخدام حقل عصبي قائم على الشبكة لتمثيل المشهد ، واعتماد إطار تحرير تدريجي ، يمكن لبرنامج DreamEditor تحقيق مجموعة متنوعة من تأثيرات التحرير ، بما في ذلك إعادة التعيين واستبدال الكائن وإدراج الكائن.
يسهل التمثيل الشبكي التحرير المحلي الدقيق عن طريق تحويل أقنعة التحرير ثنائية الأبعاد إلى مناطق تحرير ثلاثية الأبعاد ، مع فصل الهندسة والأنسجة أيضًا لمنع التشوه المفرط. يجمع إطار العمل خطوة بخطوة بين نموذج الانتشار المدرَّب مسبقًا مع SDS (أخذ عينات تقطير النقاط) ، مما يسمح بالتحرير الفعال والدقيق بناءً على مطالبات نصية بسيطة.
يتيح DreamEditor إمكانية التحرير الدقيق خطوة بخطوة للمشاهد ثلاثية الأبعاد مع الحفاظ على مستوى عالٍ من الدقة والواقعية. يمكّن هذا النهج التدريجي ، من التمثيل المستند إلى الشبكة إلى تحديد الموضع الدقيق والتحرير المتحكم فيه من خلال أنماط الانتشار ، DreamEditor من تحقيق نتائج تحرير واقعية للغاية مع تقليل التعديلات غير الضرورية في المناطق غير ذات الصلة.