ماتینگ قوی با راهنمایی ماسک: مدیریت ورودی‌های پرنویز و تطبیق‌پذیری اشیاء

فهرست پیوندها

خلاصه و 1. مقدمه

1. کارهای مرتبط

2. MaGGIe

   3.1. ماتینگ نمونه هدایت‌شده ماسک‌دار کارآمد

   3.2. ثبات زمانی ویژگی-مات

3. مجموعه داده‌های ماتینگ نمونه

   4.1. ماتینگ نمونه تصویر و 4.2. ماتینگ نمونه ویدیو

4. آزمایش‌ها

   5.1. پیش‌آموزش بر روی داده تصویر

   5.2. آموزش بر روی داده ویدیو

5. بحث و منابع

\ مطالب تکمیلی

1. جزئیات معماری

2. ماتینگ تصویر

   8.1. تولید و آماده‌سازی مجموعه داده

   8.2. جزئیات آموزش

   8.3. جزئیات کمی

   8.4. نتایج کیفی بیشتر بر روی تصاویر طبیعی

3. ماتینگ ویدیو

   9.1. تولید مجموعه داده

   9.2. جزئیات آموزش

   9.3. جزئیات کمی

   9.4. نتایج کیفی بیشتر

8.4. نتایج کیفی بیشتر بر روی تصاویر طبیعی

شکل 13 عملکرد مدل ما را در سناریوهای چالش‌برانگیز، به‌ویژه در رندر دقیق نواحی مو نشان می‌دهد. چارچوب ما به‌طور مداوم از MGM⋆ در حفظ جزئیات، به‌ویژه در تعاملات پیچیده نمونه، بهتر عمل می‌کند. در مقایسه با InstMatt، مدل ما جداسازی نمونه و دقت جزئیات برتری در نواحی مبهم نشان می‌دهد.

\ شکل 14 و شکل 15 عملکرد مدل ما و کارهای قبلی را در موارد افراطی شامل نمونه‌های متعدد نشان می‌دهند. در حالی که MGM⋆ با نویز و دقت در سناریوهای نمونه متراکم دست و پنجه نرم می‌کند، مدل ما دقت بالایی را حفظ می‌کند. InstMatt، بدون داده آموزشی اضافی، محدودیت‌هایی را در این تنظیمات پیچیده نشان می‌دهد.

\ استحکام رویکرد هدایت‌شده با ماسک ما بیشتر در شکل 16 نشان داده شده است. در اینجا، ما چالش‌های پیش روی انواع MGM و SparseMat در پیش‌بینی قسمت‌های گمشده در ورودی‌های ماسک را برجسته می‌کنیم که مدل ما آن‌ها را برطرف می‌کند. با این حال، توجه به این نکته مهم است که مدل ما به‌عنوان یک شبکه بخش‌بندی نمونه انسانی طراحی نشده است. همان‌طور که در شکل 17 نشان داده شده است، چارچوب ما به راهنمایی ورودی پایبند است و پیش‌بینی آلفا مات دقیق را حتی با نمونه‌های متعدد در همان ماسک تضمین می‌کند.

\ در نهایت، شکل 12 و شکل 11 قابلیت‌های تعمیم مدل ما را برجسته می‌کنند. مدل به‌طور دقیق هم سوژه‌های انسانی و هم اشیاء دیگر را از پس‌زمینه استخراج می‌کند و تطبیق‌پذیری آن را در سناریوها و انواع اشیاء مختلف نشان می‌دهد.

\ همه نمونه‌ها تصاویر اینترنتی بدون ground-truth هستند و ماسک از r101fpn400e به‌عنوان راهنما استفاده شده است.

\

\

\

\

\

\

\

\

\

\

\

:::info نویسندگان:

(1) Chuong Huynh، دانشگاه مریلند، کالج پارک ([email protected])؛

(2) Seoung Wug Oh، تحقیقات Adobe (seoh,[email protected])؛

(3) Abhinav Shrivastava، دانشگاه مریلند، کالج پارک ([email protected])؛

(4) Joon-Young Lee، تحقیقات Adobe ([email protected]).

:::

:::info این مقاله در arxiv تحت مجوز CC by 4.0 Deed (Attribution 4.0 International) در دسترس است.

:::

\