با استفاده از اپراتور Sobel نقاط ویژگی استخراج و آستانه توسط کاربر برای جفت کردن تصاویر استریو، انتخاب می شود. سپس مشکل تطابق استریو مبتنی بر Scanline به عنوان بهینه سازی تابع انرژی فرموله شده است، شامل عدم تشابه، تداوم، تضاد و یکتایی خواص نقشه برداری، مینیمایز می شود. در انتها، تطابق های اشتباه به وسلیه اعمال قانون پاکسازی خطای هدف، حذف می شود. روش ارائه شده با استفاده از چندین تصویر آزمایش شده است. نتیایج نشان داد که روش به طور موثر مشکل تطابق استریو را حل کرده است.
اطلاعات عمق توسط بینایی استریو و بر اساس اختلافات بین دو تصویر درک می شود. کلید اطلاعات عمق تعیین میکند کدام نقطه در یک تصویر به کدام نقطه در تصویر دیگر مرتبط است (مشکل تطابق استریو). نقاط مرتبط در تصاویر استریو، نقاط مزدوج نامیده می شود. روش مختلفی برای حل این مشکل ارائه شده است. عموما آن روش ها را می توان در دو دسته اصلی تقسیم بندی کرد: تطابق یابی مبتنی بر ویژگی (FBM) و تطابق سنجی مبتنی بر محل (ABM). برای روش های ABM، هر نقطه از یک تصویر به عنوان مرکز پنجره ای کوچک از پیکسل ها به تصویر مرجع تطابق داده می شوند. برای روش های FBM، ویژگی ها اعم از مرزها، لبه ها، نقاط گوشه، خط ها، منحنی ها و منطقه ها استخراج میشود و سپس برای تطابق انجام می شود. وقتی از نقاط به عنوان تطابق ویژگی استفاده می شود، انتخاب کاندید های تطابق امکان پذیر از ویژگی های زیاد موضوع اول می شود. در حالت کلی در روش FBM یک نقشه کلی مشتق می شود و سپس منطقه ها درونیابی می شود. هاپفیلد و تانک شبکه عصبی هاپفیلد را توسعه دادند، که به طور گسترده برای مشکل تطبیق نقطه وزن دار، تعیین مسیر، تبدیل آنالوگ به دیجیتال و تطبیق الگو استفاده شده است. از این شبکه عصبی نیز برای کاهش تابع انرژی برای تشابه و محدودیت های epipolar استفاده شده است. استفاده دیگر از این شبکه در استراتژی چند مقیاسی در تطابق نقاط استخراج شده برای تشخیص سه بعدی اشیا نیز استفاده شده است.
مشکل تطابق استریو مبتنی بر Scanline
مشکل تطابق استریو مشکلی پیچیده با محاسبات پیچیده است زیرا تعداد زیاد ویژگی های نقشه برداری و ابهامات بین انتخاب و ارتباط بین نقاط ویژگی وجود دارد. برای کاهش پیچیدگی مشکل، نقاط ویژگی انتخاب شده و در طول خط epipolar منطبق می شود. در ادامه دامنه، عدم تطابق، تفاضل، تداوم و خواص منحصر در سیستم تطابق استریو به منظور محدود کردن کاندید های تطابق در یک منطقه ی مشخص، گرفته می شود، و این مشکل را می توان به طور موثر را حل کرد. گرفتن m ویژگی در تصویر چپ و n ویژگی در تصویر راست یک Scanline در شکل زیر نشان داده شده است.
الف) خاصیت دامنه : Vij نشان دهنده ی رابطه بین ویژگی iم در چپ و ویژگی jم در راست است. این شاخص متغیر مقادیر صفر و یک برای یک تطابق فعال میگیرد.
ب) خاصیت عدم تطابق: این خاصیت تفاضل بین تو نقطه ویژگی تطبیق داده شده را نشان می دهد. وقتی دو نقطه ویژگی استخراج شده با هم مزدوج نباشد، تفاضل خواص خود در تصویر راست و چپ باید بزرگ باشد و برعکس.
ج) خاصیت تفاضل (disparity): محدوده تفاض به وسیله هندسه اشیا تعیین می شود. این خاصیت توضیح می دهد که تفاضل ها ویژگی های نقشه برداری باید بین محدوده (dmax,dmin) باشد. که به صورت زیر توصیف می شود.
د)خاصیت تداوم : تفاضل نقاط ویژگی مجاور با در سیستم بینایی پیوسته باشد. این خاصیت ارتباط بین نقاط ویژگی در Scanline را اینگونه توصیف می کند.
استخراج و انتخاب ویژگی با اپراتور Sobel
روش استخراج ویژگی ارائه شده به دست آوردن نقاط با ویژگی یکسان اعم از لبه ها و نقطه گوشه است. برای پیدا کردن این نقاط برجسته تکنیک های زیاد وجود دارد که در اینجا از اپراتور Sobel برای استخراج ویژگی ها و سپس برگزیدن آن به منظور تطبیق استفاده شده است. به عنوان مثال تصاویر گرفته شده در شکل زیر مشتق شده با آستانه های مختلف از اپراتور Sobel است که با افزایش آستانه خطوط استخراج شده تیز تر می شوند.
تطابق سنجی استریو با استفاده از شبکه عصبی هاپفیلد همگام
شبکه عصبی هاپفیلد یک شبکه عصبی تک لایه فیدبک دار است. وقتی شبکه عصبی به منظور حل مشکل استریو مبتنی بر Scanline اجرا می شود، Vij به عنوان یک نرون ارتباط تطابق در خاصیت دامنه ی تعریف شده را نشان می دهد. یک قانون فعال سازی تصادفی نیاز است وقتی که شبکه عصبی هاپفیلد برای مینیم تابع انرژی جستجو می کند. با توجه به نیاز شبکه عصبی هاپفیلد، دارای m در n نرون با آستانه Tij است که اجازه می دهند وزن متصل به خروجی نرون ijم به ورودی نرون klم را بگیرد و ورودی فیدبک به نرون ijم به اندازه جمع وزن دار است.
مشتق تابع فعال و آستانه آن به وسیله محاسبات تفاوت توابع انرژی بین وضعیت فعلی و وضعیت قبل، بدست می آید.
تفاضل انرژی Vij جدید و Vij قبل در واقع تباین برای شبکه عصبی هاپفیلد است. شبکه عصبی هاپفیلد همگام چرخه ای است که دو منطقه به جای یک منطقه را به روز رسانی می کند. بعد از چرخه به روز رسانی دو منطقه، نرون Vij وقتی که تفاضل انرژی به کمتر از صفر می رسد، به روز رسانی می شود. منطقه نرون به طور پیوسته به روز رسانی و به شبکه بازخورد داده می شوند. پس از آن شبکه به حالت پایدار رسیده و تقریبا به راه حل بهینه می رسد.
نتایج
برای یک شی داده شده، هندسه و فاصله آن از تفاضل خطی دو دوربین در یک سیستم بینایی، با توجه به فرمول خاصیت تفاضل، ماکزیم تفاضل از نقشه تفاضل تعیین می شود. اضافه کردن این محدودیت با یک dmax کوچک تطابق ها نادرست، همچنین افزایش ریسک از دست دادن اطلاعات با ارزش را، از بین می برد.در شکل زیر روش ارائه شده SHNN تطابق یافته تصاویر راهرو در dهای 6، 15 و 25 با زمان مصرفت شده ی به ترتیب 229.901، 230.211 و 236.66 ، را نشان می دهد. استفاده از dmax=15 در مشتق گیری روش نقشه تفاضل خوبی ارائه داد که اطلاعات با ارزش را نیز حفظ کرده است.
بعد از تطابق با SHNN، جفت های منطبق مشتق شده زمانی که تفاضل بیشتر از d+kS برسد، حذف می شود. استفاده از k کوچک ممکن است اطلاعات درست را حذف کند، و استفاده از بزرگ ممکن است ِبه اهداف اشتباه رسید. همانطور که در شکل زیر مشخص است، وقتی که k=1/5 است، هدف ها اشتباه بدون از دست رفتن اطلاعات ارزشمند، حذف می شوند.
