بررسی روش جنگل تصادفی جهت بهبود طبقه‌بندی پوشش اراضی شهری با استفاده از تصاویر ماهواره‌ای WORD

 واژگان کلیدی: طبقه‌بندی پوشش اراضی شهری، قطعه‌بندی تصویر، ویژگی‌های شی‌گرا، الگوریتم جنگل تصادفی، انتخاب ویژگی، ماشین بردار پشتیبان، شبکه‌های عصبی، سنجش از دور

فهرست مطالب

فصل 1مقدمه.. 2

1-1 پیشگفتار.. 2

1-2 ضرورت‌ها، انگیزه‌ها و ویژگی‌های تحقیق.. 4

1-3 اهداف و سؤالات تحقیق.. 5

1-4 روش تحقیق.. 6

1-5 معرفی اختصاری سایر فصول.. 7

فصل 2مروری بر تحقیقات پیشین.. 10

2-1 مقدمه.. 10

2-2 مروری بر روش‌های طبقه‌بندی پوشش اراضی.. 10

2-2-1 فن‏های طبقه‏بندی شی‏گرا.. 11

2-2-2 فن‏های طبقه‏بندی نظارت‏نشده پیکسل-مبنا.. 12

2-2-3 فن‏های طبقه‏بندی نظارت‏شده پیکسل-مبنا.. 12

2-3 مروری بر روش‌های طبقه‌بندی جدید در سنجش از دور.. 13

2-3-1 طبقه‌بندی با شبکه‌های عصبی مصنوعی.. 14

2-3-2 طبقه‌بندی با درختان تصمیم.. 15

2-3-3 طبقه‌بندی با روش‌های مبتنی بر ماشین بردار پشتیبان.. 15

2-3-4 فن‌های طبقه‌بندی دانش-پایه.. 17

2-3-5 طبقه‌بندی با الگوریتم‌های ترکیبی.. 18

2-4 روش‌های انتخاب و کاهش فضای ویژگی.. 21

2-5 خلاصه فصل.. 22

فصل 3مفاهیم و روش‌ها.. 25

3-1 مقدمه.. 25

3-2 مفاهیم پایه.. 25

3-3 الگوریتم‌های یادگیری متداول.. 27

3-3-1 آنالیز جداسازی خطی.. 27

3-3-2 درخت‌های تصمیم.. 28

3-3-3 شبکه‌های عصبی.. 31

3-3-4 طبقه‌بندی‌کننده بیز ساده.. 33

3-3-5 روش‌های مبتنی بر ماشین‌های بردار پشتیبان و کرنل.. 34

3-4 روش‌های دسته جمعی.. 39

3-5 تقویت.. 41

3-6 روش Bagging. 42

3-6-1 دو الگوی گروهی.. 42

3-6-2 الگوریتم Bagging. 43

3-6-3 جنگل تصادفی.. 47

3-6-4 انتخاب ویژگی با کمک شاخص تعیین اهمیت ویژگی RF. 51

3-7 قطعه‌بندی تصویر.. 53

3-7-1 قطعه‌بندی به روش چند رزولوشنه.. 54

3-7-2 روش برآورد مقیاس مناسب برای قطعه‌بندی تصویر.. 58

3-8 برآورد دقت طبقه‌بندی.. 59

3-8-1 ماتریس ابهام.. 60

3-9 خلاصه.. 62

فصل 4روش تحقیق و نتایج.. 64

4-1 مقدمه.. 64

4-2 داده‌ها و منطقه مورد مطالعه.. 64

4-3 روش پیشنهادی تحقیق.. 66

4-3-1 انتخاب باند با کمک شاخص اهمیت ویژگی RF. 69

4-3-2 قطعه‌بندی تصویر ابرطیفی.. 70

4-3-3 گروه‌های ویژگی.. 71

4-3-4 طبقه‌بندی.. 72

4-4 ارزیابی.. 74

4-4-1 نتایج ارزیابی دقت کلی و ضریب کاپا.. 74

4-4-2 ارزیابی زمانی روش‌های طبقه‌بندی.. 79

4-4-3 نتایج طبقه‌بندی به تفکیک کلاس‌ها.. 80

4-4-4 ارزیابی بصری.. 84

4-5 جمع‌بندی مطالب فصل.. 88

فصل 5نتیجه‌گیری و پیشنهادها.. 91

5-1 مقدمه.. 91

5-2 خلاصه تحقیق.. 91

5-3 دستاوردهای تحقیق.. 92

5-4 پیشنهادها.. 95

منابع 97

 فهرست اشکال

شکل ‏1‑1) روند کلی تحقیق.. 7

شکل ‏3‑1: مرز تصمیم LDA بر روی یک مجموعه داده three-Gaussians. 27

شکل ‏3‑2: مثالی از درخت تصمیم.. 28

شکل ‏3‑3: مرز تصمیم یک درخت تصمیم بر روی مجموعه داده three-Gaussians. 31

شکل ‏3‑4: شکل (الف) یک نرون و (ب) یک شبکه عصبی.. 32

شکل ‏3‑5: نمایی از SVM خطی دوتایی.. 35

شکل ‏3‑7: تفکیک غیر-خطی با استفاده از فن کرنل SVMs (Bekkari et al., 2012) 38

شکل ‏3‑8: معماری یک روش دسته جمعی معمولی.. 39

شکل ‏3‑9: معمولاً مجموعه چند طبقه‌بندی‌کننده بهتر از بهترین تک طبقه‌بندی‌کننده عمل می‌کند (Hansen and Salamon, 1990)... 40

شکل ‏3‑10: الگوریتم Bagging. 44

شکل ‏3‑11: مرزهای تصمیم (شکل بالا چپ) یک تک درخت، (شکل بالا راست) Bagging و (شکل پایین) درخت‌های تشکیل‌دهنده آن بر روی مجموعه داده three-Guassian. 46

شکل ‏3‑12: الگوریتم تولید درخت تصادفی در RF. 48

شکل ‏3‑13: روند کلی الگوریتم جنگل تصادفی (Guo et al., 2011).. 49

شکل ‏3‑14: مرزهای تصمیم بر روی مجموعه داده مصنوعی: (الف) 10 طبقه‌بندی‌کننده پایه Bagging؛ (ب) 10 طبقه‌بندی‌کننده پایه RF؛ (ج) Bagging؛ (د) RF. 51

شکل ‏3‑15: (راست) قطعه‌بندی Top-down؛ (چپ) قطعه‌بندی Bottom-up. 54

شکل ‏3‑16: مراحل ادغام دو شی تصویری یا پیکسل و تشکیل یک شی تصویری جدید با در نظر گرفتن شرط بهترین برازش دوطرفه بین جفت شی ادغام شونده.. 57

شکل ‏3‑17: نمایی از پلات ROC-LV.. 59

شکل ‏4‑1: نمایی از تصویر ابرطیفی با نمونه‌های مرجع.. 65

شکل ‏4‑2: نمایی از داده لیدار مورد مطالعه.. 65

شکل ‏4‑3: روند کل روش پیشنهادی.. 67

شکل ‏4‑4: الگوریتم افزایش تعداد نمونه‌های آموزشی با استفاده از احتمالات محاسبه شده با RF. 69

شکل ‏4‑5: اهمیت نرمال شده هر یک از باندهای تصویر ابرطیفی در طبقه‌بندی.. 70

شکل ‏4‑6: منحنی RMS شبکه عصبی برای 500 تکرار مرحله آموزش، (راست) برای NN و (چپ) برای PCA-NN.. 75

شکل ‏4‑7: نمودار ضریب کاپا روش‌های طبقه‌بندی پیکسل-مبنای مختلف 77

شکل ‏4‑8: نمودار دقت کلی روش‌های طبقه‌بندی پیکسل-مبنای مختلف 77

شکل ‏4‑9: نمودار ضریب کاپا روش‌های مختلف طبقه‌بندی ویژگی‌‌های شی-گرا 79

شکل ‏4‑10: نمودار دقت روش‌های مختلف طبقه‌بندی ویژگی‌‌های شی-گرا 79

شکل ‏4‑11: نمودار زمان محاسباتی روش‌های مختلف طبقه‌بندی ویژگی‌‌های شی-گرا.. 80

شکل ‏4‑14: نمایی از نتایج طبقه‌بندی ویژگی‌های شی-گرا پس قطعه‌بندی در چند مقیاس (به ترتیب از بالا به پایین) با روش NN، SVM و RF 85

شکل ‏4‑15: نمایی از نتایج طبقه‌بندی ویژگی‌های شی-گرا برای قطعه‌بندی یک سطح با نمونه‌های آموزشی اولیه (به ترتیب از بالا به پایین) با روش MLC، NN، SVM و RF. 86

شکل ‏4‑16: نمایی از نتایج طبقه‌بندی ویژگی‌های شی-گرا برای قطعه‌بندی یک سطح با نمونه‌های آموزشی حاصل از RF (به ترتیب از بالا به پایین) با روش MLC، NN، SVM و RF. 87

 فهرست جداول

جدول ‏3‑1: ماتریس ابهام برای 3 کلاس.. 60

جدول ‏4‑1: اطلاعات مربوط به مجموعه داده‌های استفاده شده.. 65

جدول ‏4‑2: تعداد نمونه‌های آموزشی و مرجع.. 66

جدول ‏4‑3 : قطعه‌بندی چند مقیاسه و پارامترهای آن.. 71

جدول ‏4‑4: فهرست ویژگی‌های قابل استخراج از اشیا.. 72

جدول ‏4‑5: پارامترهای مورد نیاز برای شروع الگوریتم‌های طبقه‌بندی 73

جدول ‏4‑6: جدول دقت‌های طبقه‌بندی پیکسل-مبنا.. 76

جدول ‏4‑7: جدول دقت‌های طبقه‌بندی شی-مبنا تصویر ابرطیفی و داده لیدار 78

جدول ‏4‑8: برآورد دقت طبقه‌بندی پیکسل-مبنای ویژگی‌های لیدار و تصویر ابرطیفی.. 81

جدول ‏4‑9: برآورد دقت طبقه‌بندی پیکسل-مبنای 20 باند انتخاب شده از تصویر ابرطیفی.. 82

جدول ‏4‑10: برآورد دقت طبقه‌بندی شی-گرا در سطح 124 با نمونه‌های آموزشی اولیه.. 83

جدول ‏4‑11: برآورد دقت طبقه‌بندی شی-گرا در سطح 124 با نمونه‌های آموزشی حاصل از RF. 84

 فصل اول

مقدمه

1-1 پیشگفتار

در زندگی امروزی داشتن اطلاعات به‌روز، یک برتری بزرگ به شمار می‌آید که به تصمیم‌گیری درست و زندگی بهتر در جوامع انسانی منجر می‌شود. یکی از مهم‌تر ین اطلاعات، نقشه‌های به‌روز پوشش اراضی است که برای تصمیم‌گیری صحیح و مدیریت و برنامه‌ریزی آگاهانه برای مدیران (شهری) مورد نیاز است.

سنجش از دور یک منبع غنی برای تولید بسیاری از اطلاعات مکانی و محیطی است و یکی از بنیادی‌ترین اطلاعاتی که تولید می‌کند نقشه‌های پوشش اراضی است . اطلاعات پوشش اراضی برای تولید نقشه‌های کاربری اراضی، مطالعه تغییرات محیطی و برقراری ارتباط بین عوامل انسانی مختلف و متغیرهای فیزیکی محیط مورد استفاده قرار می‌گیرد. برای تولید نقشه‌های پوشش اراضی ابتدا بایستی این اطلاعات از تصاویر ماهواره‌ای و داده‌های دیگر استخراج شود. تفسیر بصری و الگوریتم‌های یادگیری ماشینی دو روش متداول برای استخراج اطلاعات از تصاویر ماهواره‌های و داده‌های سنجش از دور است، که هر یک دارای مزایا و معایبی می‌باشند. در برخی موارد استخراج اطلاعات از تصاویر ماهواره‌ای و هوایی توسط عامل انسانی نتایج مطلوب‌تری نسبت به روش‌های خودکار یا نیمه ‌خودکار تولید می‌کند. اما در جوامع امروزی تولید اطلاعات توسط عامل انسانی و به روش‌های سنتی دیگر پاسخگوی نیازهای موجود نیست و لازم است روش‌های خودکار و عاری از دخالت انسان توسعه داده شود. در این راستا پیوسته الگوریتم‌های یادگیری جدیدتری توسعه داده می‌شود تا این نیاز را برطرف سازد. در زمینه استخراج اطلاعات از تصاویر سنجش از دور به روش سنتی، مسائلی که بایستی مورد توجه واقع شود عبارت‌اند از: 1- حجم زیاد و رشد سریع داده‌ها و تصاویر در سنجش از دور، 2- زمان‌بر بودن استخراج اطلاعات توسط انسان و از طرف دیگر 3- پیچیدگی عوارض برای تفسیر بصری و استخراج به وسیله چشم ممکن است باعث خطا ‌گردد و در برخی موارد نیز استخراج اطلاعات به این روش غیرممکن می‌شود. راه‌حل این مسئله استفاده از الگوریتم‌های یادگیری ماشینی است که هدف نهایی آن‌ها استخراج اطلاعات بدون دخالت انسان است . مهم‌تر ین کاری که الگوریتم‌های یادگیری ماشینی در سنجش از دور انجام می‌دهند طبقه‌بندی داده‌ها به کلاس‌های اطلاعاتی است. الگوریتم‌های یادگیری ماشینی متداول در سنجش از دور مثل روش‌های طبقه‌بندی بیشینه شباهت (MLC[1])، ماشین بردار پشتیبان (SVM[2]) و شبکه‌های عصبی مصنوعی (ANN[3]) دارای مشکلاتی مثل 1- نیازمندی به داده‌های آموزشی زیاد و بدون خطا، 2- نیازمندی به تعیین بهینه و صحیح پارامترهای آغازکننده، 3- محاسبات زیاد و 4- دقت پایین در استخراج اطلاعات هستند. جنگل تصادفی (RF[4]) یک الگوریتم یادگیری ماشینی جدید است که با ترکیب طبقه‌بندی‌کننده‌های درختی نتایج رضایت‌بخشی را در طبقه‌بندی تولید می‌کند هم‌چنین استفاده از این روش می‌تواند برخی از مشکلات مطرح در الگوریتم‌های قبلی را رفع کند.

ارزش اطلاعاتی یک تصویر بیشتر از هزار کلمه است. سنجش از دور تصاویری با اطلاعات گوناگون از محیط را در اختیار ما قرار می‌دهد. همان ‌طور که گفته شد می‌توان با طبقه‌بندی تصاویر به این اطلاعات دست یافت. در بیشتر موارد در طبقه‌بندی تصاویر از روش‌های پیکسل-مبنا استفاده می‌شود. این روش‌ها پیکسل‌های تصویر را بر اساس اطلاعات عددی آن‌ها طبقه‌بندی می‌کنند. اما معمولاً عوارضی که در اکثر موارد در یک تصویر به دنبال آن هستیم، تک ‌پیکسلی نیستند بلکه به صورت مجموعه‌ای از پیکسل‌ها یا یک شی هستند. لذا در این تحقیق نیز با توجه به این که هدف طبقه‌بندی پوشش اراضی است و عوارض نهایی مورد نظر، تک ‌پیکسلی نیستند، ابتدا یک قطعه‌بندی روی تصویر انجام می‌شود تا اشیا تصویری تولید شوند و سپس این اشیا با توجه به ویژگی‌هایی که دارند طبقه‌بندی می‌شوند تا کلاس‌های اطلاعاتی پوشش اراضی را ارائه دهند.

در این تحقیق طبقه‌بندی هم به صورت پیکسل-مبنا و هم به صورت شی-مبنا با چند روش‌ انجام می‌شود و نتایج هر یک مورد بحث و بررسی قرار می‌گیرد، تا در نهایت روشی مناسب از میان روش‌های بررسی‌شده برای طبقه‌بندی پوشش اراضی شهری با استفاده از تصاویر ابرطیفی ارائه گردد. از آنجا پوشش اراضی شهری پیچیده‌تر و مهم‌تر از پوشش اراضی طبیعی است در این تحقیق یک تصویر از یک صحنه شهری با عوارض مختلف مورد بررسی قرار گرفته است تا بتوانیم ارزیابی صحیح‌تری را به طور عملی از روش‌های طبقه‌بندی مختلف انجام دهیم.