پروژه روش های دسته بندی جریان داده

پروژه روش های دسته بندی جریان داده پژوهش کامل در حوزه کامپیوتر و IT میباشد و در 4 فصل تنظیم شده است. این پروژه با معرفی داده کاوی و خوشه بندی به روش های دسته بندی جریان داده پرداخته است. شما میتوانید فهرست مطالب پروژه را در ادامه مشاهده نمایید.

پروژه بصورت فایل قابل ویرایش ورد(WORD) در 68 صفحه برای رشته کامپیوتر و IT در پایین همین صفحه قابل دانلود میباشد. شایسته یادآوری است که پروژه از ابتدا تا پایان ویرایش وتنظیم , سکشن بندی (section) ، نوشتن پاورقی (Footnote) و فهرست گذاری اتوماتیک کامل شده وآماده تحویل یا کپی برداری از مطالب مفید آن است.

چکیده

حجم بزرگ داده ها به تنهایی به مدیران سازمان ها در تصمیم سازی و تصمیم گیری هیچ کمکی نمی کند، بلکه باعث سردرگمی مدیران سازمان ها نیز می شود.بنابراین مدیریت داده های خام و تبدیل داده های خارجی و داخلی سازمان به اطلاعات و دانش با استفاده از تکنیک های گوناگون،نقش اساسی و محوری دارد.از تکنیک های معروف در این زمینه داده کاوی است،که می تواند بر روی بانک اطلاعاتی انجام شود و دانش مورد نیاز را بدست آورد.در فصل اول به بررسی این مفهوم پرداختیم. کاوش خوشه ها نیز یکی از تکنیک های حائز اهمیت در زمینه رو به رشد،معروف به داده کاوی اکتشافی می باشد که در رشته های گوناگون مهندسی و علمی از قبیل زیست شناسی،روان شناسی،پزشکی،بازاریابی،کامپیوتر و نقشه برداری ماهواره ای به کار گرفته شده است. این مفهوم در فصل های سوم و چهارم دنبال شده است.در فصل سوم به یکی از الگوریتم های خوشه بندی به نام CStree پرداخته شده و نقاط ضعف این الگوریتم نیز مطرح شده است .تحلیل خوشه ها،اطلاعات را بوسیله یک ساختار اساسی مختصر بدو شکل گروه بندی تنها یا گروه بندی سلسله مراتبی سازماندهی می نماید.خوشه بندی ،ابزاری برای اکتشاف ساختارهایی از درون داده هاست که نیاز به هیچ فرضی از آنها نیست.این روش در هوش مصنوعی و شناسایی الگو،یادگیری بدون ناظر نامیده می شود.الگوریتم های خوشه بندی گوناگونی برای استخراج دانش از درون مجموعه اطلاعات مختلف وجود دارد.اما عموما این الگوریتم ها حساس به داده های مورد آزمایش و برخی پارامترهای اولیه می باشند،لذا نتایج حاصل از آنها وابسته به ساختار داده ها می باشد.تاکنون الگوریتمی ارائه نشده است که بتواند هر گونه ساختار داده ای را استخراج نماید. یکی دیگر از پدیده های نوظهور در دنیای اطلاعات،داده های جریانی می باشند.این پدیده که در فصل چهارم مطرح شده است،اشاره به حجم وسیعی از اطلاعات انباشته شده دارد که محدودیت های فراوانی برای پردازش ایجاد کرده اند.اندازه این داده ها بیش از حافظه اصلی،یکی از این موانع می باشد.لذا می بایست الگوریتم های جدیدی برای برخورد با این گونه داده ها توسعه یابند.

واژه های کلیدی: داده کاوی، دسته بندی، خوشه بندی، جریان داده

فهرست مطالب

فصل اول  مقدمه ای بر داده کاوی

1-1 مقدمه. 2

2-1عامل مسبب پیدایش داده کاوی.. 2

3-1داده کاوی و مفهوم اکتشاف دانش.... 3

3-1-1 تعریف داده کاوی.. 4

3-2-1 فرایند داده‌کاوی.. 5

3-3-1 قابلیتهای داده کاوی.. 5

3-4-1 چه نوع داده‌هایی مورد کاوش قرار می گیرند. 5

انبارهای داده ها:6

4-1 وظایف داده کاوی.. 7

4-1-1 کلاس بندی.. 7

4-2-1 مراحل یک الگوریتم کلاس‌بندی.. 8

4-3-1 انواع روش‌های کلاس‌بندی.. 8

4-3-1-1 درخت تصمیم.. 8

4-3-1-1-1 کشف تقسیمات.. 9

4-3-1-2-1 دسته بندی با درخت تصمیم.. 10

4-3-1-3-1 انواع درخت‌های تصمیم.. 11

4-3-1-4-1 نحوه‌ی هرس کردن درخت... 11

4-3-2-1 بیزی.. 12

4-3-2-1-1 تئوری بیز. 13

4-4-1 ارزیابی روش‌های کلاس‌بندی.. 14

5-4-1 پیش بینی.. 15

6-4-1 انواع روش‌های پیش بینی.. 15

6-4-1-1 رگرسیون.. 15

6-4-1-1-1 رگرسیون خطی.. 15

6-4-1-1-2 رگرسیون منطقی.. 16

7-4-1 تخمین.. 17

فصل دوم  خوشه بندی

2-1-تعریف فرایند خوشه‌بندی.. 19

2-2 روش ها و الگوریتم‌های خوشه‌بندی.. 20

2-3 روش و الگوریتم سلسله مراتبی.. 20

2-3-1-روش های سلسله‌مراتبی.. 20

2-3-2-الگوریتم های سلسله مراتبی.. 21

2-3-3- الگوریتم خوشه بندی.. 21

2-3-4-الگوریتم‌های تفکیک... 25

2-3-5روش‌های متکی برچگالی.. 25

2-3-6 روش‌های متکی بر گرید. 25

2-3-7 روش‌‌های متکی بر مدل.. 26

منابع.. 27

فصل سوم  خوشه بندی CS tree

3-1مقدمه. 29

3-2 مروری بر روش های خوشه بندی جریان داده. 29

3-3 خوشه بندی توری جریان داده. 31

3-3-1 مروری بر روش خوشه بندی توری CS tree. 32

3-3-2 بررسی نقاط ضعف الگوریتم CS tree. 33

3-4 الگوریتم پیشنهادی.. 36

3-4-1 بازتعریف مفهوم همسایگی و رفع مشکل تقسیم بی معنی خوشه ها37

3-5 اصلاح روند بروز رسانی خوشه ها39

3-6 اصلاح ساختار نمایش خوشه ها39

منابع.. 41

فصل چهارم  جریان داده و مدل های ان

4-1 مقدمه. 43

4-2 کاربردهای داده های جریانی.. 44

4-2-1 شبکه های حسگر. 44

4-2-2 تحلیل ترافیک شبکه. 44

4-2-3 محرک های مالی.. 45

4-2-4 تحلیل تراکنش ها45

4-3 مدل داده های جریانی.. 45

4-4 زیربنای نظری.. 46

4-4-1 تکنیک های مبتنی بر داده. 46

4-4-1-1 نمونه برداری.. 47

4-4-1-2 پراکنده ساختن بار. 47

4-4-1-3 طراحی اولیه. 47

4-4-1-4 ساختمان داده خلاصه. 47

4-4-1-5 انبوه سازی.. 48

4-4-2 تکنیک های مبتنی بر وظیفه. 48

4-4-2-1 الگوریتم های تخمین.. 48

4-4-2-2 الگوریتم های مبتنی بر پنجره. 48

4-4-2-3 الگوریتم های دانه دانه سازی نتایج.. 49

4-5 خوشه بندی داده های جریانی.. 49

4-5-1 بهبود روش های سنتی.. 49

4-5-1-1 الگوریتم CLARANS. 50

4-5-1-2 الگوریتم BIRCH.. 51

4-5-2 ظهور تکنیک های جدید. 53

4-5-2-1 الگوریتم مبتنی بر چگالی DBSCAN.. 53

4-5-2-2 الگوریتم مبتنی بر گریدSTING.. 55

4-6 بحث در مورد الگوریتم ها56

4-6-1 ایا توسعه روش های سنتی درست است... 56

4-6-2 روش های جدید چه پیشنهاداتی دارند. 57

منابع.. 59

فهرست شکل ها

شکل1-1 فرایند داده کاوی.. 5

شکل1-2 نمونه یک درخت تصمیم.. 8

شکل 1-3 یک تقسیم بندی خوب ، درجه خلوص را برای فرزندان افزایش می دهد. 9

شکل2-1- مسافت شهرها22

شکل2-2- MDTO.. 23

شکل2-3- خوشه ی BA/NA/RM... 24

شکل2-4- خوشه ی BA/FI/NA/RM... 24

شکل2-5- خوشه ی نهایی.. 25

شکل 3-1 تقسیم خوشه های با معنی به زیر خوشه های بی معنی.. 34

شکل3-2 خطاهای روش Cs tree در ترکیب خوشه های یک بعدی و ایجاد خوشه های چند بعدی.. 35

شکل3-3روی هم افتادگی خوشه ها در بروز رسانی به روش Cs tree. 35

شکل3-4 ذخیره سازی اطلاعات سلول ها با ساختار B+tree. 36

شکل3-5 ساختار ذخیره سازی خوشه ها در فضای چند بعدی.. 38

شکل3-6 نحوه نمایش یک خوشه. 40

شکل4-1 مدل پردازش داده های جریانی.. 46

شکل 4-2 الگوریتم خوشه بندی CLARA.. 50

شکل 4-3 الگوریتم خوشه بندی CLARANS. 51

شکل 4-4 الگوریتم خوشه بندی BIRCH.. 52

شکل4-5 الگوریتم خوشه بندی DBSCAN.. 54

شکل 4-6 الگوریتم خوشه بندیSTING.. 56