مقدمه ای بر داده کاوی

عنوان تحقیق: مقدمه ­ای بر داده ­کاوی

فرمت فایل: word

تعداد صفحات: 31

شرح مختصر:

در دو دهه قبل توانایی های فنی بشر در برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند[‎1].

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند: داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده[1] و دیگر مخازن بزرگ اطلاعات، ذخیره شده است. داده کاوی بطور همزمان از چندین رشته علمی بهره می برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه های عصبی، آمار، شناسایی الگو، سیستم های مبتنی بر دانش[2]، حصول دانش[3]، بازیابی اطلاعات[4]،محاسبات سرعت بالا^[5] و بازنمایی بصری داده^[6] . داده کاوی در اواخر دهه 1980 پدیدار گشته، در دهه 1990 گامهای بلندی در این شاخه از علم برداشته شده و انتظار می رود در این قرن به رشد و پیشرفت خود ادامه دهد [‎2].

واژه های «داده کاوی» و «کشف دانش در پایگاه داده»^[7] اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل1-1 نشان داده شده است.

فهرست مطالب

1 مقدمه ای بر داده‌کاوی... 3

1-1 چه چیزی سبب پیدایش داده کاوی شده است؟. 4

1-2 مراحل کشف دانش.... 6

1-3 جایگاه داده کاوی در میان علوم مختلف... 11

1-4 داده کاوی چه کارهایی نمی تواند انجام دهد؟. 12

1-5 داده کاوی و انبار داده ها 13

1-6 داده کاوی و OLAP. 14

1-7 کاربرد یادگیری ماشین و آمار در داده کاوی... 15

2- توصیف داده ها در داده کاوی... 15

2-1 خلاصه سازی و به تصویر در آوردن داده ها15

2-2 خوشه بندی 16

2-3 تحلیل لینک... 16

3- مدل های پیش بینی داده ها17

3-1 Classification. 17

3-2 Regression. 17

3-3 Time series. 18

4 مدل ها و الگوریتم های داده کاوی... 18

4-1 شبکه های عصبی 18

4-2 Decision trees. 22

4-3 Multivariate Adaptive Regression Splines(MARS). 24

4-4 Rule induction. 25

4-5 K-nearest neibour and memory-based reansoning(MBR). 26

4-6 رگرسیون منطقی... 27

4-7 تحلیل تفکیکی 27

4-8 مدل افزودنی کلی (GAM). 28

4-9 Boosting. 28

5 سلسله مراتب انتخابها29

منابع

پروژه بررسی الگو ریتم های خوشه بندی تجمیعی

پروژه بررسی الگو ریتم های خوشه بندی تجمیعی  یک تحقیق کامل میباشد و در 3 فصل تنظیم شده است.این پایان نامه با معرفی داده کاوی و خوشه بندی به بررسی الگوریتم های خوشه بندی پرداخته است.شما میتوانید فهرست مطالب پروژه را در ادامه مشاهده نمایید.

پروژه بصورت فایل قابل ویرایش ورد(WORD) در 69 صفحه برای رشته کامپیوتر در پایین همین صفحه قابل دانلود میباشد. شایسته یادآوری است که پروژه از ابتدا تا آخر ویرایش وتنظیم , سکشن بندی (section) ، نوشتن پاورقی (Footnote) و فهرست گذاری کامل شده وآماده تحویل است.

چکیده

ازخوشه بندی درحوزه داده کاوی برای تحلیل ، گروه بندی یا طبقه بندی داده ها درخوشه هایی که اعضای ان ها خواص کمابیش یکسانی دارند ، استفاده می شود . خوشه بندی کاربردهای متعددی از تشخیص الگو ، روان شناﺴﻰ ، اقتصاد تا طبقه بندی ژنی ، پردازش تصویر و ... دارد . دراین پروژه چند الگوریتم خوشه بندی نسبتاً ساده ، کارامد و متداول که درخوشه بندی داده ها به کار می روند مورد بررسی قرارمی گیرند . فصل اول به مفاهیم و کلیات داده کاوی و خوشه بندی اختصاص دارد . در فصل دوم ابتدا مختصری در مورد خوشه بندی سلسله مراتبی و در ادامه انواع الگوریتم های خوشه بندی سلسله مراتبی تجمیعی توضیح داده شده است ( با این وصف که معادلات ومبحث های ریاضی الگوریتم ها مطرح نشده وصرفاً روی خود الگوریتم ها تأکید شده ) . درفصل اخرهم توضیحی کوتاه درباره نرم افزارMat lab داده شده و یک نمونه ازالگوریتم های فصل دوم با زبان برنامه نویسی Mat lab شبیه سازی شده است

واژه های کلیدی: 

داده کاوی، خوشه بندی، الگوریتم سلسه مراتبی تجمیعی، Proximity ، Matlab ، هوش مصنوعی ، طراحی الگوریتم ، سیستم عامل ، نرم افزار.

فهرست مطالب

مقدمه. 1

فصل اول

کلیات

1-1 داده کاوی.. 4

1-1-1 تاریخچه داده کاوی.. 5

1-1-2 داده کاوی چیست ؟. 5

3-1-1 فرایند داده ‌کاوی.. 7

1-1-4 ویژگی های داده کاوی.. 8

1-1-5 مزایای داده کاوی.. 8

1-1-6 مراحل داده کاوی.. 9

1-1-7 روش های داده کاوی.. 10

1-1-8 الگوریتم های داده کاوی.. 11

1-1-9 ابزارهای داده کاوی.. 12

1-1- 9-1 قابلیت‌های ابزار‌های داده کاوی.. 12

1-1-9-2 نرم افزارهای داده کاوی.. 15

1-1-10 کاربردهای داده کاوی.. 16

1-1-11 شاخه های مرتبط با داده کاوی.. 16

1-2 خوشه بندی.. 17

1-2-1 تاریخچه خوشه بندی.. 21

1-2-2 تعریف خوشه بندی.. 22

1-2-3 تحلیل خوشه بندی.. 23

1-2-4 مراحل خوشه بندی.. 28

1-2-5 فرایندهای خوشه بندی.. 29

1-2-6 کاربردهای خوشه بندی.. 31

1-2-7 مطالعه تکنیک های خوشه بندی.. 34 

فصل دوم

الگوریتم های خوشه بندی سلسله مراتبی – تجمیعی

2-1 خوشه بندی سلسله مراتبی.. 37

2-2 خوشه بندی سلسله مراتبی تجمیعی.. 38

2-2-1 پیوند خوشه بندی.. 40

2-2-3 الگوریتم پیوند کامل.. 41

2-2-4 الگوریتم پیوند میانگین گروهی.. 41

2-2-5 الگوریتم پیوند میانگین وزن دار. 41

2-2-6 الگوریتم پیوند مرکزی.. 41

2-2-7 الگوریتم پیوند میانی.. 42

2-2-8 روش وارد. 42

2-3 پیشرفت اخیر. 42

2-3-1 الگوریتم BIRCH.. 43

2-3-2 الگوریتم CURE.. 46

2-3-3 الگوریتم ROCK.. 48

2-3-4 الگوریتم CHAMELEON.. 49

2-3-5 الگوریتم SLINK.. 50

2-3-6 الگوریتم های پیوند تک مبتنی بردرختان پوشای مینیمم.. 51

2-3-7 الگوریتم CLINK.. 52

2-4 روش های دیگر خوشه بندی سلسله مراتبی.. 52

فصل سوم

شبیه سازی و اجرای یک نمونه الگوریتم کاربردی

3-1 نرم افزار MATLAB.. 54

3-2 اجرای برنامه کاربردی با Matlab. 55

3-2-1 تحلیل برنامه CLINK.. 55

3-3 خلاصه و نتیجه گیری.. 56

منابع و ماخذ. 61

فهرست شکل‌ها و جدول‌ها

شکل 1-1 فرایند داده ‌کاوی.. 6

شکل 1-2 مراحل داده کاوی.. 9

شکل 1-3 وظایف داده کاوی.. 19

شکل 1-4 رویه خوشه بندی.. 23

شکل 1-5 فلوچارت نمونه اعتبار برای ساختارهای خوشه بندی.. 28

شکل 1-6 فرایندهای خوشه بندی داده. 30

شکل 1-7 نمودار الگوریتم های خوشه بندی.. 30

شکل 2-1 نمونه ای از نموداردرختی خوشه بندی سلسله مراتبی.. 38

شکل 2-2 رایج ترین روش های سلسله مراتبی.. 39

شکل 2-3 فلوچارت الگوریتم خوشه بندی سلسله مراتبی تجمیعی.. 39

شکل 2-4 فلوچارت الگوریتم BIRCH.. 45

شکل 2-5 فلوچارت الگوریتم CURE.. 47

شکل 2-6 فلوچارت الگوریتم Chameleon. 50

جدول 1-3 دستورات مدیریت فایل.. 54

جدول 2-3 دستورات مدیریت فضای کاری.. 55

بررسی شاخص های موثر در بروز حوادث و کاهش ایمنی در سالن های تولیدی و رتبه بندی آن ها با بهره گیری از داده کاوی و منطق فازی

نوع فایل:PDF

تعداد صفحات:14

سال انتشار:1394

چکیده

عوامل زیان آور بسیاری در محیطهای کاری صنعتی وجود دارند که منجر به بروز حوادث و در پی آن ضایعات انسانی و مادی فراوان میشوند و با شناسایی دقیق این عوامل امکان پیشبینی و فراهمنمودن فنون، امکانات و وسائل ایمنی لازم و کاربردیدر جهت حفظ ایمنی و بهداشت کار در چنین محیط هایی میسر میگردد. در این مقاله سعی شده است تا با استفاده از داده کاوی، تکنیک های آماری و ابزارهای کیفی به بررسی و تجزیه و تحلیل عواملی این چنین و نیز وضعیت ایمنی در سالن های مختلف تولید یکی از گروه های خودروسازی کشور و شناسایی شاخص های موثر در بروز حوادث و کاهش ایمنی در این سالنها پرداخته شود. ماحصل استفاده از تکنیکهای دادهکاوی در کنار توصیف دادههای پیشپردازششده و بهرهگیری از مدلهایتوالی و قوانینالتزامی و نیز مدلهای پیشبینی در این مقاله، مقایسه و بررسی دقیق میزان و سهم حوادث در هریک از سالنهای تولیدی بوده است و درکنار تحلیلهای صورتگرفته در مورد سهم حوادث در سالنهای تولیدی، پیشبینی چرایی و چگونگیحوادث بعدی و اینکه این حوادث برای چه افرادی و در چه سالنهای تولیدی بروز خواهندداد نیز از جمله مهمترین نتایج این پژوهش است. بدون شک نتایج پژوهش و تحلیل های مذکور میتواند افقهای جدیدی را در تعیین استراتژیهای مدیریت کلان مجموعه به منظور کاهش سهم حوادث پیشروی قراردهد.

واژگان کلیدی

داده کاوی، منطق فازی، ایمنی و بهداشت صنعتی، حوادث، سالن های تولید

Using data mining to improve assessment of credit worthiness via credit scoring models

عنوان مقاله:

Using data mining to improve assessment of credit worthiness via credit scoring models

سال انتشار: 2011

تعدادصفحات:10 صفحه بصورت PDF

منبع  : Elsevier - Science Direct (الزویر - ساینس دایرکت)

عنوان فارسی:

استفاده از داده کاوی برای بهبود ارزیابی اعتبار از طریق مدلهای ارزیابی اعتباری

"ترجمه فارسی مقاله به زودی"

پروژه روش های دسته بندی جریان داده

پروژه روش های دسته بندی جریان داده پژوهش کامل در حوزه کامپیوتر و IT میباشد و در 4 فصل تنظیم شده است. این پروژه با معرفی داده کاوی و خوشه بندی به روش های دسته بندی جریان داده پرداخته است. شما میتوانید فهرست مطالب پروژه را در ادامه مشاهده نمایید.

پروژه بصورت فایل قابل ویرایش ورد(WORD) در 68 صفحه برای رشته کامپیوتر و IT در پایین همین صفحه قابل دانلود میباشد. شایسته یادآوری است که پروژه از ابتدا تا پایان ویرایش وتنظیم , سکشن بندی (section) ، نوشتن پاورقی (Footnote) و فهرست گذاری اتوماتیک کامل شده وآماده تحویل یا کپی برداری از مطالب مفید آن است.

چکیده

حجم بزرگ داده ها به تنهایی به مدیران سازمان ها در تصمیم سازی و تصمیم گیری هیچ کمکی نمی کند، بلکه باعث سردرگمی مدیران سازمان ها نیز می شود.بنابراین مدیریت داده های خام و تبدیل داده های خارجی و داخلی سازمان به اطلاعات و دانش با استفاده از تکنیک های گوناگون،نقش اساسی و محوری دارد.از تکنیک های معروف در این زمینه داده کاوی است،که می تواند بر روی بانک اطلاعاتی انجام شود و دانش مورد نیاز را بدست آورد.در فصل اول به بررسی این مفهوم پرداختیم. کاوش خوشه ها نیز یکی از تکنیک های حائز اهمیت در زمینه رو به رشد،معروف به داده کاوی اکتشافی می باشد که در رشته های گوناگون مهندسی و علمی از قبیل زیست شناسی،روان شناسی،پزشکی،بازاریابی،کامپیوتر و نقشه برداری ماهواره ای به کار گرفته شده است. این مفهوم در فصل های سوم و چهارم دنبال شده است.در فصل سوم به یکی از الگوریتم های خوشه بندی به نام CStree پرداخته شده و نقاط ضعف این الگوریتم نیز مطرح شده است .تحلیل خوشه ها،اطلاعات را بوسیله یک ساختار اساسی مختصر بدو شکل گروه بندی تنها یا گروه بندی سلسله مراتبی سازماندهی می نماید.خوشه بندی ،ابزاری برای اکتشاف ساختارهایی از درون داده هاست که نیاز به هیچ فرضی از آنها نیست.این روش در هوش مصنوعی و شناسایی الگو،یادگیری بدون ناظر نامیده می شود.الگوریتم های خوشه بندی گوناگونی برای استخراج دانش از درون مجموعه اطلاعات مختلف وجود دارد.اما عموما این الگوریتم ها حساس به داده های مورد آزمایش و برخی پارامترهای اولیه می باشند،لذا نتایج حاصل از آنها وابسته به ساختار داده ها می باشد.تاکنون الگوریتمی ارائه نشده است که بتواند هر گونه ساختار داده ای را استخراج نماید. یکی دیگر از پدیده های نوظهور در دنیای اطلاعات،داده های جریانی می باشند.این پدیده که در فصل چهارم مطرح شده است،اشاره به حجم وسیعی از اطلاعات انباشته شده دارد که محدودیت های فراوانی برای پردازش ایجاد کرده اند.اندازه این داده ها بیش از حافظه اصلی،یکی از این موانع می باشد.لذا می بایست الگوریتم های جدیدی برای برخورد با این گونه داده ها توسعه یابند.

واژه های کلیدی: داده کاوی، دسته بندی، خوشه بندی، جریان داده

فهرست مطالب

فصل اول  مقدمه ای بر داده کاوی

1-1 مقدمه. 2

2-1عامل مسبب پیدایش داده کاوی.. 2

3-1داده کاوی و مفهوم اکتشاف دانش.... 3

3-1-1 تعریف داده کاوی.. 4

3-2-1 فرایند داده‌کاوی.. 5

3-3-1 قابلیتهای داده کاوی.. 5

3-4-1 چه نوع داده‌هایی مورد کاوش قرار می گیرند. 5

انبارهای داده ها:6

4-1 وظایف داده کاوی.. 7

4-1-1 کلاس بندی.. 7

4-2-1 مراحل یک الگوریتم کلاس‌بندی.. 8

4-3-1 انواع روش‌های کلاس‌بندی.. 8

4-3-1-1 درخت تصمیم.. 8

4-3-1-1-1 کشف تقسیمات.. 9

4-3-1-2-1 دسته بندی با درخت تصمیم.. 10

4-3-1-3-1 انواع درخت‌های تصمیم.. 11

4-3-1-4-1 نحوه‌ی هرس کردن درخت... 11

4-3-2-1 بیزی.. 12

4-3-2-1-1 تئوری بیز. 13

4-4-1 ارزیابی روش‌های کلاس‌بندی.. 14

5-4-1 پیش بینی.. 15

6-4-1 انواع روش‌های پیش بینی.. 15

6-4-1-1 رگرسیون.. 15

6-4-1-1-1 رگرسیون خطی.. 15

6-4-1-1-2 رگرسیون منطقی.. 16

7-4-1 تخمین.. 17

فصل دوم  خوشه بندی

2-1-تعریف فرایند خوشه‌بندی.. 19

2-2 روش ها و الگوریتم‌های خوشه‌بندی.. 20

2-3 روش و الگوریتم سلسله مراتبی.. 20

2-3-1-روش های سلسله‌مراتبی.. 20

2-3-2-الگوریتم های سلسله مراتبی.. 21

2-3-3- الگوریتم خوشه بندی.. 21

2-3-4-الگوریتم‌های تفکیک... 25

2-3-5روش‌های متکی برچگالی.. 25

2-3-6 روش‌های متکی بر گرید. 25

2-3-7 روش‌‌های متکی بر مدل.. 26

منابع.. 27

فصل سوم  خوشه بندی CS tree

3-1مقدمه. 29

3-2 مروری بر روش های خوشه بندی جریان داده. 29

3-3 خوشه بندی توری جریان داده. 31

3-3-1 مروری بر روش خوشه بندی توری CS tree. 32

3-3-2 بررسی نقاط ضعف الگوریتم CS tree. 33

3-4 الگوریتم پیشنهادی.. 36

3-4-1 بازتعریف مفهوم همسایگی و رفع مشکل تقسیم بی معنی خوشه ها37

3-5 اصلاح روند بروز رسانی خوشه ها39

3-6 اصلاح ساختار نمایش خوشه ها39

منابع.. 41

فصل چهارم  جریان داده و مدل های ان

4-1 مقدمه. 43

4-2 کاربردهای داده های جریانی.. 44

4-2-1 شبکه های حسگر. 44

4-2-2 تحلیل ترافیک شبکه. 44

4-2-3 محرک های مالی.. 45

4-2-4 تحلیل تراکنش ها45

4-3 مدل داده های جریانی.. 45

4-4 زیربنای نظری.. 46

4-4-1 تکنیک های مبتنی بر داده. 46

4-4-1-1 نمونه برداری.. 47

4-4-1-2 پراکنده ساختن بار. 47

4-4-1-3 طراحی اولیه. 47

4-4-1-4 ساختمان داده خلاصه. 47

4-4-1-5 انبوه سازی.. 48

4-4-2 تکنیک های مبتنی بر وظیفه. 48

4-4-2-1 الگوریتم های تخمین.. 48

4-4-2-2 الگوریتم های مبتنی بر پنجره. 48

4-4-2-3 الگوریتم های دانه دانه سازی نتایج.. 49

4-5 خوشه بندی داده های جریانی.. 49

4-5-1 بهبود روش های سنتی.. 49

4-5-1-1 الگوریتم CLARANS. 50

4-5-1-2 الگوریتم BIRCH.. 51

4-5-2 ظهور تکنیک های جدید. 53

4-5-2-1 الگوریتم مبتنی بر چگالی DBSCAN.. 53

4-5-2-2 الگوریتم مبتنی بر گریدSTING.. 55

4-6 بحث در مورد الگوریتم ها56

4-6-1 ایا توسعه روش های سنتی درست است... 56

4-6-2 روش های جدید چه پیشنهاداتی دارند. 57

منابع.. 59

فهرست شکل ها

شکل1-1 فرایند داده کاوی.. 5

شکل1-2 نمونه یک درخت تصمیم.. 8

شکل 1-3 یک تقسیم بندی خوب ، درجه خلوص را برای فرزندان افزایش می دهد. 9

شکل2-1- مسافت شهرها22

شکل2-2- MDTO.. 23

شکل2-3- خوشه ی BA/NA/RM... 24

شکل2-4- خوشه ی BA/FI/NA/RM... 24

شکل2-5- خوشه ی نهایی.. 25

شکل 3-1 تقسیم خوشه های با معنی به زیر خوشه های بی معنی.. 34

شکل3-2 خطاهای روش Cs tree در ترکیب خوشه های یک بعدی و ایجاد خوشه های چند بعدی.. 35

شکل3-3روی هم افتادگی خوشه ها در بروز رسانی به روش Cs tree. 35

شکل3-4 ذخیره سازی اطلاعات سلول ها با ساختار B+tree. 36

شکل3-5 ساختار ذخیره سازی خوشه ها در فضای چند بعدی.. 38

شکل3-6 نحوه نمایش یک خوشه. 40

شکل4-1 مدل پردازش داده های جریانی.. 46

شکل 4-2 الگوریتم خوشه بندی CLARA.. 50

شکل 4-3 الگوریتم خوشه بندی CLARANS. 51

شکل 4-4 الگوریتم خوشه بندی BIRCH.. 52

شکل4-5 الگوریتم خوشه بندی DBSCAN.. 54

شکل 4-6 الگوریتم خوشه بندیSTING.. 56