پایان نامه بررسی انبار داده در 232 صفحه ورد قابل ویرایش

1-1          مقدمه: سیر تحول

منشاء اصلی پردازش DSS به روزهای خیلی دور در تاریخ سیستمهای كامپیوتری و اطلاعاتی بر می‌گردد. جالب است بدانیم كه سیستمهای پشتیبان تصمیم دارای قدمت طولانی وپیچیده در تكنولوژی اطلاعاتی است.و سیر تحول آن تا به امروز ادامه داشته است .]3[

درحدود دهه1960 جهان کامپیوتر موفق به‌ایجاد نرم افزارهایی شد كه با استفاده از فایلهای Master اجرا می‌شدند.این نرم افزارها در قالب برنامه ها و گزارشاتی بودند‌‌‌‌‌‌‌‌‌‌‌، که معمولاٌ به زبان COBOL نوشته می‌شد. پانچ كارتها یک ابزار ذخیر سازی عمومی به حساب می‌آمدند. فایلهای Master توسط نوارهای مغناطیسیی نگهداری می‌شدند كه برای ذخیره سازی ارزان قیمت حجم زیادی از داده مناسب بودند، اما بخاطر‌اینکه دسترسی به اطلاعات می‌بایست به صورت متوالی باشد‌این روش زیاد مفید نبود. در یك گذار در فایل نوار مغناطیسی كه از100% ركوردها عبور می‌شود، عموما فقط 5 درصد ازاین ركوردها یا حتی كمتر مورد نظر بودند. بعلاوه بسته به داده درون فایل و پردازشی که باید روی آن انجام می‌شد، دسترسی به فایل نوار ورودی بیشتر از 20 تا 30 دقیقه به طول می‌انجامید.]3[

در اواسط دهه 1960، به طور گسترده‌ای رشد استفاده از فایلهای Master و نوار مغناطیسی افزایش یافتند و در پی آن مقادیر هنگفتی داده افزونه نیز به وجود آمد. ازدیاد فایل Master و داده افزونه منجر به بروز چندین مشكل شد:]3[

-        نیاز به داده همزمان به محض عمل به روز رسانی

-          پیچیدگی نگهداری برنامه ها

-          پیچیدگی‌ایجاد برنامه‌های جدید

-          نیاز به سخت افزار گران برای پشتیبانی كلیه فایلهای Master

جالب است كه اگر فقط ابزار ذخیره سازی داده، نوار مغناطیسی باشد، جهان پردازش اطلاعات شاهد هیچ پیشرفتی نبود، . اگر هرگز چیزی برای ذخیره داده حجیم به وجود نمی آمد، سیستمهای سریع و خیلی بزرگ درجهان ظاهر نمی‌‌شد، ونیز هرگز سیستمهای ATM و شبیه آن به وجود نمی‌‌آمد. حقیقتا، اگر قابلیت ذخیره سازی و مدیریت داده در انواع جدید ابزارهای ذخیره سازی وجود نداشت، هرگز بستر لازم برای همکاری تكنسینها و تجار با هم به وجود نمی آمد.]3[

2-1          1-2 ظهور DASD

در 1970 تقریبا هر روز یک تكنولوژی جدید برای ذخیره سازی و دسترسی داده به وجود می‌آمد.در دهه 1970 زمان تحول وسیله ذخیره سازی دستیابی مستقیم (DASD )بود. دیسك ذخیره سازی اصولا با نوار مغناطیسی از نظر قابلیت دسترسی مستقیم تفاوت داشت. ونیازی نبود كه ركوردها 1,2,…,n تا n+1 ركورد مرور شود.]3[

آدرس ركورد n+1 ام شناخته شده بود، موضوع ساده‌ای بود كه بفهمیم ركورد n+1 ام دقیقا در كجای دیسک قرار دارد. از‌این گذشته، زمان مورد نیاز برای دسترسی به ركورد n+1 ام، كمتر از زمان مورد نیاز برای مرور یك نوار بود. در حقیقت زمان مورد نیاز برای قرار دادن یك ركورد در DASD فقط به اندازه چند میلی ثانیه بود.]3[

به همراه DASD نوع جدیدی از نرم افزارها تولید شد که به عنوان یك سیستم مدیریت

بانك اطلاعاتی مطرح گردید. هدف از ساخت DBMS بدین منظور بود كه برای برنامه نویسان ذخیره سازی و دستیابی داده در محیطDASD آسان گردد.به علاوه‌این ابزار، عملیات مختلفی را برای ذخیره سازی داده در DASD، از جمله فهرست گذاری داده و غیره راانجام می‌داد. از طریق DASD وDBMSیك راه حل تكنیكی برای حل مشكلات فایلهای Master پدید آمد.وهمچنین موضوع بانك اطلاعاتی مطرح شد.با وجود آشفتگی كه فایلهای Master‌ایجاد کرده بودند و داده افزونه جمع آوری شده از آنها بسیارزیاد بود، بدین سبب عجیب نبود كه در دهه 1970 بانك اطلاعاتی تعریف شده به عنوان یك منبع مجزای داده برای كلیه پردازشها مورد استفاده قرار گیرد.]3[

دراواسط دهه 1970 پردازش تراكنش بر خط (OLTP) دسترسی سریعتر به داده را امكان پذیر ساخت. باباز شدن كلیه چشم اندازهای جدید برای تجارت و پردازش، اکنون كامپیوتر می‌تواند برای انجام اعمالی كه قبلا غیر ممكن به نظر می‌رسید، مثل سیستمهای رزور درایو، سیستمهای پاسخگوی بانك، سیستمهای كنترل ساخت و مانند آن مورد استفاده قرار گیرد.اگر دنیا در مرحله استفاده از فایل نوار مغناطیسی باقی می‌ماند، ساخت بیشتر سیستمهایی كه امروزه تولید می‌شود امكان پذیر نبود.]3[

3-1          تكنولوژی زبانهای نسل چهارم وکامپیوترهای شخصی

در دهه 1980 اکثر تكنولوژیهای جدید، مثل کامپیوترهای شخصی و زبانهای نسل چهارم، شروع به فعالیت نمودند.كاربر نهایی نقش جدی را به عهده گرفت- كنترل مستقیم داده و سیستم – که نقش قبلی رزرو شده برای پردازنده داده بود. از طریق کامپیوترهای شخصی و زبانهای نسل چهارم موقعیتی پیش آمد كه کاربر بیشتر می‌توانست با داده درپردازش تراكنشهای بر خط ارتباط برقرار کند. MIS (سیستمهای اطلاعات مدیریتی)، همانطور که قبلا به کار می‌رفت، می‌توانست پیاده سازی شود. امروزه همانطور كه سیستمهای پشتیبان تصمیم شناخته شدند، سیستمهای اطلاعات مدیریتی نیز برای تصمیمهای مدیریتی استفاده شدند.در گذشته داده و تكنولوژی با هم استفاده می‌شد تا تصمیمات عملیاتی جزئی اتخاذ شود.اما هیچ بانك اطلاعاتی نمی‌‌تواند هم پردازش تراكنش عملیاتی و هم پردازش تحلیلی را در یك زمان انجام دهد.شكل 1-1 نمونه‌ای از بانك اطلاعاتی را نشان می‌دهد.]3[

-2-1 معماری و قابلیتهای محصول

در این ابزار هم اجزاء کلیدی یک ابزار استخراج ، انتقال، و بارگذاری (ETL) و هم ابزارهای طراحی محصول مورد نظر موجود می باشد.به علاوه Warehouse Builder برمبنای تکنولوژی اوراکل پایه ریزی شده است و نیز نقطه عطف تجمع ابزارهای "هوشمند تجاری" با ابزارهای "درخواست موردی" مثل OLAPو امکانات بانک اطلاعاتی رابطه ای است. [6]

معماری Warehouse Builder شامل دو بخش "محیط طراحی" و "محیطruntime " است که "محیط طراحی" مدیریت فراداده و "محیط runtime " مسئولیت داده فیزیکی را برعهده دارند. [6]

5-2-1-1 محیط طراحی

این بخش شامل مخزن فراداده است که در یک بانک اطلاعاتی اوراکل و مجموعه ای از ابزارهای طراحی و گزارشگیری نوشته شده با Java یا HTML ذخیره شده است.از طریق این ابزارها فراداده می تواند مشاهده و اصلاح شود . [6]

Warehouse Builder طراحی شماهای بانک اطلاعاتی رابطه ای ،شماهای چند بعدی، پردازشهای ETL و ابزار کاربر نهایی را از طریق محیطهای client پشتیبانی می کند. [6]

سیستمهای منبع نقش مهمی را در پردازش ETL بازی می کنند.به جای ایجاد فراداده به صورت دستی، Warehouse Builder دارای اجزایی است که اطلاعات لازم را به داخل مخزن منتقل می کند.

یکی از قابلیتهای معماری این است که مدیریت چرخه کاری را طوری پشتیبانی می کند که فراداده برمبنای تغییران درسیستم منبع قابل بروز رسانی باشد. [6]

سپس Warehouse Builder این تغییرات را به پردازشهای ETL و سیستمهای مقصد منتشر می کند. [6]

به هدف ایجاد و ارزیابی فراداده ، یک محیط گزارشگیری از فراداده به صورت web وجود دارد . محیط گزارشگیری امکان مرور و بررسی اجزاء سیستم بدون استفاده از ابزارهای طراحی  به کاربران و سازندگان می دهد.یکی از اجزاء خیلی مهم این محیط گزارشگیری قابلیتهای تحلیل فشرده می باشد که تغییرات فشرده سیستم را قبل از ساخته شدن مشخص می کند.گزارشگیری تحلیل فشرده کنترل بهتر تغییرات و برنامه ریزی بهتر برای پیاده سازی این تغییرات را پشتیبانی می کند.قابلیت معکوس این مورد یعنی مرور اینکه داده از کدام منبع آمده است گزارشگیری Lineage داده گفته می شود که درWarehouse Builder ایجاد شده است. [6]

5-2-1-2 محیط runtime

آنچه که کاربر در سطح منطقی طراحی کرده است باید به محیط بانک اطلاعاتی فیزیکی منتقل شود. قبل از انجام این کار ، اطلاعات محیط بانک اطلاعاتی به طراحی منطقی افزوده شده تا محیط مقصد برای ساختن پیکربندی شود.بعد ازآنکه پیکربندی تکمیل شد،کد می تواند تولید شود. [6]

Warehouse Builder زبان خاص استخراج برای پردازش ETL و مراحل SQL DDL برای اشیاء بانک اطلاعاتی را تولید می کند.کد تولید شده خواه به صورت سیستم فایل یا درون بانک اطلاعاتی ایجاد می شود. [6]

انجام توابع ETL به معنی اجرای کد تولید شده در بانک اطلاعاتی است.این امر می تواند با استفاده از مدیر ساخت Warehouse builder یا از طریق ابزار خارجی مثل  Enterprise manager انجام شود.در نهایت پردازش ETL داده منبع را به درون بانک اطلاعاتی مقصد منتقل می کند.این داده می تواند ناحیه  staging ،یک ذخیره داده عملیاتی،یک انبارداده یا هر شمای دیگر باشد. بخشهای کد خارجی از بانک اطلاعاتی Oracle در محیط مربوط به خود اجرا می شوند. [6]

به منظور گزارشگیری از بارگذاری داده، کد تولید شده توسط OWB باید شامل روالها ی بازبینی باشد. این روالها اطلاعات بارگذاری را به درون جداول runtime نرم افزار OWB ثبت می کنند. اطلاعات به دست آمده در حال اجرای کد می تواند شامل تعداد سطور انتخاب شده ، اضافه شده و به روز رسانی شده است. اگر مشکلی حین تبدیل یا بارگذاری داده رخ دهد ، گزارش روال بازبینی مشکل جداول را مشخص می کند. به منظور دسترسی آسانتر و گزارشگیری ساده از این اطلاعات runtime ، OWB  محیط مرورگر بازبینی زمان اجرا را فراهم ساخته است. [6]

5-3 راهکار مجتمع Oracle Warehouse Builder

ایجاد یک نرم افزار هوشمند تجاری یک پردازش پیچیده می باشد. مراجل و فازهای مختلفی درگیر می باشد، که ممکن است ظرفیت تهداد زیادی از سیستمها ، منابع، و نواحی عملکردی را بگیرد. OWB این گونه پیچیدگیها را به منظور حصول به یک نرم افزار مجزا با در نظر گرفتن موارد مقیاس پذیری ، قابلیت اطمینان و انعطاف پذیری آن کاهش می دهد. عمده قابلیتهای OWB شامل موارد زیر می باشد:

-                     تعریف import داده منبع

-                     طراحی و ایجاد شمای بانک اطلاعاتی هدف

-                     تعریف انتفال و تبدیل داده بین سیستم مبدا و مقصد

-                     تعیین وابستگیهای بین پردازشهای ETL

-                     مدیریت و به روز رسانی تعاریف داده

-                     گسترش، به روز رسانی، و مدیریت شماهای هدف

-                     طراحی و ایجاد محیط بازیابی موردی

-                     طراحی و ایجاد یک محیط OLAP

5-4 تعریف اشیاء

پس از جمع آوری نیازمندیهای انباره داده یا data mart ، آماده طراحی سیستم مورد نظر در warehouse builder هستیم.اکثر مدلسازیها در ماجول انباره داده قرارمی گیرد . در این بخش قصد داریم نحوه ایجاد ماجول انباره داده و اشیاء آن را ارائه کنیم. [6]

5-4-1  ایجاد ماجول انباره

با استفاده از درختواره مرورگر OWB   از گره database یک ماجول ایجاد می نماییم. در صفحه مربوط به اطلاعات اتصالات ، گزینه های لازم جهت database link به منظور ورود فراداده به ماجول انباره وجود دارد. [6]

در بخش بعد می بایست یک Location  در درختواره ایجاد کرد.Location  ها ، ابزارها و شماهای بانک اطلاعاتی را ارائه می کنند که شامل انواع ماجولها برای بانکهای اطلاعاتی Oracle یا غیر  Oracle، SAP ، یا سیستم فایها می باشد کگه درون این درختواره تحت این ماجولها سازماندهی شده است. زمانیکه یکLocation  ایجاد می کنید، یک تعریف منطقی شامل نوع Location و نسخه آن ثبت می شود ونیز  اطلاعات اتصالات فیزیکی برای ثبت در Runtime Repository موردنیاز است. [6]