VERİ KÜPLERİNİ DİNAMİKLEŞTİRME – Ödev Hazırlatma – Proje Yaptırma – Tez Yaptırma Fiyatları – Sunum Örnekleri – Ücretli Ödev Yaptırma – Ödev Yaptırma Ücretleri
VERİ KÜPLERİNİ DİNAMİKLEŞTİRME
Veri ambarlarının birincil amacı, veri analizini desteklemektir. Güncelleme maliyetleri genellikle önemli olarak kabul edilmedi ve bu nedenle sistemler tipik olarak, düşük sistem yükü zamanlarında depoya uygulanan toplu güncellemelere yöneliktir. Karşılık gelen veri küpleri de toplu olarak güncellenecek, hatta sıfırdan yeniden hesaplanacaktı. Artımlı olarak bakımı yapılabilir dinamik veri küplerinin neden tercih edildiğine dair birkaç argüman vardır.
İlk olarak, çok büyük veri koleksiyonları için, güncellemeler toplu olarak yapılsa bile, bir veri küpünü sıfırdan yeniden hesaplamak çok maliyetlidir. İkinci olarak, sorgu işlemeye yönelik olarak yoğun şekilde optimize edilmiş bazı veri yapıları (örneğin aşağıda tartışıldığı gibi PS tekniği), güncellemeler toplu olarak uygulansa bile yalnızca çok sınırlı güncelleme oranlarını destekler.
Üçüncüsü, OLAP, doğası gereği, olasılık senaryolarını içeren etkileşimli bir bilgi araştırma sürecidir. What-if analizi, anlık analiz ve müteakip eylem amacıyla gerçek zamanlı ve varsayımsal verilerin geçmiş verilerle entegre edilmesini gerektirir.
Bu makale, sorgu, güncelleme ve depolama maliyetleri arasında farklı ödünleşimler sunan dinamik çözümleri inceleyerek bir yöneticinin her uygulama için eşleşen yaklaşımı bulmasını sağlar. Çok boyutlu veri küpleri için hem verimli sorguların hem de güncellemelerin desteklenebileceği gösterilecektir.
“Küp” ve “veri küpü” terimleri, veri ambarı araştırma literatüründe tutarlı bir şekilde kullanılmamaktadır. Bu makalede, çok boyutlu bir diziye benzer bir kavramsal modele atıfta bulunulmaktadır. Basit bir örnek, ürün, zaman ve konum boyutlarına ve ölçü özniteliği miktarına (satış işleminin değeri) sahip bir satış veri küpü SalesCube’dur.
Belirtilen boyut hiyerarşileri ile olası bir örneği gösterir (ALL, bir özniteliğin tüm alanını temsil eder). MOLAP veya ROLAP gibi belirli bir küp uygulamasını veya sistem mimarisini savunmadığımızı unutmayın.
Veri küplerindeki baskın toplu sorgu türleri, toparlama/ayrıntıya gitme ve dilimle ve zar şeklindedir. Bu sorgular tipik olarak aralık sorguları veya hiyerarşik aralık sorguları gibi ilgili aralık sorgularının dizileridir. Bu nedenle, esas olarak toplam aralık sorguları için destekle ilgileniyoruz.
TOPLAMA OPERATÖRLERİ İÇİN VERİ KÜPLERİ
SUM, COUNT ve AVG gibi ters çevrilebilir toplama operatörleri için (SUM ve COUNT ile ifade edildiğinde), orijinal (yoğun) MOLAP küpünü gerçekleştirmeye kıyasla ek depolama gerektirmeyen zarif teknikler geliştirilmiştir. Aşağıda SUM operatörü için teknikleri araştıracağız. Diğer tersine çevrilebilir operatörler de benzer şekilde işlenir.
A orijinal veri küpünü göstersin. Bir işlemin maliyeti, erişilen küp hücreleri cinsinden ölçülür; örneğin, A’daki tek bir hücreyi güncellemek, 1 maliyetle sonuçlanır. A’yı kullanarak bir toplu aralık sorgusunu yanıtlamak çok maliyetli olabilir.
1.000 ürün, 100 mağaza konumu ve altı yıl (yaklaşık 2.000 gün) hakkında veri içeren yalnızca üç boyutlu küçük bir küp için bile, bir sorgunun en kötü durumda 200 milyon hücrenin değerlerine erişmesi ve bunları toplaması gerekir. Bu nedenle, OLAP için orijinal veri küpü A’nın kullanılması, mükemmel bir dinamik çözümü temsil eder, ancak yalnızca tatmin edici olmayan sorgu verimliliği sağlar.
Etl Nedir
Veri madenciliği SINIFLANDIRMA teknikleri
Olap nedir
OLAP küpü oluşturma
Sınıflandırma teknikleri
Olap küpü nedir
Veri ambarı Nedir
Oltp Nedir
Sorgu ve Güncelleme Performansını Değiştirme
Ho ve ark. (1997), Prefix Sum (PS) tekniği ile yüksek sorgulama maliyetleri sorununu ele aldı. Ana fikir, sorguları, c’den daha küçük veya eşit boyut koordinatlarına sahip A’daki tüm hücrelerin önceden hesaplanmış toplamını depolayan c hücreleri olan bir PS önek toplam küpü kullanarak yanıtlamaktır.
Dahil etme-hariç tutma ilkesine dayalı olarak, A üzerindeki her aralık toplamı sorgusu, PS’de 2d’ye kadar uygun şekilde seçilmiş önek toplamlarından hesaplanabilir. Bu maliyetin, veri küpünün boyutundan ve seçilen sorgu aralığının boyutundan bağımsız olduğunu unutmayın. Ne yazık ki, sorgu verimliliğinin bir bedeli vardır: En kötü durumda, tek bir güncelleme .
PS’nin pahalı kademeli güncellemelerinden kaçınmak için Geffner ve meslektaşları Göreceli Önek Toplamını (RPS) tanıttı. RPS’nin sonraki bir sürümü, ilk depolama yükünü kaldırdı. Ana fikir, A’yı kutu adı verilen daha küçük hiper-dikdörtgen parçalara bölmek gerekir.
Geffner, Agrawal ve El Abbadi (2000) tarafından önerilen Dinamik Veri Küpü (DDC), veri boyutunda her ikisi de polilogaritmik olacak şekilde sorgulama ve güncelleme maliyetlerini dengeler. Riedewald, orijinal tekniğin hatırı sayılır depolama giderlerini kaldırdı. RPS gibi, DDC de orijinal küpü kavramsal olarak kutulara böler.
Bununla birlikte, RPS’nin aksine, bölümleme hem iç hem de sınır hücrelerine özyinelemeli olarak uygulanır. Özyinelemeli kutu bölümleme, kutuları her zaman ikiye bölerse, teknik, sorgular ve güncellemeler için sırasıyla (2 log 2 N ) d ve (log2N)d en kötü durum maliyetlerini garanti eder.
Schmidt ve Shahabi (2002), dalgacık tabanlı bir ön toplama tekniği olan ve aynı zamanda polilogaritmik sorgulama ve güncelleme maliyetlerini de garanti eden ProPolyne’i önermiştir. Seçilen dalgacık kodlamasına bağlı olarak, ölçüm değerleri üzerinde sabit bir maksimum dereceye kadar polinom olan tüm kümeler tek bir veri küpü tarafından desteklenebilir.
Yazarlar ayrıca, yüksek kaliteli yaklaşık sonuçların, kesin sonucun maliyetinin çok altında elde edilebileceğini de göstermektedir. İlginç bir şekilde ProPolyne ve DDC, yalnızca aynı asimptotik sorgu ve güncelleme maliyetine sahip olmakla kalmaz; aynı depolama gereksinimlerine de sahiptirler. ProPolyne için daha yüksek dereceli polinomları destekleyen dalgacıkların seçilmesi, depolama üzerinde daha yüksek dereceli ek ölçü değerlerinin bir DDC küpünde depolanmasıyla aynı etkiye sahiptir.
Chan ve Ioannidis (1999), önceden birleştirilmiş küpün yapısını parametreleştirerek kullanıcının bir sorgu-güncelleme değiş tokuşu seçmesine izin verme olasılığını açıkça keşfeden ilk kişilerdir. Bitmap dizin tasarımından fikirleri uygularlar ve Hiyerarşik Küpler (HC’ler) olarak adlandırılan bir sınıf tanımlarlar.
Veri küpü hiyerarşik olarak eşit büyüklükteki daha küçük kutulara bölünür. Bölümlemeye göre, hücreler, bir hücrede depolanan toplamı belirleyen sınıflara atanır. Açık, ancak karmaşık maliyet formülleri, bir analistin deneysel değerlendirme yoluyla bir uygulama için en iyi parametre ayarını seçmesini sağlar.
Etl Nedir Olap küpü nedir OLAP küpü oluşturma Olap nedir Oltp Nedir Sınıflandırma teknikleri Veri ambarı Nedir Veri madenciliği SINIFLANDIRMA teknikleri