VERİ AKIŞLARINI SORGULAMA – Ödev Hazırlatma – Proje Yaptırma – Tez Yaptırma Fiyatları – Sunum Örnekleri – Ücretli Ödev Yaptırma – Ödev Yaptırma Ücretleri
SORUNLAR VE ZORLUKLAR
Veri akışlarının üzerinde karar verme sorguları gerçekleştirmek büyük bir zorluktur. Örneğin, yalnızca tek geçişli algoritmalara izin verilir (çünkü veriler yalnızca bir kez görülebilir) ve bellek çok dikkatli bir şekilde yönetilmelidir (neleri saklamalı ve neleri atmamalı).
Bir veri akışı yönetim sistemine duyulan ihtiyaç iki şekilde ortaya çıkar: ya veri hacmi çok büyüktür ve kalıcı ilişkilerde (örn. gerçek zamanlı bir rapor için gereklidir (örn. izleme, uyarı, dolandırıcılık tespiti.)
Sonuç olarak, DSMS, doğası gereği geleneksel DBMS’den oldukça farklıdır. Veriler kalıcı değil geçicidir; sorgular “tek seferlik” yerine “sürekli” olabilir; işleme teknikleri, öncelikle ana bellek yönetimi gereksinimleri nedeniyle önemli ölçüde farklılık gösterir. Tablo 1’de geleneksel veritabanı ve veri akışı yönetim sistemleri arasındaki farkları listeliyoruz.
Bir kullanıcı veya uygulama, akış sistemine (sürekli) bir sorgu kaydeder. Yeni akış verileri geldikçe, kayıtlı sorgunun yanıtı güncellenir. Akış sorgu işlemcisi, gelen verilerle ilgilenir ve önemli sayıda önemli konuya karar vermesi gerekir: akış hızına ayak uydurmak için veri dökmeli mi (yaklaşık yanıtlara yol açar)?
Ana bellek alanını kullanmanın en iyi yolu nedir? Birden çok kayıtlı sorguyu en uygun şekilde ele almanın (kaynak kullanımını en üst düzeye çıkarma) en iyi yolu nedir? Son olarak, ara hesaplamalar için bir miktar kazıma alanı gerekebilir.
DSMS ve DBMS arasındaki farklar, hem işlevsellik hem de işleme açısından veri akışlarını ele alan ve analiz eden bir sistem için birkaç yeni zorluk sunar.
İşlevsellik açısından:
• Karmaşık akış oturumlarının tanımlanması (ör. bir ağ “akış”ı veya bir finans “patlaması”.)
• İç içe akış yapılarını temsil etme (örneğin, bir oturum içindeki bir alt oturum.)
• Hiyerarşik istatistiksel akış işlevlerini tanımlama (OLAP’ta toplama, detaya inme gibi).
• Birden çok kaynağa ve/veya birden çok biçime izin vererek, muhtemelen kalıcı verilerle birleştirin.
• Kullanıcı tanımlı işlevlere izin verme – UDF’ler (örn. geleneksel olmayan bir finansal hesaplama).
Değerlendirme açısından (veri akışlarının nasıl işleneceği):
• Birden çok, sürekli, hızlı, zamanla değişen, sıralı akışları işleme.
• Yalnızca ana bellekte hesaplamalara sahip olmak.
• Sorgular sürekli olabilir (tek seferlik değil):
• Akış verileri geldikçe sürekli olarak değerlendirilmesi gerekir.
• Cevap zamanla güncellendi.
• Sorgular karmaşık olabilir:
• Her seferinde öğe işlemenin ötesinde.
• Her seferinde akış işlemenin ötesinde.
• Geleneksel karar verme sorgularının ötesinde (bilimsel, veri madenciliği).
• Sorgular iç içe geçmiş yapıları içerebilir.
• Kullanıcılar, sorgu yanıtları için şunları seçebilir:
• Tam (en kötü performans, bazen akış hızından dolayı mümkün olmayabilir).
• Yaklaşık (yük atma, yani verilerin atılması, daha iyi performans gerektirir).
VERİ AKIŞLARINI SORGULAMA VE DEĞERLENDİRME
Önceki bölümde bahsedilen zorluklar, veri akışlarının sorgulanması ve işlenmesinde bir dizi önemli soruna yol açmaktadır. Bu yönleri anlamak, bir akış sistemi geliştirmede çok önemlidir. Farklı sistemler, veri akışlarını işlemede farklı metodolojileri takip eder.
Pencereler
Sorguları veri akışlarının üzerinde formüle edebilmek, herhangi bir akış sisteminin önemli bir bileşenidir. Çoğu sistem prototipi, SQL’i akış işlemeye uygun hale getirmek için bir şekilde genişletir. Örneğin, AT&T’nin Gigascope’u GSQL’i tanımlar ve Stanford’un STREAM’i CQL’yi önerir. Çoğu akış sorgulama dili, hem ilişkileri hem de akışları referans alır ve üretir.
Bununla birlikte, sonsuz, sınırsız akışları, daha sonra bir sorgu işlemcisi tarafından manipüle edilebilecek sonlu ilişkilere dönüştürmek önemlidir. Bazı pencere belirtimi sözdizimi aracılığıyla akış pencerelerini tanımlamak, bir akışı (bir parçası) bir ilişkiye çevirme mekanizmasıdır. Örneğin, bir pencere en son bin akış demeti olarak tanımlanabilir. Bu kavramı grafiksel olarak gösterir.
Windows sıralama niteliklerine (örneğin, kayan veya değişen bir pencere), grup sayılarına, açık işaretleyicilere (noktalama işaretleri denir) vb. dayalı olabilir. Bir uygulama veya sorgu, birden fazla pencere tanımlayabilir ve bunları birbirine “birleştirebilir”.
Veri AKIŞ Diyagramı örnek
Veri akış Diyagramı sembolleri
Yazılım mühendisliği veri akış diyagramı
Veri akış Diyagramı çizme
2 düzey veri akış Diyagramı
Akış diyagramı
Hastane veri akış Diyagramı
İkinci düzey veri akış diyagramı
Sorgu Değerlendirmesi
Veri akışlarının benzersiz özellikleri, farklı değerlendirme algoritmalarına ve sorgu işlemeye yol açar: veri öğeleri, muhtemelen değişken varış hızında sürekli olarak gelir; veri akışlarının boyutu potansiyel olarak sınırsızdır; geçmiş öğelerin genel olarak alınması imkansız değilse de çok zordur. Garofalakis’in haklı olarak belirttiği gibi, “sadece bir bakışınız var”.
Bu, bazı geleneksel veritabanı sistemlerinde depolanan geleneksel verilerin varlığını dışlamaz. Sonuç olarak, algoritmalar esas olarak ana bellekte çalışır ve tek geçişli teknikleri (veya giriş veri akışı giriş bloklarında organize edilebiliyorsa birkaç geçiş) içerir. Operatörler, – geleneksel olanların (seçim, projeksiyon) yanı sıra – kayan pencere birleştirme ve birleştirme gibi çoklu akışları birleştirmek ve toplamak için özel işlemleri içerir.
Optimizasyon, geleneksel VTYS’den çok farklıdır. DSMS’deki amaç, bir sorgu için grup çıktı oranını maksimize etmektir, yani en düşük maliyetli planı aramak yerine, en yüksek grup çıktı oranına sahip planı arayın. Hızlı değişikliklere izin veren ve bilgileri verimli bir şekilde özetleyen özel veri yapıları (özetler) sıklıkla kullanılır. Son olarak, mimariler genellikle veri akışına yöneliktir, yani operatörler bir iş akışı stili diyagramında bir araya getirilir.
Uyarlanabilir Sorgu İşleme
Geleneksel sorgu işlemcileri, kullanıcıların bir sorgu oluşturduğu, optimize edicinin “en iyi” sorgu planını bulduğu ve sorgu değerlendirmesiyle ilerlediği, sorgu yanıtlama için bir istek-yanıt paradigması kullanır. Ancak, akış yöneticisi ile çok sayıda kayıtlı sorgu olasılığının yanı sıra sürekli sorguların getirilmesi bu modeli önemli ölçüde değiştirir.
Sürekli sorgulamanın bir yönü, değişime uyum sağlama ihtiyacıdır: Sınırsız sorgular, çalıştırmaları sırasında sistem ve veri özelliklerindeki değişikliklerin yanı sıra sistem iş yükündeki değişiklikleri deneyimlemek için yeterince uzun süre çalışacaktır. Sürekli bir sorgu motoru, zaman içinde verimli işlemeyi sağlamak için bu değişikliklere incelikle uyum sağlamalıdır.
Uyarlanabilir bir sorgu işleme sisteminin amacı, sistemde bulunan birden çok eşzamanlı sorgunun depolama ve hesaplama (operatör paylaşımı açısından) kullanımını en üst düzeye çıkarmaktır.
2 düzey veri akış Diyagramı Akış diyagramı Hastane veri akış Diyagramı İkinci düzey veri akış diyagramı Veri AKIŞ Diyagramı örnek Veri akış Diyagramı çizme Veri akış Diyagramı sembolleri Yazılım mühendisliği veri akış diyagramı