Büyük Veri Nedir?
BÜYÜK VERİ
Büyük veri daha fazla çeşitlilik içeren ve hızla artan büyük hacimli veridir. Bu aynı zamanda üç V olarak da bilinir.
Basitçe söylemek gerekirse, büyük veri özellikle yeni veri kaynaklarından gelen daha büyük, daha karmaşık veri kümeleridir. Bu veri kümeleri o kadar hacimlidir ki, geleneksel veri işleme yazılımı onları yönetemez. Ancak bu büyük hacimli veriler, daha önce üstesinden gelemeyeceğiniz iş sorunlarını çözmek için kullanılabilir.
McKinsey Global Institute, 2011 yılında büyük veri kavramını, “Tipik ve geleneksel veri tabanı yazılımlarının yapamayacağı şekilde, bunların kabiliyetlerinin ötesinde, veri kümelerini alan, saklayan, yöneten, erişime sunan ve analiz eden araçları tanımlamak için kullanmıştır.” tanımını kullanmıştır.
Büyük veri, günümüzde son derece popüler bir kavram haline gelmiştir ve yeni bir devrin başlangıcı olarak yorumlanmaktadır. Büyük veri ile birlikte dünyada büyük bir dönüşüm gerçekleşirken, kurum ve kuruluşların veriye olan bakışı ve veriden sağladığı fayda farklı bir noktaya gelmiştir. Kurum ve kuruluşlarında bu dönüşümün dışında kalmaları mümkün görünmemektedir.
Büyük veri, yeni ve popüler bir kavram olmasına rağmen, yerli literatürde kuramsal nitelikte çok fazla araştırmayla karşılaşılmadığı ortadadır. Kuramsal yönü işleyen az yayın olmakla birlikte, teknoloji ile ilgili pek çok kurum ve kuruluş ise bu konuya son derece önem vermekte ve çok büyük yatırımlar yapmaktadırlar. Çalışmada büyük veri kavramsal olarak ele alınmış, pek çok kavramla olan ilişkisi, büyük veri teknolojileri ve büyük veri işlenirken kullanılan yöntemler aktarılmış, büyük veri ile ilgili farkındalık yaratan kuruluşlarla ve dünyada büyük verinin kullanım alanları ile ilgili farklı örnekler verilmiştir.
BÜYÜK VERİ'NİN "V"LERİ
Veri miktarı önemlidir. Büyük veri ile, yüksek hacimli düşük yoğunluklu, yapılandırılmamış verileri işlemeniz gerekir. Bu, Twitter veri beslemeleri, bir web sayfasındaki veya bir mobil uygulamadaki tıklama akışları ya da sensör özellikli ekipman gibi bilinmeyen değerli veriler olabilir. Bazı kurumlar için bu onlarca terabayt veri olabilir. Diğerleri için yüzlerce petabayt olabilir.
Hız, verilerin alındığı ve (belki de) işlem yapıldığı hız oranıdır. Normalde, en yüksek veri akışları hızı diske yazılmak yerine doğrudan belleğe aktarılır. İnternet özellikli bazı akıllı ürünler gerçek zamanlı veya neredeyse gerçek zamanlı olarak çalışır ve gerçek zamanlı değerlendirme ve eylem gerektirir.
Çeşitlilik, mevcut olan birçok veri türünü ifade eder. Geleneksel veri türleri bir ilişkisel veritabanında yapılandırılır ve buraya yerleştirilir. Büyük verinin yükselişiyle, veriler yeni yapılandırılmamış veri türleri biçiminde gelir. Metin, ses ve video gibi yapılandırılmamış ve yarı yapılandırılmış veri türleri, anlam türetmek ve meta verileri desteklemek için ek ön işleme süreci gerektirir.
Büyük veriyi açıklayan 3V (volume, velocity ve variety) tanımları yapıldıktan sonra verinin toplanıp işlenmesinden sonra işe yarar sonuçlar elde etmek için bu analizlerin bir değer’’ üretmesi gerekir. Dolayısıyla bu V’nin diğer 3V’nin (volume, velocity ve variety) birleşim noktası olduğu söylenebilir.
Doğruluk belirli veri türleri ile ilgili güvenilirlik düzeyi anlamına gelir. Büyük veri için yüksek veri kalitesi önemli bir gereklilik ve mücadele arayışıdır. Fakat en önemli veri temizleme yöntemleriyle bile bazı verilerin (hava durumu, ekonomi ya da bir müşterinin satın alma kararları gibi) doğasında var olan tahmin edilemezliği kaldırılamaz.
BÜYÜK VERİ'NİN AVANTAJLARI
- Büyük veri daha fazla bilgiye sahip olmanız nedeniyle daha eksiksiz yanıtlar almanızı mümkün kılar.
- Daha eksiksiz yanıtlar verilere daha fazla güven anlamına gelir; bu, sorunların üstesinden gelmek için tamamen farklı bir yaklaşım demektir.
- Büyük veri ile birlikte eskiden asla ölçülemeyen, saklanamayan, analiz edilemeyen ve paylaşılamayan şeylerin büyük çoğunluğu verileştirilmeye başlanmıştır.
- Büyük verinin devasa boyutları ile bundan fayda sağlamak için gereken analizlerin karmaşıklığının birleşmesi, yeni sınıf teknolojilerin ve bunları yönetecek araçların gelişmesine neden olmuştur.
- Günümüzde bilgi ve iletişim teknolojilerinde yaşanan gelişmeler, verinin üretildiği anda kullanılmasına olanak vermektedir. Hızla akan veriye en hızlı tepkiyi verip, daha veri akarken müdahale etmeyi, işlemeyi ve analiz etmeyi olanaklı hale getirmiştir. Verinin bu hızına yetişebilen firmalar daha veri yeni yaratıldığı anda yanlış yapılan bir işleme müdahale edebilmekte; bu veriler ortaya çıktığı anda kurumlar kendi analiz süreçlerine katabilmekte; karar destek sistemlerindeki analiz süreçlerine aynı anda bu veriler eklenip kullanılabilmektedir
BÜYÜK VERİ'NİN KULLANIM ÖRNEKLERİ
Büyük veri müşteri deneyiminden analitiğe kadar çeşitli iş faaliyetlerini ele almanıza yardımcı olabilir. İşte bunlardan sadece birkaçı;
Netflix ve Procter & Gamble gibi şirketler müşteri talebini tahmin etmek için büyük veri kullanır. Geçmiş ve mevcut ürün veya hizmetlerin temel özelliklerini sınıflandırarak ve bu özellikler ile tekliflerin ticari başarısı arasındaki ilişkiyi modelleyerek yeni ürün ve hizmetler için tahmine dayalı modeller oluştururlar. Ek olarak, P&G yeni ürünleri planlamak, üretmek ve piyasaya sürmek için odak gruplarından, sosyal medyadan, test pazarlarından ve erken mağaza sunumlarından gelen verileri ve analitiği kullanır.
Mekanik arızaları tahmin edebilen faktörler ekipmanın yılı, markası ve modeli gibi yapılandırılmış verilerin yanı sıra milyonlarca günlük girişi, sensör verileri, hata mesajları ve motor sıcaklığını kapsayan yapılandırılmamış verilerin içinde derinde gömülü olabilir. Kuruluşlar, sorunlar ortaya çıkmadan önce olası sorunların bu göstergelerini analiz ederek bakımı daha uygun maliyetli bir şekilde uygulayabilir ve parça ve ekipman çalışma süresini en üst düzeye çıkarabilir.
Müşteriler için yarış başladı. Müşteri deneyiminin daha net bir şekilde görülebilmesi artık her zamankinden daha mümkün. Büyük veri etkileşim deneyimini iyileştirmek ve sunulan değeri en üst düzeye çıkarmak için sosyal medyadan, web ziyaretlerinden, arama günlüklerinden ve diğer kaynaklardan veri toplamanıza olanak tanır. Kişiselleştirilmiş teklifler sunmaya başlayın, müşteri kaybını azaltın ve sorunları proaktif bir şekilde ele alın.
Güvenlik söz konusu olduğunda, sizlerin ve uzman ekiplerin karşısında yalnızca birkaç düzenbaz bilgisayar korsanı yok. Güvenlik ortamları ve uyumluluk gereksinimleri sürekli olarak gelişmektedir. Büyük veri, düzenleyici raporlamayı çok daha hızlı hale getirmek için dolandırıcılığı gösteren verilerdeki kalıpları belirlemenize ve büyük hacimli bilgileri bir araya getirmenize yardımcı olur.
Makine öğrenimi şu anda sıcak bir konu. Ve veriler (özellikle büyük veri) nedenlerden biridir. Artık makineleri programlamak yerine onlara öğretebiliyoruz. Makine öğrenimi modellerini eğitmek için büyük verinin kullanılabilir olması bunu mümkün kılmaktadır.
Büyük veri insanlar, kurumlar, varlıklar ve süreçler arasındaki karşılıklı bağımlılıkları inceleyerek ve ardından bu içgörüleri kullanmanın yeni yollarını belirleyerek yenilik yapmanıza yardımcı olabilir. Finans ve planlama hususlarıyla ilgili kararları iyileştirmek için veri içgörülerini kullanın. Trendleri ve müşterilerin yeni ürün ve hizmetlerle birlikte sunmak istedikleri şeyleri inceleyin. Dinamik fiyatlandırma uygulayın. Sonsuz olasılıklar mevcuttur.
Operasyonel verimlilik her zaman ilgi görmeyebilir, ancak büyük verinin en fazla etkilediği alandır. Büyük veriyle kesintileri azaltmak ve gelecekteki talepleri tahmin etmek için üretimi, müşteri geri bildirimleri ile iadeleri ve diğer faktörleri analiz edebilir ve değerlendirebilirsiniz. Büyük veri mevcut piyasa talebi doğrultusunda karar vermeyi iyileştirmek için de kullanılabilir.
BÜYÜK VERİ NASIL ÇALIŞIR?
Büyük veri size yeni fırsatlar yaratıp iş modelleri oluşturan yeni içgörüler sağlar. Başlarken üç temel eylem vardır:
- Birleştirin
Büyük veri birçok farklı kaynaktan ve uygulama yazılımından gelen verileri bir araya getirir. Ayıklama, dönüştürme ve yükleme (ETL) gibi geleneksel veri entegrasyonu mekanizmaları genellikle göreve bağlı değildir. Büyük veri kümelerini terabayt, hatta petabayt ölçeğinde analiz etmek için yeni stratejiler ve teknolojiler gerekir. Entegrasyon sırasında, verileri getirmeniz, işlemeniz ve iş analistinizin başlayabileceği bir biçimde biçimlendirilip kullanılabilir olduğundan emin olmanız gerekir.
- Yönetin
Büyük veri depolama alanı gerektirir. Depolama çözümünüz bulutta, şirket içinde veya her ikisinde birden olabilir. Verilerinizi istediğiniz şekilde depolayabilir ve istediğiniz işleme gereksinimlerini ve gerekli işlem motorlarını isteğe bağlı olarak bu veri setlerine getirebilirsiniz. Birçok kişi, depolama çözümlerini verilerinin şu anda bulunduğu yere göre seçer. Bulut, mevcut bilgi işlem gereksinimlerinizi desteklediği ve kaynakları gerektiği gibi artırmanıza olanak tanıdığı için giderek popülerlik kazanıyor.
- Analiz et
Büyük veriye yaptığınız yatırımınız, verilerinizi analiz edip bunlara göre hareket ettiğinizde karşılığını verir. Çeşitli veri kümelerinizin görsel analiziyle yeni bir netlik elde edin. Yeni keşiflerde bulunmak için verileri daha fazla araştırın. Bulgularınızı başkalarıyla paylaşın. Makine öğrenimi ve yapay zeka ile veri modelleri oluşturun. Verilerinizi işe yöneltin.
BÜYÜK VERİ'NİN GELECEĞİ
İçinde bulunduğumuz Büyük Veri çağında yatırımcılar, teknoloji girişimcileri, medya ve danışmanlık şirketleri Büyük Veri konusuna odaklanarak, yeni fırsatlar yakalıyor. Bulut Barındırma çözümlerinin basitleşip ucuzlayarak genele yayılması, veri işleme konusundaki ekonomik dengeleri temelden değiştirdi. Yakın geleceğin en önemli teknoloji piyasasının Büyük Veri üzerinde oluşması, önümüzdeki beş yıl içinde de bu pazarın elli milyar doları aşması bekleniyor. Dünya çapında yıllık veri hacmindeki büyüme %59 ve büyümenin artarak devam etmesi bekleniyor. Bu büyümenin merkezinde hem geleneksel hem de yeni veri kaynakları yatıyor. IDC dijital kayıtların bu sene sonunda 1.2M Zetabytes (1021bytes)’a ulaşacağını, önümüzdeki on sene içinde de 44 katına çıkacağını tahmin ediyor.
Bir önceki paragrafta bahsettiğimiz büyümenin asıl kaynağı yapısal olmayan verilerden geliyor. Yapısal olmayan verilerin yaklaşık %80′nin değersiz olduğuna dair mit ise gerek arama motorlarının gerekse de e-ticaret yapan kurumların tıklama verisini takip ederek ulaştıkları başarı sonrasında çürütülmüş görünüyor. Asıl gereksinim ise yapısal ve yapısal olmayan verinin saklanması, beraberce analiz edilerek, veri madenciliği işlemlerine tabi tutulması.
KAYNAKÇA;
https://tr.wikipedia.org/wiki/B%C3%BCy%C3%BCk_veri
https://www.oracle.com/tr/big-data/what-is-big-data/
http://dtcfdergisi.ankara.edu.tr/index.php/dtcf/article/view/4
