Blog / Büyük (Mega) Veriler ve Süper İşlemler Çağı - 1
Büyük (Mega) Veriler ve Süper İşlemler Çağı - 1
Mega Veriler ve Süper İşlemler Çağı Başladı mı? Bu Çağın Oluşumunun Belirtileri Nelerdir? Bilgi Toplumunu Nasıl Etkileyecek?
Dr. Mustafa Kemal AKGÜL - Sanayi ve Teknoloji Uzmanı (Verimlilik Genel Müdürlüğü)
Giriş
Değerli okuyucular, bu sayımızdan itibaren iki sayıda sizlerle paylaşacağımız yeni bir konuya başlamış olmaktayız. Konumuzun başlığı yukarıda okuduğunuz gibi “Büyük (Mega) Veriler ve Süper İşlemler Çağı.”
Hepinizin bildiği gibi, insanları etkileyen, insanlar ve topluluklar üzerinde bir etki bırakan veya toplumların algılama ve yaşama düzenlerinde köklü değişimler, dönüşümler meydana getiren dönemler “çağ” olarak isimlendirilmektedir.
Tarihsel dönemlerde yüzlerce yıllık dönemlerle ifade edilen, eski çağlar ile orta ve yeniçağlar sadece bu isimler ile anılırken, içinde yaşamakta olduğumuz yakın çağ 18. yy.’dan itibaren neredeyse yüzyılı bulmayan 10 yıllık dönemler içinde bir isimlendirmeyle tanımlanabilmektedir. Örneğin, 19 yy.’a endüstri çağı, 20. yy.’ın ilk yarısına atom çağı, son yarısına bilgi çağı denildiği gibi.
20 yy. son yarısında bilgi çağı olarak isimlendirilen bu dönem 2000 yılından itibaren girmiş olduğumuz ve henüz başlarında bulunduğumuz 21. yy.’a da sürmekte olan bir dönemdir. Bilgi ile isimlendirilen bir çağın bilginin gittikçe artan önemi ve gücü ile daha çok yıllar aynı isimle süreceğini tahmin edebiliriz. Ancak, çok hızlı gelişim ve dönüşüm içinde yer alan günümüz insanı sanki aynı isimle ifade edilen uzun dönemlerden sıkılmakta ve yeni adlandırmalara gidebilmektedir. İşte ilk on yılını bitirdiğimiz 21. yy.’da her ne kadar bilgi çağı kavramsal olarak devam ediyor görünse bile dönemsel çağ isimlendirmesi olarak artık Büyük Veriler Çağı veya Süper İşlemler Çağı tanımları önce bilgi toplumu fertleri tarafından bunlara eş zamanlı olarak da sosyal bilimciler tarafından kullanılmaya başlanmıştır.
Yazımızın bu sayıdaki bölümlerinde; büyük-mega-veri kavramını açıklamaya çalışacağız. Aslında her şey büyük veri ile başlamaktadır. Büyük verilerin varlığı ise onları çok hızlı işlemeyi sağlayan süper hızlı bilgisayarların gelişimini sürmektedir.
Birkaç bölüm olarak planladığımız bu yazı dizimizin gelecek sayısında; süper işlemlerin bir tanımını yaptıktan sonra; iş zekâsı kavramı nasıl? Nereden çıktı? Neden büyük veriler kullanmak durumundayız? Bilgi toplumu için büyük veriler ve süper işlemler dönemi neler getirmektedir? İnsan - makine, makine-makine, insan-makine-çevre etkileşimleri nasıl bir yapıya dönüşmektedir? Her durumu kontrol etmek mümkün mü? Dünya, “iş süreçlerinin 24 saat kontrol edilmesi “ yeteneğine ulaştı mı? Konu başlıkları açıklanmaya çalışılacaktır.
Günümüzde Bir “Bilgi Patlaması” mı Yaşamaktayız?
“Bir çocuk doğar on yıl geçer, çocuk 10 yaşındadır, bir araba alınır 10 yıl geçer araba kısmen eskimiştir, bir meyve fidanı dikilir 10 yıl sonra olgun bir ağaç olarak meyvelerini vermeye başlar… vb.” bu türden 10 yılın içine sığdırabileceğimiz yüzlerce örnek sayabiliriz. Bu örneklerin tümünün ortak yanı hep olağan, beklediğimiz sonuçlarının olmasıdır. Fakat bilgi çağı içinde teknolojinin gelişimine böylesi bir örnek vermek imkânsızdır. Bilgi çağı içinde hiçbir örnek yoktur ki 10 yıl sonra 10 misli artmamış hatta değişmemiş olsun! Hiçbirimiz 10 yıl önceki bilgisayar teknolojisini kullanmıyoruz. Bilgi çağında bilginin üremesi inanılmaz hızla artmakta, başlangıçta 1,2,3.. gibi aritmetik dizi katları ile artan bilgi hacimleri artık geometrik dizi biçiminde, 3, 9, 12.. gibi katlarla artmaktadır. Peki, ne oldu da bilginin kullanımı bu kadar arttı? Bir bilgi patlaması içinde miyiz? Konuya bir haberle başlayalım
“Dünyada mobil abone sayısı 5 milyara internet kullanıcısı sayısı da 2 milyara ulaştı.
Siber dünya tüm öngörülerin çok daha ötesinde bütün boyutları aşan, sürekli ve inanılmaz hızda büyüyen sayısal bir bilgi patlamasının etkisi altına girmiş bulunuyor. 2000 yılında New Mexico eyaletindeki gözlemevindeki teleskopun çalışmaya başladığı ilk birkaç hafta içinde topladığı veri astronomi tarihinde o zamana dek toplanan tüm veriden daha fazla oldu. Bu yıl içinde ise bu merkezin 10 yıllık arşivinde 140 terabayt tutarında (1 terabayt = 2 üstü 40 bayt) bilginin toplanacağı bekleniyor. Bu nicelikteki bilginin Şili’de 2016 yılında devreye girecek yeni bir gözlemevinde her beş gün içinde toplanacak bilgi kadar olacağı öngörülüyor.
Pek çok ülkede 8400 mağazası ve 2 milyondan fazla çalışanı olan dünyanın en büyük perakende mağazalar zinciri Wal-Mart’ta bir saat içindeki müşteri işlemleri 1 milyonu geçiyor. Bu işlemler sonucu veritabanlarına ulaşan bilgi Amerikan Kongre Kütüphanesi’ndeki kitapların 167 katı. Dünyada internet aramalarının yarısının yapıldığı Google saniyede 35 bin kez tıklanmaya bilgi sağlıyor. Bütün bu gelişmeler sayısal bilgi çoğalmasının sonsuza dek uzandığı görünümünü veriyor.
Bilgi patlaması aynı zamanda birçok yeni sorunu da beraberinde getiriyor. Bütün bu bilgiyi toplayan, işleyen ve paylaşan algılayıcıların, bilgisayarların, mobil telefonların sayılarının büyümesine karşın var olan depolama kapasitesi toplanan bilginin çok altında kalıyor. Küresel bilgi hacmi depolama kapasitesini 2007 yılından beri aşmış bulunuyor.
BT dünyasında şimdi bu durum karşısında bilgi yönetimi de çok büyük önem kazanıyor. Son yıllarda Oracle, IBM, Microsoft ve SAP’ın 25 milyar dolar tutarında yaptıkları yatırımlarla veri yönetiminde uzmanlaşmış yazılım şirketlerini satın aldıkları görülüyor. Sadece veri yönetimi yazılımları endüstrisinin değeri 100 milyar doları aşarken yıllık büyüme hızı da yazılım endüstrisinin iki katı olarak yüzde 10’a yaklaşıyor. Büyük şirketlerde bilgi yönetim bölümlerinin başkanları çok önemli bir konuma gelirken toplanan veriden gerekli bilgiyi çıkarma işi de o denli önemli bir işlevlik kazanıyor…” (1).
Bu ve benzeri haberlerden de göreceğimiz gibi günümüzde sadece insanın değil, insan, çevre, makine ve benzeri işlem gören her bir sürecin bilgilerine ulaşılmakta ve bu bilgiler kayıtlarda tutulmaktadır. Bu kapsamda da, insan-insan, insan-makine, makine-makine ara yüzleri arasında sürekli işlem gören bir bilgi oluşumu ve akışı söz konusu olabilmektedir.
Özellikle bilişim sektöründe Pazar araştırmaları yapan IDC (International Data Corporation-ABD) firmasının tespitine göre “Dünyadaki verinin yüzde 1’inden azı analiz ediliyor” bu haber başlığı altında şu bilgilere yer verilmektedir;
Bulut bilişim ve getirileri hızla artarken, piyasaların bu gelişime ayak uyduramadığı görülüyor. Buluta dayalı BT çalışanlarının 2015 yılına kadar yıllık yüzde 26’lık bir büyüme göstermesi bekleniyor. IDC’nin raporuna göre, bu durum da dünya çapında 7 milyon yeni bulut bağlantılı iş imkanı doğmasını ifade ediyor. Buna rağmen BT çalışanı istihadamına bakıldığında 2012 yılında1.7 milyon bulut bağlantılı pozisyonun boş kaldığı ortaya çıktı. Sebep olaraksa eğitim ve sertifikasyonun zayıf olması gösterildi.
Yetişmiş eleman sıkıntısının yanı sıra büyük veriye temel oluşturacak veri yığınlarının analiz edilmediği ortaya çıktı. Yine IDC’nin yaptığı araştırmada, dünyadaki verilerin yalnızca yüzde 0.5’inin analiz edildiği belirtildi.
Bilgisayar, akıllı telefon gibi cihazların yaygınlaşması, Türkiye gibi gelişmekte olan ülkelerdeki internet erişiminin artması ve CCTV kameraları ya da akıllı algılayıcılar gibi makinelerin yarattığı verinin çoğalması dijital dünyanın 2.8 zetabayta kadar ulaşmasını sağladı. Raporlara göre 2020 yılında dünyada 40 zetabaytın üzerinde veri birikmesi bekleniyor. Buradaki en belirleyici etkenin 2005’te tüm verilerin yüzde 11’ini oluşturan makinelerin, 2020’de yüzde 40’ını oluşturacak olması.
Bu değerli veri yığınlarının analiz edilememesi ya da sınıflandırılamaması önemli bir sorunu ortaya çıkartırken, eğer yapılabilseydi 2012 yılındaki verilerin yüzde 23’ü (643 eksabayt) büyük veri için faydalı olacaktı. Şu anda yalnızca verilerin yüzde 3’ü sınıflandırılırken, yüzde 0.5’i analiz edilebildi” (2).
Görüldüğü gibi bir bilgi oluşumu diğer bir bilgi oluşumunu tetiklemekte, zincirleme reaksiyon gibi bilgiler çığ gibi büyümektedir. O halde günümüzde bir bilgi patlamasından söz etmek yanlış olmayacaktır.
Bilgi Patlamasının Nedeni, Sürekli Gelişen Teknoloji
Bilgi patlamasının en büyük nedeni olarak sürekli gelişen teknoloji gösterilmektedir. Sayısal araçların bir yandan kapasiteleri ve uygulamaları artarken diğer yandan fiyatları düşmekte ve bu araçları kullanıp bilgiye ulaşmak isteyenlerin sayısı da görülmemiş bir hızla büyümektedir.
IDC’nin 2008 yılında yaptığı bir araştırmaya göre 2012 yılı için 1200 exabayt veri oluşacağı öngörülmektedir.
Dünyada mobil telefon abonelerinin sayısı 5 milyara yaklaşırken internet kullanıcılarının sayısı da 2 milyarı geçmiş bulunmaktadır. Ayrıca küresel bilgisayar kullanımının büyümesi de bilgiye ulaşma isteğini körüklemektedir. Bilginin büyük bir bölümü paylaşılırken iletişim donanımları üreticisi Cisco’ya göre ise 2013 yılında internet trafiği yılda 667 exabayt’a (10x10 18 bayt) ulaşacak ve veri miktarı da ağların taşıyabileceği kapasitenin çok daha üstünde olacak.
Konuya ilişkin bir başka haberde ise şu vurgu yapılmaktadır;
“Bulut bilgiişlem ve açık kaynak yazılımı verinin kullanımında en verimli sonuçların alındığı iki teknoloji olarak ortaya çıkıyorlar. Ayrıca bedelsiz olarak sağlanan programlama dili Hadoop ile evvelce süper bilgisayarların gerektiği çok büyük veri analizlerini şimdi PC’ler ile yapma olanağı işlem giderlerinde ve zamanda büyük tasarruf sağlıyor. Örneğin kısa bir süre önce New York Times 1851 ile 1922 yılları arasında arşivlerinde toplanan 400 binden fazla malzemenin indirme ve taranması işlemini bulut işlem ve Hadoop kullanarak mevcut PC’ler ile 36 saat içinde gerçekleştirdi. Öte yandan kredi kartı şirketi Visa iki yıllık 36 terabaytlık 73 milyar kaydın geleneksel yöntemlerle geçmişte bir ay süren işlemini Hadoo ile 13 dakikada tamamladı.
Bundan böyle bilgi yönetiminin şirketlerin başarısında çok büyük bir payı olacağı kesinlik kazanıyor” (2).
Büyük (Mega) Veriler Nelerdir?
Büyük -mega- veri konusuna başlamadan önce bundan tam bir yıl kadar önce Haziran 2012 yılına ait bir haberi sizlerle paylaşalım;
“11 Eylül’den sonra şifre kırma çalışmalarına ayrılan on milyarlarca dolarlık bütçeleri kullanan Amerikan Ulusal Güvenlik Ajansı nihayet istenilen sonuca ulaşıyor. Pearl Harbour baskınından sonra Savunma Bakanlığı’na bağlı olarak kurulan Ajans o günden bu yana pek çok olayda zamanında davranmakla eleştiriliyordu. Bunlar arasında Dünya Ticaret Merkezi’nin bombalanması, Batı Afrika’daki Amerikan Elçilikleri’nin havaya uçurulması, Yemen’de Amerikan Deniz Kuvvetleri’ne ait USS Cole zırhlısına yapılan saldırı ve son olarak 11 Eylül 2011’deki ikiz kulelere uçaklarla yapılan eylemler Ajans’ın ne işe yaradığı konusunda sorgulanmasına yol açmıştı. Şimdi Utah’ta inşa edilen merkezle Amerikan Ulusal Güvenlik Ajansı adeta yeniden doğuyor.
Küresel Bilgi Şebekesi (Global Information Grid) adı verilen sistem ile Utah Veri Merkezinde yottabyte (1024 byte) büyüklüğündeki veri işlenebilecek. Bir yottabyte’lık bilgiyi eğer kağıda basmaya kalksaydık 500 quintillion sayfaya ihtiyacımız olacaktı (500*1018). Bu büyüklükteki veriyi işleyebilecek sistemlere neden ihtiyaç olduğunu Cisco’nun yayınladığı bir rapor bütün çıplaklığıyla anlatıyor.
2010 yılından 2015 yılına kadar geçecek beş yıl içerisinde İnternet trafiği dört kez artacak. Bu da her yıl 966 exabyte’lık bir büyümeye karşılık geliyor. Bir başka deyişle, Google’ın eski CEO’su Eric Schmidt’e göre insan var olduğundan itibaren 2003 yılına kadar sadece 5 exabyte’lık bir belleğe sığacak kadar bilgi üretebildi. Şu anda 2.4 milyar insan İnternete erişebiliyor. Bu sayı yıl bitmeden 2.7 milyara ulaşacak. O da neredeyse her iki kişiden biri anlamına geliyor.
Şimdi “Büyük Verinin” yani bilişim sektöründe yoğun isimlendirildiği biçimi ile Meta Data Nedir? Sorusunun cevabına bakalım;
Metadata çoğunlukla data hakkında bilgi olarak tanımlanmaktadır. Tam olarak Metadata “datayı” tanımlamaktadır. Yani datanın nasıl kullanıldığını ve sistemlerin dataları nasıl yöneteceğini tarif etmektedir. Genellikle meta dataların içerdikleri ;
- Data Model tanımları
- Data dönüştürme tanımları
- İşleme ve taşma bilgilerini, schedules ve log gibi
- Business intelligence sistem tariflerini, küpler, boyutlar ve metrik gibi
- Başka tür anlamlı bilgileri, semantik gibi
Metadata sadece teknik bilgilerden oluşmaz fakat iş kullanıcıları veri amacı ve kullanım bilgilerini içerir.Üstelik Metadata sadece datawarehousing ve business intelligence ile ilişkili değildir. İş, uygulama, veri ve teknoloji olmak üzere tüm kurumsal mimarilerde dört kategoride oluşur.
İkinci olarak sorulacak Metadata Nerede? sorusunun cevabı da;
Metadata bilgi sistemine dağılır.
- Data Model betimlemelerinde ve data sözlüklerinde
- Extensible Markup Language (XML),Document Type Definiton (DTD) ve XML Schema Definition (XSD) dosyalarında
- Özel sistemlerde
- Kod parçaları gibi veri işleme görevlerinin yerine
- Yapılandırılmamış dokümanlar , Microsoft Word belgeleri ve tablolar gibi
Bu açıklamalardan görüleceği gibi Meta data bir iş çalışanları tarafından tutulan bilginin bir parçasıdır.
Bu kadar kapsamlı bir kullanımı olan Meta data neden kritiktir? sorusunu da şöylece açıklayabiliriz.
Metadata´yı kurumsal mimarı planın çizgilerini ve noktalarını çizdiğini düşünebilirsiniz. Doğru ve kapsamlı metadata kuruluşların mimari etkinliğini değerlendirmeyi ve bu mimari değişim sürecini kolaylaştırmayı sağlar. Metadata ISO-9002 sertifikasyonu amacı için önemlidir ve yasal uyumluluk gereksinimleri (Basel II, SOX) ortaya çıktığında kritik hale gelir (4).
Kuruluşlar Büyük Veriyi Nasıl Avantaja Çevirebilir?
Günlük hayatımız içinde önemli bir yer tutmaya başlayan büyük verilerin kuruluşlar farkındalar mı? Büyük veriyi kuruluşlar nasıl elde ediyorlar ve bunun bir değer olduğunun farkındalar mı? Kuruluşlar ellerinde bulunan büyük verileri nasıl kullanabileceklerini ve avantaja çevirebileceklerini biliyorlar mı? Bu konuda Mart 2013 tarihinde yapılan bir analiz çalışması (5) bize fikir verebilmektedir;
“Günümüzde iş süreçleri çok hızlı ilerliyor ve ortaya tahmin dahi edemediğimiz büyüklükte veriler çıkıyor. Bu yapısal ve yapısal olmayan sayısal veriler ardında çok değerli iş fırsatları yatıyor. Artık bu akıl almaz ölçekteki veriler büyük veri araçlarıyla işlenebiliyor ve ortaya bambaşka seçenekler çıkartabiliyor.
Gartner’ın verdiği bilgilere göre, veri hacmi yılda yüzde 59 oranında artıyor. Dünyanın en büyük veri depolayıcılarından biri olan Google, ayda 600 petabayt veri işliyor. 1 petabayt, yani binlerce terabayt ya da milyonlarca gigabayt veriyi depolayan şirket sayısı son üç yılda yüzde 16’dan yüzde 29’a yükseldi.
Ancak Forrester’ın verilerine göre, dünyadaki verilerin yüzde 95’i kullanılamıyor. Daha fazla veri, daha karmaşık yönetim sistemleri ve daha büyük yatırım anlamı taşıyor. Yeni bilgi işlem, depolama ve ağ teknolojilerinin getirdikleriyle büyük veri, tüm detayların göz önüne serilmesi için inanılmaz fırsatlar sunuyor.
Ancak bunun bedeli hayli yüksek. IDC’nin verdiği rakamlara göre 2010 yılında 3.2 milyar dolar olan büyük veri harcamaları 2015 yılında 16.9 milyar dolaraçıkacak. Ayrıca Fortune 500 listesinde yer alan şirketlerin yüzde 85’inden fazlasının 2016 yılına kadar rekabet avantajı sağlayabilmek için büyük veri çözümleri kullanılacağı öngörülüyor.”
Büyük Veri Stratejisi Nasıl Oluşturulmalı?
Peki, şirketler büyük veriden nasıl faydalanabilir? İşe ilk olarak veri barındırma ve yönetimi konusunda uzmanlaşmış bir iş ortağını seçerek başlamak gerekiyor. Hedeflere ulaşılabilmesi için büyük verinin potansiyelini değerlendirebilecek, stratejik yol haritaları ortaya çıkarabilecek bu iş ortağının, taşı sıkıp suyunu çıkaracak potansiyele sahip olması gerekiyor.
Genellikle büyük veri projelerinde teknoloji üzerine yoğunlaşılırken, iş için sağladığı fayda görmezden geliniyor. Oysa başarıdan emin olmak için istenen verinin doğrudan iş stratejilerine uyumlu olması gerekiyor.
Bu durumda kurumlar kendilerine şu soruları sormalılar
- Bağlantısı bulunmayan ve standart dışı içeriği ayrıştırabiliyor mu?
- Tüm parçaları bir araya getirerek genel bir bakış açısıyla analiz ve davranışsal bağlantıların çözülmesine olanak tanıyor mu?
- Zamanı geçmiş yöntemleri ayrıştırıp gelecek eğilimleri sunabiliyor mu?
- Raporlamalar gerçek zamanlı olarak, ya da en azından gerçeğe yakın zamanlı oluşturulabiliyor mu?
İşletmelerin hedeflerini doğru belirlemesi başarılı bir veri stratejisinin anahtarını oluşturuyor. Belirli bir amaca hizmet etmeyen veriler hiçbir anlam ifade etmediği için, veriyi anlamlandırmak üzere BT departmanının yardımıyla tüm bölümlerin bir arada çalışmasına ihtiyaç duyuluyor (4).
Bayt Birimleri
Şekil 1. Veri büyüklüğü birimleri (6)
Bu sayının hazırlanmasında başvurulan kaynaklar:
1. Kaynak:Bilgi Patlaması; http://www.bthaber.com/bilgi-patlamasi/
2. IDC: 2012 http://www.btnet.com.tr/63505-idc-%E2%80%9Cdunyadaki-verinin-yuzde-1%E2%80%99inden-azi-analiz-ediliyor%E2%80%9D.html
3. Mustafa Aykut, http://www.bthaber.com/matrix-filmi-gercek-oldu/
4. Samet ASLAN “Meta Data Nedir?” Erişim tarihi: Haziran 2013
http://www.datawarehouse.gen.tr/Makale.aspx?ID=387&seo=meta-data-nedir-
