İşlemci hızları ve dijital depolama yoğunlukları iki yıldan kısa bir sürede ikiye katlanmaktadır.[1] Bunun anlamı hem bilgilerin depolanması hem de işlenmesindeki fiziksel sınırların hızla ortadan kalkmakta olduğudur. Ancak günümüzde daha fazla veri üretmekle kalmıyor yeni veri çeşitleri de üretiyoruz. Hesap bilgileri gibi yapısal verilere, sosyal medyada paylaşılan fotoğraflar ve yorumlar gibi yapısal olmayan veriler de ekleniyor.[2]
Telefonla her konuştuğumuzda iletişim şirketleri nerede olduğumuz, kiminle konuştuğumuz ve konuşmamızın ne kadar sürdüğü gibi bilgileri toplar. Sosyal platformlarda her gün yüz milyonlarca paylaşım yapılmaktadır. Online alışveriş sitelerinin veya finans kuruluşlarının işlem kayıtları, uçakların, demiryolu taşıtlarının, hatta gelişmiş elektronik sistemlere sahip kara taşıtlarının ürettiği veriler, son dönemlerde yaygınlaşan giyilebilir teknolojilerin sağladığı bilgiler, endüstride kullanılan sistemlerden veya altyapı hizmetinden elde edilen veriler ve diğer veriler hesaba katıldığında, bir günde üretilen verilerin ne kadar büyük olduğu konusunda bir fikir edinilebilir….İnsanlık tarihinin şimdiye kadar ki en çok veri üretilen dönemindeyiz ve bu sadece bir başlangıç.
Buradaki sorun açıktır. Bu verilerin depolanması ve analiz edilmesi gereklidir. Ancak, kurumlar bilişim altyapılarının tasarlanmış olduğu veri miktarının on ya da yüz katıyla karşılaştıklarında sorunlar ortaya çıkmaktadır.
Büyük veriyi daha yüksek müşteri deneyimi, daha düşük maliyetler, daha verimli üretim gibi kısıtlı açılardan değerlendirmek yeterli değildir. Büyük veri elbette bu tür gelişmeler sağlayacaktır. Ancak bunlar yan ürünlerdir. Büyük verinin asıl vaat ettiği yeni bir dünyadır. Her kişinin ve her kurumun ticari işlemlerinin gerçek zamanlı takip edilmesi ne tür bir ekonomik sistem ortaya çıkaracaktır? Her insanın gen haritasının bilinmesi ve sağlığının gerçek zamanlı izlenmesi tıbbı nasıl değiştirecektir?
Bilgi yüzyıllar boyunca güç ile eşit anlama gelmiştir. Bütün sektörler bu güç eşitsizliği üzerine kurulmuştur bile denebilir. Bir piyasanın nasıl çalıştığını bilmeden o piyasada başarılı olmak mümkün değildir. Büyük veri bu döngüyü kırabilir. Bilgiler büyük miktarda ve kolayca ulaşılabilir olduğunda deneyim ve uzmanlığa olan ihtiyaç azalabilir. Tek dayanak noktanız deneyiminizse, elindeki verileri uygun şekilde analiz eden birisi size üstün gelebilir. On yıllara dayan deneyim ve uzmanlık eldeki verilerden aynı veya daha iyi sonuçlar çıkaran algoritmalar geliştirebilen işe yeni başlamış biri karşısında çaresiz kalabilir.
[1] Sırasıyla Moore ve Kryder yasaları olarak bilinirler.
[2] Yapılsan veriler müşteri adı, numarası, adresi gibi önceden tanımlanmış bir biçimde düzenlenebilen verilerden oluşurken, yapısal olmayan veriler yorum, fotoğraf, video veya alıntı gibi ögeleri içerebilen sosyal paylaşımlar gibi kesin tanımlanmış biçimleri olmayan verilerdir.