Uber gibi bir dünya devinin ne kadar çok fazla veri ile uğraştığını hepimiz az çok tahmin edebiliyoruzdur. Birbirinden farklı kaynaklardan alınan farklı formattaki verileri alıp “Uber” formatına dönüştürmek için yüzlerce analist ve veri uzmanı çalışıyor.
Uber tarafından paylaşılan bilgiye göre 3 yıl önce alınan bir karar sonrası Uber, açık kaynak kodlu bir framework olan Apache Hadoop frameworküne geçiş yapılmış ve bu sayede petabaytlarca verinin yönetilmesi daha mümkün hale getirildi. Her ne kadar Apache Hadopp ile bir problem çözülmüş olsa da farklı ekipler ve farklı araçlar göz önünde bulundurulunca farklı kaynaklardan dataların alınması ve sisteme dağıtılması işlemi ciddi bir iş yükü olmaya devam etmiş.
Uber’in Hadoop platformu ekibi bu probleme çözüm olabilmesi açısında açık kaynak kodlu Marmaray projesini hayata geçirdi. Tahmin edebileceğiniz gibi adını Asya’yı Avrupa’ya bağlayan Marmaray projesinden alan bu açık kaynak kodlu kütüphane, temel olarak farklı Hadoop platformuna farklı kaynaklardan gelen farklı formatlardaki veriyi aktarma sürecini kolaylaştırıyor.
Apache Hadopp frameworkünü kullanan tüm firmaların kullanımına sunulan açık kayank kodlu Marmaray kütüphanesine dair detayları Uber’in blog yazısından öğrenebilir ve Github sayfasından projeyi takip edebilirsiniz.
Kaynak:: webrazzi
İlk olarak Webrazzi Fintech 2017 sahnesinde tanıtılan ve Bülent Tekmen tarafından kurulan blockchain tabanlı mikro kredi ve kredi skorlama girişimi...