Bilgi Fabrikası
Bilgi fabrikası, çeşitli veri kaynaklarından topladığı veriyi çeşitli teknolojiler ile biriktirip, matematiksel yöntemlerle işleyip son kullanıcıya yönelik bilgiler ortaya çıkaran bir üretim tesisidir.
Ve bir kimya fabrikasından ya da bir otomobil fabrikasından bir farkı yoktur.
Üretimde kullanılacak hammadde kaynakları belirlenir. Bu hammaddeler üretim hedefleri doğrultusunda bir tedarik programı ile fabrikaya taşınır. Her gelen farklı hammadde için bir üretime katılım süreci planlanır. Hammadde ilk depolandığı yerden taşıma bantları ile alınır. Bazıları ayrıştırılır, saflaştırılır. Bazı hammaddeler birbiri ile karıştırılır. Bazı hammaddelere kimyasal fiziksel işlemler uygulanır. Bu ön işlemlerden sonra üretim sürecine katılmaya hazır olan hammaddeler üretim sürecine sırası ile dahil edilir. Ve nihai hedef olan ürün ortaya çıkar.
Bilgi Fabrikaları da herhangi bir üretim tesisi gibi hammaddeden yola çıkarak bir üretim süreci sonucunda satılabilir bir ürün elde etmek amacını taşır. Dolayısı ile bu sektör bir endüstri olarak ele alınmalıdır.
Bilgi Fabrikaları, Veri Bilimi üzerinde yükselirler ve yaptıkları Veri Bilimin gerçek hedefi olan veriden elde edilen bilgiyi paraya dönüştürmektir.
Bilgi Fabrikası ne vaat ediyor?
Bilgi Fabrikaları, öncelikle ürün olarak faydalı bilgiler üretmeyi amaçlar. Fakat bilgi üretme süreçleri çoğunlukla Bilgi fabrikasının müşterileri ile birlikte paylaştığı süreçlerdir. Bu sebeple Bilgi fabrikaları şirketler ve kurumlar için danışmanlık hizmetleri de vermektedirler.
Çünkü veri ve bilgi her şirket için her zaman aynı şeyi ifade etmezler. Dolayısı ile bilgi üretim süreçlerine katılacak şirketlerin bir ön hazırlığa bir standartlaştırmaya ihtiyacı vardır.
Bu anlamda Bilgi Fabrikaları müşterilerini veri üretme kabiliyetleri ve veriyi işleme becerileri bakımından farklı guruplara ayrılırlar.
Veri-Bilgi bakımından şirketler:
İlkel şirket : Ürettiği verinin farkında olmayan, veriyi işleyemeyen şirket
Gelişime açık şirket : Verinin gücünü fark etmiş ve veriyi analiz etmeye başlamış şirket
Veri odaklı şirket : Yaptığı analiz çalışmalarının olumlu sonuçlarını almış ve veri kalitesini arttırma yolunda adımlar atmış şirket
Veri Bilim ile bütünleşmiş şirket : Yaptığı işi matematiksel formüllerle ifade edebilen şirket
Yapay zekalı şirket : Yapay zekanın aktif olarak yönetim kademesine katıldığı şirket
Müşterilerini yukardaki gibi sınıflandıran Bilgi Bankası verdiği danışmanlık hizmeti ile müşterilerini veri ve bilgi üretme bakımından geliştirmeyi amaçlar.
Geliştirme Süreci
Hali hazırda dünyayı bir üretim bandına dönüştürecek olan, sadece Yapay zekaların dahil olabileceği Pazar yerlerinin gerçeklene bilmesinin ya da herhangi bir şirketin bu Pazar yerlerine dahil olabilecek yapay zekayı eğitebilmesinin tek yolu; şirketlerin Veri Bilim ile bütünleşmesidir.
Veri Bilim ile bütünleşen şirketler, kendilerini geliştiren süreçlerin giderek artan performansı ile kendilerini tam olarak ifade eden matematiğin giderek daha kesin sonuçlar verdiğine şahit olurlar. Bu sürecin sonu kuşkusuz ki, yapay zekanın şirketin geleceğinde oynayacağı rolün habercisidir.
Herhangi bir şirketin Veri Bilim ile olan macerasına başlaması için kendilerini öncelikle Veri odaklı şirket konumuna çekebilmesi gerekmektedir.
Veri odaklı şirket olabilmek ise yine veriyi iyi analiz etmeye bağlıdır. Çünkü veri analizi aslında, geri dönüp süreçleri optimize etmeye yarayan sihirli bir değnektir. Verisini iyi analiz eden şirketler, analiz sürecinde elde ettikleri tecrübelerden yola çıkarak iş süreçlerini optimize ederler, verilerini analiz edip elde ettikleri bilgilerle de geleceklerini şekillendirirler.
İş süreçlerinin optimizasyonunun en önemli sonucu, şirketlerin ürettikleri verinin kalitesinin artmasıdır. Verinin kalitesinin artması ise kuşkusuz ki, veri analiz kalitesinin artmasına neden olur. Yani bu performansını giderek arttıran bir döngüdür.
Şirketlerin bu döngüye girebilmesi için ise öncelikle kendilerini Veri bakımından gelişime açık şirket konumuna çekebilmeleri gerekiyor.
Veri bakımından gelişime açık şirket olmak, veri analizinin hem bir amaç hem de araç olduğunun fark edilmesi ile başlayan bir süreçtir. Bu gerçeğin farkına varan şirket, öncelikle veri biriktirme teknolojilerine yaptıkları yatırımı artırırlar. Yapılan yeni yatırımlar şirket çalışanlarının yaratılan yeni süreçlere uyum sağlamasına yönelik eğitimlerle gelişir ve şirket yarattığı veriyi nasıl kullanabileceği konusunda çalışmalara başlar.
Şirketlerin geçirdikleri bu süreçler, hem karlılıklarını hem de hitap ettikleri pazarları geliştirir. Bu gelişim süreci doğal olarak daha fazla, daha çeşitli veri üretilmesine yol açar. Yeni veri üretim süreçleri ise yeni veri analiz süreçleri gerekliliğini ortaya koyar.
Bilgi Fabrikalarının müşterileri bakımından analiz
Analizin ana temasını 4 ana başlık altında toplaya biliriz.
1-Descriptive Analytics : Ne oldu?
"Geçmişi bilmek." de denilebilir sanırım.
2 - Predictive Analytics : Ne olacak?
Geçmişten yola çıkarak gelecek hakkında tahminde bulunmak.
3 - Prescriptive Analytics : Ne yapmalıyım?
"Ne olacak?" sorusunun cevabını bulduk peki ne yapmam gerektiğini biliyor muyum? Hangi aksiyonu alırsam sonuç ne olacak?
4 - Preventive Analytics : "istenmeyen sonuçlardan kaçınmak için ne yapmalıyım?"
Machine learning teknikleri kullanılarak istenmeyen durumlara karşı erken teşhis ve tedavi.
1- Bilgi Üretme Süreçleri
Bilgi fabrikasının ürün üretme süreçleri 4 ana departman tarafından gerçeklenmektedir. Bu departmanlar verinin sektörelliği ya da çeşitliliği ve kullanım amaçları açısından kendi içlerinde uzmanlık alanlarına bölümlenirler.
1.1- Veri araştırması
Veri araştırması, Bilgi Fabrikasının ürüne dönüştürebileceği veri setlerinin araştırılmasıdır. Bu süreçte kamu kullanımına ücretsiz sunulan veri setleri ve Veri Sağlayıcıları tarafından ücreti mukabilinde dağıtımı yapılan veri setleri araştırılır ve kullanıma uygun olanlar çeşitli etiketler vasıtası ile betimlenir.
Aşağıdaki tabloda küçük bir veri betimleme örneği görmektesiniz.
|A verisi|
|Sağlayıcı||X Sosyal Medya Şirketi|
|Güncellenme frekansı||Günlük|
|Ücret||1000 TL/GB|
|Veri boyutları||100 GB, 10 M Rows, 124 Columns|
|Veri coğrafi kapsamı||Avrupa|
|Kullanım amaçları||Kullanıcı Deneyimi, Alışveriş Tercihleri, Duygu Analizi|
Betimlenen veri setleri Ürün tasarımı bölümü ile paylaşılır ve bir öncelik sırası belirlenerek kayıt altına alınmak üzere listeye alınır.
Burada Ürün Tasarımı bölümü özellikle ücreti mukabilinde alınacak veri setleri için bir gelir yaratma potansiyeli belirler. Bu potansiyel verinin kullanım ömrü bakımından oluşturulan bir nakit akış tahmini olabilir.
1.2- Verinin toplanması ve biriktirilmesi
Veri araştırmaları ile kayıt altına alınacaklar listesine eklenen veri setlerinin Bilgi Fabrikası kaynaklarına dahil edilmesi süreçlerini tamamlamak bu departmanın öncelikli görevidir.
Bu süreç, verinin kaynaklarının nasıl aktarılacağının belirlenmesi ve gerekli alt yapının kurulması ile başlar. Bu altyapı Web servis ya da FTP gibi bir veri yolu olabilir. Bu veri yolu güven altına alındıktan sonra Veri setinin nasıl biriktirileceği planlanır.
Veri öncelikli olarak Veri Gölü içerisine dahil edilir. Burada isteğe uygun olarak Ön inceleme departmanının kullanımına uygun şekilde verinin sürekliliği sağlanır.
Burada tahmin edebile bileceği gibi büyük veri teknolojileri kullanılır.
1.3- Ön inceleme
Veri gölü içerisinde ki verileri inceleyerek, bu verileri temizler ve aralarındaki ilişkileri ortaya çıkartır.
Örneğin A Sosyal medya şirketinden gelen kullanıcı verileri içerisindeki email adresleri üzerinden başka veri setleri ile ilişki kurulmaya çalışılabilir.
Yapılan bu ön çalışmalar sonrasında, Veriler niteliklerine uygun olarak Veri mühendisliği departmanı(Verinin toplanması ve biriktirilmesi) ile birlikte şekillendirilir. Bu şekillendirme süreci sonrasında ortaya Bir veri set ya da raporlama gibi süreçler için hazır bir veri tabanı olarak kayıt altına alınmış olabilirler
1.4- Ürün tasarımı
Bilgi Fabrikasının müşterilerine sağladığı yegâne ürün tabi ki bilgidir ve Bilgi Fabrikasının 2 farklı ürün üretme süreci vardır.
1.4.1- Gelen ürün talepleri
Şirketlerin ya da kurumların çeşitli operasyonlarını optimize etmek için ya da şirket hedefleri doğrultusunda büyümeyi sağlamak için ihtiyaç duydukları bilgileri spesifik olarak talep etmesi ile başlayan süreçtir.
Örneğin; A firması X ürününü üretmek istiyor ve bir öngörüye ihtiyacı var ya da B firması müşterilerine onların demografik bilgileri özelinde teklifler sunmak istiyor olabilir.
Bilgi Fabrikası bakımından üretilecek ürün belli olduğu için üretim sürecinin ilk aşaması çözümün modellenmesidir. Bu model çoğu zaman bir ana model altında çalışan farklı modellerin oluşturulması ile gerçeklenir.
Bu sürecin ikinci aşaması kullanılması kararlaştırılan çözüm modeli için kullanılacak hammaddelerin belirlenmesidir. Gerekli hammaddeler belirlenir ve bu hammaddelerin temin edilmesi süreci başlar.
Bu süreç her fabrikada olduğu gibi hammadde maliyetleri ışığında ilerler.
Bilgi fabrikası öncelikle kendi elinde bulunan veri kaynaklarını tarar. Sonrasında halka açık veri kaynakları taranır. Bu ilk veri arama süreci Bilgi fabrikası analistlerine, müşteri tarafından istenilen ürünün ulaşılabilirliği ve genellenebilirliği konularında da bir öngörü sağlayacağından Bilgi fabrikasının ürünlerin metadatasını oluşturma bakımından da yardımcı olur.
Unutmamak gerekir ki, Bilgi fabrikasının sürekliliğini sağlayacak yegâne olgu, Bilgi Fabrikasının kendi ürünleri ve bu ürünlerin üretildiği süreçleri iyi anlayabilmesi ve kayıt altına alabilmesidir. Ancak bu şekilde sürekli bir gelişim ortamı sağlanabilir ve gelişim bu Fabrikanın hayatta kalabilmesinin tek anahtarıdır.
Ücretsiz erişilebilen(yada daha evvel şirket kaynaklarına ücreti mukabilinde katılmış veri kaynakları) veri kaynaklarının taraması sonrasında Bilgi fabrikası, gerekli hammaddelerin hepsine ulaşamamış ise ihtiyacı olan hammaddenin hali hazırda üretilip üretilmediğini kontrol etmesi gerekir. Ve tabi farklı hammadde sağlayıcıların kaynaklarının birleştirilip kullanılması durumu da göz önünde bulundurulur bu süreçte.
Peki kimdir bu hammadde sağlayıcıları?
Hammadde sağlayıcıları veri üretebilme kapasitesine sahip şirketler ya da kurumlardır. Bu şirketler/kurumlar genellikle sundukları hizmet karşılığında hizmeti kullanan insanların bilgilerini kayıt altına alarak veri üretimi gerçekleştirirler.
Örneğin Facebook kullanıcılarının kullandıkları hizmet karşılığında, hizmetleri kullanırken ortaya çıkan veri kayıt altına alınır; yaş, cinsiyet, lokasyon, beğeniler vs.
Ya da Google şirketinin harita hizmetini, arama motoru hizmetini kullanan insanların ortaya çıkarttıkları veri de örnek olarak verilebilir.
Eğer bu süreçte gerekli hammadde elde edilebilmiş ise veri akışı için gerekli alt yapı oluşturulur ve hammadde Bilgi Fabrikası kaynaklarına eklenir.
Eğer gerekli hammadde hazır olarak bulunamıyor ise, bu hammaddenin sıfırdan üretilmesi gerekmektedir.
Sıfırdan veri nasıl üretilir?
Olmayan bir verinin üretilmesi süreci oldukça zorludur. Öncelikle toplanacak verinin metadatası oluşturulur.
Elde edilmesi hedeflenen veri tanımlandıktan sonra bu verinin elde edilmesi süreci tasarlanır. Bu süreç tasarımı, verinin elde edilmesinde aracılık edecek araçları ve bu araçların nasıl kullanılacaklarını betimler.
Örneğin bir araştırma şirketi veri toplama aracı olarak seçilebilir. Bu araştırma şirketi ile birlikte toplanacak veriye nasıl erişileceği belirlenir. Yine örneğin bu sürecin bir anket vasıtası ile yürütülmesine karar verile bilir. Araştırma şirketi elde edilmesi planlanan verinin metadatasından yola çıkarak anketi oluşturur, uygular ve veriyi toplar.
Ve tabi günümüzde bu tip verilerin üretilmesi süreçlerinde internet üzerinden kullanılan uygulamalar üzerinden tasarlanan süreçlerde oldukça fazlaca kullanılmaktadır.
Bilgi fabrikası ürettiği çözüm modeli dahilinde dış veri kaynaklarını güvence altına aldıktan sonra ürünü talep eden müşterisinin verileri ile bu dış verileri birleştirerek çözüm modelinin ihtiyacı olan veri setleri üretir.
Burada önemli bir nokta da ürünü talep eden müşteriden alınacak verinin oluşturulan model için yeterli olmasıdır. Eğer müşteri verisi yeterli değil ise Bilgi Fabrikası müşterisi için ürettiği veri kalitesini arttırıcı bir gelişme planı sunabilir.
1.4.2- Hazır ürün paketleri
Bilgi fabrikasının üstlendiği diğer önemli bir görev de insanların, kurumların ya da sektörlerin ihtiyaç duydukları veya duyacakları bilgileri belli bir üretim prosesine bağlı kalarak sürekli üretmesidir. Bu üretim sürecini ilaç endüstrisine benzetmek çok da yanlış olmayacaktır.
Çünkü bu süreçte Fabrika erişebildiği tüm veriyi kendi bünyesinde toplar ve bunları farklı formülasyonlarla birleştirerek ortaya çıkan sonuçları bir ürüne dönüşebilme anlamında test eder ve bir ürüne dönüşebilecek formülasyonları ürün tasarım sürecine dahil eder.
“Erişilebilen bütün veri” nedir?
Erişilebilen bütün veri kavramı düzensiz ya da düzenli olarak üretilen ücretli ya da ücretsiz erişilebilen tüm verilerdir. Örnek vermek gerekir ise;
Devlet kurumlarının açıkladığı rakamlar. Merkez bankası, TUİK vs. Bunların diğer ülkelerdeki karşılıkları
Dünya çapında faaliyet gösteren kurumlar-örgütler. Birleşmiş Milletler, Dünya Tic. Örgütü vs.
Sosyal Medya, internet hizmet sağlayıcıları, oyunlar, E-Ticaret siteleri vs. Amazon, Google, Facebook vs.
Araştırma şirketlerinin düzenli veri paylaşımları