Modern data management strategies for machine learning tasks: A sports analytics use case on cloud platform

Abstract

There is no doubt that data is the most valuable asset today. The efforts of enterprises in digital transformation and creating a data-driven culture are the most concrete indicators of this. Nowadays, where data transforms all industries, it is possible to follow the rapidly developing technological developments in this field. Appropriate data management strategies are the basis of creating data-driven organizations. When the evolution of data management architectures is examined, it is possible to say that the biggest factor that triggers this evolution is the changing and increasing data sources and the velocity of data production. In addition, with the increase in the importance of business use cases that need to be done in real time, it has become a very crucial need to process data quickly and turn it into action. Today when data is strategic importance, enterprises that can manage data correctly could gain competitive advantages. Being able to the correct data management can be built with the support of up-to-date and modern approaches. The infrastructures established by the integration of new and modern methods into the platforms turn into more agile structures. This increases the number of value added services to be produced from data by providing speed and flexibility to organizations. Today, the outputs expected to be produced from data management platforms go beyond descriptive and diagnostic analytic. Now, artificial intelligence, machine learning and data science are important parts of these platforms and these are opened new channels for the future of enterprises. In this thesis, basic needs and capabilities of modern data management architectures are described and detailed explanations were made on reference architectures in the industry. Besides, data management strategies and expectations were discussed. An example prototype of the data management platforms, which is explained in detail in this thesis, has also been developed on the cloud platforms. In this prototype, the entire life cycle of the data was considered and each step was developed in detail. In addition, a data science project was developed using the data collected on the platform. Thus, an end-to-end solution has been implemented.

Günümüzde verinin en değerli varlık olduğu şüphe götürmez bir gerçek. Kurumların dijital dönüşüm ve veriye dayalı kültür oluşturma konusundaki çabaları bunun en somut göstergesi. Verinin tüm endüstrileri dönüştürdüğü günümüzde bu alanda hızla gelişen teknolojilik gelişmeleri de takip etmek mümkün. Veriye dayalı organizasyonlar kurmanın temelinde ise doğru veri yönetim stratejileri ve platformları yer almaktadır. Veri yönetim mimarilerinin evrimi incelendiğinde bu evrimi tetikleyen en büyük etkenin değişen ve çoğalan veri kaynakları ile verinin üretilme hızı olduğunu söylemek mümkün. Bunun yanında gerçek zamanlı uygulanması gerken iş senaryolarının da hayatımıza girmesi ile beraber veriyi hızlı bir şekilde işleyip aksiyona çevirebilmekte oldukça önemli bir ihtiyaç. Verinin stratejik bir öneme sahip olduğu günümüzde veri yönetimini doğru yapabilen kurumlar rekabette avantaj sağlayabilmektedirler. Doğru veri yönetimi ise güncel ve modern yaklaşımlar ile desteklenerek kurgulanabilmektedir. Yeni ve modern yöntemlerin platformlara entegre edilmesi ile kurulan alt yapılar daha çevik yapılara dönüşmektedir. Bu da organizasyonlara hız ve esneklik sağlayarak veriden üretilecek katma değerli servislerin sayısını arttırmaktadır. Günümüzde veri yönetim platformlarından üretilmesi beklenen çıktılar tanımlayıcı ve teşhis edici analatik çalışmaların ötesindedir. Artık yapay zekaninın, yapay öğrenmenin ve veri biliminin bu platformların önemli bir parçası olmasıyla birlikte modern veri yönetim platformlarından katma değeri yüksek çıktılar da elde edilebilmektedir. Yapılan bu tez çalışması ile modern veri yönetim mimarilerinin temel ihtiyaçları ve yetenekleri tariflenmiştir. Endüstrideki referans mimariler üzerinden detaylı incelemeler yapılarak veri yönetim stratejileri ve beklentileri tartışılmıştır. Bu çalışmada detaylı bir şekilde anlatılan veri yönetim alt yapılarının bulut platformları üzerinde örnek bir prototipi de geliştirilmiştir. Geliştirilen prototip mimaride verinin kaynaklardan toplanmasından merkezi veri yönetim platformuna getirilmesine ve bu platform üzerinde ileri analitik senaryolar geliştirilmesine kadar örnek bir çözüm ortaya koyulmuştur. Ayrıca platform üzerinde toplanan veri kullanılarak geliştirilen ileri analitik modelleme çalışması ile tanımı yapılan güncel bir problem çözümleye çalışılmıştır.