Ahmet Vefa Erdem – Veri Entegrasyonu Süreci

Report
Yapı Kredi Bankası
Veri Entegrasyonu Süreci
Ahmet Vefa Erdem
Şubat 2013
İçerik
•
•
•
•
•
Yapı Kredi Hakkında
Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü
Yapı Kredi’de Veri Entegrasyonu Süreci
Yapı Kredi Veri Ambarı Vizyonu
Yapı Kredi Hakkında
 1944 te kuruldu, Türkiye’nin ilk ulusal çaplı parakende odaklı özel bankası
127 milyar TL konsolide aktif büyüklük( 30.Eyl.2012 )
928 şube
2,825 ATM
17,000 personel
6,4 milyon aktif müşteri
# 1 : 8 milyon Kredi Kartı (%19 üye işyeri, %13,6 kart sayısı )
2,3 milyon internet bankacılığı kullanıcısı
%80 : ADK dan gerçekleşen işlemlerin oranı
# 1 : Mobil bankacılık ( %15 mobil bankacılık sektöründeki payı )
# 1 : Factoring (%14,3 Pazar payı )
# 1 : Leasing ( %17,2 Pazar payı )
Yurt dışı iştirakler: Hollanda, Rusya, Azerbaycan
Güçlü sermayedarlar : Koç Holding ve UniCredit
3
Yapı Kredi : Sektöründe BT öncüsü
1967 : Türk bankacılık sektöründe bilgisayarı ilk kullanan banka
1984 : Şubeler arası online uygulamaya ilk geçen banka
1988 : Kredi kartı ve tüketici kredilerini ilk sağlayan banka
1991 : Telefon bankacılığı ve Kredi Kartı Bağlılık Programını ilk başlatan banka
1995 : ISO 9001 kalite sertifikasını ilk alan banka
2002 : Mobil POS uygulamasını ilk kullanan banka
2006 : Koçbank ve Yapı Kredi BT sistemlerini başarılı bir şekilde birleştirerek
sektördeki en büyük birleşmeyi tamamlayan banka
2007 : World Card programını yeniden yapılandıran ve müşterilerine aynı marka
altında çok daha esnek servisler sunan banka
İlk Türkçe Finansal I-phone uygulamasını sunan banka
Engellilerin kolay kullanımı için özel olarak geliştirilmiş ATM ‘leri ilk kullanıma
açan banka
4
İçerik
•
•
•
•
•
Yapı Kredi Hakkında
Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü
Yapı Kredi’de Veri Entegrasyonu Süreci
Yapı Kredi Veri Ambarı Vizyonu
Teknolojik Dönüşüm Çağı
In Memory
Databases
Bireysel Dönüşüm
Mobil cihaz bağımlılığı : Nomofibia !
Sanal Sosyalleşme Paradoksu
Tüketicinin Dönüşümü
Türkiye’nin İnternet ile Dönüşümü
37 mio
%66
%20,
29 mio
30,6 milyar
TL
162 mio
• Türkiyedeki internet kullanıcısı sayısı
• Dünyadaki en kalabalık ilk 33 ülkeden sonraki 197 ülke nüfusundan fazla
• Genç nüfusun internet kullanma oranı
• İnternetteki kitlenin netten alışveriş yapma oranı
• Geriye kalan potansiyel e-ticaret müşterisi internet kullanıcısı 29.6 milyon
• Türkiye’de 2012 yılında gerçekleşen E-Ticaret hacmi
• Türkiye’de 2012 yılında gerçekleşen e-ticaret işlem adedi
( * Gümrük ve Ticaret Bakanlığı Müsteşarlığı-2012 )
Türkiye’nin İnternet ile Dönüşümü
* Milyar TL
350
300
332
%25
265
250
200
Kartı Alışveriş
150
E-Ticaret
100
50
0
21.2
%8
2011
%40
29.88
%9
2012
( *Gümrük ve Ticaret Bakanlığı Müsteşarlığı )
İçerik
•
•
•
•
•
Yapı Kredi Hakkında
Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü
Yapı Kredi’de Veri Entegrasyonu Süreci
Yapı Kredi Veri Ambarı Vizyonu
Yapı Kredi’nin BT Dönüşümü
•
Harmoni ve OpenWorld gibi büyük dönüşüm programları ile servis bazlı mimari ve açık
sistemlere geçiş
•
Veri Yönetişimi politikalarının belirlenmesi
•
SDLC ile kalite standartlarında istikrar
•
Sektör lideri mobil bankacılık uygulaması (%15)
•
Sektör lideri kredi kartı Worldcard ‘ın liderliğini perçinleyecek CRM ve müşteri hizmetleri
uygulamaları
•
İlk parakende banka olmanın verdiği köklü kültür ile bireysel bankacılıkta yenilikçi ve
ödüllü CRM uygulamaları (2012 CRM Excellence Awards -EMEA Gold, Customer
Analytics)
Veri Ambarı Mimarisi
ETL and
Metadata
Real Time
Data
Integration
Source Systems
Core Banking
X
database
Y
database
Job
scheduling
Workflow
OpenWorld
INTBANK
database
W
database
T
database
HOST
(Credit
Card)
Analytical
Applications
Budgeting
and
planning
Campaign
Mangmt
ODS
( Operational Data Store)
Data
Mining
Power
Designer
Data
Modeling
BO
Repository
Business
Model
(Universes)
INTBANK
Enterprise Data Warehouse
Retail
Data Mart
(CRM02)
Profitibility Data
Mart (MIS)
DW Schemas
ODS2
Credit Card
Data Mart
CRM Data
Mart
Basel II
Calculation
Data Mining
Data Mart
Other data
marts
Credit
Scoring
Fraud
Detection
Business Intelligence
Ad Hoc
Reporting
WorldReport
Merchant
Reporting
Kartograf
OLAP
Reporting
KKSUBE
branch
reporting
Seyir Defteri
Wealth
Management
Akıl Defteri
Customer
Management
Single Pyramid
Profitability
Management
Rakamlarla YKB Veri Ambarı
Database
DW Büyüklüğü?
DW toplam tablo sayısı?
• Sybase IQ 15.2
• 70 TB
• ~17,000 tablo
Data Warehouse
ETL Yöntemi
DW kaynak db sayısı?
Kaç farklı tipte Db ile veri
alışverişi var?
ETL deki job sayısı?
Günlük çalışan job sayısı?
ETL
Aylık sorgu sayısı?
Gecelik proses edilen data
miktarı?
• Inhouse Development
• 15+ ( Önemli bir kısmı ODS üzerinden geçerek )
• 6 ( Oracle, Exadata, SQL Server, MySQL,
Mainframe, SAS )
• ~15,000
• ~10,000
• Diğerleri aylık, haftalık, vs
• ~1,6 milyon defa ( Aralık-12 )
• ~3,5 TB
İçerik
•
•
•
•
•
Yapı Kredi Hakkında
Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü
Yapı Kredi’de Veri Entegrasyonu Süreci
Yapı Kredi Veri Ambarı Vizyonu
Entegrasyon Platformu Seçim Süreci
Proje
Q3-2012
Q4-2012
Q1-2013
Q2-2013
Q3-2013
Q4-2013
ETL Toola geçiş
RFP
POC
Satınalma
HW &
Kurulum
Mimari
Belirleme
Projeler
Eğitim
Değerlendirme : DW ve MIS yazılım grupları, Altyapı grubu, Veri Mimarisi grubu
RFP dokumanı (teknik şartname) hazırlandı ve 5 aday ile paylaşıldı ve sonuçları ortak puanlandı
RFP yanıtları üzerinden puanlama ile aday sayısı 3 ‘e düşürüldü ve POC ye davet edildi
RFP puanlarına, POC sonuçlarına ve referans araştırmasına göre Informatica seçildi
Seçilen Platform
2014
Yapı Kredi’de Veri Entegrasyonu Kapsamı
Öncelikli Kapsam:
•
Veri ambarı ve datamartların ETL otomasyonu
•
Veri ambarı ve datamartların veri arşivleme ile büyümesinin kontrol altına alınması
•
Arşivlenen verilerin «data federation» yöntemi ile erişilebilir kılınması
•
Veri ambarı ve datamartların test datası oluşturma ve veri maskelemesi
•
Veri ambarı ve datamartların kaynaktan önyüze kadar uçtan uca metadata yönetiminin yapılabilmesi ve etki
analizi çıkarılabilmesi
•
ETL veri kalitesi amacıyla veri profilleme
Orta Vadeli Kapsam;
•
Online data entegrasyonu- web service
•
High Availability – Grid mimari
•
Yapısal olmayan verinin entegrasyonu (word, PDF, email, logfile )
•
Big data entegrasyonu
Yapı Kredi Veri Entegrasyonu Hedef Kazanımlar
Modernizasyon
Verimlilik &
Maliyet
odaklılık
Yönetilebilirlik
Yeniliklere
açıklık
• ETL ve Veri Entegrasyonu yapısını modernize etmek
• Kişi bağımlı ve emek yoğun kod geliştirme yöntemi yerine ETL tool ile hızlı ve standartlara uyumlu
geliştirme ve yönetim modeline geçmek
• Geliştirme, bakım maliyetlerini ve süresini azaltmak
• Altyapı ve disk maliyetlerini azaltmak
• Etki analizi yapabilmek için güçlü metadata yönetim altyapısı
• Geliştirme ve yönetim kolaylığı, hızlı ve entegre bir geliştirme platformu
• Metadata ve Veri yönetişimi ( Data Governance )
• Veri hacminin etkin yönetimi ve kontrol altında tutulması ( Data Achiving )
• Risklerin azaltılması ( Test Data Management )
• Veri kalitesi ile hatasız ve hassas raporlama ( Data Quality )
• Big Data, Unstructured Data gibi farklı data yönetim tekniklerine uyum ve adaptasyon
Mevcut durum
Enterprise BI, Reporting
Source
2
Source
15
Replication
ODS
Codes
DWH
Codes
DMart
DMart
DMart
CRM Applications
Source
1
ETL Tool Kullanımı sonrası durum
Enterprise BI, Reporting
Enterprise Metadata
Source
2
Source
15
Replication
ODS
DWH
ETL
Data
Masking
TestData
ETL
Data
Virtualisation
Archives
Enterprise Data Services
DMart
DMart
DMart
CRM Applications
Source
1
İçerik
•
•
•
•
•
Yapı Kredi Hakkında
Teknolojik Dönüşüm Çağı
Yapı Kredi’nin BT Dönüşümü
Yapı Kredi’de Veri Entegrasyonu Süreci
Yapı Kredi Veri Ambarı Vizyonu
En iyi Veri Ambarı çözümleri bile yeni kullanım tarzları için
yeniden kurgulanmaya ihtiyaç duyuyor!
• Daha fazla esneklik
• Daha fazla performans
• Sürekli yeni veri tiplerinin ortaya çıkması ( big data, unstructured, video
streaming )
• Farklı beklentileri olan farklı kullanıcı gruplarının doğması
• Gittikçe artan analitik ihtiyaçlar (descriptive, predictive, prescriptive
analytics )
Artan analitik ihtiyaçlar
Descriptive Analytics
Geçmişe ait data
DW
Klasik DW, BI raporlama. Geçmiş verilere bakarak performansın sebeplerini
görmeye yarar. Satış, pazarlama, operasyon, finans verilerine bakan tüm
yönetim raporlamaları
Predictive Analytics
DW+
D.Mining
Geçmişe ait data
Gelecek
öngörüsü
Tarihsel dataya ilaveten kurallar, algoritmalar ve dış kaynak
datalar harmanlanarak geleceğe dair öngörüde bulunulmasına
yardımcı olur.
Kurallar, Algoritmalar
Prescriptive Analytics
Geçmişe ait data
DW+
D.Mining+
Big Data+
MachineLearning
Gelecek
öngörüsü
Optimum
fayda
Aksiyonlar
Kurallar, Algoritmalar
Tahminlemenin ötesine geçer. Geleceğe dönük
öngörünün yanı sıra, öngörülerden elde
edilecek optimum fayda için karar vericilerin
alması gereken aksiyonları da önerir.
Artan analitik ihtiyaçlar
Veri Ambarı yaklaşımında değişim kaçınılmaz…
Gartner’a göre ;
• Strategic Big Data: Big Data is moving from a focus on individual projects to an
influence on enterprises’ strategic information architecture.
• Dealing with data volume, variety, velocity and complexity is forcing changes to
many traditional approaches. This realization is leading organizations to
abandon the concept of a single enterprise data warehouse containing all
information needed for decisions.
• Instead they are moving towards multiple systems, including content
management, data warehouses, data marts and specialized file systems tied
together with data services and metadata, which will become the “logical”
enterprise data warehouse.
( Gartner 2013 Summit )
Teşekkürler !

similar documents