Genişletilmiş veri hazırlama nedir?

Basitçe ifade etmek gerekirse, genişletilmiş veri hazırlama, iş insanlarını ve veri bilimi ve analizi konusunda derin uzmanlığa sahip olmayan diğer çalışanları, analiz için zengin ve güvenilir veri kümeleri oluşturma konusunda güçlendirir. Makine öğrenimi (ML) ve yapay zeka (AI) tarafından desteklenen ve otomatik self servis bir platformda sunulan genişletilmiş veri hazırlama araçları, ham verileri bulup inceleme ve tüketilebilir biçimlere dönüştürme sürecini dönüştürür. İnsan zekasının ve bağlamsal farkındalığın yerini almazlar, onu geliştirirler.

Liderler, iş kolu yöneticileri, iş ortakları ve diğerleri, rekabet avantajı elde etmek için kendilerine doğru, zamanında ve ilgili içgörüler sağlamak üzere iş zekasına (BI) ve iş analizine güvenir. Şirketiniz, genişletilmiş veri hazırlamayı kullanarak daha fazla çalışanın bu içgörüleri oluşturmaya yardım edebilmesi için veri hazırlama sorumluluğunu dağıtmaya ve herkesin kullanımına sunmaya yardımcı olabilir.

Genişletilmiş veri hazırlama araçları nasıl kullanılır?

Genişletilmiş veri hazırlama araçları, analiz modellerini oluşturmak, test etmek ve eğitmek için gereken veri kümelerini oluşturarak veri işlemedeki ilk ve belki de en önemli adımı kolaylaştırır.

Geleneksel olarak veri hazırlama, şirket içi operasyonel sistemlerden veri ayıklamak, temizleyip yapılandırmak ve bunları veri ambarlarına yüklemek için kod yazan ve özel yazılımlar kullanan teknik ekiplerin alanına girer. Veri ayıklama, dönüştürme ve yükleme (ETL) olarak bilinen bu süreçler karmaşık, zaman alıcı ve hataya açık olabilir.

Ortalama işletme kullanıcılarının çoğu, ETL çalışmalarını kendileri yürütmek için gerekli becerilere veya zamana sahip değildi. İş analistleri, geliştiriciler ve resmi veri bilimi eğitiminden yoksun olan ancak bazı gelişmiş analiz çalışmaları yapan diğerleri gibi sıradan veri bilimcileri bile hangi verilerin nasıl analiz edileceğine karar vermek için veri mühendislerine ve diğer veri uzmanlarına güveniyordu.

Zaman değişti. Artık kuruluşlar, metin ve görüntüler dahil olmak üzere büyük hacimlerde yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriyi birden çok depolu uygulama ve sistemlerde depolamaktadır. Merkezi BT ve veri yönetimi ekipleri, şirketin çeşitli analiz girişimlerini desteklemek için verileri modellemek ve incelemek bir yana, verileri toplamak ve hazırlamak için bile nadiren zamana ve kaynaklara sahipler.

Genişletilmiş veri hazırlama araçları sayesinde daha fazla kişi adım atıp yardım edebilir. Tıklayarak kullanılan konuşma arabirimlerine sahip araçlar, veri hazırlamayla ilgili veri temelli kararlar üzerinden istikrarlı şekilde kullanıcılara rehberlik eder.

Veri hazırlama adımları nelerdir?

Verileri kullanışlı hale getirme olarak da bilinen veri hazırlama süreci, verilerin tümleştirilmesi, yapılandırılması ve düzenlenmesi için bir dizi ardışık etkinlik içerir. Aşağıda yaygın olarak kullanılan kategorilerde özetlenen veri hazırlama adımları, bir veya daha fazla özel kullanım durumunu bilgilendirmek için tek ve güvenilir bir veri kümesinin oluşturulmasıyla sonuçlanır:

1. Toplama. Analiz ekibi, amaçladıkları analizin hedefleri tarafından yönlendirilen ilgili verileri tanımlar ve şirket içi ve harici veri kaynaklarından alır. Örneğin amaç, müşterinin ürün tercihlerine ışık tutmaksa ekip, CRM ve satış uygulamalarından, müşteri anketlerinden ve sosyal medya geri bildirimlerinden nicel ve nitel veriler elde edebilir. Bu aşamada ekip tüm paydaşlara danışmalı ve güvenilir veri kümeleri kullanmalıdır, aksi takdirde taraflı veya yanlış sonuç riski vardır.
2. Bulma ve profil oluşturma. Ekip, bulma ve analizin yinelemeli aşamaları üzerinden her bir veri kümesinin genel yapısını ve bireysel içeriğini daha iyi anlamak için topladığı ham verileri inceler. Ayrıca veri kümeleri arasındaki ilişkileri de inceler. Ekip, veri profili oluşturma üzerinden veriler analizi modelleri geliştirmek ve eğitmek için kullanılmadan önce ele alınması gereken anormallikler, tutarsızlıklar, boşluklar ve diğer sorunlarla ilgili istatistikleri toplar ve özetler. Örneğin, sistemler arasında depolanan adları ve adresleri içeren müşteri, hasta ve diğer veri kümeleri genellikle yazımda ve diğer şekillerde farklılık gösterir.
3. Temizleme. Bu aşamada ekip, tüm veri kalitesi sorunlarını titizlikle düzeltmelidir. Temizleme, eksik değerlerin doldurulması, hatalı verilerin düzeltilmesi veya kaldırılması, ilgisiz verilerin filtrelenmesi ve hassas verilerin maskelenmesi gibi etkinlikleri içerir. Zaman alıcı ve zahmetli olan bu veri hazırlama adımı, veri doğruluğunu ve tutarlılığını sağlamak için kritiktir. Uyumlu hale getirilmesi gereken yüksek veri hacimleri nedeniyle büyük verilerle çalışırken temizleme özellikle önemlidir.
4. Yapı oluşturma. Bu adım, modelleme araçlarıyla sorunsuz erişim sağlamak için verilerin tablolar halinde nasıl düzenleneceğini açıklayan bir veritabanı şeması geliştirmeyi içerir. Şema, sürekli değişen verileri birleşik şekilde barındıracak kalıcı bir yapı olarak düşünülebilir. Tüm şematik bileşenler tanımlanır.
5. Dönüştürme ve zenginleştirme. Şema ayarlandığında, ekip tüm verilerin uygun olduğundan emin olmalıdır. Hiyerarşilerin ayarlanması ve sütunların ve alanların eklenmesi, birleştirilmesi veya silinmesi gibi bazı mevcut veri biçimlerinin değiştirilmesi gerekir. Ekip ayrıca kuruluş içindeki ve dışındaki kaynaklardan alınan davranışsal, demografik, coğrafi ve diğer bağlamsal bilgilerle verileri zenginleştirebilir. Zenginleştirilmiş veri kümesi, analiz modellerinin daha kapsamlı veri kümeleriyle eğitilmesine ve dolayısıyla daha kesin ve değerli içgörüler sunulmasına olanak tanır.
6. Doğrulama. Artık ekip, veri kümesinin kalitesini ve doğruluğunu doğrulamak için yazılı betikler veya araçlar kullanmalıdır. Ayrıca ekip, kullanıcıların ve proje modelleme araçlarının verilere kolayca erişebilmesi için veri yapısının ve biçimlendirmenin proje gereksinimleriyle uyumlu olduğunu da onaylar. Veri kümesinin boyutuna bağlı olarak ekip, tam veri kümesi yerine bir veri örneğini test etmeyi seçebilir. Ekip, veri hazırlama sürecinin son adımına geçmeden önce tüm sorunları çözmelidir.
7. Yayımlama. Ekip, verilerinin yüksek kalitede olduğundan emin olduğunda bunları hedeflenen veri ambarına, veri gölüne veya başka bir depoya aktarır. Burada ekip ve kuruluş içindeki diğer kişiler, analiz modelleri geliştirmek ve test etmek için verilere erişebilir.

Makine öğrenimi, veri hazırlama ve modellemeyi nasıl zenginleştirir?

Genişletilmiş veri analizi; ML, otomasyon, doğal dil oluşturma (NLG) ve veri görselleştirme dahil olmak üzere genişletilmiş analiz, tarafından mümkün kılınır. Örneğin genişletilmiş veri keşfi, büyük ölçüde verilerden bilgi edinmek ve insan yardımı olmadan uyum sağlamak için algoritmalar ve istatistiksel modeller kullanan bir yapay zeka türü olan ML yöntemine dayanır.

Keşif araçları, ML kullanarak modelin çözmesi gereken sorun ve test edilecek hipotez göz önüne alındığında ne tür veri kümelerinin gerekli olduğunu düşünmek için öğrenilen bilgileri uygular. Ayrıca veri kümelerinin toplandığı bağlamı da dikkate alırlar. Böylece araçlar hızlı şekilde analiz eder ve veri kümelerindeki modellerden çıkarımlar yapıp hangilerinin birleştirileceğini akıllıca önerir.

Genişletilmiş veri bulma, yalnızca ML kullanmakla kalmaz, aynı zamanda makine öğrenimi modelleri için etkili veri hazırlama sağlamaya da yardımcı olur. Örneğin keşif araçları, kullanıcılara yönelik olarak verilerin nasıl temizlenip zenginleştirileceği ve ML model analizi için uygun bir biçime nasıl dönüştürüleceği hakkında öneriler oluşturmak üzere ML algoritmalarını kullanır.

Şirketiniz, genişletilmiş veri hazırlamadan nasıl yararlanabilir?

Sektörlerdeki iş liderleri ve ekipler her gün verilerden yararlanmanın yeni ve stratejik yollarını belirlemektedir. Genişletilmiş veri hazırlama sayesinde, BT uzmanlarının yardımı olmadan analiz projeleri için yenilikçi fikirler üzerinden harekete geçebilirler.

Kuruluşunuz genelinde genişletilmiş veri hazırlamanın avantajlarına ulaşılabilir:

• Üretkenliği artırır: Yetenekli iş kullanıcıları, otomatik self-servis araçlarla sezgisel ve grafiksel kullanıcı arabirimlerini kullanarak farklı kaynaklardan verileri hızla toplayabilir ve bunları profil oluşturma, temizleme ve diğer önemli veri hazırlama işlevleri üzerinden çalıştırabilir. Genişletilmiş veri hazırlama ayrıca BT ve veri uzmanları için zaman alan görevlerin azaltılmasına veya ortadan kaldırılmasına da yardımcı olur.
• Yüksek kalitede veriler sunar: Verileri el ile hazırlarken deneyimli veri bilimcileri bile yanlışlıkla hatalı ve ilgisiz veriler sunabilir veya önemli verileri dahil edemeyebilir. Genişletilmiş veri hazırlama, kalite sorunlarını otomatik olarak bulup düzelterek veri kümenizin geçerli sonuçlar üretmesini sağlamaya yardımcı olabilir.
• Yatırım geri dönüşünü hızlandırır: Analiz projelerinin ön ucunda daha fazla üretkenlik; veri modelleme, madencilik ve analiz için daha fazla zaman ve kaynak bırakır. Kullanıcılar, el ile veri hazırlama çalışmalarına yoğunlaşmak yerine içgörüleri incelemeye ve bunları işletme faaliyetlerini ve zorlukları dönüştürmek için uygulamaya odaklanabilir. Veri kümesi oluşturulduktan sonra birkaç uygulamaya sahip olabilir ve bu da yatırımlarınızı en iyi duruma getirebilir.
• Verilerin herkesin kullanımına sunulmasını teşvik eder: Analiz için verilerin hazırlanmasına ve yayımlanmasına yardımcı olacak şekilde donatılan uzman olmayan kullanıcılar, ham verilerle daha rahat çalışabilir. Ek olarak, analiz sorununu en iyi bilen kullanıcılar, istatistiksel olarak önemli veri kümelerini seçmek ve proje hedeflerini desteklemek için verileri yapılandırmaya ve zenginleştirmeye yardımcı olmak üzere iş bilgileri ve uzmanlıklarından yararlanabilir. Kuruluşunuzda veri okuryazarlığı arttıkça kişiler veri temelli kararlara ve stratejilere daha fazla güven duyar.
• Kurum çevikliğini artırır: Kapsamlı veri kümelerini hızla hazırlayabilen kullanıcılar, değişen iş ve pazar koşullarını desteklemek için hızla yeni analiz projeleri başlatabilir. İçgörü elde etme süresi ne kadar hızlı olursa şirketiniz rekabet avantajı elde etmek için bu içgörüleri o kadar hızlı uygulayabilir.

Şirketler genişletilmiş veri hazırlamayı nasıl uyguluyor?

Tüm sektörlerdeki şirketler, verilerden daha büyük değer elde etmek için iş zekası ve iş analizi araçları kullanır. Örneğin, iş akışlarına genişletilmiş veri hazırlamayı dahil eden aşağıdaki kuruluşlar, analizlerini beslemek için verileri verimli şekilde toplayıp işlemiştir:

Bankacılık

Büyük bir banka, hangi müşterilerin varlık yatırım hizmetlerini kullanma olasılığının daha yüksek olduğunu daha iyi anlamak ve ardından kişiselleştirilmiş promosyonlarla bu müşterileri hedeflemek için şube ve ATM ağındaki hesap, mevduat, para çekme ve kredi kartı verilerini hızla toplayıp birleştirdi. Ayrıca harici kaynaklardan demografik, sosyoekonomik ve diğer bağlamsal verileri de aldı.

Perakende

Uluslararası bir eczane zinciri, marka tanınırlığının neden diğer yerlerde düşük değilken bazı yerlerde düşük olduğunu öğrenmeye çalıştı. Analiz için zengin bir veri kümesi oluşturmak üzere satış noktası, ürün kategorisi, müşteri bağlılığı, net tavsiye puanı ve şirket içi sistemlerindeki fiyatlandırma verilerini harici coğrafi verilerle birleştirdi.

Tarım

Küçük bir tarım teknolojisi şirketi, küçük ölçekli çiftçilere hangi ekinleri ne zaman ekecekleri konusunda tavsiyelerde bulunabilmek için kuraklığın olduğu bölgelerde mahsul verimi eğilimlerini incelemek üzere özel algoritmalarını kullanmak istedi. Kamu kuruluşları ve özel kuruluşlar tarafından sağlanan büyük veri havuzlarından yararlanarak hava koşulları, toprak sıcaklıkları, nem içeriği, su kullanımı ve mahsul durumu dahil olmak üzere birden fazla değişkene ilişkin verileri toplayıp birleştirdi.

Hukuk

Büyük bir davada kurumsal bir müşteriyi savunan bir hukuk firması, ilgili geçmiş için milyonlarca müşteri e-postasını ve diğer yapılandırılmamış belgeleri analiz etti. Firma, el ile yapılan ve tekrarlayan veri bulma etkinliklerini önemli ölçüde azaltarak ilgili bulguları inceleyip analiz etmek için daha fazla zamana sahip oldu.

Kamu

Bir ABD eyalet hükümeti, otomobil ve ağır iş makinesi filosu için yakıt, bakım ve servis maliyetlerini düşürmeye yardımcı olacak tahmine dayalı bakım uygulamalarını kullanmak istedi. Varlık yönetimi ekibi, hangi araçların ne zaman bakıma ihtiyacı olduğunu ve her aracın bir servis tesisine gerçek zamanlı yakınlığını daha iyi belirlemek için araç bakım kayıtlarından ve performans sensörlerinden gelen bilgileri harici GPS verileriyle tümleştirdi.

Sık sorulan sorular

Veri hazırlama nedir?

Veri hazırlama, iş zekası ve iş analizleri için kaliteli, doğru ve kapsamlı veri kümeleri oluşturmanın tüm aşamalarını içerir. Kuruluşun rekabet avantajı elde etmek için ihtiyaç duyduğu içgörüleri oluşturabilmesini sağlamaya yardımcı olur.

Veri hazırlama araçları nelerdir?

Veri hazırlama araçları; veri toplamayı, keşfetmeyi ve profil oluşturmayı, temizlemeyi, yapılandırmayı, dönüştürmeyi ve zenginleştirmeyi, doğrulamayı ve yayımlamayı kolaylaştırır.

Genişletilmiş veri hazırlama süreci nedir?

Genişletilmiş veri hazırlama süreci, geleneksel olarak sıkıcı ve zaman alan etkinlikleri otomatikleştirilmiş ve daha akıllı iş akışlarına dönüştürmek için ML, NLG ve veri görselleştirme dahil olmak üzere genişletilmiş analizi kullanır.

Genişletilmiş veri hazırlama neden önemlidir?

Genişletilmiş veri hazırlama, çeşitli avantajlar sağlayabilir. Verimliliği artırabilir, analizleri daha yüksek kalitede veriler kullanarak çalıştırabilir, analiz projelerinde yatırım geri dönüşünü hızlandırabilir, verileri herkesin kullanımına sunabilir ve iş çevikliğini artırabilir.

Makine öğrenimi için veri hazırlama nedir?

Makine öğrenimi uygulamaları için etkili veri hazırlama, ML modelleri oluşturmak ve test etmek için kaliteli veri kümeleri sağlar. Örneğin, birçok genişletilmiş veri hazırlama aracı, kullanıcılara verilerin nasıl temizlenip zenginleştirileceği ve ML model analizi için uygun bir biçime nasıl dönüştürüleceği hakkında önerilerde bulunmak üzere ML algoritmalarından yararlanır.