Pohjustus lisättyjen tietojen valmisteluun

Mitä on lisätty tietojen valmistelu?

Yksinkertaisesti sanottuna laajennettu tietojen valmistelu antaa yritysmaailman edustajille ja muille työntekijöille, joilla ei ole syvällistä tietotieteen ja analytiikan asiantuntemusta, luoda rikkaita ja luotettavia datajoukkoja analysointia varten. Koneoppimisen (ML) ja tekoälyn (AI) tuottamat ja automatisoidulla itsepalvelualustalla toimitetut lisätyt tiedonkäsittelytyökalut muuttavat raakadatan etsimisen ja tutkimisen ja muuntamisen kulutettaviksi muodoiksi. Ne eivät korvaa ihmisen älykkyyttä ja kontekstuaalista tietoisuutta; ne parantavat sitä.

Saadakseen kilpailuetua johtajat, liiketoimintalinjan johtajat, kumppanit ja muut luottavat liiketoimintatietoon (BI) ja liiketoiminta-analytiikkaan tarjotakseen heille tarkkoja, ajankohtaisia ja osuvia näkemyksiä. Käyttämällä laajennettua tietojen valmistelua yrityksesi voi auttaa hajauttamaan ja demokratisoimaan tietojen valmistelua, jotta useammat työntekijät voivat auttaa luomaan näitä oivalluksia.

Miten lisättyjä tietojen valmistelutyökaluja käytetään?

Laajennetut tietojen valmistelutyökalut virtaviivaistavat ensimmäisen ja kenties tärkeimmän vaiheen tietojenkäsittelyssä – luomalla tietojoukkoja, joita tarvitaan analyyttisten mallien rakentamiseen, testaamiseen ja kouluttamiseen.

Perinteisesti tietojen valmistelu kuului teknisten ryhmien alaan, jotka kirjoittivat koodia ja käyttivät erikoisohjelmistoja tietojen poimimiseen sisäisistä käyttöjärjestelmistä, sen puhdistamiseen ja jäsentämiseen sekä lataamiseen tietovarastoihin. Nämä prosessit, jotka tunnetaan nimellä tietojen poimiminen, muuntaminen ja lataaminen (ETL), voivat olla monimutkaisia, aikaa vieviä ja virhealttiita.

Useimmilla keskivertoyrityskäyttäjillä ei ollut taitoja tai aikaa tehdä ETL-työtä itse. Jopa kansalaistutkijat – yritysanalyytikot, kehittäjät ja muut, joilla ei ole muodollista tietotieteen koulutusta, mutta jotka suorittavat edistyksellistä analytiikkatyötä – huomasivat luottavansa IT-insinööreihin ja muihin tietoalan ammattilaisiin päättäessään, mitä dataa analysoidaan ja miten.

Ajat ovat muuttuneet. Nykyään organisaatiot tallentavat valtavia määriä strukturoitua, puolistrukturoitua ja strukturoimatonta dataa, mukaan lukien tekstiä ja kuvia, useisiin eristettyihin sovelluksiin ja järjestelmiin. Keskitetyillä IT- ja tiedonhallintatiimeillä on harvoin aikaa ja resursseja kerätä ja valmistella dataa, varsinkin mallintaa ja tutkia, tukeakseen kaikkia yrityksen erilaisia analytiikkahankkeita.

Lisättyjen tietojen valmistelutyökalujen ansiosta useammat ihmiset voivat astua esiin ja auttaa. Osoita ja napsauta -keskustelukäyttöliittymiä sisältävät työkalut ohjaavat käyttäjiä tasaisesti tietojen valmisteluun liittyvissä tietopohjaisissa päätöksissä.

Mitä tietojen valmistelun vaiheet ovat?

Tiedon valmisteluprosessi, joka tunnetaan myös nimellä datan vääntely tai muokkaus, sisältää sarjan peräkkäisiä toimintoja tietojen integroimiseksi, jäsentämiseksi ja järjestämiseksi. Tietojen valmisteluvaiheet, jotka on hahmoteltu alla yleisesti käytetyissä luokissa, huipentuvat yhden, luotettavan tietojoukon luomiseen yhdestä tai useammasta erityisestä käyttötapauksesta:

1. Keräily. Analytiikkatiimi tunnistaa ja hakee olennaiset tiedot sisäisistä ja ulkoisista tietolähteistä aiotun analyysin tavoitteiden ohjaamana. Jos tavoitteena on esimerkiksi valaista asiakkaiden tuotemieltymyksiä, tiimi voi kerätä kvantitatiivisia ja kvalitatiivisia tietoja CRM- ja myyntisovelluksista, asiakaskyselyistä ja sosiaalisen median palautteesta. Tämän vaiheen aikana tiimin tulee kuulla kaikkia sidosryhmiä ja käyttää luotettavia tietokokonaisuuksia, muuten se voi saada puolueellisia tai muuten vääristyneitä tuloksia.
2. Löytäminen ja profilointi. Tutkimuksen ja analyysin iteratiivisten vaiheiden kautta tiimi tutkii keräämäänsä raakadataa ymmärtääkseen paremmin kunkin tietojoukon yleistä rakennetta ja yksittäistä sisältöä. Se tutkii myös tietojoukkojen välisiä suhteita. Tietojen profiloinnin avulla tiimi kerää ja tekee yhteenvedon tilastojen poikkeavuuksista, epäjohdonmukaisuuksista, puutteista ja muista ongelmista, jotka on ratkaistava ennen kuin tietoja käytetään analyyttisten mallien kehittämiseen ja kouluttamiseen. Esimerkiksi asiakas-, potilas- ja muut tietojoukot, jotka sisältävät eri järjestelmiin tallennettuja nimiä ja osoitteita, vaihtelevat usein oikeinkirjoituksen ja muun osalta.
3. Puhdistus. Tässä vaiheessa tiimin on korjattava huolellisesti kaikki tietojen laatuongelmat. Puhdistus sisältää toimintoja, kuten puuttuvien arvojen täyttämisen, viallisten tietojen korjaamisen tai poistamisen, epäolennaisten tietojen suodattamisen ja arkaluonteisten tietojen peittämisen. Tämä aikaa vievä ja työläs tietojen valmisteluvaihe on kriittinen tietojen tarkkuuden ja johdonmukaisuuden varmistamiseksi. Puhdistaminen on erityisen tärkeää massadatan kanssa työskennellessä, koska datamäärät on harmonisoitava.
4. Jäsentäminen. Tässä vaiheessa kehitetään tietokantarakenne, jossa kuvataan, kuinka tiedot järjestetään taulukoihin, jotta mallinnustyökalujen käyttö on sujuvaa. Kaavaa voidaan pitää pysyvänä rakenteena, joka sisältää jatkuvasti muuttuvaa dataa yhtenäisellä tavalla. Kaikki kaavamaiset komponentit on määritelty.
5. Muuttaminen ja rikastaminen. Kun rakenne on määritetty, ryhmän on varmistettava, että kaikki tiedot ovat yhdenmukaisia. Joitakin olemassa olevia tietomuotoja on muutettava, kuten muuttamalla hierarkiaa ja lisäämällä, yhdistämällä tai poistamalla sarakkeita ja kenttiä. Tiimi voi myös parantaa tietoja käyttäytymis-, demografisilla, maantieteellisillä ja muilla kontekstuaalisilla tiedoilla, jotka on haettu lähteistä organisaation sisällä ja ulkopuolelta. Rikastettu tietojoukko mahdollistaa analyyttisten mallien koulutuksen kattavampien tietojoukkojen avulla ja antaa siten tarkempia ja arvokkaita näkemyksiä.
6. Validointi. Nyt ryhmän on käytettävä kirjallisia komentosarjoja tai työkaluja tietojoukkonsa laadun ja tarkkuuden tarkistamiseen. Se myös vahvistaa, että tietorakenne ja muotoilu vastaavat projektin vaatimuksia, jotta käyttäjät ja projektin mallinnustyökalut pääsevät helposti käsiksi tietoihin. Tietojoukon koosta riippuen tiimi voi halutessaan testata tieto-otosta koko tietojoukon sijaan. Sen pitäisi ratkaista kaikki ongelmat ennen kuin siirrytään tietojen valmisteluprosessin viimeiseen vaiheeseen.
7. Julkaiseminen. Kun ryhmä on varma, että sen tiedot ovat korkealaatuisia, se siirtää ne kohdetietovarastoon, Data Lake -tallennustilaan tai muuhun arkistoon. Täällä ryhmä ja muut organisaation sisällä voivat käyttää sitä kehittääkseen ja testatakseen analytiikkamalleja.

Miten koneoppiminen tehostaa tietojen valmistelua ja mallintamista?

Lisätyn tietoanalytiikan mahdollistavat lisätyt analytiikat, mukaan lukien ML, automaatio, luonnollisen kielen luominen (NLG) ja tietojen visualisointi. Esimerkiksi laajennettu tiedonhaku on vahvasti riippuvainen ML:stä – tekoälytyypistä, joka käyttää algoritmeja ja tilastollisia malleja oppiakseen tiedoista ja mukautuakseen ilman ihmisen apua.

ML:n avulla etsintätyökalut soveltavat opittua tietoa pohtiakseen, millaisia tietojoukkoja tarvitaan, kun otetaan huomioon mallin ratkaistava ongelma ja testattava hypoteesi. Ne harkitsevat myös kontekstia, jossa tietojoukot kerättiin. Sitten työkalut analysoivat nopeasti ja tekevät johtopäätöksiä tietojoukkojen malleista ja ehdottavat älykkäästi, mitkä niistä yhdistetään.

Lisätty tiedonhaku ei vain käytä ML:ää, vaan auttaa myös varmistamaan tehokkaan tietojen valmistelun koneoppimismalleja varten. Esimerkiksi etsintätyökalut käyttävät ML-algoritmeja luodakseen suosituksia käyttäjille siitä, kuinka tiedot voidaan puhdistaa ja rikastuttaa ja muuntaa ne sopivaan muotoon ML-mallianalyysiä varten.

Miten yrityksesi voi hyötyä lisätystä tietojen valmistelusta?

Joka päivä yritysten johtajat ja ryhmät eri toimialoilla löytävät uusia, strategisia tapoja hyödyntää dataa. Lisätyn tietojen valmistelun avulla he voivat toteuttaa innovatiivisia ideoita analytiikkaprojekteihin ilman IT-ammattilaisten apua.

Lisätyn tietojen valmistelun edut voivat ulottua läpi koko organisaatiosi:

• Tehostaa tuottavuutta—Intuitiivisten, graafisten käyttöliittymien ja automatisoitujen itsepalvelutyökalujen avulla ammattitaitoiset yrityskäyttäjät voivat nopeasti kerätä tietoja useista eri lähteistä ja suorittaa niitä profiloinnin, puhdistuksen ja muiden tärkeiden tietojen valmistelutoimintojen kautta. Lisätty tietojen valmistelu auttaa myös vähentämään IT- ja data-ammattilaisten aikaa vieviä tehtäviä tai poistamaan ne.
• Tuottaa korkealaatuisempaa dataa—Kun valmistellaan tietoja manuaalisesti, kokeneetkin tietotieteilijät voivat vahingossa lisätä epätarkkoja ja epäolennaisia tietoja tai jättää sisällyttämättä tärkeitä tietoja. Lisätty tietojen valmistelu voi automaattisesti paikantaa ja korjata laatuongelmat, mikä auttaa varmistamaan, että tietojoukkosi tuottaa kelvollisia tuloksia.
• Nopeuttaa sijoitetun pääoman tuottoprosenttia—Analytiikkaprojektien etupäässä suurempi tuottavuus jättää enemmän aikaa ja resursseja tietojen mallintamiseen, louhintaan ja analysointiin. Sen sijaan, että käyttäjät jäisivät jumiin manuaaliseen tietojen valmisteluun, he voivat keskittyä tutkimaan oivalluksia ja soveltamaan niitä liiketoiminnan toimintojen ja haasteiden muuttamiseen. Kun tietojoukko on rakennettu, siinä voi olla useita sovelluksia, mikä optimoi investointejasi entisestään.
• Edistää tietojen demokratisointia—Erikoistumattomia käyttäjiä autetaan tietojen valmistelussa ja julkaisemisessa analysointia varten, joten he voivat työskennellä mukavammin raakadatan kanssa. Lisäksi analytiikkaongelmaan parhaiten perehtyneet käyttäjät voivat hyödyntää liiketoimintatietojaan ja asiantuntemuksiaan valitakseen tilastollisesti merkittäviä tietojoukkoja sekä auttaa jäsentämään ja rikastuttamaan dataa tukemaan projektin tavoitteita. Kun tietolukutaito kasvaa organisaatiossasi, ihmiset luottavat enemmän datalähtöisiin päätöksiin ja strategioihin.
• Parantaa liiketoiminnan ketteryyttä—Käyttäjät voivat nopeasti valmistella kattavia tietojoukkoja ja käynnistää nopeasti uusia analytiikkaprojekteja, jotka tukevat muuttuvia liiketoiminta- ja markkinaolosuhteita. Mitä vähemmän oivalluksiin kuluu aikaa, sitä nopeammin yrityksesi voi soveltaa näitä oivalluksia kilpailuedun saavuttamiseen.

Miten yritykset soveltavat lisättyä tietojen valmistelua?

Yritykset käyttävät eri toimialoilla liiketoimintatietoja ja liiketoiminta-analytiikan työkaluja saadakseen enemmän arvoa tiedoista. Kun esimerkiksi seuraavat organisaatiot ovat sisällyttäneet työnkulkuihinsa laajennettua tietojen valmistelua, ne keräsivät ja käsittelivät tietoja tehokkaasti analytiikan tehostamiseksi:

Pankkitoiminta

Ymmärtääkseen paremmin, mitkä asiakkaat todennäköisimmin käyttävät sijoituspalveluita ja kohdistaakseen heille sitten henkilökohtaisia kampanjoita, suuri pankki keräsi ja yhdisti nopeasti tili-, talletus-, nosto- ja luottokorttitiedot konttori- ja pankkiautomaattiverkostostaan. Se keräsi myös demografisia, sosioekonomisia ja muita kontekstuaalisia tietoja ulkoisista lähteistä.

Vähittäismyynti

Kansainvälinen apteekkiketju yritti saada selville, miksi sen tuotenimellä valmistettu meikki ei menestynyt joissakin paikoissa mutta toisissa menestyi. Se yhdisti myyntipisteen, tuotekategorian, asiakasuskollisuuden, nettosuositteluindeksin ja sisäisten järjestelmiensä hintatiedot ulkoisiin maantieteellisiin tietoihin luodakseen runsaan tietojoukon analysointia varten.

Maatalous

Pieni maatalousteknologiayritys halusi käyttää omia algoritmejaan tutkiakseen sadon kehitystä kuivuudesta kärsivillä alueilla, jotta se voisi neuvoa pienviljelijöitä siitä, mitä viljelykasveja istutetaan ja milloin. Hyödyntämällä julkisten ja yksityisten organisaatioiden ylläpitämiä suuria tietopankkeja, se hankki ja yhdisti tietoja, jotka liittyvät useisiin muuttujiin, mukaan lukien sääolosuhteet, maaperän lämpötilat, kosteuspitoisuus, vedenkäyttö ja sadon tila.

Laki

Lakiasiaintoimisto, joka puolustaa yritysasiakasta laajassa oikeudenkäynnissä, analysoi miljoonia asiakassähköpostiviestejä ja muita jäsentelemättömiä asiakirjoja asiaankuuluvan historiatiedon saamiseksi. Vähentämällä dramaattisesti manuaalisia, toistuvia tiedonhakutoimintoja, yrityksellä oli enemmän aikaa tarkastella ja analysoida asiaankuuluvia havaintoja.

Julkishallinto

Yhdysvaltain osavaltion viranomaiset halusivat käyttää ennakoivia huoltokäytäntöjä auttaakseen leikkaamaan polttoaine-, huolto- ja palvelukustannuksia autokantansa ja raskaan kaluston osalta. Selvittääkseen paremmin, mitkä ajoneuvot ja milloin tarvitsevat huoltoa sekä kunkin ajoneuvon reaaliaikaisen sijainnin huoltokeskukseen nähden, omaisuudenhallintatiimi integroi tiedot ajoneuvojen huoltotietueista ja suorituskykyantureista ulkoisiin GPS-tietoihin.

Usein kysyttyjä kysymyksiä

Mitä tietojen valmistelu on?

Tietojen valmistelu sisältää kaikki vaiheet laadukkaiden, tarkkojen ja kattavien tietojoukkojen luomisessa liiketoimintatiedon hallintaa ja liiketoiminta-analytiikkaa varten. Se auttaa varmistamaan, että organisaatio voi luoda oivalluksia, joita tarvitaan kilpailuedun saamiseksi.

Mitä tietojen valmistelutyökalut ovat?

Tietojen valmistelutyökalut helpottavat tiedon keräämistä, löytämistä ja profilointia, puhdistamista, jäsentämistä, muuntamista ja rikastamista, validointia ja julkaisua.

Mikä on lisättyjen tietojen valmisteluprosessi?

Lisätty tietojen valmisteluprosessi käyttää lisättyä analytiikkaa – mukaan lukien ML, NLG ja tietojen visualisointi – muuntaakseen perinteisesti ikävät, aikaa vievät toiminnot automatisoiduiksi, älykkäämmiksi työnkuluiksi.

Miksi lisättyjen tietojen valmisteluprosessi on tärkeä?

Lisätty tietojen valmistelu voi tarjota useita etuja. Se voi lisätä tuottavuutta, suorittaa analyyseja korkealaatuisemman datan avulla, nopeuttaa analytiikkaprojektien sijoitetun pääoman tuottoa, demokratisoida tietoja ja parantaa liiketoiminnan ketteryyttä.

Mikä on koneoppimisen tietojen valmisteluprosessi?

Tehokas tietojen valmistelu koneoppimissovelluksille tarjoaa laadukkaita tietojoukkoja ML-mallien rakentamiseen ja testaamiseen. Esimerkiksi monet lisätyt tietojen valmistelutyökalut käyttävät ML-algoritmeja antamaan käyttäjille suosituksia tietojen puhdistamisesta ja rikastamisesta ja muuntamisesta sopivaan muotoon ML-mallianalyysiä varten.