Big data, eller big data, är ett begrepp som används inom informationsteknologi och marknadsföring. Termen "big data" används för att definiera analys och hantering av stora datamängder. Big data är alltså information som på grund av sina stora volymer inte kan behandlas på traditionella sätt.

Det är omöjligt att föreställa sig ett modernt liv utan digital teknik. Världsdatalagringar fylls ständigt på, och därför är det också nödvändigt att ständigt förändra både förutsättningarna för att lagra information och leta efter nya sätt att öka volymen på sina bärare. Baserat på expertutlåtande har en ökning av big data och en ökning av tillväxttakten är den nuvarande verkligheten. Som redan nämnts visas information non-stop. Dess enorma volymer genereras av informationssajter, olika fildelningstjänster och sociala nätverk, men detta är bara en liten del av den totala producerade volymen.

IDC Digital Universe, efter att ha genomfört en studie, meddelade att inom 5 år kommer datavolymen som helhet på hela jorden att nå fyrtio zettabyte. Det betyder att för varje person på planeten kommer det att finnas 5200 GB information.

Månadens bästa artikel

Första halvåret 2018 går mot sitt slut - det är dags att summera delårsresultaten. Även om företagets affärsresultat har ökat jämfört med föregående period, se till att det inte finns några dolda svårigheter i företagets verksamhet som kan orsaka problem.

För att diagnostisera problem, fyll i checklistorna från vår artikel och ta reda på vilken sida av verksamheten du ska vara uppmärksam på.

Det är allmänt känt att människor inte är huvudproducenten av information. Den huvudsakliga källan som ger informationsdata är robotar som kontinuerligt interagerar. Dessa inkluderar operativsystemet för datorer, surfplattor och mobiltelefoner, intelligenta system, övervakningsverktyg, övervakningssystem med mera. Tillsammans sätter de den snabba datatillväxten, vilket gör att behovet av att skapa både riktiga och virtuella servrar ökar. Tillsammans leder detta till utbyggnad och implementering av nya datacenter.

Oftast definieras big data som information som är större än hårddisken på en PC, och som inte heller kan bearbetas med traditionella metoder som används för att bearbeta och analysera information med en mindre volym.

För att sammanfatta, kommer tekniken för big data-bearbetning i slutändan ner till 3 huvudområden, som i sin tur löser 3 typer av problem:

1. Lagring och hantering av enorma mängder data – hundratals terabyte och petabyte – som relationsdatabaser inte kan använda effektivt.
2. Organisering av ostrukturerad information - texter, bilder, videor och andra typer av data.
3. Analys av big data (big data analytics) - här övervägs hur man arbetar med ostrukturerad information, och skapandet av rapporter av analytisk data, och införandet av prediktiva modeller.

Projektmarknadstordataär nära sammankopplad med BA - business intelligence-marknaden, som 2012 uppgick till cirka 100 miljarder dollar, och inkluderar nätverksteknik, mjukvara, tekniska tjänster och servrar.

Automatisering av företagets aktiviteter, i synnerhet lösningar i klassen intäktsgaranti (RA), är också oupplösligt kopplad till användningen av big data-teknik. Idag innehåller system inom detta område verktyg som används för att upptäcka inkonsekvenser och för djupgående analys av data, och även låter dig identifiera eventuella förluster eller felaktigheter i information som kan leda till att sektorns resultat minskar.

Ryska företag bekräftar att det finns en efterfrågan på big data-teknik; de noterar separat att de viktigaste faktorerna som påverkar utvecklingen av big data i Ryssland är en ökning av datamängden, snabba förvaltningsbeslut och en förbättring av deras kvalitet.

Vilken roll spelar big data i marknadsföringen?

Det är ingen hemlighet att information är en av huvudkomponenterna i framgångsrik utveckling av prognoser och marknadsföringsstrategier, om du vet hur man använder den.

Big data-analys är oumbärlig för att bestämma målgruppen, dess intressen och aktivitet. Med andra ord, skicklig användning av big data gör det möjligt att exakt förutsäga ett företags utveckling.

Med hjälp av till exempel den välkända RTB-auktionsmodellen, med hjälp av big data-analys, är det enkelt att se till att annonser endast visas för de potentiella köpare som är intresserade av att köpa en tjänst eller produkt.

Ansökan big data inom marknadsföring:

1. Gör att du kan identifiera potentiella köpare och attrahera relevant publik på Internet.
2. Bidrar till bedömningen av graden av tillfredsställelse.
3. Hjälper till att matcha den erbjudna tjänsten med köparens behov.
4. Underlättar sökandet och implementeringen av nya metoder för att öka kundlojaliteten.
5. Underlättar skapandet av projekt som senare kommer att efterfrågas.

Ett särskilt exempel är tjänsten Google.trends. Med dess hjälp kommer marknadsföraren att kunna identifiera prognosen för säsongen för en viss produkt, geografin för klick och fluktuationer. Genom att jämföra informationen som mottas med statistiken för din egen webbplats är det ganska enkelt att upprätta en reklambudget som anger region och månad.

• Fördelning av annonsbudgeten: vad är värt att lägga på
l & g t;

Hur och var man lagrar big data big data

Filsystem– det är här big data både organiseras och lagras. All information finns på ett stort antal hårddiskar på PC:n.

"Karta"- karta - håller reda på var varje information är direkt lagrad.

För att försäkra sig mot oförutsedda omständigheter är det vanligt att spara varje information flera gånger - det rekommenderas att göra detta tre gånger.

Till exempel, efter att ha samlat in enskilda transaktioner i ett detaljhandelsnätverk, kommer all information om varje enskild transaktion att lagras på flera servrar och hårddiskar, och "kartan" kommer att indexera filplatsen för varje specifik transaktion.

För att organisera lagringen av data i stora volymer kan du använda standardhårdvara och mjukvara som är allmän egendom (till exempel Hadoop).

Big data och business intelligence: skillnaden mellan koncept

Idag är affärsanalys en beskrivande process av de resultat som har uppnåtts under en viss tidsperiod. Den faktiska hastigheten för big data-bearbetning gör analysen prediktiv. Du kan lita på hans rekommendationer i framtiden. Big data-teknologier gör det möjligt att analysera fler typer av data i jämförelse med de verktyg och verktyg som används inom business intelligence. Detta gör att du inte bara kan fokusera på lagring, där data är strukturerad, utan att använda mycket bredare resurser.

Affärsanalys och big data är lika på många sätt, men det finns följande skillnader:

• Big data används för att bearbeta mängden information som är mycket större än den för business intelligence, vilket definierar själva begreppet big data.
• Med hjälp av big data kan du bearbeta snabbt mottagen och föränderlig data, vilket leder till interaktivitet, det vill säga i de flesta fall är hastigheten för att ladda en webbsida långsammare än hastigheten för att generera resultat.
• Big data kan användas vid bearbetning av data som saknar struktur, och du bör börja arbeta med den endast genom att se till att den lagras och samlas in. Dessutom är det nödvändigt att tillämpa algoritmer som kan identifiera de grundläggande mönstren i de skapade arrayerna.

Business Intelligence-processen har lite att göra med big data. Typiskt brukar affärsanalyser ge resultat genom att lägga till specifika värden: ett exempel är den årliga försäljningsvolymen, beräknad som summan av alla betalda räkningar. I processen att arbeta med big data utförs beräkningen genom steg-för-steg-konstruktion av modellen:

• lägga fram en hypotes;
• bygga en statisk, visuell och semantisk modell;
• kontrollera hypotesens riktighet baserat på de specificerade modellerna;
• lägga fram följande hypotes.

För att genomföra en hel cykel av forskning är det nödvändigt att tolka visuella värden (interaktiva frågor baserade på kunskap). Det är också möjligt att utveckla en adaptiv maskininlärningsalgoritm.

Expertutlåtande

Du kan inte blint bara lita på analytikers åsikter

Vyacheslav Nazarov,

Generaldirektör för det ryska representationskontoret för Archos, Moskva

För ungefär ett år sedan, baserat på experternas åsikter, lanserade vi en helt ny surfplatta, en spelkonsol, på marknaden. Kompakthet och tillräcklig teknisk kraft har funnit sitt erkännande bland fans av dataspel. Det bör noteras att denna grupp trots sin "smalhet" hade en ganska hög köpkraft. Till en början fick den nya produkten mycket positiv feedback i media och fick en gillande bedömning från våra partners. Det stod dock snart klart att surfplattans försäljning var ganska låg. Lösningen fann aldrig sin masspopularitet.

Fel... Vårt fel var att målgruppens intressen inte studerades till fullo. Surfplattaanvändare behöver inte supergrafik eftersom de mest spelar enkla spel. Seriösa spelare är redan vana vid att spela på en dator på mer avancerade plattformar. Det fanns ingen massiv reklam för vår produkt, marknadsföringskampanjen var också svag, och till slut hittade surfplattan inte sin köpare i någon av de angivna grupperna.

Effekter... Produktionen av produkten måste minskas med nästan 40 % från den ursprungligen planerade volymen. Det blev förstås inga stora förluster, liksom den planerade vinsten. Detta fick oss dock att justera några av de strategiska målen. Det mest värdefulla som oåterkalleligt förlorats av oss är vår tid.

Råd... Du måste tänka långsiktigt. Produktlinjer måste beräknas två eller tre steg framåt. Vad betyder det? När du lanserar en viss lineup idag är det tillrådligt att förstå dess öde i morgon och ha åtminstone en ungefärlig bild av vad som kommer att hända med den om ett och ett halvt år. Naturligtvis är fullständig detalj osannolik, men en baslinje måste fortfarande upprättas.

Och ändå ska man inte helt och fullt lita på analytikerna. Experternas bedömningar måste vägas mot den egna statistiken, samt mot den operativa situationen på marknaden. Om din produkt inte är helt färdig bör du inte släppa den på marknaden, för för köparen är det första intrycket det viktigaste, och då kommer det inte att vara en lätt uppgift att övertyga honom.

Ett mycket viktigt tips i händelse av misslyckande är snabbheten i beslutsfattandet. Du kan inte bara titta och vänta. Det är alltid mycket enklare och billigare att lösa ett problem i hot pursuit än att eliminera ett försummat.

Vilka problem skapar big data-systemet?

Det finns tre huvudgrupper av problem med big data-system, som i utländsk litteratur kombineras till 3V - volym, hastighet och variation, det vill säga:

1. Volym.
2. Bearbetningshastighet.
3. Ostruktureradhet.

Frågan om att lagra stora mängder information är förknippad med behovet av att organisera vissa förhållanden, det vill säga med skapandet av utrymme och möjligheter. När det gäller hastigheten är det inte så mycket kopplat till retardation och retardation när man använder föråldrade bearbetningsmetoder, utan med interaktivitet: resultatet är ju mer produktivt, desto snabbare går informationsbehandlingen.

1. Problemet med ostrukturering kommer från separationen av källor, deras format och kvalitet. Framgångsrik integration och bearbetning av big data kräver både förberedelsearbete och analytiska verktyg eller system.
2. Gränsen för "storleken" av datan har också ett stort inflytande. Det är ganska svårt att bestämma värdet, och utifrån detta är det problematiskt att beräkna vilka finansiella investeringar som kommer att krävas och vilka tekniker som kommer att behövas. Ändå, för vissa kvantiteter, till exempel terabyte, tillämpas idag framgångsrikt nya bearbetningsmetoder, som ständigt förbättras.
3. Bristen på allmänt accepterade principer för att arbeta med big data är ett annat problem, som kompliceras av den tidigare nämnda heterogeniteten i flöden. För att lösa detta problem skapas nya metoder för big data-analys. Baserat på uttalanden från företrädare för universiteten i New York, Washington och Kalifornien är skapandet av en separat disciplin och till och med en big data-vetenskap inte långt borta. Detta är huvudorsaken till att företag inte har bråttom att införa big data-projekt. En annan faktor är den höga kostnaden.
4. Svårigheter orsakas också av valet av data för analys och algoritmen för åtgärder. Hittills finns det ingen förståelse för vilken data som bär värdefull information och kräver stordataanalys, och vilken som kan ignoreras. I den här situationen blir en sak till klar - det finns inte tillräckligt med branschfolk på marknaden som kan klara av djupgående analyser, göra en rapport om lösningen på problemet och följaktligen göra vinst.
5. Det finns också en moralisk sida av frågan: skiljer sig insamling av data utan användarens vetskap från ett brutalt intrång i privatlivet? Det är värt att notera att datainsamling förbättrar livskvaliteten: till exempel hjälper den kontinuerliga insamlingen av data i Googles och Yandex-system företag att förbättra sina tjänster beroende på konsumenternas behov. Systemen för dessa tjänster markerar varje klick av en användare, hans plats och besökta webbplatser, alla meddelanden och köp - och allt detta gör det möjligt att visa annonser baserat på användarbeteende. Användaren gav inte sitt samtycke till insamlingen av data: inget sådant val gavs. Detta leder till nästa problem: hur säker är informationen? Till exempel kan information om potentiella kunder, deras köphistorik och besök på olika sajter hjälpa till att lösa många affärsproblem, men om plattformen som kunderna använder är säker är en mycket kontroversiell fråga. Många vädjar till det faktum att idag inget datalager – inte ens en militärtjänstserver – är tillräckligt skyddat från hackerattacker.

• Affärshemligheter: skydd och påföljder för avslöjande

Att använda big data i etapper

Steg 1. Teknologisk implementering av företaget i ett strategiskt projekt.

Tekniska specialisters uppgifter inkluderar en förstudie av utvecklingskonceptet: en analys av utvecklingsvägarna för de riktningar som behöver det mest.

För att bestämma sammansättningen och uppgifterna hålls ett samtal med kunderna, vilket resulterar i att de nödvändiga resurserna analyseras. Samtidigt beslutar organisationen att lägga ut alla uppgifter helt eller att skapa ett hybridteam bestående av specialister från denna och eventuella andra organisationer.

Enligt statistik använder ett stort antal företag just ett sådant schema: närvaron av ett team av experter inuti, som kontrollerar kvaliteten på arbetet och bildandet av rörelse, och utanför, förverkligar ett direkt test av hypoteser om utvecklingen av någon riktning.

Steg 2. Hitta en dataforskare.

Ledaren samlar personalen av arbetare kollektivt. Han ansvarar också för utvecklingen av projektet. HR-personal spelar en direkt roll i att bygga det interna teamet.

Först och främst behöver ett sådant team en dataanalytiker, aka data scientist, som kommer att behandla uppgiften att forma hypoteser och analysera en mängd information. De samband som han angett kommer att användas i framtiden för att hitta nya produkter och tjänster.

Särskilt i inledningsskedet är det viktigt HR-uppgift... Dess anställda bestämmer exakt vem som ska utföra arbetet med att utveckla projektet, vart det ska ta det och hur det ska motiveras. En dataanalytiker är inte lätt att hitta, så det är en "styckprodukt".

Varje seriöst företag måste ha en specialist med en sådan profil, annars försvinner projektets fokus. Kombinerad ingenjör: Utvecklare, analytiker och affärsanalytiker. Dessutom måste han ha kommunikationsförmåga för att visa resultaten av sina aktiviteter och ett bagage av kunskap och färdigheter för en detaljerad förklaring av sina tankar.

• 24 tankar som startar stora förändringar i livet

Sök exempel

1. Ett taxibolag "Big Data" organiserades i Moskva. På vägen svarade passagerare på uppgifter från området professionell analys. I händelse av att passageraren svarade rätt på de flesta frågorna erbjöd företaget honom ett jobb. Den största nackdelen med denna rekryteringsteknik är majoritetens ovilja att delta i sådana projekt. Endast ett fåtal personer gick med på intervjun.

2. Genomföra en speciell tävling i business intelligence med något slags pris. En stor rysk bank använde denna metod. Som ett resultat deltog mer än 1000 personer i hackathontävlingen. De som nådde störst framgång i tävlingen erbjöds en plats på jobbet. Tyvärr ville de flesta av vinnarna inte få positionen, eftersom deras motivation bara var priset. Ändå gick flera personer med på att arbeta i ett team.

3. Sök i miljön för dataspecialister som förstår affärsanalyser och kan ställa saker i ordning genom att bygga den korrekta algoritmen för åtgärder. De nödvändiga färdigheterna hos en specialistanalytiker inkluderar: programmering, kunskap om Python, R, Statistica, Rapidminer och annan kunskap som inte är mindre viktig för en affärsanalytiker.

Steg 3. Skapande av ett team för utveckling.

Det behövs ett välkoordinerat team. När du överväger avancerad analys, såsom innovativ företagsutveckling, behöver du en chef för att skapa och utveckla business intelligence.

Forskningsingenjörär engagerad i konstruktion och testning av hypoteser för framgångsrik utveckling av den tagna vektorn.

Till huvudet det är nödvändigt att organisera utvecklingen av den tagna branschen, skapa nya produkter och samordna dem med kunderna. Hans ansvar inkluderar dessutom beräkning av affärscase.

En utvecklingschefär skyldig att arbeta nära alla. Analytisk ingenjör och affärsutvecklingschef klargör behoven och möjligheterna med big data-analys genom möten med medarbetare som ansvarar för olika delar av projektet. Efter att ha analyserat situationen skapar chefen ärenden, tack vare vilka företaget kommer att fatta beslut om vidareutveckling av riktningen, tjänsten eller produkten.

• Utvecklingsansvarig: krav och arbetsbeskrivning

3 principer för att arbeta med bigdata

De viktigaste metoderna för att arbeta med big data kan särskiljas:

1. Horisontell skalbarhet. På grund av att det borde finnas en enorm mängd data kommer alla system som bearbetar en stor mängd information att kunna expanderas. Om till exempel mängden data har vuxit flera gånger har mängden "hårdvara" i klustret också ökat med samma mängd.
2. Feltolerans. Baserat på principen om horisontell skalbarhet kan vi dra slutsatsen att det finns ett stort antal maskiner i klustret. Hadoop-klustret från Yahoo har till exempel fler än 42 000. Alla metoder för att arbeta med big data måste ta hänsyn till eventuella misslyckanden och leta efter sätt att hantera problem utan konsekvenser.
3. Plats för data. Data som lagras i stora system är spridd över ett ganska stort antal maskiner. Därför, i en situation där data lagras på server # 1, men bearbetas på server # 2, kan det inte uteslutas att deras överföring kommer att kosta mer än bearbetning. Det är därför man vid designen ägnar stor uppmärksamhet åt att se till att data lagras och bearbetas på en dator.

Alla metoder för att arbeta med big data, på ett eller annat sätt, följer dessa tre principer.

Hur man använder big data-systemet

Kraftfulla big data-lösningar för en mängd olika företag kommer från de många kombinationer av mjukvara och hårdvara som finns idag.

En viktig fördelstordata- Förmågan att tillämpa nya verktyg med de som redan används inom detta område. Detta är särskilt viktigt i en tvärvetenskaplig projektsituation. Exempel inkluderar flerkanalsförsäljning och kundsupport.

För att arbeta med big data är en viss sekvens viktig:

• datainsamling sker först;
• då är informationen strukturerad. För detta ändamål används instrumentpaneler ( Instrumentpaneler) - struktureringsverktyg;
• i nästa skede skapas insikter och sammanhang, utifrån vilka rekommendationer för beslutsfattande formas. På grund av de höga kostnaderna för att samla in data är huvuduppgiften att fastställa syftet med att använda den erhållna informationen.

Exempel. Reklambyråer kan använda telekomsamlad platsinformation. Detta tillvägagångssätt kommer att ge riktad reklam. Samma information är tillämplig på andra områden relaterade till tillhandahållande och försäljning av tjänster och varor.

Informationen som erhålls på detta sätt kan vara nyckeln till beslutet att öppna en butik i ett visst område.

Om vi ​​överväger fallet med användning av utomhusskyltar i London, råder det ingen tvekan om att idag en sådan upplevelse endast är möjlig om en speciell mätanordning placeras nära varje skylt. Samtidigt känner mobiloperatörerna alltid till den grundläggande informationen om sina abonnenter: deras plats, civilstånd och så vidare.

En annan potentiell användning av big data är att samla in information om antalet besökare till olika evenemang.

Exempel. Arrangörerna av fotbollsmatcher kan inte i förväg veta det exakta antalet personer som kom till matchen. Ändå skulle de ha fått sådan information om de hade använt information från mobiloperatörer: var finns potentiella besökare under en viss tid – en månad, en vecka, en dag – innan matchen. Det visar sig att arrangörerna skulle ha möjlighet att planera platsen för evenemanget beroende på målgruppens preferenser.

Big data erbjuder också ojämförliga fördelar för banksektorn, som kan använda bearbetad data för att identifiera skrupelfria kortinnehavare.

Exempel. När innehavaren av kortet förklarar att det har förlorats eller stulits har banken möjlighet att spåra platsen för kortet som används för betalning och innehavarens mobiltelefon för att verifiera uppgifternas riktighet. Därmed kan en bankombud se att innehavarens betalkort och mobiltelefon finns i samma område. Det betyder att kortet används av ägaren.

Tack vare fördelarna av detta slag ger användningen av information företag många nya möjligheter, och big data-marknaden fortsätter att utvecklas.

Den största svårigheten med att implementera big data är komplexiteten i att beräkna fallet. Denna process kompliceras av närvaron av ett stort antal okända.

Det är ganska svårt att göra några förutsägelser för framtiden, medan data om det förflutna inte alltid är tillgängliga. I den här situationen är det viktigaste planera dina första åtgärder:

1. Att bestämma en specifik fråga, i vars lösning stordatabehandlingsteknologin kommer att tillämpas, kommer att hjälpa till att bestämma konceptet och sätta en vektor för ytterligare åtgärder. Efter att ha lagt vikt vid att samla in information om just denna fråga är det också värt att använda alla tillgängliga verktyg och metoder för att få en tydligare bild. Dessutom kommer detta tillvägagångssätt att avsevärt underlätta beslutsprocessen i framtiden.
2. Sannolikheten att ett big data-projekt kommer att genomföras av ett team utan viss kompetens och erfarenhet är extremt liten. Den kunskap som behöver användas i en så komplex studie tar vanligtvis lång tid att skaffa sig, varför tidigare erfarenheter är så viktiga inom detta område. Det är svårt att överskatta effekten av kulturen att använda information som erhållits genom sådan forskning. De ger olika möjligheter, inklusive missbruk av det mottagna materialet. För att använda information för gott är det värt att följa de grundläggande reglerna för korrekt databehandling.
3. Insikter är teknikens kärnvärde. Marknaden upplever fortfarande en akut brist på starka specialister – de som har förståelse för lagarna för att göra affärer, vikten av information och dess användningsområde. Det är omöjligt att inte ta hänsyn till det faktum att dataanalys är ett nyckelsätt för att uppnå mål och utveckla ett företag, du måste sträva efter att utveckla en specifik modell för beteende och uppfattning. Om så är fallet, kommer big data att vara användbar och spela en positiv roll för att hantera företagsledningsfrågor.

Framgångsrika fall för implementering av big data

Några av fallen som listas nedan var mer framgångsrika i att samla in data, andra i big data-analys och sätt att tillämpa data som erhållits från forskningen.

1. « Tinkoff Credit Systems”Drog fördel av EMC2 Greenplums massivt parallella datorplattform. På grund av den kontinuerliga ökningen av flödet av kortanvändare i banken blev det nödvändigt att göra databehandlingen snabbare. Man beslutade att använda big data och arbeta med ostrukturerad information, samt företagsinformation som hämtats från olika källor. Uppmärksamheten från deras specialister undgick inte det faktum att det analytiska lagret av det federala datalagret introduceras på webbplatsen för den ryska federala skattetjänsten. Därefter, på grundval av det, är det planerat att organisera ett utrymme som ger tillgång till uppgifterna i skattesystemet för efterföljande bearbetning och erhållande av statistiska uppgifter.
2. Separat är det värt att överväga en rysk startup Synqera, engagerad i analys av big data online och utvecklade Simplate-plattformen. Summan av kardemumman är att en stor mängd data bearbetas, data om konsumenter, deras köp, ålder, humör och sinnestillstånd analyseras. Kosmetikkedjan har installerat sensorer vid kassadiskarna som kan känna igen kundens känslor. Efter att ha bestämt stämningen analyseras informationen om köparen, köptiden. Därefter får köparen målmedvetet information om rabatter och kampanjer. Detta beslut ökade konsumenternas lojalitet och kunde öka säljarens inkomst.
3. Separat är det värt att prata om fallet med användningen av big data-teknik i ett företag. Dunkin`Donuts, som i analogi med föregående exempel använde onlineanalys för att öka vinsten. Så i butiker visas specialerbjudanden, vars innehåll ändras varje minut. Ersättningarna i texten baserades på både tid på dygnet och varorna i lager. Företaget fick uppgifter från kassakvitton vilka föremål som var störst efterfrågade. Denna metod har ökat intäkter och lageromsättning.

Bearbetning av big data har således en positiv effekt på att lösa affärsproblem. En viktig faktor är naturligtvis valet av strategi och användningen av den senaste utvecklingen inom big data-området.

Information om företaget

Archos. Affärsprofil: produktion och försäljning av elektronisk utrustning. Område: försäljningskontor är öppna i nio länder (Spanien, Kina, Ryssland, USA, Frankrike, etc.). Antal filialpersonal: 5 (i det ryska representationskontoret).

Den ständiga accelerationen av datatillväxt är en integrerad del av dagens verklighet. Sociala nätverk, mobila enheter, data från mätapparater, affärsinformation är bara några typer av källor som kan generera gigantiska mängder data.

Numera har begreppet Big Data (Big Data) blivit ganska vanligt. Inte alla är fortfarande medvetna om hur snabbt och djupgående teknik för behandling av stora data förändrar de mest skilda aspekterna av samhället. Förändringar sker inom olika områden som ger upphov till nya problem och utmaningar, bland annat inom informationssäkerhetsområdet, där så viktiga aspekter som sekretess, integritet, tillgänglighet etc bör stå i förgrunden.

Tyvärr tar många moderna företag till Big Data-teknik utan att skapa den rätta infrastrukturen för detta, vilket kan ge tillförlitlig lagring av de enorma mängder data som de samlar in och lagrar. Å andra sidan utvecklas blockchain-tekniken för närvarande snabbt, vilket är designat för att lösa detta och många andra problem.

Vad är Big Data?

Faktum är att definitionen av begreppet ligger på ytan: "big data" betyder att hantera och analysera mycket stora mängder data. Mer allmänt är detta information som inte kan bearbetas med klassiska metoder på grund av dess stora volymer.

Själva begreppet Big Data har dykt upp relativt nyligen. Enligt tjänsten Google Trends inträffade termens aktiva popularitetstillväxt i slutet av 2011:

2010 började de första produkterna och lösningarna som är direkt relaterade till bearbetning av big data dyka upp. År 2011 använder de flesta av de största IT-företagen, inklusive IBM, Oracle, Microsoft och Hewlett-Packard, aktivt termen Big Data i sina affärsstrategier. Gradvis börjar analytiker av informationsteknologimarknaden aktivt undersöka detta koncept.

För närvarande har denna term vunnit betydande popularitet och används aktivt inom olika områden. Det kan dock inte med säkerhet sägas att Big Data är något slags fundamentalt nytt fenomen – tvärtom har big data-källor funnits i många år. Inom marknadsföring inkluderar dessa databaser över kundköp, kredithistorik, livsstilsval med mera. Genom åren har analytiker använt denna data för att hjälpa företag att förutsäga framtida kundbehov, bedöma risker, forma konsumenternas preferenser och mer.

För närvarande har situationen förändrats i två aspekter:

- Det finns mer sofistikerade verktyg och metoder för att analysera och jämföra olika uppsättningar data;
- Analysverktyg har kompletterats med många nya datakällor, på grund av den omfattande övergången till digital teknik, samt nya metoder för att samla in och mäta data.

Forskare förutspår att Big Data-teknik kommer att användas mest aktivt inom tillverkning, sjukvård, handel, myndigheter och inom olika andra områden och industrier.

Big Data är inte någon specifik samling av data, utan en uppsättning metoder för deras bearbetning. Det avgörande kännetecknet för big data är inte bara dess volym, utan också andra kategorier som kännetecknar de arbetsintensiva processerna för databearbetning och analys.

De initiala uppgifterna för bearbetning kan till exempel vara:

- loggar över internetanvändares beteende;
- Internet of Things;
- sociala media;
- Meteorologiska data.
- Digitaliserade böcker från de största biblioteken;
- GPS-signaler från fordon;
- information om transaktioner från bankkunder;
- uppgifter om platsen för mobilnätsabonnenter;
- information om köp i stora butikskedjor m.m.

Med tiden växer mängden data och antalet deras källor ständigt och mot denna bakgrund förbättras nya och befintliga metoder för informationsbehandling.

Grundläggande principer för Big Data:

- Horisontell skalbarhet - datamängder kan vara enorma, vilket innebär att big data-behandlingssystemet dynamiskt måste expandera när deras volymer ökar.
- Feltolerans - även vid fel på vissa delar av utrustningen måste hela systemet förbli i drift.
- Datalokal. I stora distribuerade system sprids data vanligtvis över ett stort antal maskiner. Men i den mån det är möjligt och för att spara resurser bearbetas data ofta på samma server som den lagras.

För att alla tre principerna ska fungera stabilt och följaktligen hög effektivitet i lagring och bearbetning av big data behövs nya banbrytande teknologier, som till exempel blockchain.

Vad är Big Data till för?

Omfattningen av Big Data utökas ständigt:

– Big data kan användas inom medicin. Således är det möjligt att fastställa en diagnos för en patient, inte bara baserat på analys av sjukdomshistorien, utan också med hänsyn till andra läkares erfarenhet, information om miljösituationen i patientens bostadsområde och många andra faktorer.
– Big Data-teknik kan användas för att organisera förflyttning av obemannade fordon.
– Genom att bearbeta stora mängder data kan du känna igen ansikten i foto- och videomaterial.
– Big Data-teknologier kan användas av återförsäljare – handelsföretag kan aktivt använda datamatriser från sociala nätverk för att effektivt anpassa sina reklamkampanjer, som maximalt kan riktas mot ett visst konsumentsegment.
– Den här tekniken används aktivt i organiseringen av valkampanjer, bland annat för analys av politiska preferenser i samhället.
- Användningen av Big Data-teknik är relevant för lösningar i klassen inkomstgaranti (RA), som inkluderar verktyg för att upptäcka inkonsekvenser och djupgående dataanalys, som möjliggör snabb identifiering av eventuella förluster eller förvrängningar av information som kan leda till en minskning i ekonomiska resultat.
- Telekommunikationsleverantörer kan aggregera big data, inklusive geolokalisering; i sin tur kan denna information vara av kommersiellt intresse för reklambyråer som kan använda den för att visa riktad och lokal reklam, såväl som för återförsäljare och banker.
"Big data kan spela en viktig roll för att bestämma om man ska öppna en butik på en specifik plats baserat på data om närvaron av ett kraftfullt målflöde av människor.

Således ligger den mest uppenbara praktiska tillämpningen av Big Data-teknik inom marknadsföringsområdet. Med utvecklingen av internet och spridningen av alla typer av kommunikationsenheter blir beteendedata (som antalet samtal, köpvanor och köp) tillgänglig i realtid.

Big data-teknologier kan också effektivt användas inom finans, för social forskning och inom många andra områden. Experter hävdar att alla dessa möjligheter att använda big data bara är den synliga delen av isberget, eftersom dessa teknologier används i mycket större volymer inom underrättelse- och kontraspionage, i militära angelägenheter, såväl som i allt som vanligtvis kallas informationskrig.

Generellt sett består sekvensen av att arbeta med Big Data av att samla in data, strukturera den mottagna informationen med hjälp av rapporter och dashboards, samt den efterföljande formuleringen av rekommendationer för åtgärder.

Låt oss kort överväga möjligheterna att använda Big Data-tekniker i marknadsföring. Som du vet, för en marknadsförare är information det främsta verktyget för att prognostisera och lägga strategier. Big data-analys har länge använts framgångsrikt för att bestämma målgrupp, intressen, efterfrågan och konsumentaktivitet. Big data-analys, i synnerhet, tillåter visning av annonser (baserad på RTB-auktionsmodellen - Real Time Bidding) endast för de konsumenter som är intresserade av en produkt eller tjänst.

Användningen av Big Data i marknadsföring gör det möjligt för affärsmän att:

- lära känna dina konsumenter bättre, attrahera en liknande publik på Internet;
- bedöma graden av kundnöjdhet;
- förstå om den erbjudna tjänsten motsvarar förväntningar och behov;
- hitta och implementera nya sätt att öka kundernas förtroende;
- skapa projekt som efterfrågas osv.

Till exempel kan tjänsten Google.trends ge en marknadsförare en prognos över säsongsmässig efterfrågeaktivitet för en specifik produkt, fluktuationer och geografi för klick. Om du jämför denna information med de statistiska uppgifterna som samlats in av motsvarande plugin på din egen webbplats, kan du göra upp en plan för fördelningen av reklambudgeten, som anger månad, region och andra parametrar.

Enligt många forskare är det i segmenteringen och användningen av Big Data som framgången för Trumps valkampanj ligger. Teamet för den framtida amerikanska presidenten kunde korrekt dela upp publiken, förstå dess önskningar och visa exakt det budskap som väljarna vill se och höra. Så, enligt Irina Belysheva från Data-Centric Alliance, möjliggjordes Trumps seger till stor del tack vare ett icke-standardiserat tillvägagångssätt för internetmarknadsföring, som baserades på Big Data, psyko-beteendeanalys och personlig reklam.

Trumps politiska strateger och marknadsförare använde en speciellt utvecklad matematisk modell som gjorde det möjligt att djupgående analysera data från alla amerikanska väljare för att systematisera dem, vilket gjorde ultraprecis inriktning inte bara utifrån geografi, utan också utifrån avsikter, väljarnas intressen, deras psykotyp, beteendeegenskaper, etc. Efter På detta sätt organiserade marknadsförare personlig kommunikation med var och en av grupperna av medborgare baserat på deras behov, humör, politiska åsikter, psykologiska egenskaper och även hudfärg, med hjälp av sitt eget budskap för nästan varje enskild väljare.

När det gäller Hillary Clinton, använde hon i sin kampanj "tidstestade" metoder baserade på sociologiska data och standardmarknadsföring, och delade bara in väljarna i formellt homogena grupper (män, kvinnor, afroamerikaner, latinamerikaner, de fattiga, de rika, etc.). ) ...

Som ett resultat var vinnaren den som uppskattade potentialen hos nya tekniker och analysmetoder. Det är anmärkningsvärt att Hillary Clintons kampanjkostnader var dubbelt så höga som hennes motståndare:

Data: Pew Research

De största problemen med att använda Big Data

Utöver den höga kostnaden är en av huvudfaktorerna som hindrar implementeringen av Big Data inom olika områden problemet med att välja vilken data som ska behandlas: det vill säga att bestämma vilken data som behöver extraheras, lagras och analyseras, och vilken som ska inte beaktas.

Ett annat problem med Big Data är etiskt. Med andra ord uppstår en naturlig fråga: kan sådan datainsamling (särskilt utan användarens vetskap) betraktas som en kränkning av integritetens gränser?

Det är ingen hemlighet att informationen som lagras i Googles och Yandex sökmotorer tillåter IT-jättar att ständigt förfina sina tjänster, göra dem användarvänliga och skapa nya interaktiva applikationer. För att göra detta samlar sökmotorer in användardata om användaraktivitet på Internet, IP-adresser, data om geolokalisering, intressen och onlineköp, personuppgifter, e-postmeddelanden etc. Allt detta gör att du kan visa kontextuell reklam i enlighet med användarbeteende på Internet. Samtidigt efterfrågas vanligtvis inte användarnas samtycke för detta, och valet av vilken information de ska lämna om sig själva ges inte. Det vill säga, som standard samlar Big Data in allt som sedan kommer att lagras på dessa sajters servrar.

Detta leder till nästa viktiga problem relaterat till att säkerställa säkerheten för lagring och användning av data. Är till exempel en viss analysplattform som konsumenter automatiskt överför sin data till säker? Dessutom noterar många företagsrepresentanter en brist på högt kvalificerade analytiker och marknadsförare som effektivt kan arbeta med stora mängder data och lösa specifika affärsproblem med deras hjälp.

Trots alla svårigheter med implementeringen av Big Data avser verksamheten att öka investeringarna inom detta område. Enligt en Gartner-studie är ledarna för de branscher som investerar i Big Data media, detaljhandel, telekom, bank och tjänsteföretag.

Utsikter för interaktionen mellan blockchain-teknologier och Big Data

Integration med Big Data har en synergistisk effekt och öppnar ett brett utbud av nya möjligheter för företag, inklusive att tillåta:

- få tillgång till detaljerad information om konsumenternas preferenser, på grundval av vilken det är möjligt att bygga detaljerade analytiska profiler för specifika leverantörer, varor och produktkomponenter;
- Integrera detaljerade uppgifter om transaktioner och statistik över konsumtion av vissa grupper av varor av olika kategorier av användare;
- få detaljerade analytiska data om leverans- och konsumtionskedjor, kontrollera produktförluster under transport (till exempel viktminskning på grund av uttorkning och avdunstning av vissa typer av varor);
- att motverka produktförfalskning, att öka effektiviteten i kampen mot penningtvätt och bedrägerier m.m.

Tillgång till detaljerad information om användning och konsumtion av varor kommer avsevärt att avslöja potentialen hos Big Data-teknik för att optimera viktiga affärsprocesser, minska regulatoriska risker och avslöja nya möjligheter för intäktsgenerering och skapande av produkter som bäst möter nuvarande konsumentpreferenser.

Som ni vet visar representanter för de största finansiella institutionerna, inklusive etc., redan ett stort intresse för blockkedjeteknologi. Enligt Oliver Bussmann, IT-chef för det schweiziska finansbolaget UBS, kan blockkedjeteknik "minska behandlingstiden för transaktioner från flera dagar till flera minuter." ...

Potentialen för blockkedjeanalys med hjälp av Big Data-teknik är enorm. Distribuerad reskontrateknologi säkerställer informationens integritet, samt tillförlitlig och transparent lagring av hela transaktionshistoriken. Big Data ger i sin tur nya verktyg för effektiv analys, prognoser, ekonomisk modellering och öppnar följaktligen upp nya möjligheter att fatta mer balanserade förvaltningsbeslut.

Den tandem av blockchain och Big Data kan framgångsrikt användas inom vården. Som du vet ökar ofullständiga och ofullständiga uppgifter om en patients hälsa avsevärt risken för feldiagnostik och felaktig behandling. Kritiska uppgifter om hälsan hos klienter vid medicinska institutioner bör vara så säkra som möjligt, ha oföränderliga egenskaper, kunna verifieras och inte vara föremål för någon manipulation.

Informationen i blockkedjan uppfyller alla angivna krav och kan fungera som högkvalitativ och tillförlitlig initial data för djupgående analys med hjälp av nya Big Data-teknologier. Dessutom skulle medicinska institutioner med hjälp av blockchain kunna utbyta tillförlitlig data med försäkringsbolag, rättsliga myndigheter, arbetsgivare, vetenskapliga institutioner och andra organisationer i behov av medicinsk information.

Big Data och informationssäkerhet

I vid mening är informationssäkerhet skydd av information och stödjande infrastruktur från oavsiktliga eller avsiktliga negativa effekter av naturlig eller artificiell karaktär.

Inom området informationssäkerhet står Big Data inför följande utmaningar:

- Problem med dataskydd och säkra deras integritet.
- Risken för yttre störningar och läckage av konfidentiell information;
- felaktig lagring av konfidentiell information;
- risken att förlora information, till exempel på grund av någons illvilliga handlingar;
- risken för missbruk av personuppgifter från tredje part, etc.

Ett av de största problemen med big data som blockchain är designad för att lösa ligger inom området informationssäkerhet. Genom att säkerställa överensstämmelse med alla dess grundläggande principer, kan distribuerad reskontrateknologi garantera datas integritet och tillförlitlighet, och på grund av frånvaron av en enda felpunkt gör blockkedjan driften av informationssystem stabil. Distribuerad reskontrateknologi kan hjälpa till att lösa problemet med att lita på data, samt ge möjligheten att utbyta dem universellt.

Information är en värdefull tillgång, vilket innebär att säkerställandet av de viktigaste aspekterna av informationssäkerhet bör stå i förgrunden. För att överleva konkurrensen måste företag hålla jämna steg med tiden, vilket gör att de inte kan bortse från de potentiella möjligheter och fördelar som blockkedjeteknik och Big Data-verktyg erbjuder.

Det förutspåddes att den totala globala datavolymen som skapades och replikerades 2011 kunde vara cirka 1,8 zettabyte (1,8 biljoner gigabyte) - cirka 9 gånger mer än vad som skapades 2006.

Mer komplex definition

Men ` big data"Innebär mer än att bara analysera stora mängder information. Problemet är inte att organisationer skapar enorma mängder data, utan att det mesta presenteras i ett format som inte stämmer väl överens med det traditionella strukturerade databasformatet, såsom webbloggar, videor, textdokument, maskinkod, eller t.ex. , geospatial data. ... Allt detta lagras i många olika arkiv, ibland även utanför organisationen. Som ett resultat kan företag ha tillgång till en enorm mängd av sina data och sakna de nödvändiga verktygen för att upprätta relationer mellan dessa data och dra meningsfulla slutsatser från den. Lägg därtill att data nu uppdateras allt oftare och du får en situation där traditionella metoder för informationsanalys inte kan hänga med i enorma mängder ständigt uppdaterad data, vilket i slutändan öppnar vägen för teknik. big data.

Bästa definitionen

I huvudsak konceptet big data innebär att arbeta med information av en enorm volym och varierande sammansättning, mycket ofta uppdaterad och placerad i olika källor för att öka arbetseffektiviteten, skapa nya produkter och öka konkurrenskraften. Konsultföretaget Forrester sammanfattar: ` Big data kombinera tekniker och teknologier som ger mening med data vid den yttersta gränsen för användbarhet.

Hur stor är skillnaden mellan business intelligence och big data?

Craig Batey, Chief Marketing Officer och Chief Technology Officer, Fujitsu Australia, påpekade att affärsanalys är en beskrivande process för att analysera de resultat som ett företag uppnår under en viss tidsperiod, samtidigt som bearbetningshastigheten big data låter dig göra analysen prediktiv, kapabel att erbjuda affärsrekommendationer för framtiden. Big data låter dig också analysera fler typer av data än Business Intelligence-verktyg, vilket gör att du kan fokusera på mer än bara strukturerad lagring.

Matt Slocum från O "Reilly Radar tror att även om big data och business intelligence har samma mål (att hitta svar på en fråga), de skiljer sig från varandra i tre aspekter.

• Big data är designat för att hantera mer information än business intelligence, och detta är naturligtvis i linje med den traditionella definitionen av big data.
• Big data är utformad för att behandla information som tas emot och förändras snabbare, vilket innebär djup utforskning och interaktivitet. I vissa fall genereras resultaten snabbare än webbsidan laddas.
• Big data är designad för att hantera ostrukturerad data, vars sätt vi bara börjar utforska efter att vi har kunnat samla in och lagra dem, och vi behöver algoritmer och förmågan till dialog för att underlätta sökandet efter trender som finns i dessa arrayer.

Enligt vitboken Oracle Information Architecture: An Architect's Guide to Big Data publicerad av Oracle, närmar vi information annorlunda när vi arbetar med big data än när vi gör affärsanalyser.

Att arbeta med big data är inte som den vanliga business intelligence-processen, där det enkla tillägget av kända värden ger resultat: till exempel blir summan av data på betalda fakturor den årliga försäljningen. När man arbetar med big data erhålls resultatet i processen att rengöra dem med hjälp av sekventiell modellering: först läggs en hypotes fram, en statistisk, visuell eller semantisk modell byggs på grundval av vilken korrektheten av sättningen framåthypotesen kontrolleras, och sedan läggs nästa fram. Denna process kräver att forskaren antingen tolkar visuella värden eller komponerar interaktiva frågor baserade på kunskap, eller utvecklar adaptiva maskininlärningsalgoritmer som kan erhålla det önskade resultatet. Dessutom kan livslängden för en sådan algoritm vara ganska kort.

Big data analystekniker

Det finns många olika metoder för att analysera datamängder, som bygger på verktyg lånade från statistik och datavetenskap (till exempel maskininlärning). Listan gör inte anspråk på att vara komplett, men den återspeglar de mest populära tillvägagångssätten i olika branscher. Samtidigt ska man förstå att forskare fortsätter att arbeta med att skapa nya metoder och förbättra befintliga. Dessutom är vissa av teknikerna som listas ovan inte nödvändigtvis tillämpliga uteslutande på big data och kan framgångsrikt användas för mindre arrayer (till exempel A/B-testning, regressionsanalys). Naturligtvis, ju mer voluminös och diversifierad arrayen analyseras, desto mer exakta och relevanta data kan erhållas vid utgången.

A/B-testning... En teknik där ett kontrollprov jämförs en efter en med andra. Således är det möjligt att identifiera den optimala kombinationen av indikatorer för att till exempel uppnå bästa konsumentrespons på ett marknadsföringsförslag. Big data låter dig utföra ett stort antal iterationer och därmed få ett statistiskt tillförlitligt resultat.

Föreningsregelinlärning... En uppsättning tekniker för att identifiera relationer, d.v.s. associationsregler, mellan variabler i stora datamängder. Använd i datautvinning.

Klassificering... En uppsättning tekniker som låter dig förutsäga konsumentbeteende i ett visst marknadssegment (fatta beslut om köp, utflöde, konsumtion, etc.). Använd i datautvinning.

Klusteranalys... En statistisk metod för att klassificera objekt i grupper genom att identifiera tidigare okända gemensamma drag. Använd i datautvinning.

Crowdsourcing... Metodik för att samla in data från ett stort antal källor.

Datafusion och dataintegration... En uppsättning tekniker som låter dig analysera kommentarer från användare av sociala nätverk och jämföra dem med försäljningsresultat i realtid.

Data mining... En uppsättning metoder som låter dig bestämma de mest mottagliga kategorierna av konsumenter för den produkt eller tjänst som marknadsförs, för att identifiera egenskaperna hos de mest framgångsrika medarbetarna och att förutsäga konsumenternas beteendemodell.

Ensemble lärande... Denna metod använder en mängd olika prediktiva modeller, vilket förbättrar kvaliteten på förutsägelserna.

Genetiska algoritmer... I denna teknik presenteras möjliga lösningar i form av "kromosomer", som kan kombineras och mutera. Liksom i den naturliga evolutionsprocessen överlever de starkaste.

Maskininlärning... Riktningen inom datavetenskap (historiskt sett satt namnet `artificiell intelligens` fast bakom det), som syftar till att skapa självlärande algoritmer baserade på analys av empirisk data.

Naturlig språkbehandling (NLP). En uppsättning tekniker för att känna igen det naturliga språket hos en person lånat från datavetenskap och lingvistik.

Nätverksanalys... En uppsättning metoder för att analysera anslutningar mellan noder i nätverk. Tillämpad på sociala nätverk låter det dig analysera förhållandet mellan enskilda användare, företag, gemenskaper etc.

Optimering... En uppsättning numeriska metoder för att omdesigna komplexa system och processer för att förbättra en eller flera mätvärden. Hjälper till att fatta strategiska beslut, till exempel sammansättningen av den produktlinje som introduceras på marknaden, genomföra investeringsanalyser etc.

Mönsterigenkänning... En uppsättning tekniker med självlärande element för att förutsäga konsumentbeteendemönster.

Prediktiv modellering... En uppsättning tekniker som låter dig skapa en matematisk modell av ett förutbestämt troligt scenario för utveckling av händelser. Till exempel att analysera databasen för ett CRM-system för möjliga förhållanden som kommer att tvinga abonnenter att byta leverantör.

Regression... En uppsättning statistiska metoder för att identifiera mönster mellan en förändring i en beroende variabel och en eller flera oberoende variabler. Det används ofta för prognoser och förutsägelser. Används vid datautvinning.

Sentimentanalys... Metoderna för att bedöma konsumenternas känslor är baserade på teknologier för att känna igen en persons naturliga språk. De låter dig isolera från det allmänna informationsflödet meddelanden relaterade till ämnet av intresse (till exempel en konsumentprodukt). Bedöm sedan polariteten i bedömningen (positiv eller negativ), graden av emotionalitet och så vidare.

Signalbehandling... En uppsättning tekniker lånade från radioteknik, som strävar efter målet att känna igen en signal mot en bakgrund av brus och dess vidare analys.

Rumslig analys... En uppsättning metoder för att analysera rumslig data, delvis lånad från statistik - terrängtopologi, geografiska koordinater, objekts geometri. Källa big data i detta fall används ofta geografiska informationssystem (GIS).

Statistik... Vetenskapen om att samla in, organisera och tolka data, inklusive att utforma frågeformulär och genomföra experiment. Statistiska metoder används ofta för att göra värdebedömningar om sambanden mellan vissa händelser.

Övervakat lärande... En uppsättning tekniker baserade på maskininlärningsteknik som låter dig identifiera funktionella relationer i de analyserade datamängderna.

Simulering... Modellering av beteendet hos komplexa system används ofta för att förutsäga, förutsäga och utveckla olika scenarier i planering.

Tidsserieanalys... En uppsättning metoder för att analysera repetitiva datasekvenser över tid, lånade från statistik och digital signalbehandling. Några av de uppenbara användningsområdena är att spåra aktiemarknaden eller förekomsten av patienter.

Oövervakat lärande... En uppsättning tekniker baserade på maskininlärningsteknik som låter dig avslöja dolda funktionella relationer i de analyserade datamängderna. Har gemensamt med Klusteranalys.

Visualisering... Metoder för grafisk presentation av resultat av big data-analys i form av diagram eller animerade bilder för att underlätta tolkningen och underlätta förståelsen av de resultat som erhålls.

Den visuella presentationen av resultaten från big data-analys är av grundläggande betydelse för deras tolkning. Det är ingen hemlighet att människans uppfattning är begränsad, och forskare fortsätter att bedriva forskning för att förbättra moderna metoder för att presentera data i form av bilder, diagram eller animationer.

Analytiska verktyg

För 2011 gör några av de tillvägagångssätt som anges i föregående underavsnitt eller en viss kombination av dem det möjligt att i praktiken använda analytiska motorer för att arbeta med big data. Från gratis eller relativt billiga öppna system för Big Data-analys kan vi rekommendera:

• Revolution Analytics (baserat på R-språket för matematisk statistik).

Av särskilt intresse på den här listan är Apache Hadoop, en programvara med öppen källkod som har prövats och testats som en dataanalysator av de flesta aktiespårare under de senaste fem åren. Så fort Yahoo öppnade Hadoop-koden för öppen källkodsgemenskap, dök en helt ny Hadoop-produktlinje omedelbart upp i IT-branschen. Nästan alla moderna analysverktyg big data tillhandahålla verktyg för att integrera med Hadoop. Deras utvecklare är både startups och välkända globala företag.

Marknader för lösningar för big data management

Big data-plattformar (BDP, Big Data Platform) som ett sätt att bekämpa digitala ackord

Förmågan att analysera big data, i dagligt tal kallad Big Data, uppfattas som en välsignelse, och entydigt. Men är det verkligen så? Vad kan den skenande ackumuleringen av data leda till? Mest sannolikt till vad inhemska psykologer refererar till som en persons patologiska hamstring, syllogomani eller bildligt talat "Plyushkins syndrom." På engelska kallas den onda passionen att samla på allt hording (från den engelska hamstran - "stock"). Enligt klassificeringen av psykiska sjukdomar klassas Hording som en psykisk störning. I den digitala eran läggs digital (Digital Hoarding) till den traditionella materialackorderingen, både individer och hela företag och organisationer kan drabbas av det ().

Världsmarknaden och den ryska marknaden

Big data Landscape - Stora leverantörer

Intresse för insamling, bearbetning, förvaltning och analysverktyg big data visade nästan alla ledande IT-företag, vilket är ganska naturligt. För det första står de direkt inför detta fenomen i sin egen verksamhet, och för det andra, big dataöppna upp utmärkta möjligheter att utveckla nya marknadsnischer och attrahera nya kunder.

Många startups har dykt upp på marknaden som gör affärer på att bearbeta enorma mängder data. Vissa av dem använder off-the-shelf molninfrastruktur som tillhandahålls av stora aktörer som Amazon.

Teori och praktik av Big Data i industrier

Utvecklingens historia

2017

TmaxSoft-prognos: nästa "våg" av Big Data kommer att kräva modernisering av DBMS

Företag vet att deras enorma mängder data innehåller viktig information om deras verksamhet och kunder. Om ett företag framgångsrikt kan tillämpa denna information, kommer det att ha en betydande fördel gentemot konkurrenterna, och det kommer att kunna erbjuda bättre produkter och tjänster än deras. Men många organisationer kan fortfarande inte använda dem effektivt big data på grund av det faktum att deras äldre IT-infrastruktur inte kan tillhandahålla den nödvändiga lagringskapaciteten, datautbytesprocesser, verktyg och applikationer som krävs för att bearbeta och analysera stora mängder ostrukturerad data för att extrahera värdefull information från dem, sa TmaxSoft.

Dessutom kan den ökade processorkraften som krävs för att analysera ständigt ökande datamängder kräva betydande investeringar i en organisations äldre IT-infrastruktur, såväl som ytterligare underhållsresurser som kan användas för att utveckla nya applikationer och tjänster.

Den 5 februari 2015 släppte Vita huset en rapport som diskuterade hur företag använder " big data"Att sätta olika priser för olika köpare - en praxis som kallas" prisdiskriminering "eller" differentierad prissättning "(personlig prissättning). Rapporten beskriver fördelarna med "big data" för både säljare och köpare, och dess författare drar slutsatsen att många av de problematiska frågor som har uppstått i samband med uppkomsten av big data och differentiell prissättning kan lösas inom ramen för befintliga anti- diskrimineringslagar och lagar som skyddar konsumenternas rättigheter.

För närvarande noterar rapporten att det bara finns anekdotiska bevis på hur företag använder big data i samband med personlig marknadsföring och differentierad prissättning. Denna information visar att säljare använder prissättningsmetoder som kan delas in i tre kategorier:

• studera efterfrågekurvan;
• Styrning och differentierad prissättning baserad på demografiska data; och
• beteendeinriktning och individualiserad prissättning.

Efterfrågekurvastudie: Marknadsförare experimenterar ofta med efterfrågan och konsumentbeteende genom att slumpmässigt tilldela kunderna en av två möjliga prisnivåer. "Dessa experiment är tekniskt sett en form av differentierad prissättning eftersom de resulterar i olika priser för kunderna, även om de är "icke-diskriminerande" i den meningen att alla kunder är lika benägna att "slå" ett högre pris."

Styrning: Det är praxis att presentera produkter för konsumenter baserat på deras demografiska grupp. Således kan ett datorföretags webbplats erbjuda samma bärbara dator till olika typer av köpare till olika priser, fastställda baserat på den information de tillhandahåller om sig själva (till exempel beroende på om användaren är en representant för statliga myndigheter, vetenskaplig eller kommersiell institutioner eller av en individ) eller från deras geografiska plats (till exempel bestämt av en dators IP-adress).

Riktad beteendemarknadsföring och personlig prissättning: I dessa fall används köparens personuppgifter för riktad reklam och personlig prissättning av vissa produkter. Till exempel använder onlineannonsörer data som samlas in av annonsnätverk och genom tredjepartscookies om användaraktivitet på Internet för att rikta in sina annonser. Detta tillvägagångssätt, å ena sidan, gör det möjligt för konsumenter att ta emot reklam för varor och tjänster som är av intresse för dem, med medicinska och ekonomiska frågor) träffade utan deras samtycke.

Även om riktad beteendemarknadsföring är utbredd, finns det relativt få bevis för personlig prissättning i onlinemiljön. Rapporten antyder att detta kan bero på att lämpliga metoder fortfarande utvecklas, eller att företag inte har bråttom att använda individuell prissättning (eller föredrar att hålla tyst om det) – kanske av rädsla för motreaktioner från konsumenter.

Författarna till rapporten menar att "för den enskilda konsumenten är användningen av big data utan tvekan förknippad med både potentiell avkastning och risker." Samtidigt som rapporten inser att det finns problem med öppenhet och diskriminering i användningen av big data, hävdar rapporten att befintliga antidiskriminerings- och konsumentskyddslagar är tillräckliga för att hantera dem. Rapporten understryker dock också behovet av ”löpande övervakning” när företag använder konfidentiell information på ett ogenomskinligt sätt eller på sätt som inte omfattas av det befintliga regelverket.

Denna rapport är en förlängning av Vita husets ansträngningar att undersöka användningen av big data och diskriminerande prissättning på Internet, och deras konsekvenser för amerikanska konsumenter. Tidigare rapporterades att Vita husets arbetsgrupp för big data publicerade sin rapport om denna fråga i maj 2014. Federal Trade Commission (FTC) tog också upp dessa frågor under sitt seminarium i september 2014 om diskriminering i samband med användningen av big data.

2014

Gartner skingra Big Data-myter

Gartners Fall 2014 Policy Brief listar ett antal vanliga myter om Big Data bland CIO:er och motbevisar dem.

• Alla implementerar Big Data-behandlingssystem snabbare än vi

Intresset för Big Data-teknik är rekordstort: ​​73 % av organisationerna som tillfrågades av Gartner-analytiker i år investerar redan i relaterade projekt eller kommer att göra det. Men de flesta av dessa initiativ är fortfarande i ett tidigt skede, och endast 13 % av de tillfrågade har redan implementerat sådana lösningar. Det svåraste är att ta reda på hur man genererar inkomster från Big Data, och bestämma var man ska börja. Många organisationer fastnar i pilotfasen eftersom de inte kan knyta ny teknik till specifika affärsprocesser.

• Vi har så mycket data att vi inte behöver oroa oss för små fel i den.

Vissa CIO:er tror att små dataluckor inte påverkar de övergripande resultaten av stora mängder analys. När det finns mycket data påverkar varje enskilt fel verkligen resultatet mindre, menar analytiker, men själva felen blir fler. Dessutom är de flesta analyserade data externa, av okänd struktur eller ursprung, så sannolikheten för fel ökar. Så i Big Data-världen är kvalitet faktiskt mycket viktigare.

• Big data-teknik kommer att eliminera behovet av dataintegration

Big Data lovar möjligheten att bearbeta data i sitt ursprungliga format med automatisk schemagenerering när den läses. Man tror att detta kommer att möjliggöra analys av information från samma källor med hjälp av flera datamodeller. Många tror att detta också kommer att göra det möjligt för slutanvändare att tolka vilken datauppsättning som helst som de vill. I verkligheten behöver de flesta användare ofta ett traditionellt schemabaserat tillvägagångssätt där data formateras på lämpligt sätt och det finns överenskommelser om nivån på informationens integritet och hur den ska relateras till användningsfallet.

• Det är ingen idé att använda datalager för komplexa analyser

Många systemadministratörer för informationshantering anser att det inte är någon idé att slösa tid på att bygga ett datalager, med tanke på att komplexa analytiska system använder nya typer av data. Faktum är att många komplexa analyssystem använder information från ett datalager. I andra fall måste nya datatyper dessutom förberedas för analys i Big Data-behandlingssystem; du måste fatta beslut om datas lämplighet, principerna för aggregering och den erforderliga kvalitetsnivån - sådan förberedelse kan ske utanför lagret.

• Datasjöar kommer att ersätta datalager

I verkligheten vilseleder leverantörer kunder genom att placera datasjöar som lagringsersättningar eller som kritisk analytisk infrastruktur. De underliggande datasjöteknologierna saknar mognad och bredd av funktionalitet som är inneboende i lagring. Därför bör datahanteringsledare vänta tills sjöarna når samma utvecklingsnivå, enligt Gartner.

Accenture: 92 % av big data-användarna är nöjda med resultatet

Bland de viktigaste fördelarna med big data nämnde respondenterna:

• "Sök efter nya inkomstkällor" (56%),
• "Förbättra kundupplevelsen" (51%),
• "Nya produkter och tjänster" (50%) och
• "Tillströmningen av nya kunder och bibehållandet av lojaliteten hos gamla" (47%).

Många företag har ställts inför traditionella utmaningar när de introducerat ny teknik. För 51% blev säkerheten en stötesten, för 47% - budget, för 41% - brist på nödvändig personal och för 35% - svårigheter att integrera med det befintliga systemet. Nästan alla undersökta företag (cirka 91%) planerar att snart lösa problemet med brist på personal och anställa big data-specialister.

Företag är optimistiska om framtiden för big data-teknik. 89 % tror att de kommer att förändra verksamheten lika mycket som internet. 79 % av de tillfrågade angav att företag som inte gör big data kommer att förlora sin konkurrensfördel.

Respondenterna var dock oeniga om vad som exakt ska betraktas som big data. 65% av de tillfrågade tror att det är "stora datafiler", 60% tror att det är "avancerad analys och analys" och 50% tror att det är "data från visualiseringsverktyg".

Madrid spenderar 14,7 miljoner euro på big data management

I juli 2014 blev det känt att Madrid skulle använda big data-teknik för att hantera urban infrastruktur. Projektkostnaden - 14,7 miljoner euro, grunden för de implementerade lösningarna kommer att vara teknik för analys och hantering av big data. Med deras hjälp kommer stadsförvaltningen att sköta arbetet med varje tjänsteleverantör och betala därefter, beroende på servicenivån.

Vi pratar om administrationens entreprenörer, som övervakar tillståndet på gator, belysning, bevattning, grönområden, rengör territoriet och tar bort, samt återvinner avfall. Under projektet utvecklades 300 nyckelprestandaindikatorer för stadstjänster för speciellt utsedda inspektörer, på basis av vilka 1,5 tusen olika kontroller och mätningar kommer att utföras dagligen. Dessutom kommer staden att börja använda en innovativ teknikplattform som heter Madrid iNTeligente (MiNT) – Smarter Madrid.

2013

Experter: Big Data Peak Fashion

Utan undantag utvecklar alla leverantörer på datahanteringsmarknaden teknologier för Big Data-hantering för närvarande. Denna nya tekniska trend diskuteras också aktivt av det professionella samhället, både utvecklare och branschanalytiker och potentiella konsumenter av sådana lösningar.

Som Datashift fick reda på, från och med januari 2013, fanns det en våg av diskussion kring " big data"Har överskridit alla tänkbara dimensioner. Efter att ha analyserat antalet omnämnanden av Big Data i sociala nätverk, beräknade Datashift att 2012 användes denna term cirka 2 miljarder gånger i inlägg skapade av cirka 1 miljon olika författare runt om i världen. Det motsvarar 260 inlägg per timme, med en topp på 3070 omnämnanden per timme.

Gartner: Varannan CIO är redo att spendera på Big data

Efter flera år av experimenterande med Big data-teknologier och de första implementeringarna 2013 kommer anpassningen av sådana lösningar att öka avsevärt, förutspår Gartner. Forskare undersökte IT-ledare runt om i världen och fann att 42 % av de tillfrågade redan har investerat i Big data-teknik eller planerar att göra sådana investeringar inom nästa år (data från mars 2013).

Företag tvingas spendera pengar på processteknik big data eftersom informationslandskapet förändras snabbt kräver jag nya tillvägagångssätt för informationsbehandling. Många företag har redan insett att big data är avgörande, och genom att arbeta med det kan du uppnå fördelar som inte är tillgängliga med hjälp av traditionella informationskällor och metoder för att bearbeta den. Dessutom väcker den ständiga överdriften av ämnet "big data" i media intresset för relevant teknik.

Frank Buytendijk, vice vd för Gartner, uppmanade till och med företag att dämpa sin glöd, eftersom vissa är oroade över att de släpar efter konkurrenterna i Big Data-förvärv.

"Det finns ingen anledning att oroa sig, möjligheterna att implementera idéer baserade på Big Data-teknik är praktiskt taget oändliga," sa han.

Gartner förutspår att 2015 kommer 20 % av Global 1000-företagen att ha ett strategiskt fokus på "informationsinfrastruktur".

I väntan på nya möjligheter som Big Data-behandlingstekniker kommer att föra med sig, organiserar många organisationer redan processen för att samla in och lagra olika typer av information.

För utbildnings- och statliga organisationer, såväl som företag i branschen, ligger den största potentialen för affärsomvandling i kombinationen av ackumulerad data med så kallad mörk data (bokstavligen "mörk data"), den senare inkluderar e-post, multimedia och andra liknande innehåll. I dataracet, hävdar Gartner, kommer det att vara de som lär sig att hantera en mängd olika informationskällor som vinner.

Cisco Survey: Big Data kommer att hjälpa till att öka IT-budgetarna

I en undersökning våren 2013 undersöktes Cisco Connected World Technology Report, utförd i 18 länder av det oberoende analysföretaget InsightExpress, 1 800 studenter och ett liknande antal unga yrkesverksamma i åldern 18-30 år. Undersökningen genomfördes för att ta reda på graden av beredskap hos IT-avdelningarna att genomföra projekt Big Data och få insikt i associerade utmaningar, tekniska luckor och det strategiska värdet av sådana projekt.

De flesta företag samlar in, registrerar och analyserar data. Icke desto mindre, säger rapporten, står många företag inför en rad komplexa affärs- och informationstekniska utmaningar i relation till Big Data. Till exempel medger 60 procent av de tillfrågade att Big Data-lösningar kan förbättra beslutsprocesser och öka konkurrenskraften, men endast 28 procent sa att de redan får verkliga strategiska fördelar av den samlade informationen.

Mer än hälften av de tillfrågade IT-cheferna tror att Big Data-projekt kommer att bidra till att öka IT-budgetarna i deras organisationer, eftersom det kommer att ställas ökade krav på teknik, personal och yrkeskompetens. Samtidigt förväntar sig mer än hälften av de tillfrågade att sådana projekt kommer att öka IT-budgetarna i deras företag redan 2012. 57 procent är övertygade om att Big Data kommer att öka sina budgetar under de kommande tre åren.

81 procent av de tillfrågade sa att alla (eller åtminstone några) Big Data-projekt kommer att kräva cloud computing. Således kan spridningen av molnteknologier påverka distributionshastigheten för Big Data-lösningar och värdet av dessa lösningar för verksamheten.

Företag samlar in och använder data av en mängd olika typer, både strukturerad och ostrukturerad. Här är källorna från vilka undersökningsdeltagare får sina uppgifter (Cisco Connected World Technology Report):

Nästan hälften (48 procent) av CIO:erna förutspår att belastningen på deras nätverk kommer att fördubblas under de kommande två åren. (Detta gäller särskilt i Kina, där 68 procent av de tillfrågade har denna åsikt, och Tyskland, 60 procent.) 23 procent av de tillfrågade förväntar sig att nätverksbelastningen kommer att tredubblas under de kommande två åren. Samtidigt uppgav endast 40 procent av de tillfrågade att de var beredda för en explosiv tillväxt i volymen av nätverkstrafik.

27 procent av de tillfrågade medgav att de behöver bättre IT-policyer och informationssäkerhetsåtgärder.

21 procent behöver mer bandbredd.

Big Data öppnar nya möjligheter för IT-avdelningar att tillföra värde och bygga starka relationer med affärsenheter, öka intäkterna och stärka företagets finansiella ställning. Big Data-projekt gör IT-avdelningar till en strategisk partner till affärsavdelningar.

Enligt 73 procent av de tillfrågade är det IT-avdelningen som kommer att bli huvudloket för implementeringen av Big Data-strategin. Samtidigt tror de tillfrågade att även andra avdelningar kommer att involveras i implementeringen av denna strategi. Först och främst handlar det om avdelningarna för finans (det namngavs av 24 procent av de tillfrågade), forskning och utveckling (20 procent), drift (20 procent), teknik (19 procent), samt marknadsföring (15 procent) och försäljning (14 procent).

Gartner: Miljontals nya jobb behövs för att hantera Big Data

Världens IT-utgifter kommer att nå 3,7 miljarder USD 2013, vilket är 3,8 % mer än utgifterna för informationsteknologi 2012 (prognosen för slutet av året är 3,6 miljarder USD). Segmentet big data(big data) kommer att växa i mycket snabbare takt, enligt en Gartner-rapport.

År 2015 kommer 4,4 miljoner jobb inom informationsteknologi att skapas för att tjäna big data, varav 1,9 miljoner jobb kommer att finnas i. Dessutom kommer varje sådant jobb att skapa ytterligare tre jobb utanför IT-sektorn, så att bara i USA under de kommande fyra åren kommer 6 miljoner människor att arbeta för att stödja informationsekonomin.

Enligt Gartners experter är huvudproblemet att det inte finns tillräckligt med talang i branschen för detta: både de privata och offentliga utbildningssystemen, till exempel i USA, kan inte förse branschen med ett tillräckligt antal kvalificerade personal. Så av de nämnda nya jobben inom IT kommer endast en av de tre att förses med personal.

Analytiker anser att rollen att odla kvalificerad IT-personal bör tas direkt av företag som är i stort behov av dem, eftersom sådana anställda kommer att bli en port för dem till framtidens nya informationsekonomi.

2012

Första skepsisen mot Big Data

Analytiker på Ovum och Gartner föreslår det för ett trendigt 2012-tema big data det kan vara dags att släppa illusionen.

Termen "Big Data" vid den här tiden syftar vanligtvis på den ständigt växande mängden information som kommer online från sociala medier, från nätverk av sensorer och andra källor, såväl som det växande utbudet av verktyg som används för att bearbeta data och identifiera viktiga affärer - trender.

"På grund av hypen (eller trots det) över idén om big data, såg tillverkare 2012 på denna trend med stort hopp", säger Tony Bayer, analytiker på Ovum.

Bayer sa att DataSift har genomfört en retrospektiv analys av big data som nämns i

En gång hörde jag termen "Big Data" från tyska Gref (chef för Sberbank). De säger att de nu aktivt arbetar med implementering, eftersom detta kommer att hjälpa dem att minska tiden de arbetar med varje kund.

Andra gången jag stötte på det här konceptet var i en kunds webbutik, där vi arbetade och utökade sortimentet från ett par tusen till ett par tiotusentals råvaror.

Tredje gången jag såg att Yandex behövde en stordataanalytiker. Sedan bestämde jag mig för att fördjupa mig i det här ämnet och samtidigt skriva en artikel som kommer att berätta vilken typ av term det är som hetsar toppchefernas sinnen och internetutrymmet.

VVV eller VVVVV

Vanligtvis börjar jag någon av mina artiklar med en förklaring av vad denna term är. Denna artikel kommer inte att vara något undantag.

Detta orsakas dock i första hand inte av viljan att visa hur smart jag är, utan av att ämnet är riktigt komplext och kräver noggrann förklaring.

Du kan till exempel läsa vad big data är på Wikipedia, förstå ingenting och sedan återgå till den här artikeln för att fortfarande förstå definitionen och tillämpligheten för företag. Så låt oss börja med en beskrivning och sedan till affärsexempel.

Big data är big data. Underbart, va? Faktum är att detta från engelska översätts som "big data". Men denna definition är, kan man säga, för dummies.

Viktig... Big data-teknologi är ett tillvägagångssätt/metod för att bearbeta mer data för att få ny information som är svår att bearbeta på konventionella sätt.

Data kan antingen bearbetas (strukturerad) eller fragmenterad (det vill säga ostrukturerad).

Själva termen dök upp relativt nyligen. År 2008 förutspådde en vetenskaplig tidskrift detta tillvägagångssätt som något nödvändigt för att arbeta med en stor mängd information som ökar exponentiellt.

Till exempel ökar varje år informationen på Internet som behöver lagras och bearbetas av sig själv med 40 %. På nytt. + 40 % varje år dyker ny information upp på Internet.

Om de utskrivna dokumenten är begripliga och metoderna för att bearbeta dem också är förståeliga (överföring till elektronisk form, sy till en mapp, nummer), vad ska man då göra med informationen som presenteras i helt andra "bärare" och i andra volymer:

• Internetdokument;
• bloggar och sociala nätverk;
• ljud-/videokällor;
• mätinstrument;

Det finns egenskaper som gör det möjligt att klassificera information och data som big data.

Det vill säga att all data kanske inte är lämplig för analys. Dessa egenskaper innehåller nyckelbegreppet big date. De passar alla i tre V.

1. Volym (från den engelska volymen). Data mäts i termer av den fysiska volymen av "dokumentet" som ska analyseras;
2. Velocity (från engelska velocity). Datan står sig inte i sin utveckling utan växer ständigt, varför de behöver bearbetas snabbt för att få resultat;
3. Variety (från den engelska sorten). Uppgifterna kanske inte har ett enda format. Det vill säga de kan vara spridda, strukturerade eller delvis strukturerade.

Men periodvis läggs ett fjärde V (veracity) och till och med ett femte V (i vissa fall är det lönsamhet, i andra är det ett värde) till VVV.

Någonstans såg jag till och med 7V, vilket kännetecknar data relaterade till big date. Men enligt min mening är detta från en serie (där P läggs till med jämna mellanrum, även om de första 4 räcker för förståelse).

Vem behöver det?

En logisk fråga uppstår, hur kan informationen användas (om något är big date hundratals och tusentals terabyte)? Inte ens det.

Här är informationen. Så varför kom du på en stor dejt då? Vad är användningen av big data i marknadsföring och affärer?

1. Vanliga databaser kan inte lagra och bearbeta (jag talar nu inte ens om analys, utan helt enkelt lagring och bearbetning) av en enorm mängd information.

   Big date löser detta huvudproblem. Lagrar och hanterar information framgångsrikt med en stor volym;

2. Strukturerar information som kommer från olika källor (video, bilder, ljud- och textdokument) till en enda, begriplig och lättsmält form;
3. Bildande av analyser och skapande av korrekta prognoser baserat på strukturerad och bearbetad information.

Det är komplicerat. Enkelt uttryckt, alla marknadsförare som förstår att om du studerar en stor mängd information (om dig, ditt företag, dina konkurrenter, din bransch), kan du få mycket anständiga resultat:

• Full förståelse för ditt företag och din verksamhet i termer av siffror;
• Studera dina konkurrenter. Och detta kommer i sin tur att göra det möjligt att ta sig fram på grund av utbredningen över dem;
• Ta reda på ny information om dina kunder.

Och just för att big data-teknik ger följande resultat, rusar alla med det.

De försöker skruva in den här verksamheten i sitt företag för att få en ökning av försäljningen och en minskning av kostnaderna. Och mer specifikt, då:

1. Ökad korsförsäljning och merförsäljning genom bättre kunskap om kundernas preferenser;
2. Sök efter populära produkter och anledningarna till att de köps (och vice versa);
3. Förbättring av en produkt eller tjänst;
4. Förbättra servicenivån;
5. Ökad lojalitet och kundfokus;
6. Förebyggande av bedrägerier (mer relevant för banksektorn);
7. Minska onödiga kostnader.

Det vanligaste exemplet som ges i alla källor är förstås Apple, som samlar in data om sina användare (telefon, klocka, dator).

Det är på grund av närvaron av ekosystemet som företaget vet så mycket om sina användare och i framtiden använder detta för att göra vinst.

Du kan läsa dessa och andra exempel på användning i någon annan artikel förutom den här.

Vi går till framtiden

Jag ska berätta om ett annat projekt. Snarare om en person som bygger framtiden med hjälp av big data-lösningar.

Det här är Elon Musk och hans Tesla-företag. Hans främsta dröm är att göra bilar autonoma, det vill säga att du sätter dig bakom ratten, slår på autopiloten från Moskva till Vladivostok och ... somnar, för du behöver inte köra bil alls, för han kommer att göra allt han själv.

Det skulle verka fantastiskt? Men nej! Elon gjorde bara mycket klokare än Google, som styr bilar med hjälp av dussintals satelliter. Och han gick åt andra hållet:

1. En dator är installerad i varje såld bil, som samlar all information.

   Allt betyder allt i allmänhet. Om föraren, hans körsätt, vägarna runt honom, andra bilars rörelser. Volymen av sådana data når 20-30 GB per timme;

2. Vidare sänds denna information via satellitkommunikation till den centrala datorn, som är engagerad i behandlingen av dessa data;
3. Baserat på den stora data som denna dator bearbetar byggs en modell av ett obemannat fordon.

Förresten, om det går ganska dåligt för Google och deras bilar råkar ut för olyckor hela tiden, så går Musk, på grund av att de arbetar med big data, mycket bättre, eftersom testmodellerna visar mycket bra resultat.

https://youtu.be/lc2ZVUZ6kno

Men ... Allt handlar om ekonomin. Vad handlar vi om vinst, ja om vinst? Mycket som big date kan lösa har inget med inkomster och pengar att göra.

Googles statistik, som är baserad på big data, visar en intressant sak.

Innan läkare tillkännager början på en epidemi av en sjukdom i en viss region, ökar antalet sökningar för behandling av denna sjukdom avsevärt i denna region.

Således kan korrekt studie av data och deras analys bilda förutsägelser och förutsäga epidemins uppkomst (och följaktligen dess förebyggande) mycket snabbare än myndigheternas slutsats och deras handlingar.

Ansökan i Ryssland

Men Ryssland, som alltid, "bromsar" lite. Så själva definitionen av big data i Ryssland dök upp för inte mer än 5 år sedan (jag pratar om vanliga företag nu).

Och detta trots att detta är en av de snabbast växande marknaderna i världen (droger och vapen ryker nervöst vid sidan av), för varje år växer marknaden för mjukvara för insamling och analys av big data med 32%.

För att karakterisera big data-marknaden i Ryssland påminns jag om ett gammalt skämt. Stor dejt är som sex under 18.

Alla pratar om det, det är mycket hype och lite verklig action kring det, och alla skäms över att erkänna att de själva inte gör det. Det finns faktiskt mycket hype kring detta, men lite verklig action.

Även om det välkända forskningsföretaget Gartner 2015 meddelade att big date inte längre är en ökande trend (som artificiell intelligens, förresten), utan helt oberoende verktyg för analys och utveckling av avancerad teknologi.

De mest aktiva nischerna där big data används i Ryssland är banker/försäkringar (inte utan anledning började jag artikeln med chefen för Sberbank), telekommunikation, detaljhandel, fastigheter och ... den offentliga sektorn.

Som ett exempel ska jag berätta mer detaljerat om ett par sektorer av ekonomin som använder big data-algoritmer.

Banker

Låt oss börja med banker och den information de samlar in om oss och våra handlingar. Till exempel tog jag de TOP 5 ryska bankerna som aktivt investerar i big data:

1. Sberbank;
2. Gazprombank;
3. VTB 24;
4. Alfa Bank;
5. Tinkoff Bank.

Det är särskilt trevligt att se Alfa Bank bland de ryska ledarna. Åtminstone är det trevligt att veta att banken, som du är officiell partner till, förstår behovet av att introducera nya marknadsföringsverktyg i ditt företag.

Men jag vill visa exempel på användning och framgångsrik implementering av big data på banken, som jag gillar för grundarens icke-standardiserade utseende och handlingar.

Jag pratar om Tinkoff Bank. Deras huvuduppgift var att utveckla ett system för att analysera big data i realtid på grund av den växande kundbasen.

Resultat: tiden för interna processer reducerades med minst 10 gånger, och för vissa - mer än 100 gånger.

Nåväl, lite distraktion. Vet du varför jag började prata om Oleg Tinkovs icke-standardiserade upptåg och handlingar?

Det är bara det att, enligt min mening, var det de som hjälpte honom att förvandlas från en genomsnittlig affärsman, av vilken det finns tusentals i Ryssland, till en av de mest kända och igenkännbara entreprenörerna. För att bevisa det, titta på denna ovanliga och intressanta video:

https://youtu.be/XHMaD5HAvfk

Fastighet

Inom fastigheter är allt mycket mer komplicerat. Och det är just det här exemplet som jag vill ge dig för att förstå den stora dejten inom den vanliga verksamheten. Initial data:

1. Stor mängd textdokumentation;
2. Öppen källkod (privata satelliter som sänder jordförändringsdata);
3. En enorm mängd okontrollerad information på Internet;
4. Ständiga förändringar i källor och data.

Och på grundval av detta är det nödvändigt att förbereda och utvärdera värdet av en tomt, till exempel nära en by i Ural. Det kommer att ta ett proffs en vecka.

Russian Society of Appraisers & ROSEKO, som faktiskt implementerade big data-analys med hjälp av mjukvara, kommer att ta inte mer än 30 minuters lugnt arbete. Jämför, vecka och 30 minuter. En kolossal skillnad.

Tja, för ett mellanmål

Naturligtvis kan enorma mängder information inte lagras och bearbetas på enkla hårddiskar.

Och programvaran som strukturerar och analyserar data är i allmänhet immateriella rättigheter och varje gång är det en författares utveckling. Men det finns verktyg på grundval av vilka all denna skönhet skapas:

• Hadoop & MapReduce;
• NoSQL-databaser;
• Data Discovery-klassverktyg.

För att vara ärlig kan jag inte tydligt förklara för dig hur de skiljer sig från varandra, eftersom bekantskap och arbete med dessa saker lärs ut på fysik- och matematikinstitut.

Varför började jag då prata om detta om jag inte kan förklara? Kommer du ihåg i alla filmer att rånare går in i vilken bank som helst och ser ett stort antal av alla möjliga järnbitar kopplade till ledningarna?

Detsamma gäller big date. Här är till exempel en modell som för närvarande är en av de ledande på marknaden.

Stort datumverktyg

Kostnaden i den maximala konfigurationen når 27 miljoner rubel per rack. Detta är förstås lyxversionen. Jag vill att du i förväg testar att skapa big data i ditt företag.

Kort om huvudsaken

Du kanske frågar varför du, ett litet och medelstort företag, behöver arbeta med big data?

På detta kommer jag att svara dig med ett citat från en person: "Inom en snar framtid kommer kunder att efterfråga företag som bättre förstår deras beteende och vanor och bäst matchar dem."

Men låt oss inse det. För att implementera big data i ett litet företag är det nödvändigt att ha inte bara stora budgetar för utveckling och implementering av mjukvara, utan också för underhåll av specialister, åtminstone som en big data analytiker och en sysadmin.

Och nu är jag tyst om att man måste ha sådana uppgifter för behandling.

OK. För småföretag är ämnet nästan inte tillämpligt. Men detta betyder inte att du behöver glömma allt som du läser ovan.

Studera bara inte din egen data, utan resultaten av dataanalyser från välkända utländska och ryska företag.

Till exempel fick detaljhandelskedjan Target, med hjälp av big data-analys, reda på att gravida kvinnor före graviditetens andra trimester (från 1:a till 12:e graviditetsveckan) aktivt köper icke-doftande produkter.

Tack vare den här informationen skickar de rabattkuponger till dem för icke-smaksatta produkter med en begränsad varaktighet.

Och om du till exempel bara är ett väldigt litet café? Det är väldigt enkelt. Använd en lojalitetsapp.

Och efter ett tag och tack vare den samlade informationen kommer du inte bara att kunna erbjuda dina kunder rätter som är relevanta för deras behov, utan också se de mest osålda och mest marginella rätterna med bara ett par klick.

Därav slutsatsen. Det är knappast värt att implementera big data för ett litet företag, men att använda andra företags resultat och utveckling är ett måste.

Moscow_Exchange 6 maj 2015 kl. 20:38

Analytisk granskning av Big Data-marknaden

• Moscow Exchange företagsblogg,
• Big Data

"Big Data"- ett ämne som diskuteras aktivt av teknikföretag. Några av dem lyckades bli desillusionerade med big data, andra - tvärtom, gör det mesta av det för affärer ... En ny analytisk genomgång av den inhemska och globala Big Data-marknaden, utarbetad av Moskvabörsen i samarbete med IPOboard-analytiker , visar vilka trender som är mest relevanta nu på marknaden ... Vi hoppas att informationen kommer att vara intressant och användbar.

VAD ÄR BIG DATA?

Nyckelfunktioner

Big Data är idag en av de viktigaste drivkrafterna för utvecklingen av informationsteknologi. Denna riktning, relativt ny för ryskt företag, har blivit utbredd i västländer. Detta beror på det faktum att i informationsteknologins era, särskilt efter boomen av sociala nätverk, började en betydande mängd information samlas för varje internetanvändare, vilket i slutändan gav utvecklingen av Big Data-riktningen.

Termen "Big Data" orsakar en hel del kontroverser, många tror att det bara betyder mängden ackumulerad information, men glöm inte den tekniska sidan, detta område inkluderar lagringsteknik, datorer och tjänster.

Det bör noteras att detta område omfattar bearbetning av en stor mängd information, vilket är svårt att bearbeta med traditionella metoder *.

Nedan är en jämförande tabell över traditionella och stora databaser.

Big Data-sfären kännetecknas av följande egenskaper:
Volym – volymen av den ackumulerade databasen är en stor mängd information som är mödosam att bearbeta och lagra på traditionella sätt, de kräver ett nytt tillvägagångssätt och förbättrade verktyg.
Hastighet - hastighet, detta tecken indikerar både den ökande hastigheten för dataackumulering (90% av informationen har samlats in under de senaste 2 åren) och hastigheten på databehandling, nyligen har realtidsdatabehandlingsteknik blivit mer efterfrågad.
Mängd - mångfald, d.v.s. möjligheten till samtidig bearbetning av strukturerad och ostrukturerad multiformatinformation. Den största skillnaden mellan strukturerad information är att den kan klassificeras. Ett exempel på sådan information är kundtransaktionsinformation.
Ostrukturerad information inkluderar video, ljudfiler, fri text, information som kommer från sociala nätverk. Idag ingår 80 % av informationen i den ostrukturerade gruppen. Denna information behöver komplex analys för att göra den användbar för vidare bearbetning.
Sannhet - datas tillförlitlighet började användarna lägga allt större vikt vid tillförlitligheten hos tillgängliga data. Internetföretag har till exempel problem med att separera åtgärder som utförs av en robot och en person på företagets webbplats, vilket i slutändan leder till svårigheten att analysera data.
Värde - Värdet av den samlade informationen. Big Data bör vara användbar för företaget och tillföra ett visst värde till det. Till exempel hjälp med att förbättra affärsprocesser, rapportera eller optimera kostnader.

Om ovanstående 5 villkor är uppfyllda kan de ackumulerade datavolymerna klassas som stora.

Användningsområden för Big Data

Användningen av Big Data-teknik är enorm. Så med hjälp av Big Data kan du ta reda på kundernas preferenser, effektiviteten av marknadsföringskampanjer eller göra en riskanalys. Nedan följer resultaten av en undersökning av IBM Institute om användningen av Big Data i företag.

Som du kan se av diagrammet använder de flesta företag Big Data inom området kundservice, det näst populäraste området är operativ effektivitet, inom området riskhantering är Big Data mindre vanligt för tillfället.

Det bör också noteras att Big Data är ett av de snabbast växande områdena inom informationsteknologi, enligt statistiken fördubblas den totala mängden mottagen och lagrad data vart 1,2 år.
Mellan 2012 och 2014 ökade mängden data som överfördes varje månad via mobilnäten med 81 %. Enligt Ciscos uppskattningar var volymen mobiltrafik 2014 2,5 exabyte (en måttenhet för informationsmängden lika med 10 ^ 18 standardbyte) per månad, och 2019 kommer den att vara lika med 24,3 exabyte.
Således är Big Data redan ett etablerat teknikområde, trots sin relativt unga ålder, som har spridit sig inom många affärsområden och spelar en viktig roll i företagens utveckling.

Big Data-teknik

Teknologier som används för att samla in och bearbeta Big Data kan delas in i tre grupper:

• Programvara;
• Utrustning;
• Servicetjänster.

De vanligaste metoderna för databehandling (mjukvara) inkluderar:
SQL - ett strukturerat frågespråk som låter dig arbeta med databaser. Med hjälp av SQL kan du skapa och modifiera data, och motsvarande databashanteringssystem sköter hanteringen av datamängden.
NoSQL - termen står för Not Only SQL (inte bara SQL). Den innehåller ett antal tillvägagångssätt som syftar till att implementera en databas som skiljer sig från de modeller som används i traditionella, relationella DBMS. De är bekväma att använda när datastrukturen ständigt förändras. Till exempel för att samla in och lagra information på sociala nätverk.
MapReduce - beräkningsfördelningsmodell. Används för parallell beräkning av mycket stora datamängder (petabyte * eller mer). I programmeringsgränssnittet överförs inte data till programmet för bearbetning, utan programmet överförs till datan. Därför är begäran ett separat program. Funktionsprincipen består i sekventiell databehandling med två metoder Map och Reduce. Map hämtar preliminära data, Reduce aggregerar den.
Hadoop - används för att implementera sök- och kontextuella mekanismer för webbplatser med hög belastning - Facebook, eBay, Amazon, etc. En utmärkande egenskap är att systemet är skyddat från fel i någon av klusternoderna, eftersom varje block har minst en kopia av data på den andra noden.
SAP HANA Är en högpresterande NewSQL-plattform för datalagring och bearbetning. Ger hög hastighet för bearbetning av förfrågningar. En annan utmärkande egenskap är att SAP HANA förenklar systemlandskapet genom att minska kostnaderna för att stödja analytiska system.

Teknisk utrustning inkluderar:

• servrar;
• infrastrukturutrustning.

Servrar inkluderar datalager.
Infrastrukturutrustning inkluderar plattformsacceleratorer, avbrottsfri strömförsörjning, serverkonsolsatser, etc.

Servicetjänster.
Tjänsterna inkluderar tjänster för att bygga upp databassystemets arkitektur, arrangera och optimera infrastrukturen samt säkerställa säkerheten för datalagring.

Programvara, hårdvara och tjänster bildar tillsammans komplexa plattformar för lagring och analys av data. Företag som Microsoft, HP, EMC erbjuder tjänster för utveckling, driftsättning och hantering av Big Data-lösningar.

Tillämpning i industrier

Big Data har blivit utbredd i många branscher. De används inom sjukvård, telekommunikation, handel, logistik, finansiella företag och myndigheter.
Nedan finns några exempel på Big Data-applikationer inom några av branscherna.

Detaljhandeln
I butikernas databaser kan mycket information om kunder, lagerhanteringssystemet och utbudet av säljbara produkter samlas. Denna information kan vara användbar i alla delar av butikerna.

Så med hjälp av den ackumulerade informationen kan du hantera leveransen av varor, deras lagring och försäljning. Baserat på den ackumulerade informationen är det möjligt att förutsäga efterfrågan och tillgång på varor. Databehandlings- och analyssystemet kan också lösa andra problem för återförsäljaren, till exempel att optimera kostnader eller förbereda rapporter.

Finansiella tjänster
Big Data gör det möjligt att analysera kreditvärdigheten hos en låntagare, och den är även användbar för kreditscoring * och underwriting **. Införandet av Big Data-teknik kommer att minska tiden för behandling av låneansökningar. Med hjälp av Big Data kan du analysera en specifik kunds transaktioner och erbjuda banktjänster som passar honom.

Telekom
Inom telekommunikationsbranschen används Big Data flitigt av mobiloperatörer.
Mobiloperatörer, tillsammans med finansiella institutioner, har en av de mest omfattande databaserna, vilket gör att de kan utföra den mest djupgående analysen av den ackumulerade informationen.
Huvudmålet med dataanalys är att behålla befintliga kunder och attrahera nya. För att göra detta segmenterar företag kunder, analyserar deras trafik och bestämmer abonnentens sociala tillhörighet.

Förutom att använda Big Data för marknadsföringsändamål används teknologier för att förhindra bedrägliga finansiella transaktioner.

Gruv- och oljeindustri
Big Data används i både gruvdrift och bearbetning och marknadsföring. Baserat på den mottagna informationen kan företag dra slutsatser om effektiviteten av fältutveckling, spåra schemat för översyn och utrustningens tillstånd, förutsäga efterfrågan på produkter och priser.

Enligt en Tech Pro Research-undersökning är Big Data mest utbredd inom telekommunikationsindustrin, såväl som inom ingenjörs-, IT-, finans- och statliga företag. Enligt resultaten av denna undersökning är Big Data mindre populärt inom utbildning och sjukvård. Enkätresultaten presenteras nedan:

Exempel på användning av Big Data i företag

Idag implementeras Big Data aktivt i utländska företag. Företag som Nasdaq, Facebook, Google, IBM, VISA, Master Card, Bank of America, HSBC, AT&T, Coca Cola, Starbucks och Netflix använder redan Big Data.

Användningsområdena för den behandlade informationen är varierande och varierar beroende på bransch och vilka uppgifter som ska utföras.
Ytterligare exempel på tillämpningen av Big Data-teknologier i praktiken kommer att presenteras.

HSBC använder Big Data-teknik för att bekämpa bedrägliga transaktioner med plastkort. Med hjälp av Big Data ökade företaget effektiviteten i säkerhetstjänsten 3 gånger, och upptäckten av bedrägliga incidenter - 10 gånger. Den ekonomiska effekten av införandet av dessa teknologier översteg 10 miljoner USD.

Antibedrägeri * VISA gör det möjligt att automatiskt beräkna bedrägliga transaktioner, systemet hjälper för närvarande till att förhindra bedrägliga betalningar till ett belopp av 2 miljarder USD årligen.

Superdator Watson Company IBM analyserar flödet av data om monetära transaktioner i realtid. Enligt IBM ökade Watson antalet upptäckta bedrägliga transaktioner med 15 %, minskade falska positiva resultat med 50 % och ökade mängden medel som skyddades mot sådana transaktioner med 60 %.

Procter & Gamble med hjälp av Big Data designar de nya produkter och komponerar globala marknadsföringskampanjer. P&G har etablerat dedikerade Business Spheres-kontor där information kan ses i realtid.
Sålunda kunde företagets ledning omedelbart testa hypoteser och genomföra experiment. P&G tror att Big Data hjälper till att förutsäga företagets resultat.

Återförsäljare av kontorsmaterial OfficeMax med hjälp av Big Data-teknik analyserar de kundernas beteende. Big Data-analys gjorde att vi kunde öka B2B-intäkterna med 13 % och minska kostnaderna med 400 000 USD per år.

Enligt yttrandet Caterpillar , förlorar dess distributörer 9 miljarder USD till 18 miljarder USD årligen i vinst bara för att de inte implementerar Big Data-teknik. Big Data skulle göra det möjligt för kunder att mer effektivt hantera sin bilpark genom att analysera information som kommer från sensorer installerade på bilar.

Redan idag är det möjligt att analysera nyckelkomponenternas tillstånd, deras slitage, hantera bränsle- och underhållskostnader.

Luxottica-gruppen är en tillverkare av sportglasögon som Ray-Ban, Persol och Oakley. Företaget använder Big Data-teknik för att analysera potentiella kunders beteende och "smart" SMS-marknadsföring. Som ett resultat tilldelade Big Data Luxottica-gruppen mer än 100 miljoner av de mest värdefulla kunderna och ökade effektiviteten i marknadsföringskampanjen med 10 %.

Med hjälp av Yandex Data Factory, spelutvecklare World of tanks analysera spelarnas beteende. Big Data-teknik gjorde det möjligt att analysera beteendet hos 100 tusen World of Tanks-spelare med hjälp av mer än 100 parametrar (information om köp, spel, upplevelse, etc.). Som ett resultat av analysen erhölls en prognos för användaravgång. Denna information hjälper till att minska användare som lämnar dem och att arbeta med speldeltagare på ett målinriktat sätt. Den utvecklade modellen visade sig vara 20-30% effektivare än standardverktyg för att analysera spelindustrin.

tyska arbetsministeriet använder Big Data i sitt arbete relaterat till analys av inkommande ansökningar om utfärdande av arbetslöshetsersättning. Så efter att ha analyserat informationen stod det klart att 20 % av förmånerna betalades ut oförtjänt. Med hjälp av Big Data har arbetsministeriet sänkt kostnaderna med 10 miljarder euro.

Barnsjukhuset Toronto genomfört Project Artemis-projektet. Det är ett informationssystem som samlar in och analyserar data om bebisar i realtid. Systemet övervakar 1260 indikatorer för varje barns tillstånd varje sekund. Projekt Artemis gör det möjligt att förutsäga ett barns instabila tillstånd och börja förebygga sjukdomar hos barn.

GLOBAL BIG DATA MARKNADSÖVERSIKT

Aktuellt läge på världsmarknaden

Under 2014 blev Big Data, enligt Data Collective, ett av de prioriterade investeringsområdena inom riskkapitalbranschen. Enligt informationsportalen Computerra beror detta på att utvecklingen inom detta område har börjat ge betydande resultat för deras användare. Under det senaste året har antalet företag med genomförda projekt inom området big data management ökat med 125%, marknadsvolymen har vuxit med 45% jämfört med 2013.

De flesta av intäkterna från Big Data-marknaden, enligt Wikibon, bestod 2014 av tjänster, deras andel var lika med 40% av den totala intäkten (se diagrammet nedan):

Om vi ​​tar hänsyn till Big Data för 2014 efter undertyper, kommer marknaden att se ut så här:

Enligt Wikibon kom applikationer och analys för 36 % av Big Data-intäkterna 2014 från Big Data-applikationer och analys, 17 % från datorutrustning och 15 % från datalagringsteknik. Minst av alla intäkter genererades av NoSQL-teknologier, infrastrukturutrustning och tillhandahållande av ett nätverk av företag (företagsnätverk).

De mest populära är sådana Big Data-teknologier som in-memory-plattformar för SAP, HANA, Oracle, etc. Resultaten av T-Systems undersökning visade att de valdes av 30% av de undersökta företagen. Näst mest populära var NoSQL-plattformar (18% av användarna), företag använde även analytiska plattformar från Splunk och Dell, de valdes av 15% av företagen. De minst användbara för att lösa Big Data-problem, enligt undersökningsresultaten, var Hadoop / MapReduce-produkter.

Enligt en Accenture-undersökning spenderar mer än 50 % av företag som använder Big Data-teknik 21 % till 30 % på Big Data.
Enligt följande analys av Accenture tror 76 % av företagen att dessa utgifter kommer att öka under 2015, och 24 % av företagen kommer inte att ändra sin budget för Big Data-teknik. Detta tyder på att Big Data i dessa företag redan har blivit en etablerad riktning för IT, som har blivit en integrerad del av företagets utveckling.

Resultaten av undersökningen Economist Intelligence Unit bekräftar den positiva effekten av att implementera Big Data. 46% av företagen säger att de har förbättrat kundservicen med mer än 10% med hjälp av Big Data-teknik, 33% av företagen har optimerat lager och förbättrat produktiviteten för anläggningstillgångar, 32% av företagen har förbättrade planeringsprocesser.

Big data runt om i världen

Idag implementeras Big Data-teknik oftast i amerikanska företag, men även nu har andra länder i världen börjat visa intresse. Under 2014, enligt IDC, stod länderna i Europa, Mellanöstern, Asien (exklusive Japan) och Afrika för 45 % av marknaden för mjukvara, tjänster och utrustning inom området Big Data.

Enligt en CIO-undersökning antar företag från Asien-Stillahavsområdet snabbt nya lösningar inom området Big Data-analys, säker lagring och molnteknik. Latinamerika ligger på andra plats när det gäller mängden investeringar i utvecklingen av Big Data-teknologier, före länderna i Europa och USA.
Därefter kommer en beskrivning och prognoser för utvecklingen av Big Data-marknaden i flera länder att presenteras.

Kina
Informationsmängden i Kina är 909 exabyte, vilket är lika med 10% av den totala informationsmängden i världen, år 2020 kommer informationsmängden att nå 8060 exabyte, och andelen information i global statistik kommer också att öka, i 5 år blir det 18%. Den potentiella tillväxten av Kinas Big Data har en av de snabbast växande dynamiken.

Brasilien
I slutet av 2014 ackumulerade Brasilien 212 exabyte information, vilket är 3 % av den globala volymen. År 2020 kommer informationsvolymen att växa till 1 600 exabyte, eller 4 % av världens information.

Indien
Enligt EMC är volymen ackumulerad data i Indien i slutet av 2014 326 exabyte, vilket är 5 % av den totala informationsvolymen. År 2020 kommer informationsvolymen att växa till 2 800 exabyte, eller 6 % av informationen i hela världen.

Japan
Mängden ackumulerad data i Japan i slutet av 2014 är 495 exabyte, vilket är 8 % av den totala mängden information. År 2020 kommer informationsvolymen att växa till 2 200 exabyte, men Japans marknadsandel kommer att minska till 5 % av den totala informationsvolymen i hela världen.
Således kommer storleken på den japanska marknaden att minska med mer än 30%.

Tyskland
Enligt EMC är volymen ackumulerad data i Tyskland i slutet av 2014 230 exabyte, vilket är 4 % av den totala informationsvolymen i världen. År 2020 kommer informationsvolymen att växa till 1 100 exabyte, eller 2 %.
På den tyska marknaden kommer en stor andel av intäkterna, enligt Experton Groups prognoser, att genereras av tjänstesegmentet, vars andel 2015 kommer att vara 54% och 2019 kommer att öka till 59%, andelen mjukvara och hårdvara, tvärtom, kommer att minska.

Totalt sett kommer marknaden att växa från 1,345 miljarder euro 2015 till 3,198 miljarder euro 2019, med en genomsnittlig tillväxttakt på 24 %.
Baserat på CIO- och EMC-analyser kan man alltså dra slutsatsen att utvecklingsländerna i världen under de kommande åren kommer att bli marknader för aktiv utveckling av Big Data-teknologier.

Huvudsakliga marknadstrender

Enligt IDG Enterprise kommer företagens utgifter för Big Data 2015 att uppgå till i genomsnitt 7,4 miljoner USD per företag, stora företag har för avsikt att spendera cirka 13,8 miljoner USD, små och medelstora företag - 1,6 miljoner USD. ...
Det mesta kommer att investeras i områden som dataanalys och visualisering och datainsamling.
I linje med nuvarande trender och efterfrågan på marknaden kommer investeringar under 2015 att användas för att förbättra datakvaliteten, förbättra planering och prognoser samt öka databehandlingshastigheten.
Företag inom finanssektorn, enligt Bain Companys Insights Analysis, kommer att göra betydande investeringar, så under 2015 är det planerat att spendera 6,4 miljarder dollar på Big Data-teknik, den genomsnittliga tillväxttakten för investeringar kommer att vara 22% fram till 2020. Internetföretag planerar att spendera 2,8 miljarder dollar, med en genomsnittlig tillväxttakt på 26 % för utgifter för Big Data.
När man genomförde en undersökning av Economist Intelligence Units undersökning, identifierades de prioriterade riktningarna för utvecklingen av Big Data under 2014 och under de kommande 3 åren, fördelningen av svaren är följande:

Enligt IDC:s prognoser är marknadstrenderna följande:

• Under de kommande 5 åren kommer kostnaden för molnlösningar inom området Big Data-teknik att växa 3 gånger snabbare än kostnaden för lokala lösningar. Hybridlagringsplattformar kommer att efterfrågas.
• Tillväxten av applikationer som använder komplex och prediktiv analys, inklusive maskininlärning, kommer att accelerera under 2015, marknaden för sådana applikationer kommer att växa 65 % snabbare än applikationer som inte använder prediktiv analys.
• Medieanalys kommer att tredubblas under 2015 och kommer att bli en viktig tillväxtmotor för Big Data-teknikmarknaden.
• Trenden kommer att accelerera att implementera lösningar för att analysera det kontinuerliga flödet av information som är tillämpligt på Internet of Things.
• År 2018 kommer 50 % av användarna att interagera med kognitiva datortjänster.

Marknadsdrivare och begränsningar

IDC-experter identifierade tre drivkrafter för Big Data-marknaden under 2015:

Enligt en Accenture-undersökning är datasäkerhetsfrågor nu det främsta hindret för implementeringen av Big Data-teknik, med mer än 51 % av de tillfrågade bekräftade att de är oroliga för att säkerställa dataskydd och konfidentialitet. 47 % av företagen rapporterade att det var omöjligt att implementera Big Data på grund av en begränsad budget, 41 % av företagen angav brist på kvalificerad personal som ett problem.

Wikibon förutspår att storleken på Big Data-marknaden kommer att växa till 38,4 miljarder dollar 2015 och kommer att öka med 36% jämfört med föregående år. Under de kommande åren kommer det att ske en nedgång i tillväxttakten till 10 % 2017. Baserat på dessa prognoser kommer marknadsstorleken 2020 att vara lika med 68,7 miljarder USD.

Fördelningen av den globala Big Data-marknaden per företagskategori kommer att se ut så här:

Som du kan se från diagrammet kommer det mesta av marknaden att vara ockuperat av tekniker från området för att förbättra kundservice. Punktmarknadsföring kommer att ligga på andra plats prioriterat bland företagen fram till 2019, 2020 ska den enligt Heavy Reading-prognosen ge vika för lösningar för att förbättra den operativa effektiviteten.
Segmentet ”förbättring av kundservice” kommer också att ha den högsta tillväxttakten, en ökning med 49 % årligen.
Marknadsprognosen för Big Data-undertyper kommer att se ut så här:

Den dominerande marknadsandelen, som framgår av diagrammet, upptas av professionella tjänster; applikationer med analys kommer att ha den högsta tillväxttakten, deras andel kommer att växa från nuvarande 12 % till 18 % 2020, och volymen för detta segment kommer att vara lika med 12,3 miljarder USD. Andelen datorutrustning, tvärtom, kommer att falla från 20 % till 14 % och kommer att uppgå till cirka 9,3 miljarder USD 2020, molnteknologimarknaden kommer gradvis att öka och kommer 2020 att nå USD 6,3 miljarder, kommer marknadsandelen för lösningar för datalagring tvärtom att minska från 15 % 2014 till 13 % 2020 och i monetära termer blir lika med 8,9 miljarder USD.
Enligt prognosen från Bain & Company's Insights Analysis kommer fördelningen av Big Data-marknaden per bransch år 2020 att se ut så här:

• Finansbranschen kommer att spendera 6,4 miljarder USD på Big Data med en genomsnittlig tillväxttakt på 22 % per år;
• Internetföretag kommer att spendera 2,8 miljarder USD och en genomsnittlig kostnadsökning på 26 % under de kommande 5 åren;
• Den offentliga sektorns kostnader kommer att stå i proportion till Internetföretagens kostnader, men tillväxttakten blir lägre - 22 %;
• Telekommunikationssektorn kommer att växa med en genomsnittlig tillväxttakt på 40 % för att nå 1,2 miljarder USD 2020;

Utilities kommer att investera ett relativt litet belopp på 800 miljoner USD i dessa teknologier, men tillväxttakten kommer att vara en av de högsta med 54 % årligen.
Således kommer en stor del av Big Data-marknaden år 2020 att vara ockuperad av företag inom finansbranschen, och den snabbast växande sektorn kommer att vara energi.
Efter analytikers prognoser kommer den totala marknadsvolymen att öka under de kommande åren. Marknadstillväxt kommer att säkerställas genom introduktionen av Big Data-teknik i världens utvecklingsländer, vilket framgår av grafen nedan.

Den beräknade marknadsstorleken kommer att bero på hur utvecklingsländer uppfattar Big Data-teknik, om de är lika populära som i utvecklade länder. 2014 stod världens utvecklingsländer för 40 % av den ackumulerade informationen. EMC förutspår att den nuvarande marknadsstrukturen, dominerad av utvecklade länder, kommer att förändras under 2017. Enligt EMC-analytiker kommer andelen utvecklingsländer 2020 att vara över 60 %.
Enligt Cisco och EMC kommer utvecklingsländerna i världen att vara ganska aktiva i arbetet med Big Data, till stor del på grund av tillgången på teknologier och ackumuleringen av en tillräcklig mängd information till nivån av Big Data. Världskartan på nästa sida visar prognosen för ökningen av volymen och tillväxttakten för Big Data per region.

ANALYS AV DEN RYSKA MARKNADEN

Nuvarande tillstånd på den ryska marknaden

Enligt en studie av CNews Analytics och Oracle har mognadsnivån på den ryska Big Data-marknaden ökat under det senaste året. Respondenter från 108 stora företag inom ett brett spektrum av branscher visade en högre grad av medvetenhet om dessa tekniker, såväl som en etablerad förståelse för potentialen hos sådana lösningar för deras verksamhet.
Från och med 2014, enligt IDC, har 155 exabyte av information ackumulerats i Ryssland, vilket bara är 1,8 % av världens data. Informationsvolymen år 2020 kommer att nå 980 exabyte och kommer att ta 2,2 %. Således kommer den genomsnittliga tillväxttakten för informationsvolymen att vara 36 % per år.
IDC uppskattar den ryska marknaden till 340 miljoner dollar, varav 100 miljoner dollar är SAP-lösningar, cirka 240 miljoner dollar är liknande lösningar från Oracle, IBM, SAS, Microsoft, etc.
Tillväxttakten för den ryska Big Data-marknaden är inte mindre än 50 % per år.
Det förutspås att positiv dynamik kommer att fortsätta i denna sektor av den ryska IT-marknaden, även i samband med en allmän stagnation av ekonomin. Detta beror på att företag fortfarande efterfrågar lösningar som förbättrar den operativa effektiviteten, samt optimerar kostnaderna, förbättrar prognosnoggrannheten och minimerar möjliga företagsrisker.
De viktigaste leverantörerna av Big Data-tjänster på den ryska marknaden är:

• Orakel
• Microsoft
• Cloudera
• Hortonworks
• Teradata.

Marknadsöversikt efter bransch och erfarenhet av att använda Big Data i företag

Enligt CNews har bara 10% av företagen i Ryssland börjat använda Big Data-teknik, när andelen sådana företag i världen är cirka 30%. Beredskapen för Big Data-projekt växer i många sektorer av den ryska ekonomin, enligt rapporten från CNews Analytics och Oracle. Mer än en tredjedel av de tillfrågade företagen (37 %) har börjat arbeta med Big Data-teknik, bland vilka 20 % redan använder sådana lösningar och 17 % börjar experimentera med dem. En andra tredjedel av de tillfrågade överväger för närvarande denna möjlighet.

I Ryssland är Big Data-tekniker mer populära inom banksektorn och telekom, men de är också efterfrågade inom gruvindustrin, energi, detaljhandeln, logistikföretag och den offentliga sektorn.
Nedan kommer vi att överväga exempel på tillämpningen av Big Data i ryska verkligheter.

Telekom
Telekomoperatörer har en av de mest omfattande databaserna, vilket gör att de kan utföra den mest djupgående analysen av den ackumulerade informationen.
Ett av tillämpningsområdena för Big Data-teknik är lojalitetshantering för abonnenter.
Huvudmålet med dataanalys är att behålla befintliga kunder och attrahera nya. För att göra detta segmenterar företag kunder, analyserar deras trafik och bestämmer abonnentens sociala tillhörighet. Förutom att använda information för marknadsföringsändamål används telekomtekniker för att förhindra bedrägliga finansiella transaktioner.
VimpelCom är ett av de slående exemplen i denna bransch. Företaget använder Big Data för att förbättra kvaliteten på tjänsterna på varje abonnentnivå, förbereda rapportering, analysera data för nätverksutveckling, bekämpa spam och anpassa tjänster.

Banker
En betydande andel av Big Data-användarna är specialister från finansbranschen. Ett av de framgångsrika experimenten utfördes på Ural Bank for Reconstruction and Development, där informationsbasen användes för att analysera kunder, banken började erbjuda specialiserade låneerbjudanden, insättningar och andra tjänster. Under året då dessa teknologier användes växte företagets låneportfölj till privatkunder med 55 %.
Alfa-Bank analyserar information från sociala nätverk, behandlar låneansökningar och analyserar beteendet hos användare av företagets webbplats.
Sberbank började också bearbeta en enorm mängd data för att segmentera kunder, förhindra bedrägliga aktiviteter, korsförsäljning och hantera risker. I framtiden är det planerat att förbättra tjänsten och analysera kundåtgärder i realtid.
All-Russian Regional Development Bank analyserar beteendet hos plastkortsinnehavare. Detta gör det möjligt att identifiera transaktioner som är atypiska för en viss kund, vilket ökar sannolikheten för att upptäcka stöld av pengar från plastkort.

Detaljhandeln
I Ryssland har Big Data-teknik implementerats av både online- och offlinehandelsföretag. Idag, enligt CNews Analytics, används Big Data av 20 % av återförsäljarna. 75 % av återförsäljarna anser att Big Data är avgörande för att utveckla en konkurrenskraftig marknadsföringsstrategi. Enligt Hadoop-statistiken, efter implementeringen av Big Data-teknik, växer vinsten i branschorganisationer med 7-10%.
M.Videos specialister talar om förbättringen av logistikplaneringen efter implementeringen av SAP HANA, och som ett resultat av dess implementering har utarbetandet av årsrapporter minskat från 10 dagar till 3, hastigheten för daglig datanedladdning har minskat från 3 timmar till 30 minuter.
Wikimart använder dessa tekniker för att generera rekommendationer för webbplatsbesökare.
En av de första offlinebutikerna som introducerade Big Data-analys i Ryssland var Lenta. Med hjälp av Big Data började detaljhandeln studera information om kunder från kassakvitton. Återförsäljaren samlar in information för att generera beteendemodeller, vilket gör det möjligt för dem att fatta mer välgrundade beslut på operativ och affärsmässig nivå.

Olje- och gasindustrin
I den här branschen är tillämpningsområdet för Big Data ganska brett. Big Data-teknik kan användas vid utvinning av mineraler från undergrunden. Med deras hjälp kan du analysera själva produktionsprocessen och de mest effektiva sätten att extrahera den, spåra borrningsprocessen, analysera kvaliteten på råvaror samt bearbetning och marknadsföring av slutprodukten. I Ryssland har Transneft och Rosneft redan börjat använda dessa teknologier.

Statliga organ
Länder som Tyskland, Australien, Spanien, Japan, Brasilien och Pakistan använder Big Data-teknik för att hantera nationella frågor. Dessa tekniker hjälper statliga organ att mer effektivt tillhandahålla tjänster till befolkningen, ge riktat socialt stöd.
I Ryssland började dessa tekniker att bemästras av sådana statliga organ som pensionsfonden, den federala skattetjänsten och den obligatoriska sjukförsäkringsfonden. Potentialen för att genomföra projekt med hjälp av Big Data är stor, dessa tekniker skulle kunna bidra till att förbättra kvaliteten på tjänsterna och, som ett resultat, levnadsstandarden för befolkningen.

Logistik och transport
Big Data kan även användas av transportföretag. Med hjälp av Big Data-teknologier är det möjligt att spåra parkeringen, ta hänsyn till bränslekostnader och övervaka kundförfrågningar.
Ryska järnvägarna implementerade Big Data-teknologier tillsammans med SAP. Dessa tekniker bidrog till att minska rapporteringsperioden med 43,5 gånger (från 14,5 timmar till 20 minuter) och att förbättra noggrannheten i kostnadsfördelningen med 40 gånger. Big Data introducerades också i planerings- och taxeregleringsprocesserna. Totalt använder företag mer än 300 system baserade på SAP-lösningar, 4 datacenter är involverade och antalet användare är 220 000.

Huvudsakliga drivkrafter och marknadsbegränsningar

Drivkrafterna för utvecklingen av Big Data-teknik på den ryska marknaden är:

• Ökat intresse från användarnas sida för Big Datas möjligheter som ett sätt att öka företagets konkurrenskraft;
• Utveckling av metoder för bearbetning av mediafiler på global nivå;
• Överföring av servrar som behandlar personlig information till Rysslands territorium, i enlighet med den antagna lagen om lagring och behandling av personuppgifter;
• Genomförande av sektorsplanen för importsubstitution av programvara. Denna plan inkluderar statligt stöd för inhemska mjukvarutillverkare, samt tillhandahållande av preferenser för inhemska IT-produkter vid inköp på offentliga bekostnad.
• I den nya ekonomiska situationen, när dollarkursen nästan har fördubblats, kommer det att finnas en trend mot mer och mer användning av ryska molnleverantörers tjänster än utländska.
• Skapande av technoparker som bidrar till utvecklingen av informationsteknologimarknaden, inklusive Big Data-marknaden;
• Statligt program för implementering av nätsystem, som är baserade på Big Data-teknik.

De huvudsakliga hindren för utvecklingen av Big Data på den ryska marknaden är:

• Säkerställa datasäkerhet och konfidentialitet;
• Brist på kvalificerad personal;
• Brist på ackumulerade informationsresurser till nivån Big Data i de flesta ryska företag;
• Svårigheter med att introducera ny teknik i företags etablerade informationssystem;
• Den höga kostnaden för Big Data-teknik, vilket leder till ett begränsat antal företag som kan implementera dessa tekniker;
• Politisk och ekonomisk osäkerhet som ledde till kapitalutflöde och frysning av investeringsprojekt i Ryssland;
• De stigande priserna på importerade produkter och en ökning av inflationen, enligt IDC, bromsar utvecklingen av hela IT-marknaden.

Rysk marknadsprognos

Från och med idag är den ryska Big Data-marknaden inte lika populär som i utvecklade länder. Majoriteten av ryska företag visar intresse för det, men vågar inte ta vara på sina möjligheter.
Exempel på stora företag som redan har dragit nytta av Big Data-tekniker är att öka medvetenheten om kraften i dessa tekniker.
Analytiker är också ganska optimistiska om den ryska marknaden. IDC tror att den ryska marknadsandelen kommer att öka under de kommande 5 åren, till skillnad från marknaden i Tyskland och Japan.
År 2020 kommer volymen Big Data i Ryssland att växa från nuvarande 1,8 % till 2,2 % av den globala datavolymen. Mängden information kommer att växa, enligt EMC, från nuvarande 155 exabyte till 980 exabyte 2020.
För tillfället fortsätter Ryssland att ackumulera mängden information upp till nivån Big Data.
Enligt en CNews Analytics-undersökning arbetar 44 % av de tillfrågade företagen med data som inte är mer än 100 terabyte * och endast 13 % arbetar med volymer över 500 terabyte.

Ändå kommer den ryska marknaden att växa efter de globala trenderna. Från och med 2014 uppskattar IDC marknadsstorleken till 340 miljoner dollar.
Marknadstillväxten under tidigare år var 50 % per år, om den ligger kvar på samma nivå kommer marknadsvolymen 2018 att nå 1,7 miljarder USD. Den ryska marknadens andel av världsmarknaden kommer att vara cirka 3 %, efter att ha ökat från nuvarande 1,2 %.

De mest mottagliga industrierna för att använda Big Data i Ryssland är:

• Detaljhandel och banker, för dem är först och främst analys av kundbasen, bedömning av effekten av marknadsföringskampanjer viktig;
• Telekom - segmentering av kundbasen och trafikinkomster;
• Offentlig sektor - redovisning, analys av ansökningar från befolkningen etc.;
• Oljebolag - arbetsövervakning och produktions- och försäljningsplanering;
• Energibolag - skapande av intelligenta kraftsystem, driftövervakning och prognoser.

I utvecklade länder har Big Data blivit utbredd inom hälsovård, försäkring, metallurgi, internetföretag och industriföretag, troligen inom en snar framtid kommer ryska företag från dessa områden också att utvärdera effekten av att implementera Big Data och kommer att anpassa dessa teknologier i sina branscher.
I Ryssland, såväl som i världen, kommer det inom en snar framtid att finnas en trend mot datavisualisering, analys av mediefiler och utvecklingen av Internet of Things.
Trots den allmänna stagnationen i ekonomin förutspår analytiker ytterligare tillväxt av Big Data-marknaden under de kommande åren, främst på grund av att användningen av Big Data-teknik ger sina användare en konkurrensfördel när det gäller att öka verksamhetens operativa effektivitet , attrahera ytterligare kunder, minimera risker och implementering av dataprognosteknologier.
Således kan vi dra slutsatsen att Big Data-segmentet i Ryssland befinner sig i bildandet, men efterfrågan på dessa teknologier ökar varje år.

Nyckelresultat för marknadsanalyser

Världsmarknaden

I slutet av 2014 kännetecknas Big Data-marknaden av följande parametrar:

• marknadsstorleken uppgick till 28,5 miljarder USD, en ökning med 45 % jämfört med föregående år;
• det mesta av intäkterna på Big Data-marknaden bestod av tjänster, deras andel var lika med 40 % av den totala intäkten;
• 36 % av intäkterna kom från Big Data-applikationer och analys, 17 % från datorutrustning och 15 % från datalagringsteknik;
• De mest populära plattformarna för att lösa Big Data-problem är in-memory-plattformar från företag som SAP, HANA och Oracle.
• antalet företag med genomförda projekt inom området Big Data Management har ökat med 125 %;

Marknadsprognosen för de kommande åren är följande:

• 2015 kommer marknadsvolymen att nå 38,4 miljarder USD, 2020 - 68,7 miljarder USD;
• den genomsnittliga tillväxttakten kommer att vara 16 % per år;
• företagets genomsnittliga kostnader för Big Data-teknik kommer att uppgå till 13,8 miljoner USD för stora företag och 1,6 miljoner USD för små och medelstora företag;
• teknologier kommer att vara mest utbredda inom områdena kundservice och punktmarknadsföring;
• under 2017 kommer den globala marknadsstrukturen att förändras mot en övervikt av användarföretag från utvecklingsländer.

ryska marknaden

Den ryska Big Data-marknaden är i bildningsstadiet, resultaten för 2014 är följande:

• marknadsstorleken nådde 340 miljoner USD;
• den genomsnittliga marknadstillväxten under tidigare år var 50 % årligen;
• den totala mängden ackumulerad information var 155 exabyte;
• 10 % av ryska företag har börjat använda Big Data-teknik;
• Big Data-teknik var mer populär inom bank-, telekom-, internetföretag och detaljhandel.

Prognosen för den ryska marknaden för de kommande åren är följande:

• volymen på den ryska marknaden 2015 kommer att nå 500 miljoner USD och 2018 - 1,7 miljarder USD;
• andelen av den ryska marknaden i världen kommer att vara cirka 3% 2018;
• mängden ackumulerad data 2020 kommer att vara 980 exabyte;
• datavolymen kommer att växa till 2,2 % av den globala datavolymen 2020;
• de mest populära teknikerna kommer att vara datavisualisering, mediafilanalys och Internet of Things.

Baserat på resultaten av analysen kan man dra slutsatsen att Big Data-marknaden fortfarande är i de tidiga utvecklingsstadierna, och inom en snar framtid kommer vi att observera dess tillväxt och expansionen av kapaciteten hos dessa teknologier.

Tack för att du tog dig tid att läsa detta omfattande arbete, prenumerera på vår blogg - vi lovar många nya intressanta publikationer!