3. september 2015 kl. 11:34

IBM Watson Cognitive System: Prinsipper for å arbeide med naturlig språk

• IBM blogg,
• Algoritmer

IBM Watson er et av de første kognitive systemene i verden. Dette systemet kan gjøre mye, takket være at Watsons evner brukes i mange områder – fra matlaging til å forutsi ulykker i befolkede områder. Generelt er de fleste av Watsons evner ikke noe unikt, men samlet sett er alle disse egenskapene veldig kraftig verktøyå løse ulike problemer.

For eksempel - naturlig språkgjenkjenning, dynamisk systemlæring, konstruksjon og evaluering av hypoteser. Alt dette tillot IBM Watson å lære å gi direkte, riktige svar (med høy grad pålitelighet) til operatørens spørsmål. Samtidig er det kognitive systemet i stand til å bruke store spekter av globale ustrukturerte data for arbeid, Stor Data. Hva er de grunnleggende prinsippene for hvordan IBM Watson jobber med språk? Mer om dette i oppfølgeren.

Hovedutfordringer med naturlig språkgjenkjenning

For mennesker er språk et middel til å uttrykke tanker. Vi bruker språk for å formidle våre meninger, data og informasjon. Vi kan lage spådommer og danne teorier. Det er språket - grunnstein vår bevissthet. Samtidig er her et paradoks: menneskelig språk er veldig unøyaktig.

Mange begreper er ulogiske, og det kan være svært vanskelig for datasystemer å forstå oss. Hvordan kan for eksempel en stemme være tynn? Hvordan kan du brenne ut av skam? For en maskin er dette et problem, men for en person er det en helt vanlig ting. Faktum er at for å svare riktig på et spørsmål, er det i mange tilfeller nødvendig å ta hensyn til den eksisterende konteksten. Uten tilstrekkelig faktainformasjon er det vanskelig å svare riktig på et spørsmål, selv om du bokstavelig talt kan finne det nøyaktige svaret på elementene i spørsmålet.

Naturlig språkbehandling – Komme i gang

Mange datasystemer er i stand til å analysere språk, men det gjennomføres samtidig en overfladisk analyse. Dette kan for eksempel være fornuftig for å gjøre en statistisk valid vurdering av trender i endringer i følelser på store informasjonsmengder. Her er nøyaktigheten av informasjonsoverføring ikke særlig viktig, siden selv om vi antar at antall falske positive resultater er omtrent lik antall falske negative resultater, opphever de hverandre.

Men hvis alle tilfeller betyr noe, kan ikke systemer som jobber med overfladisk språkanalyse lenger gjøre jobben sin skikkelig. Et slående eksempel på dette kan være oppgaven for stemmeassistent noen av mobile enheter. Hvis du sier «finn meg en pizza», vil assistenten vise en liste over pizzeriaer. Hvis du for eksempel sier «ikke se etter pizza for meg i Madrid», vil systemet fortsatt søke. Slike systemer fungerer ved å identifisere visse nøkkelord og bruke spesifikt sett regler Resultatet kan være nøyaktig gitt system regler, men feil.

Dyp naturlig språkbehandling

For å lære systemet å analysere komplekse semantiske strukturer, tatt i betraktning følelser og andre faktorer, brukte eksperter dyp naturlig språkbehandling. Nemlig et spørsmålssvarende innholdsanalysesystem (Deep Question*Answering, DeepQA). Hvis det kreves større nøyaktighet, må du bruke ytterligere metoder naturlig språkbehandling.
IBM Watson er et dypt naturlig språkbehandlingssystem. Når man analyserer et spesifikt spørsmål, prøver systemet å vurdere en så bred kontekst som mulig for å gi riktig svar. Dette bruker ikke bare spørsmålsinformasjonen, men også kunnskapsbasedata.
Opprettelsen av et system som er i stand til dyp behandling av naturlig språk, gjorde det mulig å løse et annet problem - analysen av den enorme mengden informasjon som genereres daglig. Dette er ustrukturert informasjon, som tweets, meldinger sosiale nettverk, rapporter, artikler og mer. IBM Watson har lært å bruke alt dette til å løse menneskelige problemer.

IBM Watson kognitive system

Watson er et annet nivå av databehandlingsevner. Systemet kan skille visse utsagn i naturlig språk og finne sammenhenger mellom disse utsagnene. Samtidig takler Watson oppgaven, i mange tilfeller til og med bedre enn mennesket, mens databehandlingen er mye raskere, jobbes det med mye store volumer– en person er rett og slett ikke i stand til dette.

Grunnleggende egenskaper ved det kognitive systemet

Systemet fungerer i denne rekkefølgen:

1. Når Watson mottar et spørsmål, utfører det det. parsing for å synliggjøre hovedtrekkene i problemet.

2. Systemet genererer en serie hypoteser ved å skanne korpuset på jakt etter fraser som med en viss grad av sannsynlighet kan inneholde det nødvendige svaret. For å effektivt søke gjennom strømmer av ustrukturert informasjon, trengs helt andre databehandlingsevner * de kalles kognitive systemer. (Jeg forstår egentlig ikke den siste setningen og stjernens rolle)

3. Systemet utfører en dyp sammenligning mellom språket i spørsmålet og språket til hvert av de mulige svaralternativene, ved å bruke ulike algoritmer logisk slutning.

Dette er et vanskelig stadium. Det er hundrevis av inferensalgoritmer, og det gjør de alle forskjellige sammenligninger. Noen søker for eksempel etter samsvarende termer og synonymer, andre ser på tidsmessige og romlige trekk, mens andre analyserer relevante kilder til kontekstuell informasjon.

4. Hver slutningsalgoritme gir en eller flere skårer som indikerer i hvilken grad et mulig svar følger av et spørsmål i domenet som vurderes av algoritmen.

5. Hver oppnådd poengsum tildeles deretter en vekt av en statistisk modell som registrerer hvor godt algoritmen klarte å identifisere logiske sammenhenger mellom to lignende fraser i det domenet under Watsons «treningsperiode». Dette statistisk modell kan brukes senere for å bestemme Watsons generelle grad av tillit til at et mulig svar følger av et spørsmål.

6. Watson gjentar prosessen for alle mulig alternativ svare til han finner svar som har større sjanse for å være riktige enn andre.

Som nevnt ovenfor, for å svare riktig på et spørsmål, må systemet kontakte tilleggskilder data. Dette kan være lærebøker, manualer, FAQs, nyheter og alt annet. Watson behandler enorme mengder informasjon på sekunder for å få det riktige svaret. Samtidig blir det funnet innholdet også sjekket, utdatert og ubrukelig data eliminert.

Elementer i det kognitive systemet

Watson utleder den generelle betydningen av teksten fra informasjonen som mottas, fra tilleggsdatabasen. Dette bruker tittelen på dokumentet, en del av teksten i dokumentet eller hele teksten.

Kognitive systemer, deres metoder for å samle, huske og hente informasjon ligner på hvordan mennesker analyserer informasjon. I dette tilfellet kan kognitive systemer overføre informasjon og handle. Her er eksempler på atferdskonstruksjoner som brukes i dette tilfellet:

Evne til å lage og teste hypoteser;
- evnen til å bryte ned i komponenter og bygge logiske konklusjoner om språket;
- evne til å trekke ut og vurdere nyttig informasjon(som datoer, steder og egenskaper).

Uten disse evnene vil verken en datamaskin eller et menneske kunne bestemme det riktige forholdet mellom spørsmål og svar.
Kognitive prosesser er mer høy orden kan oppnå høy level forståelse, med fokus på grunnleggende atferdsmåter. For å forstå noe må vi kunne dele informasjon i mindre elementer som er ganske godt organisert på det aktuelle nivået. Fysiske prosesser hos mennesker foregår helt annerledes enn prosesser på kosmisk skala eller på nivå med elementærpartikler. På samme måte er kognitive systemer designet for å fungere på menneskelig nivå, selv om de representerer et stort utvalg mennesker.

I denne forbindelse begynner språkforståelse med å forstå mer enkle regler språk - ikke bare den formelle grammatikken, men også de uformelle konvensjonene som observeres i daglig bruk.

Hva er alt dette for noe?

Nå kan IBM Watsons kognitive system, takket være mange års trening og forbedring, utføre arbeid på det meste ulike områder. Her har vi medisin, matlaging, lingvistikk, og løsning av forretningsproblemer med vitenskapelige problemer.

I utgangspunktet hadde spesialister et valg - å gjøre systemet universelt eller spesialisert. Hvert alternativ har sine egne fordeler og ulemper, men valget ble tatt i retning av allsidighet.

Selskapet har allerede vært overbevist mange ganger om at valget var riktig – før

) er en IBM-superdatamaskin utstyrt med et kunstig intelligenssystem, som ble laget av en gruppe forskere ledet av David Ferrucci. Opprettelsen er en del av DeepQA-prosjektet. Watsons hovedoppgave er å forstå spørsmål formulert i naturlig språk og finne svar på dem i en database. Oppkalt etter IBM-grunnlegger Thomas Watson.

Deltakelse i "Jeopardy!"

I februar 2011, for å teste Watsons evner, deltok han i TV-showet Jeopardy! (Russisk ekvivalent - Eget spill). Motstanderne hans var Brad Rutter, programmets største vinner, og Ken Jennings, rekordholderen for den lengste ubeseirede rekken. Watson vant, og mottok 1 million dollar, mens Jennings og Rutter mottok henholdsvis 300 000 og 200 000 dollar.

Plattform

Watson består av 90 Power7 750-servere, som hver inneholder 4 åtte-kjerners POWER7-prosessorer. Total RAM Watson har mer enn 15 terabyte.

Systemet hadde tilgang til 200 millioner sider med strukturert og ustrukturert informasjon med et volum på 4 terabyte, bl.a. full tekst Wikipedia. Under spillet hadde ikke Watson tilgang til Internett.

Fremtiden for prosjektet

IBM, sammen med Nuance Communications, planlegger å utvikle et produkt i løpet av de neste to årene for å hjelpe diagnostisere og behandle pasienter. Søknader på andre områder, som vurdering av forsikringer eller energieffektivitet, vurderes også.

Watsons historie begynte i 2006, da David Ferrucci, seniorleder i IBMs semantiske analyseavdeling, begynte å teste en av verdens mest kraftige superdatamaskiner selskapet, som okkuperte en av topplasseringene av de 500 mest produktive bilene i verden. Ferrucci bestemte seg for å teste hvor effektivt maskinen ville takle oppgaver fra "naturlig språk", og inviterte den til å svare på 500 spørsmål stilt i den allerede avholdte Jeopardy! Resultatene viste seg å være katastrofale: sammenlignet med live-spillere, "trykket ikke maskinen på knappen" raskt nok (det vil si at den var klar til å svare), og i tilfelle den fortsatt kunne konkurrere med mennesker, antallet riktige svar oversteg ikke 15 %

Ferrucci ble interessert i årsakene til denne oppførselen til superdatamaskinen, og som et resultat klarte han i 2007 å overbevise IBM-ledelsen om å gi ham et team på 15 personer og fra 3 til 5 år til å skape en effektiv automatisk system i stand til å svare på uformelle spørsmål. Et slikt system vil være nyttig for alle slags kundesentre, helpdesk og andre tjenester som betjener kunder. IBM har allerede hatt vellykket erfaring med å lage en maskin som kan konkurrere med menneskelig intelligens - vi snakker om Deep Blue superdatamaskinen, som beseiret verdensmesteren i sjakk Garry Kasparov i 1997. Denne seieren ga stor publisitet til IBM, men ingen kommersiell applikasjon for en slik installasjon ble funnet. Når det gjelder et automatisk spørsmålssvarssystem, er det kommersielle potensialet ganske åpenbart.

Grunnleggende forskjell Watson fra Deep Blue er at hvis en sjakkmaskin håndterer strengt logiske spilleregler, vil en maskin som gjenkjenner "naturlig tale" møte mye mer komplekse språkregler og mange forvrengninger og avvik fra dem. Men den største utfordringen er at mennesker, uten å være klar over det, kommuniserer innenfor sin kulturelle og sosiale kontekst. Samtale er full av hint, hentydninger og konnotasjoner, referanser til visse fakta, konsepter og fenomener som er felles for et bestemt sosialt miljø. Disse inkluderer religiøse ideer, politisk tro og alle slags kunstverk - fra bøker og malerier til filmer og dataspill.

Til effektiv behandling Statistiske algoritmer brukes til slik informasjon, som gjør det mulig å etablere en sammenheng ved å analysere et bredt spekter av dokumenter ulike konsepter sammen. Enkelt sagt avgjør det hvilke ord som oftest brukes sammen. For eksempel er "Kremlin" oftere forbundet med ordene "Russland", "Moskva", litt sjeldnere med "Kazan", "Nizhny Novgorod", enda sjeldnere med "katedral", "ikon", etc. Selv om disse algoritmene har vært kjent i lang tid, deres fulle bruk ble mulig først i løpet av det siste tiåret - etter en dramatisk økning i produktiviteten datateknologi og redusere kostnadene for stasjoner for lagring av enorme mengder data.

Ferruccis team laster millioner av alle slags dokumenter inn i IBM Watsons minne - lærebøker, leksikon, oppslagsverk, skjønnlitteratur og religiøs litteratur. For å analysere spørsmål brukes mer enn hundre algoritmer samtidig, og tilbyr hundrevis mulige løsninger. Deretter evaluerer andre algoritmer påliteligheten til potensielle svar, og eliminerer de som er umulige på grunn av objektive årsaker (for eksempel avvik mellom datoen for hendelsen og aktørenes leveår) og de som er usannsynlige. Jo flere identiske svar som mottas, jo større er sannsynligheten for at de er riktige - i løpet av spillet viser resultattavlen en vurdering av flere av de mest sannsynlige svarene, i tillegg til det vanligste.

I 2008 hadde IBM Watson flyttet seg fra kategorien "tapere" til toppen av den såkalte "skyen av vinnere", bestående av folk som var de første til å trykke på knappen 50 % av tiden, noe som indikerte at de var klare å svare, og deretter 85-95% av tiden for å gi riktig svar. IBM ble til og med enig med produsentene av Jeopardy om å holde en spesiell serie med spill høsten 2010 med deltagelse av Watson og vinnerne fra tidligere år. For å forberede seg til disse spillene (det vil faktisk forbedre algoritmene), ble det omtrentlige interiøret i quizstudioet gjenskapt og tester begynte å bli utført med deltakelse av live-spillere og programlederen. Samtidig, som forventet, gir «Watson» svarene sine høyt med en syntetisert datastemme, noe som morer de fremmøtte.

Under "treningen" dukket det opp et interessant faktum: til tross for at han ikke har Watsons fulle potensial, kan han ikke bare vinne de fleste kampene, men også tape mer enn halvparten av dem. Det er flere grunner: fra "His Majestets sjanse" (situasjoner er mulige når en motstander kan vinne ved å bare øke innsatsen, la bilen gå konkurs) til de spesifikke reglene. Merkelig nok er en person i stand til å trykke på en knapp raskere enn en maskin, og dette er på grunn av spillereglene, som ikke kan endres.

Faktum er at hvert spørsmål vises på skjermen og leses opp av presentatøren, og du kan trykke på knappen først etter å ha lest spørsmålet. Watson mottar spørsmålsteksten inn i elektronisk format samtidig med visningen på skjermen, men selv da har den ikke tid til å komme til en ferdig løsning raskere enn et menneske. Mens programlederen leser spørsmålet, som tar seks til syv sekunder, kan en erfaren spiller allerede vurdere sjansene for å gi riktig svar og er klar til å trykke på knappen på bare titalls millisekunder. Reglene tillater ytterligere fem sekunder for det påfølgende svaret.

Ved å trykke på knappen tar en person en risiko: hvis han ikke gir riktig svar på et spørsmål for 100 enheter, vil hans virtuelle konto være tom med samme beløp. Datamaskinen er ikke tilbøyelig til å ta risiko og gir svar først etter at alle beregningene er utført og bare hvis den har nok informasjon til å vurdere påliteligheten og sannsynligheten for at dette svaret er riktig. Du kan se hvordan det ser ut under spillet i videoen. Ved å ta risiko, kan en levende spiller vinne på grunn av det faktum at han husker ønsket svar i løpet av 11-12 sekunder tilgjengelig for ham.

I en litt mer formalisert situasjon enn et spillprogram kan Watsons algoritmer gi mye mer forutsigbare og nøyaktige svar. Spesielt sjefen for IBMs forskningsavdeling, John Kelly, har til hensikt å lage en medisinsk versjon av denne enheten under det uoffisielle navnet Watson M.D. Et slikt system vil hjelpe leger raskt å ta riktige avgjørelser tatt i betraktning den enorme mengden data om pasienten, som er fysisk umulig å alltid ha i minnet. "Watson" kan godt erstatte live-operatører i datamaskin og telefontjenester V varehandel, innen bank og transport.

Kostnaden for et IBM Watson-system i dag kan være flere millioner dollar, siden driften krever det i det minsteén million dollar IBM-superdatamaskin. Kelly tror at slik teknologi i løpet av de neste ti årene kan implementeres på en mye billigere server, og i fremtiden vil et slikt program kjøre på en datamaskin som ikke er dyrere moderne bærbar PC.

Kunnskapsrik engelske språk kan konkurrere med IBM Watson online på nettstedet The New York Times.

IBM Watson-superdatamaskinen er planlagt brukt i tekniske støttetjenester i stedet for live-operatører. Alle disse oppgavene er imidlertid mer knyttet til å finne det riktige svaret på brukerforespørsler basert på kjent informasjon. IBM mener at den virkelige kunstig intelligens må kunne finne kreative løsninger, skape og finne på nye ting, og ikke bare analysere det gamle.

For å utvikle Watsons kreative evner, valgte skaperne hans kulinariske kunster. Dette er et veldig praktisk testområde: matlaging er en veldig "menneskelig", intuitiv prosess, dårlig mottagelig for algoritmisering og standardisering. Og hvem som helst på gaten kan vurdere resultatene. Mandelsjokoladekaker i spansk stil, jordbærdessert i ecuadoriansk stil, grillede tomater på toast med safran – disse og andre retter laget av Watson har allerede blitt tilberedt og spist med glede under eksperimentene. Og for et par uker siden ble det publisert et fortrykk av en artikkel som beskrev algoritmene og de matematiske modellene som Watson bruker for å lage originale oppskrifter.

Enhver kreativ løsning må samtidig tilfredsstille to kriterier – å være ny og å være av høy kvalitet. Nyhet er relativt enkelt å oppnå ved å kombinere ingredienser og prosessteknikker. Men med kvalitet er situasjonen mye mer komplisert. Lær datamaskinen å forstå hva smak, aroma, tekstur og utseende retter er ekstremt vanskelig.

De første dataene for Watson var flere millioner oppskrifter samlet på Internett. De ble kjørt gjennom velprøvde naturlig språkbehandlingsalgoritmer, som ble brukt til å vinne quizen og lære Watson medisin. Informasjon ble hentet fra Wikipedia om typiske ingredienser og bearbeidingsteknikker som er karakteristiske for kjøkken fra forskjellige nasjoner i verden. Til slutt fikk Watson en grundig kunnskap om kjemien og fysiologien til menneskelig oppfatning av smak og lukt.

Nye oppskrifter ble generert fra eksisterende ved hjelp av en genetisk algoritme, ved å bruke verdier for nyhet, hyggelighet og kompatibilitet som treningsfunksjoner.

Matematisk modell Oppskriftsnyhetsvurderingen er basert på Bayes' teorem, den såkalte "Bayesian overraskelse"-tilnærmingen ble brukt, opprinnelig utviklet for å modellere seeratferd når du ser på en video. I et nøtteskall er essensen av metoden at forskjellen mellom tidligere og posterior sannsynlighet for å møte en bestemt kombinasjon av produkter i oppskriftsrommet når en ny legges til den, måles. Dermed er kombinasjoner av nøtter med sjokolade eller sennep med pølser helt banale og forårsaker nesten ingen endring i sannsynlighetene for forskjellige kombinasjoner. Men sjokoladedekkede pølser vil påvirke disse sannsynlighetene mye mer betydelig.

Kjemi har først og fremst blitt brukt til å vurdere trivsel. Ved å vite den kjemiske sammensetningen av produktene og rekkefølgen av deres blanding og bearbeiding, beregnet datamaskinen hvilke stoffer som ville bestemme smaken og lukten av retten. Interessant nok viste lukten seg å være mye viktigere enn smaken på retten. Vår oppfatning av smak er veldig nært knyttet til lukt og aroma. En person skiller bare noen få grunnleggende smaker - surt, søtt, salt, bittert. Ulike kulturer skiller flere mer grunnleggende smaker, for eksempel terte eller umami. Men variasjonen av lukter er mye større og de reduseres ikke til enkle grunnleggende kombinasjoner.

Til slutt var vurderingen av produktkompatibilitet også basert på et seriøst vitenskapelig grunnlag, spesielt på en felles studie av amerikanske og britiske forskere "Aromatic Networks and Principles of Product Combination", der rundt 50 000 oppskrifter ble analysert og produktkompatibilitetskart typiske. for kjøkken ble konstruert ulike regioner.

Som et resultat ble det opprettet en applikasjon der du kan spesifisere et sett med produkter, nasjonal stil og utvalg av rett, hvoretter Watson ga et sett med oppskrifter som kan bestilles etter grad av nyhet, hyggelighet og kompatibilitet. I tillegg til individuelle retter kan Watson lage hele menyer, oppnå variasjon og de riktige kombinasjonene av retter gjennom bruk av emnemodellering. Dette er måten å bygge en samlingsmodell på tekstdokumenter, som deler opp samlingen i emner og bestemmer hvilket emne hvert dokument tilhører. Watson bruker denne modellen på oppskrifter - som søkeord De enkelte ingrediensene fungerer som dokumenter, og selve oppskriftene fungerer som dokumenter.

Moderne superdatamaskiner er flere serverdatamaskiner, forent i et nettverk. Beregningshastigheten deres måles i petaflops.

• 1 petaflops = 10 15 operasjoner per sekund

Den gjennomsnittlige ytelsen til den menneskelige hjernen er 20 petaflops. Bare noen få superdatamaskiner i verden har god ytelse, men ingen av dem kan erstatte den menneskelige hjernen.

Det er for tiden flere hundre superdatamaskiner i verden. De kraftigste er inkludert i den årlige TOP-500-rangeringen. I 2016 ble denne rangeringen toppet av kinesiske Sunway TaihuLight. Før dette hadde han også lederskapet i tre år Kinesisk datamaskin Tianhe-2. IBM har to superdatamaskiner i denne rangeringen: Mira og Sequoia. Sistnevnte var leder i 2012, og er nå nummer fire.

Andrey Filatov ( administrerende direktør IBM i Russland og CIS-land) om kognitive teknologier

Dr. Watson er den mest kjente superdatamaskinen

Den største fordelen med Watson er at den forstår spørsmål på naturlig språk og svarer på dem ved å analysere data. I 2011 slo Watson folk på et spillshow Fare!(Russisk ekvivalent - "Eget spill").

Watson er et sett med applikasjonsteknologier kalt " skytjenester" Watson er mest aktivt brukt i medisin, og hjelper til med å diagnostisere og behandle kreft. Minnet inneholder mer enn 600 000 medisinske rapporter. Den brukes også i finanssektoren, jus, hotellvirksomhet og mange andre bransjer. Dessuten er han til og med i stand til å føre en samtale med kjendiser.

Det oppsto en feil under lasting.

Watson snakker med den amerikanske tennisspilleren Serena Williams

Applikasjoner for IBM Watson

Utdanning. Skoler over hele USA tester Teacher Advisor med Watson, et kognitivt verktøy som gir råd om å forbedre læreplaner og tilpasse læringsprogrammer.

Vitenskapen. Johnson & Johnson bruker Watson til å analysere vitenskapelig litteratur. Fra en kolossal mengde materialer velger han de som er nødvendige for forskning, og forskning kan utføres mye raskere og mer effektivt.

Sikkerhet. Produsenten av valset stål, North Star BlueScope Steel, ønsker å bruke Watson Internet of Things for å lage løsninger for å beskytte arbeidere i ekstreme situasjoner. Arbeidere vil også ha på seg enheter for å samle inn og behandle data. Hvis det oppstår farlige forhold, vil informasjon umiddelbart bli sendt til North Star-ledelsen.

Cybersikkerhet. Nettkriminelle hacker Informasjonssystemer bedrifter, og deretter selge tilgang til dem på det "svarte" Internett. Hvis i en del kloden det var en feil eller svindel, Watson-systemet lar deg advare andre brukere av dette systemet.

Medisin. University of North Carolina og 12 andre kreftforskningssentre bruker Watson til å analysere pasientenes DNA for deretter å utvikle personlig tilpassede behandlinger.

Ingen lege er i stand til å analysere et så stort utvalg av informasjon, bare en datamaskin

En datamaskin kan gjøre mye, i hvert fall når det gjelder å behandle informasjon. Å lære ham naturlig språk er imidlertid en ekstremt ikke-triviell oppgave. Denne utfordringen dannet grunnlaget for IBM DeepQA-prosjektet, som resulterte i fødselen av en kognitiv teknologi kalt IBM Watson, til ære for Thomas Watson, som sto i opprinnelsen til IBM.

Det er ikke vanskelig å forklare hva Watson er - det er et kognitivt system som er i stand til å kommunisere med en person på naturlig språk. Det vil si å forstå skriftlig tale og svare på samme måte. Og hvis IBM hadde begrenset seg til dette, ville Watson ikke vært noe mer enn et eksperimentelt oppsett. Men en jobb ble raskt funnet for ham, og for mange bedrifter ble han en virkelig uunnværlig medarbeider.

Det viste seg at denne kunnskapen kan brukes overalt hvor store mengder ustrukturert data må behandles. For kvalitet og raske analyser Slike data må behandles med alle moderne verktøy datateknologi: maskinlæring, datalingvistikk, ontologiske konstruksjoner og høyytelses databehandling. Det er det IBM Watson er designet for å gjøre.

IBM Watsons kjernekompetanse kan oppsummeres i fire punkter:

• Naturlig språkforståelse.
• Bygge hypoteser basert på bearbeidede data.
• Læring på jobb.
• Komme med en anbefaling, ledsaget av fakta som konklusjonen er basert på.

En person er ikke i stand til å analysere en virkelig stor mengde data på rimelig tid, og i alle fall må han forkaste det meste av informasjonen, og etter hans mening fremheve det viktigste. Her er feil uunngåelige, i tillegg har også kasserte data betydning og bør påvirke resultatet. Og i dette aspektet er Watson mange ganger overlegen mennesker: den tar hensyn til alt, ingen kjent faktum vil ikke bli verdsatt.

Den første offentlige testen av systemet var deltakelse i det amerikanske spillet Jeopardy! (Russisk ekvivalent - "Eget spill"). Uten Internett-tilkobling, bruker åpne kilder informasjon som teksten til hele Wikipedia, generelle leksikon og ordbøker, var Watson i stand til å beseire de to rekordholderne i dette spillet.

Vi inviterer deg til IBMs kundesenter for et seminar Watson Analytics og Høyteknologisk innen analyse!