麻豆原创

Le Big Data est le flot d’informations dans lequel nous nous trouvons tous les jours (des zettaoctets de donn茅es provenant de nos ordinateurs, des terminaux mobiles et des capteurs). Ces donn茅es sont utilis茅es par les entreprises pour orienter la prise de d茅cisions, am茅liorer les processus et les strat茅gies, et cr茅er des produits, des services et des exp茅riences centr茅s sur le client.

Le Big Data d茅signe non seulement de gros volumes de donn茅es, mais aussi des donn茅es de nature vari茅e et complexe. Il d茅passe g茅n茅ralement la capacit茅 des bases de donn茅es traditionnelles 脿 capturer, g茅rer et traiter ce type de donn茅es. De plus, le Big Data peut provenir de n’importe o霉 et de tout ce que nous sommes en mesure de surveiller num茅riquement. Les satellites, les appareils IoT (Internet des Objets), les radars et les tendances des r茅seaux sociaux ne sont que quelques exemples parmi la multitude de sources de donn茅es explor茅es et analys茅es pour rendre les entreprises plus r茅silientes et comp茅titives.

---

L’importance de l’analyse du Big聽Data

La v茅ritable valeur du Big Data se mesure d’apr猫s votre capacit茅 脿 l’analyser et 脿 le comprendre.聽L’聽(IA), le et les technologies de base de donn茅es modernes permettent de le visualiser et de l’analyser pour fournir des informations exploitables en temps r茅el. L’analyse du Big Data aide les entreprises 脿 exploiter leurs donn茅es en vue de saisir de nouvelles opportunit茅s et de cr茅er de nouveaux mod猫les de gestion. Comme l’a si bien dit Geoffrey Moore, auteur et analyste de gestion, 芦聽sans analyse du Big Data, les entreprises sont aveugles et sourdes, errant sur le Web comme des cerfs sur une autoroute聽禄.

Click the button below to load the content from YouTube.

Always allow YouTube

---

L’茅volution du Big聽Data

Aussi inconcevable que cela puisse para卯tre aujourd’hui, l’Apollo Guidance Computer a emmen茅 l’homme sur la lune avec moins de 80聽kilo-octets de m茅moire. Depuis, la technologie informatique s’est d茅velopp茅e 脿 un rythme exponentiel, de m锚me que la g茅n茅ration de donn茅es. La capacit茅 technologique mondiale 脿 stocker des donn茅es a doubl茅 tous les trois ans depuis les ann茅es聽1980. Il y a un peu plus de 50聽ans, lors du lancement d’Apollo聽11, la quantit茅 de donn茅es num茅riques g茅n茅r茅es dans le monde aurait pu tenir dans un ordinateur portable. Aujourd’hui, l’聽ce chiffre 脿 44聽zettaoctets (soit 44聽000 milliards de gigaoctets) et pr茅voit qu’il atteindra 163聽zettaoctets en 2025.

44 zettaoctets de donn茅es num茅riques aujourd’hui,聽

163 zettaoctets de donn茅es num茅riques en 2025,聽

Plus les logiciels et la technologie se d茅veloppent, moins les syst猫mes non num茅riques sont viables. Le traitement des donn茅es g茅n茅r茅es et collect茅es num茅riquement requiert des syst猫mes de data management plus avanc茅s. En outre, la croissance exponentielle des plates-formes de r茅seaux sociaux, des technologies pour smartphones et des appareils IoT connect茅s num茅riquement ont contribu茅 脿 l’茅mergence du Big Data.

---

Types de Big Data聽: que sont les donn茅es structur茅es et non structur茅es聽?

Les ensembles de donn茅es sont g茅n茅ralement cat茅goris茅s en trois types, selon leur structure et la complexit茅 de leur indexation.

1. Donn茅es structur茅es :聽ce type de donn茅es est le plus simple 脿 organiser et 脿 rechercher. Il peut inclure des donn茅es financi猫res, des machine logs et des d茅tails d茅mographiques. Une feuille de calcul Microsoft聽Excel, avec sa mise en forme de colonnes et de lignes pr茅d茅finies, offre un moyen efficace de visualiser les donn茅es structur茅es. Ses composants peuvent facilement 锚tre cat茅goris茅s, ce qui permet aux concepteurs et administrateurs de bases de donn茅es de d茅finir des algorithmes simples pour la recherche et l’analyse. M锚me lorsque les donn茅es structur茅es sont tr猫s volumineuses, elles ne sont pas n茅cessairement qualifi茅es de Big Data, car elles sont relativement simples 脿 g茅rer et ne r茅pondent donc pas aux crit猫res qui d茅finissent le Big Data. Traditionnellement, les bases de donn茅es utilisent un langage de programmation appel茅 SQL (Structured Query Language) pour g茅rer les donn茅es structur茅es. SQL a 茅t茅 d茅velopp茅 par IBM dans les ann茅es聽1970 pour permettre aux d茅veloppeurs de cr茅er et g茅rer des bases de donn茅es relationnelles (de type feuille de calcul) qui commen莽aient 脿 茅merger 脿 l’茅poque.
2. Donn茅es non structur茅es :聽cette cat茅gorie de donn茅es peut inclure des publications sur les r茅seaux sociaux, des fichiers audio, des images et des commentaires client ouverts. Ces donn茅es ne peuvent pas 锚tre facilement captur茅es dans les bases de donn茅es relationnelles standard en lignes et colonnes. Auparavant, les entreprises qui voulaient rechercher, g茅rer ou analyser de grandes quantit茅s de donn茅es non structur茅es devaient utiliser des processus manuels laborieux. La valeur potentielle li茅e 脿 l’analyse et 脿 la compr茅hension de ces donn茅es ne faisait aucun doute, mais le co没t associ茅 茅tait souvent trop exorbitant pour en valoir la peine. Compte tenu du temps n茅cessaire, les r茅sultats 茅taient souvent obsol猫tes avant m锚me d’锚tre g茅n茅r茅s. Contrairement aux feuilles de calcul ou aux bases de donn茅es relationnelles, les donn茅es non structur茅es sont g茅n茅ralement stock茅es dans des lacs de donn茅es, des entrep么ts de donn茅es et des bases de donn茅es NoSQL.
3. Donn茅es semi-structur茅es :聽comme leur nom l’indique, les donn茅es semi-structur茅es int猫grent 脿 la fois des donn茅es structur茅es et non structur茅es. Les e-mails en sont un bon exemple, car ils incluent des donn茅es non structur茅es dans le corps du message, ainsi que d’autres propri茅t茅s organisationnelles telles que l’exp茅diteur, le destinataire, l’objet et la date. Les dispositifs qui utilisent le marquage g茅ographique, les horodatages ou les balises s茅mantiques peuvent 茅galement fournir des donn茅es structur茅es avec un contenu non structur茅. Une image de smartphone non identifi茅e, par exemple, peut indiquer qu’il s’agit d’un selfie et pr茅ciser l’heure et l’endroit o霉 il a 茅t茅 pris. Une base de donn茅es moderne ex茅cutant une technologie d’IA peut non seulement identifier instantan茅ment diff茅rents types de donn茅es, mais aussi g茅n茅rer des algorithmes en temps r茅el pour g茅rer et analyser efficacement les ensembles de donn茅es disparates.

---

Les sources du Big聽Data

Les objets g茅n茅rateurs de donn茅es se d茅veloppent 脿 un rythme spectaculaire, depuis les drones jusqu’aux grille-pains. Toutefois, 脿 des fins de cat茅gorisation, les sources de donn茅es sont g茅n茅ralement divis茅es en trois types聽:

Donn茅es sociales

Comme leur nom l’indique, les donn茅es sociales sont g茅n茅r茅es par les r茅seaux sociaux : commentaires, publications, images et, de plus en plus, vid茅os. En outre, compte tenu de l’ubiquit茅 croissante des r茅seaux 4G et 5G, on estime que le nombre de personnes dans le monde qui regardent r茅guli猫rement des contenus vid茅o sur leur smartphone atteindra聽. Bien que les tendances concernant les r茅seaux sociaux et leur utilisation 茅voluent rapidement et de mani猫re impr茅visible, leur progression en tant que g茅n茅rateurs de donn茅es num茅riques est incontestable.

Donn茅es machine

Les machines et appareils IoT sont 茅quip茅s de capteurs et ont la capacit茅 d’envoyer et de recevoir des donn茅es num茅riques. Les capteurs IoT aident les entreprises 脿 collecter et traiter les donn茅es machine provenant des appareils, des v茅hicules et des 茅quipements. Globalement, le nombre d’objets g茅n茅rateurs de donn茅es augmente rapidement, des capteurs m茅t茅orologiques et de trafic jusqu’脿 la surveillance de la s茅curit茅. Selon l’IDC, il y aura plus de 40 milliards d’appareils IoT en 2025, g茅n茅rant pr猫s de la moiti茅 des donn茅es num茅riques mondiales.

Donn茅es alt茅rables

Il s’agit des donn茅es parmi les plus 茅volutives au monde. Par exemple, un d茅taillant international traite plus d’un million de transactions client par heure. Si l’on ajoute 脿 cela les transactions d’achat et bancaires au niveau mondial, on comprend mieux le volume ph茅nom茅nal de donn茅es g茅n茅r茅es. En outre, les donn茅es alt茅rables contiennent de plus en plus de donn茅es semi-structur茅es, y compris des images et des commentaires, ce qui les rend d’autant plus complexes 脿 g茅rer et 脿 traiter.

---

Les cinq聽V du Big聽Data

Ce n’est pas parce qu’un ensemble de donn茅es est volumineux qu’il s’agit n茅cessairement de Big Data. Pour 锚tre qualifi茅es en tant que telles, les donn茅es doivent poss茅der au minimum les cinq caract茅ristiques suivantes聽:

1. Volume :聽m锚me si le volume n’est pas le seul composant qui constitue le Big Data, il s’agit d’une de ses caract茅ristiques principales. Pour g茅rer et exploiter pleinement le Big Data, des algorithmes avanc茅s et des analyses pilot茅es par l’IA sont n茅cessaires. Mais avant tout cela, il doit exister un moyen fiable et s茅curis茅 de stocker, d’organiser et d’extraire les t茅raoctets de donn茅es d茅tenus par les grandes entreprises.
2. 痴颈迟别蝉蝉别听:听auparavant, les donn茅es g茅n茅r茅es devaient ensuite 锚tre saisies dans un syst猫me de base de donn茅es traditionnel (souvent manuellement) avant de pouvoir 锚tre analys茅es ou extraites. Aujourd’hui, gr芒ce 脿 la technologie du Big聽Data, les bases de donn茅es sont capables de traiter, d’analyser et de configurer les donn茅es lorsqu’elles sont g茅n茅r茅es, parfois en l’espace de quelques millisecondes. Pour les entreprises, cela signifie que les donn茅es en temps r茅el peuvent 锚tre exploit茅es pour saisir des opportunit茅s financi猫res, r茅pondre aux besoins des clients, pr茅venir la fraude et ex茅cuter toute autre activit茅 pour laquelle la rapidit茅 est un facteur cl茅.
3. 痴补谤颈茅迟茅听:听les ensembles de donn茅es contenant uniquement des donn茅es structur茅es ne rel猫vent pas n茅cessairement du Big聽Data, quel que soit leur volume. Le Big聽Data comprend g茅n茅ralement des combinaisons de donn茅es structur茅es, non structur茅es et semi-structur茅es. Les solutions de gestion des donn茅es et les bases de donn茅es traditionnelles n’offrent pas la flexibilit茅 et le p茅rim猫tre n茅cessaires pour g茅rer les ensembles de donn茅es complexes et disparates qui constituent le Big聽Data.
4. 痴茅谤补肠颈迟茅听:听bien que les bases de donn茅es modernes permettent aux entreprises d’accumuler et d’identifier des volumes consid茅rables de Big聽Data de diff茅rents types, elles ne sont utiles que si elles sont pr茅cises, pertinentes et opportunes. S’agissant des bases de donn茅es traditionnelles aliment茅es uniquement avec des donn茅es structur茅es, le manque de pr茅cision des donn茅es 茅tait souvent d没 脿 des erreurs syntaxiques et des fautes de frappe. Les donn茅es non structur茅es pr茅sentent toute une s茅rie de nouvelles difficult茅s en mati猫re de v茅racit茅. Les pr茅jug茅s humains, le 芦聽bruit social聽禄 et les probl猫mes li茅s 脿 la provenance des donn茅es peuvent avoir un impact sur la qualit茅 des donn茅es.
5. Valeur :聽les r茅sultats de l’analyse du Big Data sont souvent fascinants et inattendus. Mais pour les entreprises, l’analyse du Big Data doit fournir une visibilit茅 qui les aident 脿 gagner en comp茅titivit茅 et en r茅silience, et 脿 mieux servir leurs clients. Les technologies modernes offrent la possibilit茅 de collecter et d’extraire des donn茅es susceptibles de procurer un avantage mesurable 脿 la fois en termes de r茅sultats et de r茅silience op茅rationnelle.

---

Avantages du Big聽Data

尝别蝉听聽permettent aux entreprises de transformer leurs donn茅es brutes en informations pertinentes avec une rapidit茅 et une pr茅cision sans pr茅c茅dent.

• D茅veloppement de produits et de services聽:l’analyse du Big聽Data permet aux d茅veloppeurs de produits d’analyser les donn茅es non structur茅es, telles que les t茅moignages clients et les tendances culturelles, et de r茅agir rapidement.
• Maintenance pr茅dictive聽:聽dans le cadre d’une, McKinsey a constat茅 que l’analyse du Big聽Data 茅manant des machines IoT pouvait r茅duire les co没ts de maintenance des 茅quipements jusqu’脿 40聽%.
• Exp茅rience client聽:dans le cadre d’une聽聽aupr猫s de responsables d’entreprises du monde entier, Gartner a d茅termin茅 que 芦聽les entreprises en croissance collectent plus activement des donn茅es sur l’exp茅rience client que les entreprises 脿 croissance nulle聽禄. L’analyse du Big聽Data permet aux entreprises d’am茅liorer et de personnaliser l’exp茅rience de leurs clients avec leur marque.
• Gestion de la r茅silience et des risques聽:la pand茅mie de COVID-19 a 茅t茅 une v茅ritable prise de conscience pour de nombreux dirigeants d’entreprise qui se sont rendu compte 脿 quel point leur activit茅 茅tait vuln茅rable. La visibilit茅 offerte par le Big聽Data peut aider les entreprises 脿 anticiper les risques et 脿 se pr茅parer aux impr茅vus.
• 脡conomies et efficacit茅 accrue :聽lorsque les entreprises effectuent une analyse avanc茅e du Big聽Data pour tous les processus de l’organisation, elles peuvent non seulement d茅tecter les inefficacit茅s, mais aussi d茅ployer des solutions rapides et efficaces.
• Am茅lioration de la comp茅titivit茅聽:聽les informations obtenues gr芒ce au Big聽Data peuvent aider les entreprises 脿 r茅aliser des 茅conomies, 脿 satisfaire leurs clients, 脿 concevoir de meilleurs produits et 脿 innover dans les op茅rations de gestion.

---

IA et Big聽Data

La gestion du Big聽Data repose sur des syst猫mes capables de traiter et d’analyser efficacement de gros volumes d’informations disparates et complexes. 脌 cet 茅gard, le Big聽Data et l’IA ont une relation de r茅ciprocit茅. Sans l’IA pour l’organiser et l’analyser, le Big聽Data n’aurait pas grande utilit茅. Et pour que l’IA puisse g茅n茅rer des analyses suffisamment fiables pour 锚tre exploitables, le Big Data doit contenir des ensembles de donn茅es suffisamment 茅tendus. Comme l’indique Brandon聽Purcell, analyste chez Forrester聽Research, 芦聽les donn茅es sont au c艙ur de l’intelligence artificielle. Un syst猫me d’IA doit apprendre des donn茅es pour remplir sa fonction聽禄.

---

Machine learning et Big Data

Les algorithmes de machine learning d茅finissent les donn茅es entrantes et identifient des mod猫les associ茅s. Ces informations permettent de prendre des d茅cisions avis茅es et d’automatiser les processus. Le machine learning se nourrit du Big Data, car plus les ensembles de donn茅es analys茅s sont fiables, plus le syst猫me est susceptible d’apprendre, de faire 茅voluer et d’adapter ses processus en continu.

---

Technologies du Big聽Data

Architecture du Big聽Data

脌 l’instar de l’architecture du b芒timent, l’architecture du Big聽Data fournit un mod猫le pour la structure de base d茅terminant la mani猫re dont les entreprises g猫rent et analysent leurs donn茅es. L’architecture du Big聽Data mappe les processus requis pour g茅rer le Big聽Data 脿 travers quatre 芦聽couches聽禄 de base, des sources de donn茅es au stockage des donn茅es, puis 脿 l’analyse du Big聽Data, et enfin via la couche de consommation dans laquelle les r茅sultats analys茅s sont pr茅sent茅s en tant que聽.

‍Analyse du Big Data

Ce processus permet de visualiser les donn茅es de mani猫re pertinente gr芒ce 脿 l’utilisation de la mod茅lisation des donn茅es et d’algorithmes sp茅cifiques aux caract茅ristiques du Big聽Data. Dans le cadre d’une聽聽et d’une enqu锚te de la MIT聽Sloan School of Management, plus de 2聽000聽dirigeants d’entreprise ont 茅t茅 interrog茅s sur leur exp茅rience en mati猫re d’analyse du Big聽Data. Comme on pouvait s’y attendre, ceux qui s’茅taient impliqu茅s dans le d茅veloppement de strat茅gies de gestion du Big聽Data ont obtenu les r茅sultats les plus significatifs.

Big聽Data et Apache聽Hadoop

Imaginez une grande bo卯te contenant 10聽pi猫ces de 10聽centimes et 100聽pi猫ces de 5聽centimes. Puis imaginez 10聽bo卯tes plus petites, c么te 脿 c么te, contenant chacune 10聽pi猫ces de 5聽centimes et une seule pi猫ce de 10聽centimes. Dans quel sc茅nario sera-t-il plus facile de rep茅rer les pi猫ces de 10聽centimes聽?聽聽fonctionne sur ce principe. Il s’agit d’une structure en open source permettant de g茅rer le traitement du Big聽Data distribu茅 sur un r茅seau constitu茅 de nombreux ordinateurs connect茅s. Ainsi, au lieu d’utiliser un gros ordinateur pour stocker et traiter toutes les donn茅es, Hadoop regroupe plusieurs ordinateurs sur un r茅seau pouvant 茅voluer presque 脿 l’infini et analyse les donn茅es en parall猫le. Ce processus utilise g茅n茅ralement un mod猫le de programmation appel茅聽, qui coordonne le traitement du Big聽Data en regroupant les ordinateurs distribu茅s.

Lacs de donn茅es, entrep么ts de donn茅es et NoSQL

Les bases de donn茅es traditionnelles de type feuille de calcul SQL servent 脿 stocker les donn茅es structur茅es. Le Big聽Data non structur茅 et semi-structur茅 n茅cessite des mod猫les de stockage et de traitement uniques, car il ne peut pas 锚tre index茅 et cat茅goris茅. Les lacs de donn茅es, les entrep么ts de donn茅es et les bases de donn茅es NoSQL sont des r茅f茅rentiels de donn茅es capables de g茅rer les ensembles de donn茅es non traditionnels. Un lac de donn茅es est un vaste pool de donn茅es brutes qui n’ont pas encore 茅t茅 trait茅es. Un entrep么t de donn茅es est un r茅f茅rentiel de donn茅es qui ont d茅j脿 茅t茅 trait茅es 脿 des fins sp茅cifiques. Les bases de donn茅es NoSQL fournissent un sch茅ma flexible qui peut 锚tre modifi茅 en fonction de la nature des donn茅es 脿 traiter. Ces syst猫mes pr茅sentent chacun des avantages et des inconv茅nients, c’est pourquoi de nombreuses entreprises utilisent plut么t une combinaison de ces r茅f茅rentiels de donn茅es pour r茅pondre au mieux 脿 leurs besoins.

Bases de donn茅es in-memory

Les bases de donn茅es traditionnelles sur disque ont 茅t茅 con莽ues pour SQL et les bases de donn茅es relationnelles. Bien qu’elles soient capables de traiter de gros volumes de donn茅es structur茅es, elles ne sont pas adapt茅es au stockage et au traitement des donn茅es non structur茅es. Dans le cas des聽, le traitement et l’analyse se font enti猫rement dans la RAM, pour ne pas avoir 脿 extraire les donn茅es d’un syst猫me sur disque. Les bases de donn茅es in-memory reposent 茅galement sur des architectures distribu茅es. Cela signifie qu’elles peuvent atteindre des vitesses beaucoup plus 茅lev茅es en utilisant le traitement parall猫le, par rapport aux mod猫les de base de donn茅es sur disque 脿 un seul n艙ud.

---

Fonctionnement du Big聽Data

Le Big聽Data remplit ses fonctions lorsque son analyse fournit des informations pertinentes et exploitables qui am茅liorent l’activit茅 de mani猫re significative. Pour se pr茅parer 脿 la transition vers le Big聽Data, les entreprises doivent s’assurer que leurs syst猫mes et processus sont en mesure de collecter, de stocker et d’analyser le Big聽Data.

1. Collecter le Big聽Data.Une grande partie de ce dernier est constitu茅e d’茅normes ensembles de donn茅es non structur茅es qui 茅manent de sources disparates et incoh茅rentes. Les bases de donn茅es traditionnelles sur disque et les m茅canismes d’int茅gration des donn茅es ne sont pas suffisamment performants pour les g茅rer. La gestion du Big Data requiert des solutions de base de donn茅es in-memory et des solutions logicielles sp茅cifiques de l’acquisition de ce type de donn茅es.
2. Stocker le Big Data. Comme son nom l’indique, le Big Data est volumineux. De nombreuses entreprises utilisent des solutions de stockage sur site pour leurs donn茅es existantes et esp猫rent r茅aliser des 茅conomies en r茅utilisant ces r茅f茅rentiels pour traiter le Big Data. Toutefois, ce dernier est plus performant lorsqu’il n’est pas soumis 脿 des contraintes de taille et de m茅moire. Les entreprises qui n’int猫grent pas d猫s le d茅part des solutions de stockage Cloud dans leurs mod猫les de Big Data le regrettent souvent quelques mois plus tard.
3. Analyser le Big聽Data.聽Il est impossible d’exploiter pleinement le potentiel du Big Data sans utiliser les technologies d’IA et de machine learning pour l’analyser. L’un des cinq V du Big Data est la 芦 vitesse 禄. Pour 锚tre utiles et exploitables, les informations doivent 锚tre g茅n茅r茅es rapidement. Les processus d’analyse doivent s’auto-optimiser et tirer r茅guli猫rement profit de l’exp茅rience, un objectif qui ne peut 锚tre atteint qu’avec l’IA et les technologies modernes de bases de donn茅es.

---

Applications du Big聽Data

Publi茅 en anglais sur