Meilleure réponse
Data Munging est essentiellement le terme branché pour nettoyage dun ensemble de données en désordre . Il est généralement utilisé en conjonction avec un autre terme à la mode « science des données » qui est essentiellement une analyse de données.
Si vous avez déjà effectué une analyse de données, vous avez peut-être rencontré une sélection dentités avant dappliquer votre modèle (analytique modèle, je veux dire) aux données.
Donc, en général, toute lactivité que vous faites sur les données brutes pour les rendre suffisamment «propres» pour entrer dans votre algorithme analytique est la fusion de données.
Parfois, la fusion de données crée également des données dérivées. Lune des tâches les plus courantes de la munging de données est de créer des identifiants uniques. Mais la dérivation de données nest pas lobjectif principal de la fusion de données.
Wikipedia a un article sur Data wrangling , qui est essentiellement ce quest la fusion de données .
Données brutes:
Après la fusion des données
Un exemple serait dessayer danalyser les journaux daccès Apache ( Fichiers journaux – Serveur HTTP Apache ). Désormais, les journaux daccès ne sont pas nécessairement un ensemble de données désordonné, mais il est suffisamment compliqué pour exécuter directement nimporte quel algorithme ML dessus sans aucun prétraitement.
Ainsi, chaque ligne du fichier ressemble à ceci:
aaa.xx.65.186 - - [25/Jul/2007:05:55:05 -0500] "GET http://www.some-advertising-site.com/banner/digitsHTTP/1.1" 404 305 "http://some-different-website.com/" "legitimate-looking agent"
Vous vouliez obtenir la liste des adresses IP et le nombre de fois où ils ont frappé peut être une analyse qui nécessite de connaître la géographie le site Web est populaire; ou peut-être de quelle adresse IP proviennent les spammeurs; ou dans quel domaine nous avons besoin de plus de ventes; ou quelle adresse IP devait être bloquée parce quils sont hors de notre zone de vente ou peut-être voulons-nous prédire quelle localité est sur le point de connaître une augmentation de la demande et nous voulons y expédier plus de produits avant que cela ne se produise.
Il est possible de répondre à toutes ces questions si nous avons une donnée avec deux colonnes: lune ayant des adresses IP et lautre comment elle peut atteindre le site Web.
Voici une ligne script perl qui convertirait ce fichier journal désordonné en deux colonnes CSV (pas vraiment CSV mais délimité par un jeton) avec IP et nombre de hits.
perl -MData::Dumper -nae"++$n{$F[0]} if /GET http/; \
END{print Dumper\\%n}" access.log
Résultat?
$VAR1 = {
"aaa.xx.65.186" => 132,
"bb.yyy.7.60" => 48,
"ccc.zzz.46.147" => 111,
"dd.qq.71.82" => 33
};
# Real IPs obscured
Origine:
munge / muhnj / vt. 1. [dérogatoire] Transformer imparfaitement linformation. 2. Une réécriture complète dune routine, dune structure de données ou de lensemble du programme. 3. Pour modifier les données dune manière ou dune autre, le locuteur na pas besoin dentrer maintenant ou ne peut pas les décrire succinctement (comparez mumble ). 4. Pour ajouter spamblock à une adresse e-mail.
Ce terme est souvent confondu avec mung , qui en est probablement dérivé. Cependant, il semble également que le mot «munge» était couramment utilisé en Écosse dans les années 1940 et dans le Yorkshire dans les années 1950, comme verbe signifiant grignoter dans un désordre mastiqué, et comme un nom, cest-à-dire le résultat de la fusion de quelque chose (le parallèle avec le kluge / kludge la paire est amusante). LOED signale «munge» comme un verbe archaïque signifiant «essuyer (le nez dune personne)».
Outils:
Outils Unix: sed, grep, awk, pipe, sort, uniq, tr, tail, head, script shell Langages: Python, Perl, R Processeurs Big Data: Hadoop / Hive / Pig, Twitter Storm, Spark / Requin
Fait intéressant: (plutôt grossier)
Vous savez maintenant que munging consiste essentiellement à nettoyer la merde « . Selon la rumeur, vers 1990, Los Angeles, une activité consistant à déterrer un cadavre féminin frais et à sauter par-dessus pour que les matières internes sortent des ouvertures sappelait le munging de cadavres.
[Ce nest pas le description détaillée de lacte. Cest encore plus dégoûtant quand vous « sautez » dans les détails, mais je préfère ne pas que vous vomissiez à lécran. Si vous voulez lire la méchanceté complète de ceci. Lisez ici: dépouille de cadavres VOUS AVEZ ÉTÉ AVERTI .]
Désormais, vous noublierez jamais ce quest le munging de données.
Sources:
1. Qui fait de fausses requêtes Web? 2. Data wrangling 3. Quest-ce que le transfert de données? 4. corpse munging (informations désobligeantes)
Réponse
Data Munging (également connu sous le nom de Data wrangling) est le processus de la transformation par programme des données «brutes» originales dans un format qui facilite leur travail. Cela peut signifier modifier toutes les valeurs dune colonne donnée dune certaine manière, ou fusionner plusieurs colonnes ensemble ou changer les types de données.
Synonymes de Munging: déchiffrer , numériser , interactif , migrer , lisible
Le terme «Mung» a été inventé à la fin des années 60 comme quelque peu désobligeant terme pour les actions et les transformations qui dégradent progressivement un ensemble de données, et sont rapidement devenues liées au backronym «Mash Until No Good» (ou, récursivement, «Mung Until No Good»).
Référence: