우수 답변
Data Munging 은 기본적으로 복잡한 데이터 세트 정리 . 일반적으로 기본적으로 데이터 분석 인 또 다른 유행 용어 “데이터 과학”과 함께 사용됩니다.
데이터 분석을 수행 한 적이 있다면 모델을 적용하기 전에 기능 선택을 접했을 수 있습니다 (분석 모델, 내 말은).
일반적으로 분석 알고리즘에 입력 할 수있을만큼 충분히 “깨끗한”원시 데이터를 만들기 위해 수행하는 모든 작업은 데이터 뭉침입니다.
p>
때때로 데이터 병합은 일부 파생 데이터도 생성합니다. 데이터 정리가 수행하는 가장 일반적인 작업 중 하나는 고유 한 ID를 만드는 것입니다. 그러나 데이터 파생은 데이터 병합의 주요 목표가 아닙니다.
Wikipedia에는 기본적으로 데이터 병합이 무엇인지 인 데이터 랭 글링 에 대한 기사가 있습니다. .
원시 데이터 :
데이터 병합 후
예제 는 Apache 액세스 로그 ( 로그 파일-Apache HTTP Server )를 분석하려는 것입니다. 이제 액세스 로그가 반드시 엉망인 데이터 세트는 아니지만 사전 처리없이 ML 알고리즘을 직접 실행할 수있을만큼 복잡합니다.
파일의 각 행은 다음과 같습니다.
aaa.xx.65.186 - - [25/Jul/2007:05:55:05 -0500] "GET http://www.some-advertising-site.com/banner/digitsHTTP/1.1" 404 305 "http://some-different-website.com/" "legitimate-looking agent"
IP 목록을 가져오고 싶었고 IP가 적중 한 횟수는 어떤 지역이 있는지 알아야하는 분석 일 수 있습니다. 웹 사이트가 인기가 있습니다. 또는 스패머의 출처 IP 일 수 있습니다. 또는 더 많은 판매가 필요한 영역; 또는 그들이 우리의 판매 지역을 벗어 났기 때문에 차단해야하는 IP 또는 수요가 급증 할 지역을 예측하고 발생하기 전에 더 많은 물건을 배송하고 싶을 수 있습니다.
두 개의 열이있는 데이터가있는 경우 이러한 모든 질문에 답할 수 있습니다. 하나에는 IP 주소가 있고 다른 하나는 웹 사이트에 대한 히트 수입니다.
여기에 한 줄짜리가 있습니다. 이 지저분한 로그 파일을 IP와 조회수가 포함 된 두 열 CSV (실제로 CSV가 아니라 토큰으로 구분)로 변환하는 perl 스크립트입니다.
perl -MData::Dumper -nae"++$n{$F[0]} if /GET http/; \
END{print Dumper\\%n}" access.log
결과?
$VAR1 = {
"aaa.xx.65.186" => 132,
"bb.yyy.7.60" => 48,
"ccc.zzz.46.147" => 111,
"dd.qq.71.82" => 33
};
# Real IPs obscured
원산지 :
munge / muhnj / vt. 1. [derogatory] 정보를 불완전하게 변형하는 것. 2. 루틴, 데이터 구조 또는 전체 프로그램의 포괄적 인 재 작성. 3. 발표자가 지금 당장 들어갈 필요가 없거나 간결하게 설명 할 수없는 방식으로 데이터를 수정하려면 ( 중얼 거리다 비교) 4.