să defalcare ceea ce se întâmplă aici.

ne vom întoarce la „potato_salad”?”exemplu. Variabilele din formula de mai sus vor reprezenta următoarele:

• T = țintă, „midwest-ul nostru?”coloana
• A = variabila (coloana) suntem de testare, „potato_salad?”
• v = fiecare valoare în A, fiecare valoare în ” potato_salad?”coloana

1. În primul rând, vom calcula entropia orginală pentru (T) înainte de divizare , .918278
2. apoi, pentru fiecare valoare unică (v) în variabila (a), calculăm numărul de rânduri în care (a) preia valoarea (v) și o împărțim la numărul total de rânduri. Pentru ” potato_salad?”coloana obținem 9/15 pentru valoarea unică a (1) și 6/15 pentru valoarea unică a (0).
3. în continuare, înmulțim rezultatele cu entropia rândurilor unde (A) este (v). Pentru split stânga (divizat pe 1 Pentru „potato_salad?”) obținem 9/15*.764204. Pentru partea dreaptă a împărțirii (împărțită pe 0 pentru „potato_salad?”) obținem 6/15 * 1.
4. adăugăm toate aceste produse subset împreună, 9/14*.764204 + 6/15 = .8585224.

5. Apoi scădem din entropia generală pentru a obține câștig de informații, .918278 -.8585224 = .059754

câștigul nostru de informații este .059754. Ce ne spune asta?

Iată o explicație alternativă. Găsim entropia fiecărui set după împărțire, ponderând-o cu numărul de articole din fiecare împărțire, apoi scăzând din entropia curentă. Dacă rezultatul este pozitiv, am redus entropia cu divizarea noastră. Cu cât rezultatul este mai mare, cu atât am redus entropia.

ajungem cu .059754, ceea ce înseamnă că vom câștiga .059754 biți de informații prin împărțirea setului nostru de date pe „potato_salad?”variabilă / coloană. Câștigul nostru de informații este scăzut, dar este încă pozitiv, deoarece am redus entropia din partea stângă a diviziunii.

acum trebuie să repetăm acest proces pentru fiecare coloană pe care o folosim. În loc de a face acest lucru de mână să scrie unele cod Python.

împachetând totul cu Python

acum că înțelegem câștigul de informații, avem nevoie de o modalitate de a repeta acest proces pentru a găsi variabila / coloana cu cel mai mare câștig de informații. Pentru a face acest lucru, putem crea câteva funcții simple în Python.

Importarea datelor

să transformăm tabelul de mai sus într-un cadru de date folosind biblioteca Panda Python. Vom importa panda și vom folosi funcția read_csv () pentru a crea un cadru de date numit „midwest”.

import pandas as pd
midwest = pd.read_csv('midwes.csv')

o funcție Python pentru entropie

pentru această funcție, vom avea nevoie de Biblioteca NumPy pentru a utiliza funcția bincount() și modulul math pentru a utiliza funcția log ().

import numpy
import math

în continuare, vom defini funcția noastră cu un singur parametru. Argumentul dat va fi seria, lista sau matricea NumPy în care încercăm să calculăm entropia.

def calc_entropy(column):

va trebui să găsim procentul fiecărui caz în coloană. Putem folosi numpy.bincount () funcție pentru acest. Valoarea returnată este o matrice NumPy care va stoca numărul de fiecare valoare unică din coloana care a fost trecut ca un argument.

counts = numpy.bincount(column)

vom stoca probabilitățile fiecărei valori unice împărțind matricea „contează” la lungimea coloanei.

probabilities = counts / len(column)

putem apoi să inițializăm o variabilă numită „entropie” și să o setăm la 0.

entropy = 0

apoi, putem folosi un „For loop” pentru a parcurge fiecare probabilitate din matricea noastră de probabilități și a o înmulți cu baza logaritmică 2 a probabilității folosind matematica.log () funcție. Apoi, adăugați fiecare caz la variabila noastră de entropie stocată. * asigurați-vă că pentru a verifica probabilitatea este mare decât 0 altfel log(0) va reveni nedefinit

for prob in probabilities:
if prob > 0:
endtropy += prob * math.log(prob,2)

În cele din urmă, vom reveni variabila noastră entropie negată.

return -entropy

toate împreună acum:

mare! Acum putem construi o funcție pentru a calcula câștigul de informații.

o funcție Python pentru câștigul de informații

va trebui să definim o funcție care va avea trei parametri, unul pentru întregul set de date, unul pentru numele coloanei pe care dorim să o împărțim și unul pentru numele coloanei noastre țintă.

def calc_information_gain(data, split_name, target_name):

apoi, putem folosi funcția entropie de mai devreme pentru a calcula entropia originală a coloanei noastre țintă.

orginal_entropy = calc_entropy(data)

acum trebuie să ne împărțim coloana.

*pentru acest exemplu vom folosi doar variabilele / coloanele cu două unice. Dacă doriți să împărțiți pe o variabilă / coloană, cum ar fi „vârsta”, există mai multe moduri de a face acest lucru. O modalitate este de a împărți fiecare valoare unică. O altă modalitate este de a simplifica calculul câștigului de informații și de a simplifica împărțirea prin faptul că nu se împarte pentru fiecare valoare unică. În schimb, mediana se găsește pentru variabila / coumn fiind împărțită pe. Orice rânduri în care valoarea variabilei este sub mediană vor merge la ramura stângă, iar restul rândurilor vor merge la ramura dreaptă. Pentru a calcula câștigul de informații, va trebui să calculăm entropiile doar pentru două subseturi. Nu vom merge prin această metodă, dar odată ce împărțirea pe mediană este efectuată, restul pașilor ar fi aceiași cu cei descriși mai jos.

deoarece coloanele cu care lucrăm au doar două valori unice, vom face o împărțire la stânga și o împărțire la dreapta.

vom începe prin a folosi urșii panda.Serie.unique () pentru a ne oferi o matrice a valorilor unice din coloana

values = data.unique()

în continuare, vom crea o împărțire stânga și dreapta folosind „valori”.

left_split = data == values]
right_split = data == values]

acum putem iniția o variabilă pentru a scădea din entropia noastră inițială.

to_subtract = 0

apoi vom itera prin fiecare subset creat de împărțirea noastră, vom calcula probabilitatea subsetului și apoi vom adăuga produsul probabilității și entropia coloanei țintă a subseturilor.

for subset in :
prob = (subset.shape / data.shape)
to_subtract += prob * calc_entropy(subset)

În cele din urmă, putem returna diferența de to_subract fiind scăzută din entropia originală.

return original_entropy - to_subtract

întreaga funcție este mai jos.

o funcție Python pentru cel mai mare câștig de informații

funcția noastră finală va fi una care va returna numele variabilei / coloanei cu cel mai mare câștig de informații.așa cum am menționat mai devreme, folosim doar coloanele cu două valori unice pentru acest exemplu. Vom stoca aceste nume de coloane într-o listă de utilizat în funcție. Pentru a ajunge la punctul în care vom codifica acest lucru pentru acest exemplu, dar într-un set de date mare, ar fi mai bine să scrieți cod pentru a construi această listă dinamic pe baza criteriilor pe care le folosim pentru a alege coloanele.

columns = 

să înfășurăm ultimul pas într-o funcție, astfel încât să o putem reutiliza după cum este necesar. Va avea un parametru, lista coloanelor pentru care dorim să găsim cel mai mare câștig de informații.

def highest_info_gain(columns):

vom intializa un dicționar gol pentru a stoca câștigurile noastre de informații.

information_gains = {}

și apoi putem itera prin lista de coloane și stoca rezultatul în dicționarul nostru information_gains.

for col in columns:
information_gain = calc_information_gain(midwest, col, 'midwest?)
information_gains = information_gain

În cele din urmă, putem returna cheia cu cea mai mare valoare din dicționarul nostru.

return max(information_gains, key=information_gains.get)

toate împreună acum:

odată ce executăm funcția noastră finală

print(highest_info_gain(midwest, columns, 'midwest?'))
//sushi

vedem variabila/coloana cu cel mai mare câștig de informații este ‘sushi?’.

putem vizualiza o scindare pe sushi mai jos: