Tutorial 5: Naive Bayas

Question 1

The following table contains empirical values about your past decisions whether or not to play.

a) Calculate the rule set using the 1-Rule classification. Would you play if it was windy with high humidity, a sunny outlook and cool temperature? Utilize the 1-Rule classification to determine the answer.

Answer 1

1. Tabelle aufstellen mit Attribut (z.b. Outlook) Spalten mit Yes or No + Error aufstellen.
2. Zeilen mit den Ausprägungen (Clear, Fog, Rain…)
3. In den Zellen die Häufigkeit angeben.
4. Error = Min(Häufigkeit von Yes or No) / Gesamthäufigkeit
5. Summe darunter. Bei Error z.b. 2/5 + 1/4 = 3/9
6. Wähle zum Schluss geringste Error Summe und entscheide je nach Aussage

Question 2

b) Find the aprioriprobabilities for both classes. Would you play if it was windy with high humidity, a sunny outlook and cool temperature? Determine the answer using the Naïve Bayes classification.

Answer 2

1. Tabelle aufstellen mit Attribut (z.b. Outlook) Spalten mit Yes or No + Error aufstellen.
2. Zeilen mit den Ausprägungen (Clear, Fog, Rain…)
3. In den Zellen die Häufigkeit angeben und durch Summe teilen. z.B. Summe = 9 Häufigkeit = 2 = 2/9
   Berechne diesen Wert jeweils für die in der Fragestellung benötigte Aussage. Hier z.b. Outlook = Sunny mit 2/9 yes und 3/5 no.
4. Summe darunter.
5. Berechne dann: Yes = Summe der Wahscheinlichkeiten * Gesamt Yes / Gesamtantworten
6. Gleiches für No
7. Falls gefragt: Gewichtete Wahrscheinlichkeit mit Yes / (Yes + No)

Question 3

Three problems of naive bayes

Answer 3

• Only one attribute
• Missing data hard to handle
• Numeric values

Question 4

How to overcome zero problem?

Answer 4

Just add +1 to every cell. Be aware to put in one answer for every option. Might differ if two options or three options exist.

Example:

Sunny, Overcast Rainy: Yes before 2/9 after 3/12

No before 0/5 now 1 /8

Do not add yes or no to the overall sum of yes or no