Die 3,5% Fett sind nicht grundsätzlich das Problem. Milch ist aber eine Kalorienbombe, genau wie Apfelsaft und Cola. Haben alle ca. 40 kcal auf 100ml. Also es ist kein Getränk, was man den ganzen Tag so nebenbei trinken sollte. Manche Leute trinken ja 1-2 Liter am Tag, das sind fast 800 kcal nur durch Milch.
Zur Laktoseintoleranz: Gut, das ist ja nachweislich. Aber wenn ich Laktose nicht vertrage und sie dennoch konsumiere, gibt das keine gesundheitliche Folgen, sondern ich hab einfach "nur" Magengrummeln & Co. In Yoghurt und Feta ist keine Laktose mehr drin, das haben die Bakterien schon aufgefuttert. Ähnlich auch in Hartkäse wie z.B. Cheddar, Gouda auch, u.ä.
In Esoterikerkreisen wird aber der Konsum von Milch(Produkten) mit allen möglichen Zivilisationskrankheiten in Verbindung gebracht. Das ist allerdings Murks.
In Asien gibt es mehr Menschen mit Laktoseintoleranz, das ist richtig. Ursprünglich waren Menschen auch Laktoseintolerant bzw. nur als Baby nicht, einige wenige hatten einen Gendefekt, der eben die Produktion von Laktase das ganze Leben über bewirkt hat. Wenn dann aber Selektionsdruck (schlechte Ernten usw.) dazu kamen, hatten diejenigen, mit diesem Gendefekt einen Überlebensvorteil und konnten ihre Nachkommen mehr und besser ernähren. Diesen Selektionsdruck gab es im nordafrikanischen und europäischen Raum, deswegen sind die Leute alle Laktosetolerant. In Asien gab es kein derartiges Ereignis.