Вы не написали, что именно происходит между вами, когда вы все вместе (какого рода агрессия возникает у мальчика, в связи с чем, как она проявляется, на кого направлена, как вы и ваш супруг реагируете на поведение сына и так далее). Поэтому трудно назвать определенную причину. Когда вы, ваш супруг или няня с сыном наедине, то, наверняка, практически все внимание взрослого сосредоточено на нем. Когда же вы всей семьей собираетесь вместе, то общаетесь не только с сыном, но и между собой. Поэтому, возможно, ребенок описанным вами способом просто хочет привлечь к себе внимание.
Могут быть и другие причины. Возможно, сын не знает, как по-другому выстроить коммуникацию с вами обоими, или пытается для себя понять, одинаковые ли к нему требования у родителей, или он просто испытывает потребность в контактных телесных играх. А, возможно, вы с супругом не всегда при сыне проявляете взаимное согласие (например, непроизвольно соревнуетесь друг с другом за любовь сына, выясняете отношения между собой, противоречиво ведете себя по отношению к ребенку), а мальчик, проявляя агрессию к одному из родителей, тем самым обозначает другому родителю, что он на его стороне. В любом случае, важно понять, какую именно информацию хочет донести до вас ребенок, какой цели он добивается своим поведением.