Leydi Jane Gray'in annesi Suffolk Düşesi Frances Brandon'dı. Henry'nin küçük kız kardeşi Mary Tudor ile kocası Suffolk Dükü Charles Brandon'ın kızıydı. Frances Brandon 1517'de doğdu ve 1533'te Dorset Markisi Henry Gray ile evlendi. Leydi Jane Gray de dahil olmak üzere üç kızları oldu. Frances Brandon 1559'da öldü.