ダメージ表記の白or黄色は物理肉質、属性肉質全て総合した上で決まるものですか？

単純に黄色の方がダメージが高いなら黄色が出る部位をひたすら狙えば手っ取り早いけど、黄色表記の部位よりも白表記の部位の方がダメ数値が高いときがあるような気がして、、
色だけじゃなくちゃんと数値まで見ないとどこを狙うのが最適か、は判断できない？