他的父亲张允，因轻视钱财，重视贤士，声名显扬州郡。
孙权上位以后，张允曾经担任孙权的东曹掾，很得孙权看重，但不久后病逝。
张温从小就修养节操，容貌奇异伟岸。
孙权听说张温的名声以后以后，就询问朝中大臣道：
“张温能与当今何人相比?“
大司农刘基回答道：
“可与全琮同等。“
太常顾雍持不同看法，补充道:
“刘基还是没有详细了解到张温的为人，张温的辩才，江东无人可比。“
孙权认为，张允做事认真，善解人意，但最出色的还是辩才无碍，就说道：
“真如你们所说，则张允后继有人，等于没有死啊!“
于是，孙权征召张温，与之相见，两人相谈甚欢。
张温谈吐文雅，对答如流，旁观者倾慕，孙权为之改容加礼。