物理魔法使马修中的主角马修·班迪德身上有一个秘密，那就是完全不会使用魔法，所以在魔法的存在是理所当然、人人都能使用魔法的这个「魔法界」中是一个异类，每天的必备功课是锻炼肌肉，因此拥有超凡的肉体力量。
马修·班迪德是被雷古洛·班迪德捡到并养大的“弃婴”，脸上没有印记， 是极少数无法使用魔法的异类。称呼雷古洛为“老爹”（じいちゃん）。雷古洛为了让他拥有得以自保的力量，从他幼时起便安排了锻炼身体的训练。实际上，马修的身体素质远超老爹的想象。
马修的希望是和家人一起平静地生活，但有一天突然被盯上生命。不知为什么进入魔法学校，以成为顶尖“神觉者”为目标，不断接受各路挑战。
实际上， 马修的真实身份远非“弃婴”那么简单。他又为何拥有比魔法更强大的身体素质，随着故事的推进，这些秘密逐渐被揭开。