jupyterをvenv環境で使うには一工夫が必要。
venv環境構築
まず、普通にvenv環境を構築。
python -m venv venv
source venv/bin/activate
モジュールインストール
venv環境でjupyterとか他に必要なモジュールをインストール。
pip install jupyter numpy matplotlib
多分jupyterインストールしたらipykernelもインストールされてると思う。ipykernelでカーネルを追加。
python -m ipykernel --user --name=KERNEL_NAME
KERNEL_NAMEには好きな名前を入れる。
これでカーネルが追加されたので、jupyter notebookを立ち上げて、カーネルを変更する。
Jupyter実行とカーネル変更
jupyter notebook
立ち上げたら、新規作成を選ぶとカーネルを選択できるようになっている。

メニューから、カーネル→カーネルの変更でも変更することができる。

補足
つかわなくなったカーネルは以下で削除できる。
jupyter kernelspec uninstall KERNEL_NAME