根据民法典婚姻家庭编司法解释一，离婚时双方可以约定轮流直接抚养子女。因此您的想法是可行而且有法律依据的，具体细节上，需要你们双方充分协商，并且对于轮流直接抚养的方式（比如各自抚养多久）、探望权的行使时间和方式等问题在协议中明确的约定出来。

可签订协议，约定具体的抚养时间和方式。