Ze względu na konieczność uwzględnienia kombinacji wielu czynników dobór prawidłowej architektury sieci i parametrów jej uczenia albo dobór parametrów algorytmów heurystycznych nie jest procesem prostym. Stosowane powszechnie fiksowanie wartości jednego parametru i sprawdzanie wartości kolejnego, może być nieefektywne. Lepiej zbadać podstawowe kombinacje parametrów, by później skupić się na eksploracji otoczenia najbardziej obiecującej kombinacji. W wyznaczaniu podstawowych kombinacji parametrów przydatne są kwadraty rzymskie i grecko-rzymskie. Ponizej przedstawiono ich przykłady dla 3 i 4 parametrów:
Należy pamiętać, że należy wykonać kilkanaście-kilkadziesiąt przebiegów symulacyjnych dla pojedynczej kombinacji parametrów, jako że mamy do czynienia z procesem losowym.