PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Probleme CPU mit 64 Threads / 32 Cores auszulasten



Thalix
30.03.2020, 15:24
Moin,

ich habe eben eine 64 Thread CPU an rosetta angedockt. Leider bekomme ich das System einfach nicht ausgelastet, es sind immer nur etwas mehr als 50% der möglichen Threads aktiv:
Am freien RAM bzw freie Festplatte kann es nicht liegen, da ist noch genug verfügbar.

Hat jemand eine Idee?

Settings:

Maximum CPU time usage 100% of the processors
On a multi-core system, use at most 100%
Use no more than 100GB

Operating System 64 bits Linux Debian, Debian GNU/Linux 10 (buster) [4.19.0-8-amd64
VirtualBox libc 2.28 (Debian GLIBC 2.28-10)]
CPU AMD EPYC 7502P 32-Core Processor [Family 23 Model 49 Stepping 0]
Number of CPU threads 64


196: 30-Mar-2020 16:03:21 (low) [Rosetta@home] Sending scheduler request: To fetch work.
197: 30-Mar-2020 16:03:21 (low) [Rosetta@home] Requesting new tasks for CPU
198: 30-Mar-2020 16:03:24 (low) [Rosetta@home] Scheduler request completed: got 0 new tasks
199: 30-Mar-2020 16:03:24 (low) [Rosetta@home] No tasks sent

6691

JayPi
30.03.2020, 15:37
Hast Du wirklich mehr als 100GB RAM im Rechner verbaut?

Neben der Einstellung für die Platte
- Use no more than 100GB
gibt es weitere einschränkende Einstellungen:
- Lasse mindestens ?? GB frei:
- Nutze nicht mehr als: ?? % von Gesamt
Sind diese Einstellungen auch ok?

Thalix
30.03.2020, 15:57
Hallo, ja, der Server hat 256 GB ECC RAM. Anbei die kompletten Settings für den Server. Ich sehe leider nirgendwo einen Flaschenhals.
Vielleicht bekommt man pro Host einfach nicht mehr als 32 Aufgaben gleichzeitig? Sogar ein Neustart des kompletten Systems brachte keine Änderung.



Processor usage
Do work while computer is running on batteries? No
Do work while computer is in use? Yes
Use GPU while computer is in use? Yes
'In use' means mouse/keyboard activity in last 3 minutes
Suspend work if no mouse/keyboard activity in last Disabled
Do work only between the hours of no restriction
Leave applications in memory while preempted? Yes
Switch between applications every 60 minutes
On a multi-core system, use at most 2 processors
Maximum CPU time usage 100% of the processors
On a multi-core system, use at most 100%
Run only when CPU usage is less than No limit
Storage and memory usage
Use no more than 100GB
Leave at least free 1.5GB
Use no more than 50% of total disk space
Write to disk at most every 120 seconds
Maximum virtual memory usage 80%
Maximum memory usage while computer is in use 70%
Maximum memory usage while computer is idle 90%
Network usage
Connect to network about every 0.1 days
Maintain enough work for an additional 1 day
Confirm before connecting to Internet? No
Disconnect when done? No
Maximum upload rate No limit
Maximum download rate No limit
Use network only between the hours of no restriction
Skip image file verification? No



8: 30-Mar-2020 16:35:50 (low) [] Processor: 64 AuthenticAMD AMD EPYC 7502P 32-Core Processor [Family 23 Model 49 Stepping 0]
9: 30-Mar-2020 16:35:50 (low) [] Processor features: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx mmxext fxsr_opt pdpe1gb rdtscp lm constant_tsc rep_good nopl xtopology nonstop_tsc cpuid extd_apicid aperfmperf pni pclmulqdq monitor ssse3 fma cx16 sse4_1 sse4_2 movbe popcnt aes xsave avx f16c rdrand lahf_lm cmp_legacy svm extapic cr8_legacy abm sse4a misalignsse 3dnowprefetch osvw ibs skinit wdt tce topoext perfctr_core perfctr_nb bpext perfctr_llc mwaitx cpb cat_l3 cdp_l3 hw_pstate sme ssbd sev ibrs ibpb stibp vmmcall fsgsbase bmi1 avx2 smep bmi2 cqm rdt_a rdseed adx smap clflushopt clwb sha_ni xsaveopt xsavec xgetbv1 xsaves cqm_llc cqm_occup_llc cqm_mbm_total cqm_mbm_local clzero irperf xsaveerptr arat npt lbrv svm_lock nrip_save tsc_scale vmcb_clean flushbyasid decodeassists pausefilter pfthreshold avic v_vmsave_vmload vgif umip rdpid overflow_recov succor smca
10: 30-Mar-2020 16:35:50 (low) [] OS: Linux Debian: Debian GNU/Linux 10 (buster) [4.19.0-8-amd64|libc 2.28 (Debian GLIBC 2.28-10)]
11: 30-Mar-2020 16:35:50 (low) [] Memory: 251.84 GB physical, 63.94 GB virtual
12: 30-Mar-2020 16:35:50 (low) [] Disk: 1.65 TB total, 1.55 TB free
13: 30-Mar-2020 16:35:50 (low) [] Local time is UTC +2 hours
14: 30-Mar-2020 16:35:50 (low) [] Config: GUI RPCs allowed from:
15: 30-Mar-2020 16:35:50 (low) [Rosetta@home] URL http://boinc.bakerlab.org/rosetta/; Computer ID xxxxx; resource share 100
16: 30-Mar-2020 16:35:50 (low) [] General prefs: from https://bam.boincstats.com/ (last modified 30-Mar-2020 16:12:24)
17: 30-Mar-2020 16:35:50 (low) [] Host location: none
18: 30-Mar-2020 16:35:50 (low) [] General prefs: using your defaults
19: 30-Mar-2020 16:35:50 (low) [] Reading preferences override file
20: 30-Mar-2020 16:35:50 (low) [] Preferences:
21: 30-Mar-2020 16:35:50 (low) [] max memory usage when active: 180518.76 MB
22: 30-Mar-2020 16:35:50 (low) [] max memory usage when idle: 232095.55 MB
23: 30-Mar-2020 16:35:52 (low) [] max disk usage: 100.00 GB
24: 30-Mar-2020 16:35:52 (low) [] (to change preferences, visit a project web site or select Preferences in the Manager)
25: 30-Mar-2020 16:35:52 (low) [] Setting up project and slot directories
26: 30-Mar-2020 16:35:52 (low) [] Checking active tasks
27: 30-Mar-2020 16:35:52 (low) [] Using account manager BOINCstatsBAM!
28: 30-Mar-2020 16:35:52 (low) [] Setting up GUI RPC socket
29: 30-Mar-2020 16:35:52 (low) [] gui_rpc_auth.cfg is empty - no GUI RPC password protection
30: 30-Mar-2020 16:35:52 (low) [] Checking presence of 64 project files
31: 30-Mar-2020 16:36:03 (low) [Rosetta@home] Sending scheduler request: To fetch work.
32: 30-Mar-2020 16:36:03 (low) [Rosetta@home] Requesting new tasks for CPU
33: 30-Mar-2020 16:37:08 (low) [Rosetta@home] Scheduler request completed: got 0 new tasks
34: 30-Mar-2020 16:37:08 (low) [Rosetta@home] No tasks sent

pschoefer
30.03.2020, 16:43
Ich fürchte, dass schlicht das Projekt im Moment nicht genug liefern kann. Die Warteschlange laut Startseite ist fast leer und ich bekomme gerade auch auf Rechnern mit deutlich weniger CPU-Kernen nicht mehr hinreichend viele WUs.

taurec
30.03.2020, 21:30
Was ist das denn?
"On a multi-core system, use at most 2 processors"

Thalix
31.03.2020, 11:42
Ein kurzes Update: es lag wirklich an der Versorgung mit WUs. Seit heute Vormittag laufen alle 64 Kerne unter Vollast mit rosetta_4.08 WU. :thumbup:


Was ist das denn?
"On a multi-core system, use at most 2 processors"
Laut google gilt das, wenn man mehr als einen Prozessor im System hat. Für alle Fälle habe ich es unter BAM auf 1024 gestellt :-)

Edit: Wenn es jemand wissen möchte: alle 64 rosetta_4.08 WU parallel, benötigen 27.1G RAM.

taurec
31.03.2020, 13:10
Ein kurzes Update: es lag wirklich an der Versorgung mit WUs. Seit heute Vormittag laufen alle 64 Kerne unter Vollast mit rosetta_4.08 WU. :thumbup:


Laut google gilt das, wenn man mehr als einen Prozessor im System hat. Für alle Fälle habe ich es unter BAM auf 1024 gestellt :-)

Edit: Wenn es jemand wissen möchte: alle 64 rosetta_4.08 WU parallel, benötigen 27.1G RAM.

Hm, der RAM-Verbrauch ist ja unterirdisch :D
Habe hier 15 WUs mit ca. 20GB inkl. OS (Linux 64-bit) - pro WU gerade so 1,2 GB durchschnittlich

Rainer Baumeister
09.04.2020, 13:42
Moin,
wahrscheinlich hat Thalix direkt nach dem Start den RAM betrachtet.
Der Verbrauch steigt erst nach einer Zeit Richtung >1GB
Gruß Rainer

VogeL
09.04.2020, 13:53
Rosetta schwankt bei mir zwischen 1,1 und 2,8 GB RAM / WU. Wobei sich das ganze so bei ca. 1,6GB einmittelt. Die 2,8 waren bisher eher so Ausreißer.

Ich denke mit min. 2 GB RAM / Thread ist man gut beraten.

Defender
09.04.2020, 16:16
Die Spitze im RAM-Verbrauch liegt am Ende der WU. In den kommenden Versionen soll der RAM-Verbrauch jedoch etwas geringer ausfallen.