Thursday, February 12, 2015

Data Pump Export workers are waiting on ‘wait for unread message on broadcast channel’

Version:

Oracle 11.2.0.3.0 - Production

Issue:

A database full export job triggered couple of days back is very slow or hung. Around 2 TB of dump files were generated, but it seemed to be hung after that.

The job status is shown as "Executing" but the dump file size showed no progress and stayed at same value for more than a day.

Analysis:

There were no messages or warnings in the alert log file.
Export status showed as executing and there was n't any errors.


Export> status

Job: SYS_EXPORT_FULL_01
  Operation: EXPORT
  Mode: FULL
  State: EXECUTING
  Bytes Processed: 2,104,376,791,712
  Percent Done: 94
  Current Parallelism: 10
  Job Error Count: 0
  Dump File: /backup/prod/DB/orcl/expdp/orcl_datapump_%u.dmp  

An event 10046 trace showed that it is waiting on the following

"wait for unread message on broadcast channel"

There is a support Doc for similar issue. Reason is the statistics are not up-to-date

Solution:

1) Gather statistics on the data dictionary and system tables.

EXEC DBMS_STATS.GATHER_DICTIONARY_STATS;
EXEC DBMS_STATS.GATHER_SYSTEM_STATS;
EXEC DBMS_STATS.GATHER_FIXED_OBJECTS_STATS (null);

2) Restart the EXPDP job 

After gathering statistics. The performance was back to normal.


2 comments:

  1. Thanks for sharing, nice post!

    Võng điện tự động hay vong dien tu dong hay may dua vong giúp bé ngủ ngon mà may ru vong tu dong không tốn sức ru võng. Võng tự động hay vong tu dong cho be chắc chắn, gọn gàng, dễ tháo xếp, dễ di chuyển và máy đưa võng dễ dàng bảo quản.
    Chia sẻ các bạn cách mọc tóc nhanh với cafe hiệu quả hay Collagen trị mụn được không hay chữa mất ngủ bằng gừng đơn giản, bí quyết làm trắng da bằng cà phê và dầu dừa hiệu quả hay cách giúp trẻ không đái dầm ban đêm hiệu quả hay giảm cân nhanh bằng gạo lứt hq hay mẹo giúp tăng cường trí nhớ hiệu quả, kinh nghiệm trị tiêu chảy cho bé bằng cà rốt hiệu quả, những thực phẩm giúp cải thiện trí nhớ hiệu quả, mẹo hay giúp trẻ thích ăn rau hay cách giúp trẻ hạ sốt nhanh hiệu quả, bệnh viêm khớp không nên ăn gì hay mẹo giúp giảm độ cận thị cho bạn, bí quyết chống nắng với cà chua cực hiệu quả, cách giúp bé ngủ ngon giấcthực phẩm giúp bé ngủ ngon mẹ nên biết, chia sẻ cách làm trắng da toàn thân bằng thực phẩm, những món ăn chữa bệnh mất ngủ hay mách mẹ mẹo giúp bé không sốt khi mọc răng hiệu quả
    Thực phẩm làm tăng tại http://thucphamlamtang.blogspot.com/
    Những thực phẩm giúp làm giảm tại http://thucphamlamgiam.blogspot.com/
    Cách chăm sóc da mặt bằng http://cachchamsocdamatbang.blogspot.com/
    Dạy trẻ sơ sinh tại http://daytresosinh.blogspot.com/
    Những thực phẩm tốt cho tại http://thucphamtotcho.blogspot.com/

    ReplyDelete
  2. I had expdp and impdp jobs that were painfully slow; a job exporting 8gb of data from about 1200 tables took nearly two hours. Even empty tables were taking 2-3 seconds each. Also, startup times were slow, sometimes a minute or more for expdp to start doing anything. Adding "TRACE=0480300" revealed a delay of 2-3 seconds between every "KUPC$QUEUE_INT.SEND called" and "KUPC$QUEUE_INT.SEND returned", with no explanation.

    TOAD revealed large amounts of time spent in ‘wait for unread message on broadcast channel’, which led to this blog; after executing the command above, expdp startup time is now a second or two, and the backup that ran nearly two hours last night ran in just under three minutes this afternoon. THANK YOU!!

    ReplyDelete